Resumen Técnico: Evaluación de la Validez de la Similitud y el Agrupamiento Basados en Embeddings para Soluciones de Física Manuscritas

Planteamiento del Probleque

En la educación de la física, una evaluación significativa requiere analizar la trayectoria de la solución —no solo la respuesta final— para evaluar la comprensión conceptual, el modelado matemático y la coordinación de diagramas y ecuaciones. Aunque existen sistemas automatizados, estos suelen restringir las respuestas a opciones múltiples o respuestas algebraicas cerradas, fallando al capturar la amplitud del razonamiento del estudiante. Las soluciones manuscritas siguen siendo el estándar de oro para los exámenes de alto nivel, pero requieren una gran inversión de tiempo para su calificación a escala.

Los avances recientes en los Modelos de Lenguaje de Gran Escala (LLMs) y los embeddings de texto ofrecen una alternativa computacionalmente eficiente para organizar y comparar grandes colecciones de texto. Los métodos basados en embeddings mapean el texto a espacios vectoriales de alta dimensión, lo que permite calcular similitudes por pares de forma económica mediante operaciones vectoriales (por ejemplo, similitud de coseno), en lugar de realizar costosas llamadas por pares a un LLM. Sin embargo, persiste una brecha crítica de validez: aunque los embeddings pueden producir agrupamientos (clusters), no está claro si la geometría del espacio de embeddings preserva las distinciones relevantes para la calificación. Específicamente, ¿la proximidad en el espacio de embeddings corresponde a la similitud en las puntuaciones asignadas por humanos, o los embeddings simplemente agrupan soluciones basadas en rasgos superficiales?

Metodología

El estudio evaluó la validez de la similitud y el agrupamiento basados en embeddings utilizando un conjunto de datos de 992 soluciones de problemas de estudiantes manuscritas de un examen de termodinámica de ingeniería de alto nivel en la ETH Zurich. La metodología consistió en un diseño experimental de varias etapas:

1. Preparación y Transcripción de Datos

Las soluciones manuscritas fueron transcritas a texto utilizando un LLM multimodal (GPT-5.4) bajo cinco condiciones de transcripción distintas para variar el grado de normalización e interpretación:

• ASCII Verbatim: Normalización mínima; preserva la notación idiosincrásica y el diseño en ASCII plano.
• Orientado a LaTeX: Expresiones matemáticas convertidas a LaTeX; la prosa permanece en texto plano.
• Narrativa de Fórmulas: Las fórmulas y pasos simbólicos se narran en lenguaje natural manteniendo las variables originales.
• Narrativa de la Solución: Un relato narrativo conciso del proceso de solución visible del estudiante, evitando términos evaluativos.
• Híbrido Estructurado: Una representación estructurada con encabezados fijos (p. ej., etiquetas de problemas, fórmulas, diagramas, método aparente) que combina el contenido literal con la organización estructural.

Crucialmente, los prompts de transcripción prohibieron explícitamente al modelo resolver problemas, corregir errores o asignar puntuaciones.

2. Generación de Embeddings

Cada una de las cinco representaciones textuales fue procesada utilizando nueve mecanismos de embedding:

• Propósito General: text-embedding-3-large de OpenAI.
• Jina Embeddings v4: Varios adaptadores (recuperación de texto, coincidencia de texto) y niveles de cuantización (F16, Q8, Q4).
• Especializado en Matemáticas: Modelos Qwen 2.5-Math (1.5B y 7B parámetros), donde los estados ocultos de la última capa fueron promediados (mean-pooled) para crear vectores.

Esto resultó en un total de 44,640 vectores de embedding utilizables (9 mecanismos × 5 representaciones × 992 respuestas).

3. Métricas de Evaluación

Las puntuaciones asignadas por humanos sirvieron como el estándar de referencia externo, pero no se utilizaron durante la generación de embeddings o el agrupamiento. Se realizaron dos análisis principales:

• Similitud por Pares: Correlación (Pearson y Spearman) entre la similitud de embedding y la diferencia absoluta negativa en las puntuaciones humanas.
• Agrupamiento Jerárquico: Se realizó un agrupamiento aglomerativo (vinculación promedio y completa) sobre las matrices de distancia derivadas de los embeddings. La calidad de los grupos se midió mediante la desviación estándar de la puntuación ponderada dentro del grupo y la cobertura de los estudiantes en "grupos útiles" (tamaño ≥ 5).

4. Validación Sintética

Se creó un conjunto de datos sintético de enunciados sobre el trabajo de un motor de Carnot para probar si los embeddings se agrupan por corrección conceptual (familias de errores) o por formulación superficial (pares de enunciados). Este "sistema de juguete" permitió un examen controlado de si los embeddings se comportan como expertos (agrupando por principio) o como novatos (agrupando por rasgos superficiales).

Resultados Clave

1. Correlación Débil entre la Similitud de Embedding y la Puntuación

En todos los modelos y representaciones, la similitud de embedding mostró una relación consistente pero modesta con la similitud de la puntuación.

• La mejor correlación de Spearman fue 0.198 (Híbrido estructurado + Qwen 7B + similitud de coseno).
• Incluso los percentiles de mayor similitud retuvieron una variación sustancial en las puntuaciones; los pares con alta similitud de embedding no necesariamente tenían puntuaciones similares.
• La relación no fue lo suficientemente lineal como para servir como un proxy confiable para la equivalencia de calificación.

2. El Agrupamiento Produce Grupos Enriquecidos en Puntuación, pero no Equivalentes en Puntuación

El agrupamiento jerárquico produjo grupos que eran ligeramente más homogéneos en puntuación que los agrupamientos aleatorios, pero la variación siguió siendo alta.

• La mejor configuración (Narrativa de fórmulas + Jina Retrieval Q8 + coseno centrado + vinculación completa) logró una desviación estándar de puntuación de los grupos útiles ponderados de 2.547 puntos.
• El rango de puntuación dentro de estos "mejores" grupos fue de aproximadamente 7 a 9 puntos, lo que indica que los grupos contenían una amplia mezcla de niveles de desempeño.
• Impacto de la Transcripción: Las representaciones narrativas y estructuradas generalmente superaron a las transcripciones literales (ASCII/LaTeX), lo que sugiere que convertir el trabajo simbólico en texto semánticamente explícito ayuda a los embeddings a capturar cierta estructura relevante para la calificación.
• Impacto del Modelo: Las diferencias entre los mecanismos de embedding fueron marginales; ningún modelo superó decisivamente a otros en todas las condiciones.

3. El Comportamiento "Novato" de los Embeddings

El análisis de los datos sintéticos reveló una limitación crítica: los embeddings tendían a agrupar los enunciados basándose en la formulación superficial en lugar de la corrección conceptual.

• En los diagramas de fuerza dirigida, los enunciados correctos y sus variantes con errores (que comparten el mismo patrón de redacción) se agruparon juntos.
• Por el contrario, los enunciados que compartían el mismo error conceptual pero con redacciones diferentes estaban a menudo separados.
• Este comportamiento refleja el estilo de categorización de los "novatos" en la educación de la física (agrupar por rasgos superficiales) en lugar del estilo de los "expertos" (agrupar por principios subyacentes).

Significancia y Reclamaciones

El artículo concluye que los embeddings de texto de última generación no proporcionan una base validada y no supervisada para calificar soluciones de física manuscritas.

• Limitación de Validez: Aunque la geometría de los embeddings es "enriquecida en puntuación" (contiene cierta señal relacionada con las puntuaciones humanas), no es "equivalente en puntuación". Una alta similitud de embedding no implica equivalencia de calificación.
• Rol en la Evaluación: Los embeddings son adecuados para la organización exploratoria, como la navegación de grandes conjuntos de respuestas, la selección de ejemplares, la identificación de soluciones inusuales o el apoyo a flujos de trabajo de revisión con intervención humana. No son suficientes para la calificación autónoma sin una validación externa contra el constructo de evaluación específico.
• Superficie vs. Concepto: El estudio sugiere que los mecanismos de embedding actuales se comportan como novatos, influenciados fuertemente por rasgos superficiales (notación, diseño, redacción) en lugar de la estructura conceptual profunda requerida para la evaluación de la física.
• Dirección Futura: Los autores argumentan que la calificación mediante LLMs conscientes de la rúbrica o los sistemas de intervención humana filtrados por confianza son vías más prometedoras que depender únicamente de la geometría de embeddings no supervisada. El estudio enfatiza que los resultados de agrupamiento deben tratarse como hipótesis para la inspección humana en lugar de categorías de calificación definitivas.