Criterion-referenceability determines LLM-as-a-judge validity across physics assessment formats

Este estudio demuestra que la validez de los modelos de lenguaje como jueces en la evaluación de física depende fundamentalmente del grado de referencia a criterios explícitos de la tarea, logrando una alta fiabilidad en preguntas estructuradas y gráficos basados en código, pero fallando consistentemente en la discriminación de ensayos escritos.

Lo esencial

Imagina que tienes una escuela muy avanzada donde los profesores son robots superinteligentes (llamados Modelos de Lenguaje o IA) y tu trabajo es ver si estos robots pueden corregir los exámenes de tus alumnos de física.

Los autores de este estudio se preguntaron: "¿Podemos confiar en que estos robots corrijan bien, o solo están adivinando?". Para responder, pusieron a prueba a varios robots famosos (como GPT-5.2, Claude, Gemini, etc.) contra tres tipos de tareas muy diferentes, usando una analogía que llamaremos "La Regla del Juego".

Aquí tienes la explicación sencilla de lo que descubrieron:

1. Los Tres Tipos de "Exámenes"

Los investigadores probaron a los robots con tres formatos distintos:

• A. Preguntas Estructuradas (El "Rompecabezas con Solución"): Son problemas de matemáticas y física donde hay una respuesta clara o un camino lógico para llegar a ella. Es como un rompecabezas donde sabes cómo encajan las piezas.
• B. Ensayos (La "Conversación de Café"): Son redacciones donde el alumno debe explicar ideas, argumentos y conceptos. No hay una única respuesta correcta, sino muchas formas válidas de expresarlo. Es como pedirle a alguien que describa un sueño; es subjetivo.
• C. Gráficos Científicos (El "Dibujo Técnico"): Son gráficos generados por código que muestran datos. Deben tener ejes, etiquetas y escalas correctas. Es como revisar si un plano de arquitectura está bien dibujado.

2. Lo que Descubrieron: La "Regla del Juego" (Criterio-Referencia)

El hallazgo más importante es que la capacidad del robot para corregir no depende de qué tan "inteligente" sea el robot, sino de qué tan clara sea la "Regla del Juego".

Los autores llaman a esto "Referencia a Criterios". Imagina que tienes una regla de medir:

• Si la regla es clara (como medir la altura de una persona), el robot es perfecto.
• Si la regla es borrosa (como medir "qué tan bonita es una persona"), el robot se pierde.

A. Preguntas Estructuradas: ¡Funciona muy bien! 🎯

Cuando los robots corrían problemas de física con respuestas claras (como calcular la velocidad de un cohete), lo hacían excelentemente.

• Sin ayuda: Si no les dabas la solución, acertaban bastante bien (como un estudiante muy aplicado).
• Con la solución: Si les dabas la respuesta correcta, eran casi perfectos.
• El peligro: Si les dabas una solución falsa (un error intencional), los robots la aceptaban como verdad y corregían mal, aunque el alumno hubiera dado la respuesta correcta. ¡Se dejaban engañar por el "maestro" que les dio la hoja de respuestas!

B. Ensayos: ¡Un desastre total! 📝❌

Aquí fue donde los robots fallaron estrepitosamente.

• El problema: Cuando los humanos corrigen ensayos, a veces no se ponen de acuerdo entre ellos. Un profesor le da un 80 y otro un 70 al mismo trabajo. Es un trabajo subjetivo.
• Lo que hicieron los robots: Los robots intentaron imitar el "promedio" de los humanos. Si les dabas ejemplos de notas altas y bajas, lograban que sus notas se vieran estadísticamente iguales a las humanas (mismo promedio, misma varianza).
• La trampa: Aunque sus notas se parecían a las humanas, no podían distinguir un buen ensayo de uno malo. Era como un robot que lanza dardos al azar pero, por suerte, el promedio de sus dardos cae en el centro del tablero. No saben quién ganó, solo saben dónde está el centro.
• Conclusión: En tareas subjetivas, dar más ejemplos (anclas) solo hace que el robot sea mejor en "copiar la media", no en entender la calidad.

C. Gráficos Científicos: ¡Sorprendentemente buenos! 📊✨

Aquí los robots brillaron. Aunque un gráfico no es una sola respuesta numérica, tiene reglas claras: ¿Tiene título? ¿Los ejes están etiquetados? ¿La escala tiene sentido?

• Como estas reglas son visibles y objetivas (como revisar si un dibujo tiene las líneas rectas), los robots lograron una precisión casi humana. Podían decir claramente: "Este gráfico está bien hecho, este otro no".

3. La Lección Principal: No es el Robot, es la Tarea

El estudio nos dice algo crucial para el futuro de la educación:

No podemos confiar en la IA para corregir todo.

• Si la tarea tiene reglas claras (matemáticas, gráficos, datos), la IA es una herramienta fantástica para ayudar a los profesores, ahorrar tiempo y detectar errores.
• Si la tarea es subjetiva (ensayos, opiniones, creatividad), la IA es peligrosa. Puede parecer que corrige bien (porque sus notas se ven "normales"), pero en realidad no está entendiendo nada. Podría estar aprobando un trabajo malo solo porque se parece a otros trabajos malos que vio antes.

4. El Consejo para los Profesores (y los Padres)

Antes de usar un robot para corregir exámenes, pregúntate: "¿Podría un humano corregir esto de forma consistente?".

• Si los humanos mismos discuten mucho sobre la nota (como en los ensayos), no uses la IA para dar la nota final. Úsala solo para dar feedback o ideas.
• Si la tarea es un problema de física con pasos lógicos, la IA es segura y útil.

En resumen: La IA es como un chef increíble. Si le das una receta exacta (preguntas de física), hará un plato perfecto. Si le pides que juzgue la "belleza" de un plato (ensayos), intentará imitar lo que comen los demás, pero no sabrá realmente qué está rico y qué no. La clave no es el chef, sino si la receta es clara.

Resumen técnico

1. Planteamiento del Problema

A medida que los Modelos de Lenguaje Grandes (LLM) demuestran capacidades crecientes para resolver problemas de física, surge la necesidad crítica de evaluar si pueden ser confiables para calificar y proporcionar retroalimentación al trabajo estudiantil.

• El desafío: Existe un riesgo de sustituir el juicio humano costoso por una calificación automatizada poco fiable. Las regulaciones actuales (como las de Ofqual en el Reino Unido y la Ley de IA de la UE) restringen el uso de la IA como único mecanismo de calificación debido a preocupaciones sobre sesgos sistemáticos y falta de equidad.
• La brecha de conocimiento: No está claro si los modos de fallo de los LLM (sesgos de posición, preferencia por verbosidad, anclaje a referencias) son específicos de la tarea o generales. Además, se desconoce cómo varía la fiabilidad de la calificación entre diferentes modalidades de salida estudiantil: derivaciones matemáticas estructuradas, ensayos escritos y gráficos científicos.
• Hipótesis central: La validez de un LLM como juez no depende principalmente de la capacidad bruta del modelo, sino de la "capacidad de referencia a criterios" (criterion-referenceability) de la tarea: el grado en que los criterios de calificación pueden hacerse explícitos, inspeccionarse y aplicarse consistentemente.

2. Metodología

El estudio evaluó seis modelos de vanguardia (GPT-5.2, Claude Opus 4.5, Gemini Pro 3, DeepSeek-V3.2, Grok 4.1 y una agregación por comité) frente a marcadores humanos en tres formatos de evaluación de física:

A. Conjuntos de Datos

1. Preguntas Estructuradas (n = 1922):
   • Exámenes universitarios (n=771): Preguntas de Durham (2018-2022) sin soluciones públicas (condición "ciega").
   • Preguntas curriculares (n=1151): Nivel GCSE, A-Level y libros de texto. Permitieron probar tres condiciones: ciega, con solución oficial y con solución falsa (corrupta mecánicamente para probar sesgo de anclaje).
2. Ensayos (n = 275 ensayos en 55 guiones):
   • Ensayos cortos de física (humanos y generados por IA) calificados holísticamente.
   • Condiciones: Ciega, con esquema de calificación y con ejemplares anclados (5 ejemplos de respuestas con puntuaciones humanas conocidas para calibrar la distribución).
3. Gráficos Científicos (n = 1400):
   • Gráficos generados por código (Jupyter notebooks) en un módulo de habilidades de laboratorio. Evaluación ciega basada en calidad visual y precisión física.

B. Métricas de Evaluación

• Precisión Absoluta: Error Absoluto Medio (MAE) y MAE fraccional.
• Validez Discriminativa: Coeficiente de correlación de rango de Spearman ($\rho$) y Kappa Ponderado Cuadrático (QWK). Miden la capacidad del modelo para ordenar correctamente la calidad de las respuestas, independientemente de la alineación de la distribución de puntuaciones.
• Calibración: Curvas que comparan las puntuaciones medias predichas con las humanas.

---

3. Contribuciones Clave

• Definición de "Capacidad de Referencia a Criterios": El artículo introduce y valida empíricamente este concepto como el factor determinante de la fiabilidad de la calificación por IA, diferenciando tareas con criterios explícitos de aquellas que requieren juicio holístico.
• Análisis Comparativo Multiformato: Es uno de los primeros estudios que compara sistemáticamente el rendimiento de múltiples LLM de última generación a través de tres modalidades distintas (estructurado, ensayo, visual) bajo condiciones controladas.
• Desmitificación del "Anclaje": Demuestra que mejorar la alineación de la distribución de puntuaciones (bajando el MAE) mediante ejemplares no garantiza una mejora en la validez discriminativa; de hecho, puede enmascarar la incapacidad del modelo para distinguir la calidad real.
• Evidencia sobre Sesgo de Anclaje: Utiliza soluciones falsas para probar causalmente que los LLM tienden a deferir a referencias incorrectas en lugar de verificar la física independientemente.

---

4. Resultados Principales

A. Preguntas Estructuradas

• Rendimiento: Los modelos logran una validez discriminativa robusta ($\rho > 0.6$) incluso en condiciones ciegas.
• Efecto de la Solución: Proporcionar la solución oficial reduce el error absoluto y fortalece la validez (el comité alcanza $\rho = 0.88$).
• Efecto de la Solución Falsa: La precisión absoluta se degrada drásticamente (los modelos siguen la solución incorrecta), pero la validez discriminativa se mantiene relativamente intacta ($\rho \ge 0.59$). Los modelos siguen pudiendo ordenar las respuestas, aunque con una penalización absoluta sesgada hacia el error de referencia.

B. Ensayos (El caso de fallo)

• Rendimiento Humano Basal: La calificación humana holística de ensayos cortos es inherentemente ruidosa y subjetiva ($\rho_{humano-humano} \approx 0.05$).
• Fallo de la IA:
  • En condiciones ciegas, la IA es más severa y variable que los humanos, con validez discriminativa casi nula ($\rho \approx 0.1$).
  • Añadir un esquema de calificación no mejora la discriminación ($\rho \approx 0$).
  • Anclaje con Ejemplares: Aunque reduce drásticamente el MAE y alinea la media y varianza con los humanos, la validez discriminativa sigue siendo cero ($\rho \approx 0$).
• Conclusión: Los modelos aprenden a imitar la distribución de puntuaciones humanas (ajuste estadístico) sin aprender a discriminar la calidad del ensayo.

C. Gráficos Científicos

• Rendimiento Excepcional: Los modelos logran una validez discriminativa muy alta ($\rho > 0.84$) y una calibración casi lineal sin necesidad de soluciones de referencia.
• Interpretación: La tarea, aunque visual, está restringida por un contexto (el notebook) y criterios observables (ejes, unidades, escala), lo que la hace altamente "referenciable a criterios".

D. Efectos de Autoría

• No se encontró evidencia de un sesgo de "auto-preferencia" donde los modelos califiquen mejor sus propias respuestas generadas. De hecho, en los ensayos, los modelos penalizaron sistemáticamente más a los textos generados por IA que a los humanos, lo opuesto a lo que se esperaría de un sesgo de familiaridad.

---

5. Significado e Implicaciones

• Para la Educación y el Diseño de Evaluaciones:

  • La viabilidad de usar LLM como jueces depende de la naturaleza de la tarea, no solo de la potencia del modelo.
  • Tareas de alto riesgo: Para ensayos o tareas holísticas donde incluso los humanos no logran consenso en el ordenamiento, la IA no debe usarse para calificación sumativa, ya que puede generar una "ilusión de validez" al imitar distribuciones sin discriminar calidad.
  • Tareas de bajo riesgo/estructuradas: En preguntas estructuradas y gráficos con criterios claros, la IA es una herramienta asistiva viable (segunda revisión, detección de anomalías, retroalimentación formativa).

• Política y Gobernanza:

  • Las regulaciones que exigen "validez" deben ir más allá de métricas agregadas como el MAE. Un sistema con bajo error medio pero nula capacidad discriminativa no es un evaluador válido.
  • El uso de ejemplares (anclajes) en prompts puede ser contraproducente en tareas subjetivas, ya que puede convertir al LLM en un "ajustador de distribuciones" en lugar de un evaluador independiente.

• Futuro: Se requiere un enfoque de "humano en el bucle" para tareas con baja capacidad de referencia a criterios o donde la entrada sea manuscrita o visualmente compleja, hasta que los modelos multimodales mejoren su razonamiento perceptual.

En resumen, el estudio concluye que la fiabilidad de la calificación por IA está determinada por la estructura de la tarea (su capacidad de referencia a criterios) y la fiabilidad del benchmark humano, y no por la capacidad inherente del modelo.