Resumen Técnico: Estimación de la Dificultad de Ítems de Examen con LLMs

Planteamiento del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLMs) se despliegan cada vez más para generar contenido educativo, existe una brecha de seguridad crítica: la incapacidad de estimar de manera fiable la dificultad de las preguntas que producen antes de su implementación. La estimación tradicional de la dificultad depende de la Teoría de Respuesta al Ítem (IRT), la cual requiere pruebas piloto costosas y a gran escala con muestras representativas de estudiantes. Si bien los LLMs ofrecen el potencial de aproximar la dificultad del ítem directamente desde el texto, varios desafíos dificultan su fiabilidad:

1. Dependencia del Dominio: Los modelos se comportan de manera inconsistente entre materias (ej. Matemáticas frente a Humanidades).
2. Multimodalidad: Los ítems de exámenes del mundo real suelen depender de diagramas y tablas; convertir estos elementos a texto conlleva el riesgo de perder pistas espaciales esenciales para el razonamiento.
3. Calibración frente a Clasificación: Los modelos pueden lograr un error absoluto bajo al predecir la dificultad media (regresión a la media), mientras fallan en preservar el orden relativo (fidelidad de rango) de los ítems.
4. Sensibilidad al Contexto (Plasticidad): No está claro si los modelos pueden ajustar significativamente las estimaciones de dificultad basándose en la demografía del alumno (ej. país o formación educativa) o si tales pistas inducen cambios ruidosos y sesgados.

Este estudio aborda estas brechas mediante la evaluación comparativa de LLMs frente a datos calibrados mediante IRT para determinar si pueden servir como herramientas de preselección fiables para el diseño de evaluaciones.

Metodología

Conjunto de Datos

El estudio utiliza un corpus de 1.031 preguntas de opción múltiple del Exame Nacional do Ensino Médio (ENEM) de Brasil, que abarca los años 2017–2022. El conjunto de datos abarca cuatro materias: Matemáticas (MT), Ciencias de la Naturaleza (CN), Ciencias Humanas (CH) y Lenguajes y Códigos (LC).

• Verdad de Referencia (Ground Truth): Parámetros de dificultad IRT oficiales ($b_i$) derivados del rendimiento de estudiantes a gran escala, mapeados a una escala de 1 a 10.
• Modalidad: El 38,1% de los ítems contienen elementos visuales (diagramas, gráficos, tablas). Estos fueron transcritos a texto utilizando LLMs con capacidad de visión (GPT-4o, Gemini-2.0-Flash) para simular flujos de trabajo de solo texto, preservando errores menores de transcripción para reflejar condiciones de despliegue realistas.

Protocolo Experimental

• Modelos: Se evaluaron diez LLMs heterogéneos, incluyendo cuatro APIs propietarias (GPT-4o, o3, Claude-4-Sonnet, Gemini-2.0/2.5-Flash) y seis modelos de pesos abiertos (Phi-4, Mistral Large, DeepSeek-R1, Qwen-3, Llama-3.2).
• Estrategias de Prompting: Se probaron ocho familias de prompts, que van desde instrucciones mínimas hasta andamiajes de razonamiento estructurados:
  • Zero-shot y Enhanced Zero-shot.
  • Few-shot y Persona+Few-shot.
  • Cadena de Pensamiento (CoT), Basado en Puntos (descomposición de rúbrica) y Árbol de Pensamientos (ToT).
  • Sintético/Playground (salida JSON estructurada).
• Prueba de Sesgo: Una prueba de "plasticidad" inyectó un único token de país (ej. "estudiantes en [País]") en los prompts para cuatro modelos representativos a través de siete naciones (Brasil, China, Finlandia, etc.) para medir los desplazamientos en las estimaciones de dificultad.

Métricas

El rendimiento se evaluó mediante:

• Calibración Absoluta: Error Cuadrático Medio (RMSE) y Error Absoluto Medio (MAE) frente a los objetivos de IRT.
• Fidelidad de Rango: Correlación de rango de Spearman ($\rho$).
• Estabilidad: Sensibilidad al prompt ($\sigma_{prompt}$) y alineación de la distribución (Divergencia KL).
• Sesgo: Residuales con signo y el Índice de Plasticidad (PI) para medir la capacidad de respuesta a claves demográficas.
• Calibración: Se aplicaron desplazamientos aditivos post-hoc y mapeo afín para corregir sesgos de localización global.

Resultados Clave

1. Compromiso entre Precisión y Clasificación

Existe un compromiso significativo entre la calibración absoluta y la fidelidad de rango.

• Un RMSE Bajo es Engañoso: Modelos como Llama-3 lograron un RMSE bajo (1.40) al regredir hacia la media de la dificultad, lo que resultó en una correlación de rango casi nula ($\rho \approx 0.10$).
• Mejores Desempeños: Phi-4 (pesos abiertos) y Gemini-2.5-Flash ofrecieron el desempeño más equilibrado, logrando un RMSE competitivo con una fuerte fidelidad de rango ($\rho \approx 0.31–0.37$).
• Sensibilidad al Prompt: Cambiar las familias de prompts a menudo desplazaba el rendimiento más que cambiar de modelo. Para los modelos de pesos abiertos, los andamiajes de razonamiento (Persona, Basado en Puntos) mejoraron significativamente la fidelidad de rango. Los modelos propietarios mostraron menos sensibilidad a los cambios de prompt.

2. Desempeño por Materia

• Matemáticas: Exhibió el mayor error y la mayor sensibilidad al prompt. Los prompts "Basados en Puntos" (descomposición de pasos) fueron más efectivos, lo que sugiere que el razonamiento tipo rúbrica ayuda en los ítems STEM de múltiples pasos.
• Lenguajes: Los modelos propietarios (Claude-4-Sonnet) destacaron aquí.
• Ciencias Humanas: DeepSeek-R1 fue el que mejor desempeñó, probablemente debido al preentrenamiento centrado en el razonamiento para contextos socio-históricos.
• Ciencias de la Naturaleza: Mostró una amplia varianza de error; Gemini-2.5-Flash logró la mayor correlación de rango.

3. La Penalización de la Modalidad

La transcripción de ítems visuales a texto incurrió en una penalización de rendimiento constante.

• Los ítems visuales aumentaron el RMSE en un promedio de 1.26 puntos en comparación con los ítems no visuales.
• Los modelos fallaron sistemáticamente en capturar la tendencia humana de dificultad para los visuales: mientras que los humanos encuentran los ítems visuales más fáciles en Ciencias de la Naturaleza, los modelos a menudo sobreestimaron su dificultad o se mantuvieron neutrales.
• Los prompts concisos y basados en criterios (Basado en Puntos, Enhanced Zero-shot) fueron menos sensibles a los cambios de modalidad que los plantillas de razonamiento complejas.

4. Sesgo Sistemático y Calibración

• Subestimación Global: Todos los modelos subestimaron sistemáticamente la dificultad del ítem (prediciendo los ítems como más fáciles de lo que indica la IRT). El residuo medio fue positivo para cada sistema, siendo o3 el que mostró el mayor desplazamiento ($\approx +3$ puntos).
• Eficacia de la Calibración: Un simple desplazamiento aditivo (calibración post-hoc) redujo significamente el RMSE y el MAE para todos los modelos sin alterar las correlaciones de rango ($\rho$). Esto indica que una gran parte del error es un sesgo de localización corregible mediante un ajuste lineal.

5. Plasticidad y Sensibilidad al Contexto

Al ser instados con claves específicas de países:

• Plasticidad Limitada: Los modelos exhibieron desplazamientos pequeños pero sistemáticos en sus estimaciones de dificultad. Sin embargo, estos desplazamientos fueron ruidosos e inconsistentes con las brechas de rendimiento del mundo real (ej. rankings PISA).
• Varianza del Modelo: Solo Llama-3 mostró una asociación monotónica significativa con los rankings de lectura de PISA. Otros modelos (GPT-4o, o3) mostraron tendencias débiles o negativas.
• Riesgo: La falta de una adaptación consistente y significativa sugiere que los LLM actuales aún no están listos para la personalización adaptativa al contexto y corren el riesgo de codificar una noción de "talla única" sobre la dificultad o de amplificar los sesgos si se utilizan para pruebas adaptativas.

Significado y Reivindicaciones

El artículo concluye que, si bien los LLM aún no son oráculos autoritarios para la dificultad de los ítems, poseen una señal accionable para la clasificación y el triaje. Los autores abogan por un flujo de trabajo de "evaluación antes de la generación":

1. LLMs como Filtros: Los LLMs pueden servir como filtros de bajo costo previos al despliegue para priorizar ítems candidatos por su dificultad predicha, siempre que:
   • Se aplique una calibración post-hoc simple para corregir los sesgos de localización global.
   • La evaluación enfatice tanto la alineación absoluta (vía calibración) como la fidelidad de rango.
   • El contenido visual se maneje con precaución, ya que la transcripción de solo texto degrada el desempeño.
2. Humano en el Bucle (Human-in-the-Loop): Los ítems que pasen la puerta de filtrado del LLM deben someterse a curación humana y a pruebas piloto limitadas (validación IRT) antes de su despliegue operativo.
3. Salvaguardas de Equidad: El estudio demuestra que los modelos actuales carecen de la "plasticidad" para adaptarse de manera fiable a las demografías de los alumnos. Por lo tanto, se deben evitar los tokens demográficos en los prompts de producción, y se deben integrar diagnósticos de equidad en el proceso de diseño de la evaluación para evitar el refuerzo de las desigualdades.

El trabajo establece que la estimación de la dificultad es una capacidad prerrequisito que debe ser calibrada y auditada antes de que los LLM puedan ser utilizados de manera responsable para generar o seleccionar contenido de evaluación de alto impacto.