Human-in-the-Loop Benchmarking of Heterogeneous LLMs for Automated Competency Assessment in Secondary Level Mathematics

A continuación se presenta un resumen técnico detallado del artículo "Evaluación de referencia con intervención humana de LLMs heterogéneos para la evaluación automatizada de competencias en matemáticas de nivel secundario."

1. Planteamiento del Problema

El artículo aborda el cuello de botella en la transición desde la evaluación basada en calificaciones tradicional hacia la Educación Basada en Competencias (EBC) en matemáticas de nivel secundario.

• El Desafío: La EBC requiere un mapeo cualitativo de las habilidades del estudiante (por ejemplo, comprensión, fluidez operativa) en lugar de puntuaciones numéricas simples. Este proceso es laborioso, subjetivo y difícil de escalar manualmente.
• La Brecha: Aunque los Modelos de Lenguaje Grandes (LLM) muestran promesa en la calificación automatizada, existe una falta de validación empírica que compare los LLMs con expertos humanos a nivel de rúbrica de competencias, particularmente en matemáticas escolares. Los estudios existentes a menudo sufren del problema de la "Caja Negra" (falta de transparencia), limitaciones de contexto y una falta de Ensayos Controlados Aleatorizados (ECA) frente a la verdad fundamental humana.
• Contexto Específico: El estudio se centra en el currículo de Matemáticas Opcionales de 10.º grado en Nepal, abarcando temas complejos como Matrices, Geometría Analítica, Trigonometría y Funciones.

2. Metodología

Los autores emplearon un marco de evaluación de referencia con Intervención Humana (HITL) para evaluar la eficacia de LLMs heterogéneos en la automatización de la evaluación de competencias.

A. Construcción del Conjunto de Datos y la Verdad Fundamental

• Fuente de Datos: 33 hojas de respuesta manuscritas de estudiantes de 10.º grado en Nepal.
• Diseño de Evaluación: 16 preguntas de respuesta abierta en cuatro temas matemáticos. Se eligieron formatos de respuesta abierta para capturar los pasos de razonamiento y los malentendidos parciales.
• Verdad Fundamental Humana: Dos profesores senior de matemáticas realizaron una calificación doble ciego en las hojas de respuesta.
  • Fiabilidad Inter-evaluadores: Se logró un Kappa de Cohen Ponderado Cuadrático ($\kappa_w$) de 0.8652, indicando un acuerdo "Casi Perfecto", estableciendo una verdad fundamental robusta.
  • Arbitraje: Un tercer experto senior resolvió cualquier conflicto para finalizar las etiquetas de la verdad fundamental.

B. Marco de Competencias

El estudio utilizó una rúbrica multidimensional que evalúa cuatro Competencias Transversales a través de cuatro niveles de competencia (Conciencia, Aplicación, Dominio, Influencia):

1. Comprensión: Entender la intención del problema.
2. Conocimiento: Profundidad conceptual y conocimiento previo.
3. Fluidez Operativa: Precisión procedimental y aplicación de reglas.
4. Comportamiento y Correlación: Selección estratégica de herramientas e integración de conceptos.

C. Ensamble de LLM y Arquitectura

Se evaluó un ensamble de múltiples modelos frente a la verdad fundamental humana. Todos los modelos utilizaron una temperatura uniforme (0.1) y un único Prompt Maestro de Evaluación (Instrucción Basada en Roles: "Educador Matemático Experto") para garantizar la consistencia.

• OCR/Digitalización: Gemini 2.5 Flash (Multimodal) para transcribir hojas de respuesta manuscritas.
• EAGLE: Llama 3.1-8B (Densa) – Optimizada para velocidad/latencia.
• ORION: Llama 3.3-70B (Densa) – Optimizada para razonamiento profundo.
• NOVA: Gemini 2.5 Flash (MoE dispersa) – Control de alto rendimiento.
• LYRA: Gemini 3 Pro (MoE dispersa) – "Árbitro Judicial" que utiliza Cadena de Pensamiento (CoT) para resolver inconsistencias.

D. Métrica de Evaluación

La métrica principal fue el Kappa de Cohen Ponderado Cuadrático ($\kappa_w$). Se eligió sobre la precisión simple porque tiene en cuenta la naturaleza ordinal de los niveles de competencia (por ejemplo, penalizar un error de "Dominio" vs. "Influencia" menos severamente que un error de "Dominio" vs. "Conciencia").

3. Contribuciones Clave

1. Marco Alineado a Competencias: Desarrollo de una rúbrica específica para Matemáticas de 10.º grado (Nepal) que mapea 16 preguntas específicas por tema a cuatro competencias transversales globales.
2. Protocolo de Evaluación Humana-LLM: Un protocolo riguroso que involucra calificación humana doble ciego y una evaluación de ensamble de múltiples modelos LLM, estableciendo un nuevo estándar para la validación empírica en IA educativa.
3. Análisis Arquitectónico: Una investigación empírica sobre cómo la escala del modelo (conteo de parámetros) frente a la arquitectura (Densa vs. MoE dispersa) impacta el rendimiento en tareas restringidas por rúbricas.
4. Comparación de Código Abierto y Propietario: Comparación directa de modelos de pesos abiertos (serie Llama) frente a modelos propietarios de vanguardia (serie Gemini).

4. Resultados Clave

El estudio reveló una significativa "Brecha de Compatibilidad Arquitectónica":

• Línea Base Humana-Humana: $\kappa_w \approx 0.87$ (Casi Perfecto).
• Rendimiento LLM vs. Humano:
  • NOVA (Gemini 2.5 Flash): Logró el acuerdo más alto con los humanos ($\kappa_w \approx 0.38$), clasificado como "Acuerdo Justo".
  • LYRA (Gemini 3 Pro): Alineación moderada ($\kappa_w \approx 0.27$).
  • EAGLE (Llama 3.1-8B): Baja alineación ($\kappa_w \approx 0.10$).
  • ORION (Llama 3.3-70B): Acuerdo Negativo ($\kappa_w = -0.0261$), indicando "Ningún Acuerdo". El modelo de 70B contradijo sistemáticamente el razonamiento humano.
• Consenso Inter-modelo:
  • El acuerdo más fuerte fue entre los dos modelos Gemini (Lyra y Nova, $\kappa \approx 0.56$), sugiriendo una lógica interna compartida en la arquitectura MoE dispersa.
  • Los modelos Llama y Gemini mostraron acuerdo de "Ligero" a "Ligero", indicando diferencias fundamentales en la interpretación de datos matemáticos.

Hallazgo Crítico: El cumplimiento del modelo con las restricciones de instrucción y la adecuación arquitectónica (MoE dispersa) resultaron más críticos para las tareas basadas en rúbricas que la escala bruta de parámetros. El modelo denso más grande (Orion) no logró adherirse a la rúbrica estricta, probablemente debido a la "deriva de instrucción", mientras que los modelos más pequeños y optimizados funcionaron mejor.

5. Significado y Conclusión

• Cambio de Paradigma: Los resultados desafían la suposición de que "más grande es mejor". En tareas educativas especializadas y restringidas por rúbricas, el cumplimiento arquitectónico y el seguimiento de instrucciones superan al conteo bruto de parámetros.
• Rol de la IA: Los LLMs aún no son adecuados para la certificación autónoma debido al riesgo de alucinaciones y la falta de razonamiento pedagógico profundo. Sin embargo, son altamente efectivos como Herramientas Asistenciales de "Primer Paso".
• Valor de la Intervención Humana: El estudio valida un marco HITL donde los LLMs extraen evidencia preliminar y mapean competencias, reduciendo significativamente la carga de trabajo para expertos humanos mientras mantienen el "escudo de credibilidad" de la supervisión humana.
• Escalabilidad: Aunque probado en Nepal, el marco de competencias (Comprensión, Conocimiento, Fluidez, Comportamiento) es universal, lo que sugiere que la metodología puede escalarse a contextos internacionales para una evaluación más científica y eficiente.

Futuras Direcciones: Los autores recomiendan "Auditorías de Razonamiento" para verificar la lógica de la IA, ampliar los tamaños de muestra e implementar un "Bucle de Crítica" (sistema de dos IA) para mitigar el sesgo antes del despliegue autónomo completo.