Resumen Técnico: Un Flujo de Trabajo de Calificación Basado en el Currículo para LLM-como-Juez en Educación

Planteamiento del Problema

La rápida adopción de la IA Generativa y los Modelos de Lenguaje Extensos (LLM) en la educación ha superado el desarrollo de sistemas robustos y verificables para la evaluación de alto nivel. Aunque los LLM muestran potencial en la calificación automatizada, confiar únicamente en la ingeniería de prompts conlleva el riesgo de producir resultados que se desvíen de los estándares curriculares autorizados, carezcan de trazabilidad hacia las directrices oficiales y no logren capturar el conocimiento tácito que los docentes experimentados aplican durante la evaluación. Los enfoques actuales suelen tratar la evaluación como una tarea centrada en el modelo, descuidando la necesidad de flujos de trabajo de software que fundamenten sistemáticamente el razonamiento del modelo en artefactos de programas de estudio autorizados, descriptores de bandas de desempeño y principios de calificación. Esta brecha es crítica en contextos de alta exigencia (por ejemplo, exámenes de ingreso universitario) donde la consistencia, la transparencia y la alineación con los estándares jurisdiccionales son primordiales.

Metodología: El Flujo de Trabajo de Calificación Basado en el Currículo

Los autores proponen un flujo de trabajo de LLM-como-Juez configurable y de múltiples etapas, desarrollado conjuntamente con un socio industrial (Studitory) para apoyar la preparación de exámenes. A diferencia de los sistemas RAG (Retrieval-Augmented Generation) estándar, este flujo de trabajo trata los artefactos curriculares autorizados como entradas de "primer nivel" en lugar de contexto auxiliar. La arquitectura está diseñada para ser verificable, auditable y fundamentada en el marco del HSC (Higher School Certificate) del Departamento de Educación de Nueva Gales del Sur (NSW).

El flujo de trabajo opera a través de las siguientes etapas:

1. Emparejamiento y Verificación del Programa de Estudios

• Procesamiento de Entrada: El sistema ingiere una pregunta y recupera declaraciones relevantes de "Aprender sobre" (conocimiento de contenido) y "Aprender a" (habilidades cognitivas) del programa de estudios del HSC.
• Recuperación Semántica: Una base de datos vectorial almacena los embeddings de las declaraciones del programa de estudios. El sistema realiza un emparejamiento por similitud semántica para vincular la pregunta con temas y subtemas relevantes.
• Selección de Habilidades: El número de habilidades a evaluar se determina por la asignación máxima de puntos de la pregunta (markmax), utilizando un mapeo configurable derivado del análisis histórico de exámenes.
• Verificación de Coherencia: Un paso de verificación dedicado calcula la "recuperación de resultados" para asegurar que las habilidades y conceptos seleccionados cubran suficientemente los resultados de aprendizaje esperados. Los mapeos incoherentes son descartados o reordenados.

2. Generación de Criterios de Calificación

Esta etapa traduce la intención curricular en rúbricas estructuradas y específicas de cada pregunta a través de dos subpasos:

• Estructuración de Criterios: Las habilidades y resultados emparejados se agrupan en dimensiones funcionales de evaluación (por ejemplo, comprensión conceptual, aplicación). Se inyecta el Glosario de Palabras Clave del HSC para estabilizar el significado semántico de los verbos directivos (por ejemplo, "explicar", "evaluar") según las definiciones oficiales. El valor de markmax restringe la granularidad y la distribución de los puntos.
• Calibración de Desempeño: Los criterios estructurados se mapean a cuatro niveles de calidad (Integral, Sólido, Comprensión Parcial, Limitado) utilizando Descriptores de Bandas de Desempeño autorizados. La granularidad de estos niveles se ajusta dinámicamente según el markmax (por ejemplo, subdividiendo "Comprensión Parcial" para preguntas de alto puntaje).
• Restricciones Normativas: Trece principios oficiales de directrices de calificación (por ejemplo, equidad, concesión de enfoques alternativos) se integran como reglas no negociables para evitar la alucinación de normas y asegurar que se otorgue el crédito parcial de manera apropiada.

3. Bucle de Calificación Automatizada y Retroalimentación

• Calificación: Cuando un estudiante envía una respuesta, el sistema la evalúa frente a los criterios generados por cada criterio, permitiendo el crédito parcial.
• Generación de Retroalimentación: Las justificaciones se generan haciendo referencia a las habilidades específicas del programa de estudios y las bandas de desempeño utilizadas en la decisión de calificación, asegurando que la retroalimentación sea trazable a los objetivos de aprendizaje en lugar de comentarios genéricos.
• Verificación de Procedencia: Todos los artefactos intermedios (habilidades emparejadas, rúbricas generadas, lógica de calificación) se registran persistentemente con marcas de tiempo y metadatos, permitiendo la auditoría post-hoc y la reconstrucción de la decisión de calificación.

Principales Contribuciones

1. Operacionalización Arquitectónica: El diseño e implementación de un flujo de trabajo de LLM-como-Juez, configurable y basado en el currículo, que integra artefactos de evaluación autorizados como contexto estructurado, yendo más allá de la simple ingeniería de prompts hacia un flujo de trabajo de software verificable.
2. Integración del Conocimiento Tácito: La identificación y operacionalización del juicio humano tácito (por ejemplo, heurísticas de calificadores, verificaciones de coherencia) mediante artefactos y restricciones estructuradas, abordando una brecha crítica en la evaluación educativa confiable.
3. Validación Empírica: Una evaluación preliminar que demuestra que el flujo de trabajo logra resultados de calificación comparables a los de tutores humanos, proporcionando además justificaciones que son explícitamente trazables a la intención curricular y a los estándares oficiales.

Resultados de la Evaluación Preliminar

El sistema fue evaluado con un conjunto de datos de 47 preguntas calificadas por un tutor humano, utilizando métricas que incluyen el Coeficiente de Correlación de Concordancia (CCC) de Lin y la kappa de Cohen ponderada.

• Acuerdo de Calificación: El flujo de trabajo logró un CCC de 0.81 y una kappa de 0.64 al compararse con las calificaciones humanas. Curiosamente, el prompting directo de LLM (sin el flujo de trabajo estructurado del sistema) mostró un acuerdo numérico comparable o ligeramente superior con las marcas humanas, lo que sugiere que los LLM pueden imitar patrones de calificación mediante su conocimiento interno. Sin embargo, los autores argumentan que esto no garantiza la alineación con los estándares autorizados.
• Calidad de la Justificación: En comparaciones por pares, las justificaciones del flujo de trabajo superaron significativamente tanto a las justificaciones generadas por humanos como a los prompts directos de LLM.
  • Tasas de Victoria: El flujo de trabajo ganó el 80.4% de las comparaciones contra justificaciones humanas y aproximadamente el 69.6% contra las líneas base directas de LLM (gpt-5 y gpt-5-nano).
  • Trazabilidad: El análisis de la puntuación BLEU mostró que las justificaciones del flujo de trabajo tenían una superposición léxica significativamente mayor con el texto autorizado del programa de estudios, las definiciones del glosario y los descriptores de las bandas de desempeño en comparación con otros métodos.
• Estudios de Caso: El análisis de discrepancias específicas destacó que el flujo de trabajo aplica una interpretación de "primero los criterios" tolerante a la recuperación semántica parcial, mientras que los calificadores humanos pueden aplicar cortes de legibilidad pragmática. Por el contrario, el flujo de trabajo puede ser excesivamente rígido respecto a la semántica de los verbos directivos (por ejemplo, que "discutir" requiera ambos lados de un argumento) si no es guiado por una práctica profesional matizada.
• Despliegue Operativo: Integrado en la plataforma Studitory para más de 5,700 estudiantes, el sistema procesó más de 3,000 respuestas con una tasa de anulación manual de solo 2.91%, lo que indica usabilidad operativa. El sistema también demostró robustez contra intentos de inyección de prompts al asignar cero puntos.

Significado y Reivindicaciones

El artículo sostiene que la arquitectura propuesta demuestra cómo la ingeniería de contexto puede operacionalizar la IA generativa responsable para la evaluación. Al tratar los artefactos curriculares autorizados y los principios de calificación como componentes de primer nivel, el flujo de trabajo incorpora el juicio profesional en el tiempo de diseño mientras soporta una calificación escalable y consistente en tiempo de ejecución.

Los autores afirman que, si bien los LLM no guiados pueden aproximarse numéricamente a las calificaciones humanas, carecen de las garantías de alineación con los artefactos curriculares autorizados y no logran producir justificaciones trazables a los estándares oficiales. El estudio concluye que el fundamento y la verificación del currículo son mecanismos arquitectónicos críticos para construir sistemas de LLM-como-Juez confiables, ofreciendo un camino hacia una evaluación automatizada consistente, transparente y auditable en contextos educativos de alta exigencia. El trabajo posiciona al flujo de trabajo no como un reemplazo de la supervisión humana, sino como una herramienta que produce artefactos trazables y listos para la moderación para apoyar la revisión y calibración humana.