Resumen Técnico: Generalización de Rúbrica Cruzada para la Calificación de Ensayos de Pensamiento Crítico

Definición del Problema

La investigación en Calificación Automática de Ensayos (AES, por sus siglas en inglés) se ha centrado tradicionalmente en la generalización de prompts cruzados, donde los modelos califican ensayos de prompts no vistos mientras se adhieren a un conjunto constante de criterios de calificación (rúbricas). Sin embargo, la evaluación educativa en el mundo real a menudo requiere la generalización de rúbrica cruzada: entrenar un modelo en ensayos etiquetados bajo un conjunto de rúbricas y evaluar su capacidad para calificar ensayos bajo rúbricas previamente no vistas que apuntan a diferentes aspectos de la escritura. Esto es particularmente desafiante en la evaluación del pensamiento crítico, donde se pueden introducir nuevos criterios de rúbrica con el tiempo y la obtención de anotaciones de expertos para estas nuevas rúbricas es costosa.

El desafío central es que el modelo debe generalizar a nuevos criterios de calificación donde la evidencia textual relevante, su interpretación y la definición de competencia difieren de la distribución de entrenamiento. Este artículo define la tarea como el mapeo de ensayos a niveles de competencia discretos definidos por rúbricas de lenguaje natural, donde el modelo es entrenado en un conjunto disjunto de rúbricas de entrenamiento ($\mathcal{R}_{train}$) y ensayos ($\mathcal{E}_{train}$), pero debe evaluar ensayos ($\mathcal{E}_{test}$) bajo rúbricas de prueba no vistas ($\mathcal{R}_{test}$).

Metodología

Los autores proponen un marco de ajuste fino (fine-tuning) de Modelos de Lenguaje de Gran Escala (LLM) que aborda la generalización de rúbrica cruzada a través de dos componentes primarios: representaciones de rasgos agnósticas a la rúbrica (traits) y estrategias de supervisión de ensayos objetivo.

1. Representaciones de Rasgos Agnósticas a la Rúbrica

Para cerrar la brecha entre las rúbricas específicas y la calidad general del ensayo, los autores introducen un conjunto de seis rasgos analíticos fundamentados en la teoría de la argumentación y el pensamiento crítico. Estos rasgos sirven como una representación intermedia compartida ($h(e)$) que captura propiedades de nivel inferior recurrentes en diferentes rúbricas:

• Explicitud de la Afirmación: Claridad del punto principal.
• Coherencia Estructural: Organización y conexión de ideas.
• Evidencia de Apoyo: Uso de ejemplos y hechos.
• Vínculo Evidencia-Afirmación: Explicación de cómo la evidencia respalda la afirmación.
• Perspectivas Alternativas: Consideración de otros puntos de vista.
• Profundidad Analítica: Razonamiento más allá de la descripción.

Estos rasgos se definen como categorías fijas y agnósticas a la rúbrica (por ejemplo, ausente/parcial/fuerte). El marco explora cuatro configuraciones para integrar estos rasgos:

• Solo entrada (Input-only): Anexar valores de rasgos (y opcionalmente observaciones de lenguaje natural) a la entrada del modelo.
• Solo salida (Output-only): Entrenar al modelo para predecir conjuntamente los valores de los rasgos (y observaciones) junto con la etiqueta de la rúbrica final.

2. Configuraciones de Supervisión

El estudio investiga cómo la disponibilidad de etiquetas de ensayos durante el entrenamiento afecta la generalización a rúbricas no vistas, considerando tres configuraciones distintas:

• Sin Etiquetas (El más difícil) [No Labels]: El modelo es entrenado solo con $\mathcal{E}_{train}$ y $\mathcal{R}_{train}$. Los ensayos objetivo ($\mathcal{E}_{test}$) no son vistos durante el entrenamiento.
• Etiquetas Pseudo (Pseudo Labels): El modelo es entrenado primero en la configuración de "Sin Etiquetas", luego se utiliza para generar etiquetas pseudo para $\mathcal{E}_{test}$ bajo rúbricas vistas ($\mathcal{R}_{train}$). Un nuevo modelo es entrenado con este conjunto de datos aumentado.
• Etiquetas de Oro (Gold Labels): Los ensayos objetivo ($\mathcal{E}_{test}$) están disponibles durante el entrenamiento pero solo bajo rúbricas vistas ($\mathcal{R}_{train}$) con etiquetas anotadas por humanos. El modelo es evaluado en $\mathcal{E}_{test}$ bajo rúbricas no vistas ($\mathcal{R}_{test}$).

3. Arquitectura del Modelo

Los autores realizan el ajuste fino de Llama 3.1 8B Instruct utilizando un enfoque de generación de texto condicional. Para cada par ensayo-rúbrica, el modelo genera una justificación en lenguaje natural seguida de la etiqueta de la rúbica. El objetivo de entrenamiento minimiza la pérdida de entropía cruzada.

Resultados Clave

Los experimentos se realizaron en un conjunto de datos de 500 ensayos de pensamiento crítico de estudiantes anotados bajo seis rúbricas. Los resultados resaltan las siguientes tendencias:

Impacto de los Rasgos y la Supervisión

• Rasgos en la Configuración Más Difícil: En la configuración de Sin Etiquetas (sin supervisión de ensayos objetivo), la incorporación de rasgos mejora significamente el rendimiento. Específicamente, la configuración "Salida: Valores de Rasgos" mejoró el Macro F1 en un 5.0% (de 0.353 a 0.403) y la Exactitud en un 3.7% en comparación con la línea base sin rasgos. Predecir los rasgos como salidas resultó más efectivo que proporcionarlos como entradas, lo que sugiere que la generación de abstracciones a nivel de rasgo fomenta un mapeo estructurado.
• Rendimientos Decrecientes con Supervisión: El beneficio de los rasgos disminuye a medida que aumenta la supervisión. En la configuración de Etiquetas de Oro, las configuraciones basadas en rasgos no superaron consistentemente a la línea base sin rasgos, lo que sugiere que la supervisión directa sobre los ensayos objetivo permite al modelo aprender representaciones agnósticas a la rúbrica de manera más efectiva sin el andamiaje de rasgos intermedios.
• Impacto de la Supervisión: El aumento de la supervisión desde Sin Etiquetas hasta Etiquetas de Oro mejoró consistentemente el rendimiento. La configuración de Etiquetas de Oro produjo las mayores ganancias, mejorando el Macro F1 en un 7.8% respecto a la línea base de Sin Etiquetas. Las Etiquetas Pseudo ofrecieron una alternativa competitiva y práctica cuando las etiquetas de oro no están disponibles.

Comparación con Líneas Base

• Ajuste Fino vs. Zero-Shot: El ajuste fino del modelo Llama de código abierto superó sustancialmente al zero-shot prompting del mismo modelo. La puntuación F1 aumentó de 0.222 (zero-shot) a 0.353 (línea base de ajuste fino), demostrando que la exposición a la distribución de etiquetas durante el entrenamiento es crítica para la calibración y la alineación ordinal.
• Código Abierto vs. Propietario: El mejor modelo ajustado (Etiquetas de Oro, Sin Rasgos) alcanzó un Macro F1 de 0.431. Este superó al GPT-5-mini propietario (0.410) por un 2.1% y quedó solo un 1.9% por detrás del GPT-5 (0.450).

Significancia y Contribuciones

El artículo reclama tres contribuciones principales:

1. Formulación del Problema: Establece la generalización de rúbrica cruzada como un desafío distinto y crítico en la AES, yendo más allá de la configuración estándar de cross-prompt para abordar escenarios donde los propios criterios de calificación cambian.
2. Análisis Sistemático: Proporciona un estudio sistemático de dos mecanismos clave para mejorar la generalización: representaciones de rasgos agnósticas a la rúbrica y supervisión de ensayos objetivo.
3. Eficacia Práctica: Los resultados demuestran que estos componentes mejoran la generalización de maneras complementarias. Los rasgos son particularmente vitales en entornos de baja supervisión (Sin Etiquetas), mientras que una fuerte supervisión permite que los modelos de código abierto ajustados rivalicen con los sistemas propietarios basados en prompting.

Los autores concluyen que las estructuras intermedias basadas en rasgos y la supervisión controlada ofrecen una alternativa escalable, rentable y que preserva la privacidad para la evaluación basada en rúbricas, particularmente a medida que los criterios de calificación evolucionan en entornos educativos. Señalan que el trabajo futuro debería examinar la generalizabilidad de estos hallazgos a otros conjuntos de datos y dominios de escritura, así como explorar técnicas de aprendizaje de baja supervisión más robustas.