Resumen Técnico: De la Calificación a las Explicaciones

Planteamiento del Problema

Los modelos de calificación automatizados se despliegan cada vez más para asignar calificaciones de calidad basadas en rúbricas a desempeños lingüísticos complejos, como las transcripciones de clases. Sin embargo, estos sistemas suelen funcionar como "cajas negras", proporcionando puntuaciones escalares sin ofrecer una visión del razonamiento detrás de ellas. Esta falta de transparencia es particularmente problemática en contextos educativos de alto riesgo donde las partes interesadas deben comprender, confiar y, potencialmente, impugnar los juicios automatizados. Aunque los Modelos de Lenguaje de Gran Escala (LLM) pueden generar racionalidades de forma libre, la literatura reciente sugiere que estas explicaciones pueden ser persuasivas pero infieles al proceso de toma de decisiones real del modelo. El desafío central abordado es determinar qué partes de un texto impulsan realmente la puntuación basada en rúbrica de un modelo y cómo evaluar si una explicación captura fielmente dichos impulsores.

Metodología

Los autores proponen un marco unificado para la interpretabilidad a nivel de oración de la calificación basada en rúbricas, instanciado en la dimensión de Calidad de la Retroalimentación (QoF) del Sistema de Evaluación de Aula (CLASS) utilizando el corpus NCTE (6,005 segmentos de transcripciones de aulas de matemáticas de primaria anotados).

Configuración Experimental

El estudio compara dos familias de modelos:

1. Modelos de Lenguaje Preentrenados (PLM) con Ajuste Fino (Fine-tuned): Incluyendo BERT, ALBERT, RoBERTa y DeBERTa (variantes base y large). Estos modelos se ajustan mediante regresión para predecir una puntuación de QoF de 1 a 7.
2. Modelos de Lenguaje de Gran Escala (LLM) con Ajuste de Instrucción: Incluyendo variantes de Llama 3.1, Mixtral, Qwen 3 y Mistral. Estos modelos realizan la calificación mediante prompting de pocos disparos (few-shot) y el ranking de oraciones mediante prompting de cero disparos (zero-shot).

Protocolos de Interpretabilidad y Evaluación

El marco evalúa las explicaciones utilizando tres mecanismos principales:

• Generación de Explicaciones:
  • SHAP (SHapley Additive exPlanations): Aplicado al nivel de incrustación (embedding) de la oración dentro de una arquitectura PLM jerárquica para generar atribuciones de características independientes del modelo.
  • Racionalidades de LLM: Los LLM son instruidos para clasificar las 10 oraciones más influyentes para una puntuación determinada.
• Análisis de Fidelidad (Basado en Eliminación): El sistema elimina progresivamente las $k$ mejores (donde $k=10$) oraciones identificadas por un método de explicación y vuelve a ejecutar el modelo de calificación. La magnitud del cambio en la predicción ($\Delta$) sirve como un indicador de fidelidad; los cambios mayores indican que la explicación identificó con éxito el texto influyente.
• Evaluación de Modelos Cruzados: Las explicaciones generadas por una familia de modelos (por ejemplo, SHAP de un PLM) se utilizan para perturbar la entrada de la otra familia (por ejemplo, un LLM), y viceversa. Esto pone a prueba si las explicaciones se transfieren de manera robusta entre arquitecturas o si permanecen específicas del modelo.
• Métricas de Alineación: Se computan la similitud de Jaccard y la correlación de Spearman para medir el traslape en la selección de oraciones entre SHAP y los LLM.

Contribuciones Clave

1. Marco General: Un marco basado en principios para la interpretabilidad a nivel de oración que combina atribuciones de valores de Shapley independientes del modelo con racionalidades generadas por LLM, específicamente adaptado para la calificación basada en rúbricas.
2. Análisis Comparativo: Una comparación sistemática de PLM especializados con ajuste fino frente a LLM mediante prompting, tanto en el rendimiento de la calificación como en la fidelidad de la explicación.
3. Evaluación de la Fidelidad: Una evaluación empírica de los métodos de explicación utilizando pruebas de eliminación, revelando que SHAP identifica oraciones que impulsan las predicciones de manera fiable, mientras que las racionalidades de los LLM a menudo inducen cambios menores y menos coherentes.
4. Consistencia de Modelos Cruzados: Un protocolo novedoso que demuestra que las atribuciones de SHAP se transfieren robustamente entre arquitecturas, mientras que las racionalidades de los LLM ejercen una influencia limitada e inconsistente en modelos alternativos.
5. Implicaciones Educativas: Una discusión sobre el diseño de herramientas de retroalimentación transparentes, advirtiendo contra el uso de racionalidades de LLM no validadas como justificaciones autoritativas en entornos de alto riesgo.

Resultados

Rendimiento de Calificación (RQ1)

• PLMs: Los PLM con ajuste fino superan significativamente a los LLM en precisión de predicción. El mejor PLM (DeBERTaV3 large) logra un Error Absoluto Medio (MAE) de 0.96, comparable a una línea base constante. Sin embargo, los PLM con ajuste fino exhiben compresión de etiquetas, rara vez prediciendo puntuaciones en los extremos (1 o 7) y colapsando hacia el rango medio (3–5).
• LLMs: Los LLM mediante prompting muestran tasas de error más altas (mejor MAE: 1.02 para Mistral Small) pero producen predicciones que abarcan toda la escala de 1 a 7, preservando mejor la variabilidad de la puntuación que los PLM.

Fidelidad de la Explicación (RQ2)

• SHAP vs. LLMs: Las pruebas de eliminación muestran que las oraciones identificadas por SHAP producen cambios de predicción más grandes y coherentes que las seleccionadas por los LLM.
• Alineación: El traslape entre las selecciones de oraciones de SHAP y los LLM es bajo (similitud de Jaccard media: 0.085; correlación de Spearman media: 0.062).
• Estabilidad: Los LLM exhiben una capacidad de control limitada, fallando a menudo en devolver el número exacto de oraciones solicitadas, y sus racionalidades inducen cambios de predicción más pequeños y a menudo inestables, incluso cuando se aplican a los modelos que las generaron.

Transferencia de Modelos Cruzados (RQ3)

• PLM a LLM: Eliminar las oraciones identificadas por SHAP (de un PLM) causa cambios significativos e inmediatos en las predicciones de los LLM, lo que sugiere que SHAP identifica características relevantes a través de las arquitecturas.
• LLM a PLM: Eliminar las oraciones identificadas por los LLM produce cambios de predicción sustancialmente menores en los PLM en comparación con la eliminación basada en SHAP. Las racionalidades de los LLM a menudo resultan en trayectorias no monotónicas, lo que indica que no capturan de manera fiable las características que impulsan las predicciones de los PLM.

Significado y Reivindicaciones

El artículo concluye que SHAP proporciona explicaciones más fieles y transferibles para la calificación basada en rúbricas en comparación con las racionalidades generadas por LLM. Si bien los LLM ofrecen usabilidad inmediata y distribuciones de puntuación más amplias, sus explicaciones suelen ser infieles al cómputo subyacente y no se generalizan bien entre arquitecturas de modelos.

Los autores sostienen que el marco propuesto ofrece una base fundamentada para evaluar los modelos de calificación y sus explicaciones en entornos educativos de alto riesgo. Enfatizan que en contextos como la retroalimentación docente, donde la confianza y la capacidad de impugnación son vitales, la dependencia de racionalidades de LLM no validadas es arriesgada. En su lugar, los métodos de atribución independientes del modelo como SHAP proporcionan una base más estable para una evaluación automatizada transparente y accionable. El trabajo no pretende que los LLM sean inútiles para la calificación, sino que destaca que sus racionalidades actuales no deben tratarse como justificaciones autoritativas para los juicios automatados sin una evaluación rigurosa de la fidelidad.