Interpretability from the Ground Up: Stakeholder-Centric Design of Automated Scoring in Educational Assessments

Resumen Técnico: Interpretabilidad desde la Base para la Puntuación Automatizada

1. El Problema

Aunque los sistemas de puntuación automatizada impulsados por IA ofrecen soluciones escalables y eficientes para evaluar respuestas complejas de los estudiantes, existe una brecha crítica en su adopción en evaluaciones reales a gran escala.

• Falta de Transparencia: A pesar de la creciente demanda de transparencia, no existe una solución ampliamente aceptada para la puntuación automatizada interpretable en contextos de alto riesgo.
• Limitaciones de las Soluciones Actuales: Los enfoques actuales de IA explicable (XAI) a menudo fallan en abordar las necesidades diversas de los actores humanos (estudiantes, desarrolladores, usuarios). Métodos comunes, como pedir a los LLMs que generen explicaciones mediante prompting (ej. Chain-of-Thought), no son fieles a la computación interna del modelo y pueden ser inconsistentes o engañosos.
• Consecuencias: La falta de interpretabilidad real dificulta la validación de la equidad, la detección de sesgos y la justificación de las decisiones de puntuación, lo que erosiona la confianza pública y la validez educativa.

2. Metodología y Marco Teórico

Los autores proponen un enfoque basado en principios, alejándose de tratar la puntuación como una tarea de predicción aislada para situarla dentro de un ciclo de vida centrado en las partes interesadas.

A. Principios FGTI (Faithful, Grounded, Traceable, Interchangeable)
Se definen cuatro principios fundamentales para la interpretabilidad en la puntuación automatizada:

1. Fiel (Faithful): Las explicaciones deben reflejar con precisión el mecanismo computacional real del modelo, no solo una narrativa generada superficialmente.
2. Fundamentado (Grounded): Las características (features) iniciales deben representar elementos explícitos y comprensibles para humanos de la respuesta del estudiante y la tarea, en lugar de vectores latentes opacos.
3. Rastreable (Traceable): El modelo debe descomponerse en subrutinas claras y secuenciales que representen pasos de razonamiento evidencial definidos.
4. Intercambiable (Interchangeable): Un humano debe poder intervenir e intercambiar la salida de cualquier subrutina de razonamiento con sus propios resultados si es necesario.

B. El Marco ANALYTICSCORE
Para demostrar la viabilidad de los principios FGTI, se desarrolló ANALYTICSCORE, un marco modular de tres fases aplicado a respuestas escritas construidas:

• Fase 1: Extracción de Componentes Analíticos. Se extraen elementos identificables explícitamente de las respuestas de los estudiantes (operacionalizados como proposiciones). En el estudio, se utilizó un LLM para extraer hasta 15 componentes por unidad de puntuación.
• Fase 2: Caracterización (Featurization). Las respuestas se convierten en valores de características basados en la presencia de los componentes analíticos. Se define una función de etiquetado con categorías comprensibles por humanos (ej. "parafraseo directo", "paráfraseo parcial", "ausencia").
  • Optimización: Para evitar costos prohibitivos en grandes escalas, se entrena un modelo de código abierto (Llama-3.1-8B) mediante fine-tuning supervisado (distilación) utilizando una muestra de etiquetas generadas por un LLM propietario (GPT-4.1/o4-mini).
• Fase 3: Puntuación Lógicamente Rastreable. Se utiliza un modelo de regresión logística ordinal (con variantes de umbral inmediato) que toma las características binarias como entrada. El modelo calcula un "valor de evidencia" ($\eta$) sumando pesos y lo compara con umbrales aprendidos para determinar la puntuación final. Este proceso permite ver exactamente qué características contribuyeron a la puntuación.

3. Contribuciones Clave

• Cambio de Paradigma: Se propone un cambio de enfoque desde la puntuación como una "caja negra" hacia un diseño centrado en las necesidades de las partes interesadas (estudiantes, desarrolladores, administradores).
• Definición de Principios FGTI: Se establece un marco teórico riguroso que va más allá de la mera visualización de importancia de características, exigiendo que el razonamiento sea humano-intercambiable y fiel.
• Marco de Referencia (ANALYTICSCORE): Se presenta el primer marco de puntuación automatizada interpretable que cumple con todos los principios FGTI y demuestra su viabilidad técnica.
• Validación Empírica: Se demuestra que es posible lograr una alta precisión de puntuación manteniendo la interpretabilidad, desafiando la noción de que la interpretabilidad sacrifica necesariamente el rendimiento.

4. Resultados Experimentales

El marco se evaluó en el conjunto de datos ASAP-SAS (10 ítems de respuestas abiertas en Ciencias, Lectura Informativa y Literaria).

• Precisión de Puntuación:
  • ANALYTICSCORE superó a muchos métodos de puntuación no interpretables (baselines) y a enfoques de few-shot prompting.
  • En promedio, la precisión (medida por Kappa Ponderado Cuadrático - QWK) estuvo dentro de 0.06 QWK del estado del arte (SOTA) no interpretable.
  • En áreas específicas, la brecha fue de 0.04 (Ciencias), 0.08 (Lectura Informativa) y 0.09 (Lectura Literaria).
• Alineación con Juicios Humanos:
  • Se comparó el comportamiento de caracterización (featurization) del modelo con el de anotadores humanos.
  • El caracterizador de Llama distilado alcanzó una alta concordancia con los humanos (QWK promedio de 0.90 en Ciencias, 0.72 en Lectura Informativa, 0.81 en Literaria).
  • La fiabilidad inter-observador entre humanos para la tarea de caracterización fue aceptable ($\alpha$ de Krippendorff entre 0.67 y 0.72), lo que valida que la tarea de caracterización es comprensible y consistente para humanos.
• Eficiencia: La distilación de un modelo grande (GPT-4.1) a uno pequeño (Llama-3.1-8B) mejoró significativamente el rendimiento del caracterizador (aumento promedio de 0.13 QWK), haciéndolo viable para despliegues a gran escala.

5. Significado e Impacto

• Viabilidad Práctica: El trabajo demuestra que no es necesario sacrificar la precisión por la transparencia. Es posible construir sistemas de puntuación automatizada que sean tanto precisos como totalmente interpretables.
• Confianza y Auditoría: Al hacer que el proceso de puntuación sea rastreable e intercambiable, se habilita la auditoría humana real, permitiendo identificar errores, sesgos o fallos en la lógica de puntuación que los modelos de caja negra ocultarían.
• Guía para el Futuro: Proporciona una línea base concreta para futuras investigaciones y desarrollos en evaluaciones educativas a gran escala, moviendo el campo desde la investigación académica teórica hacia la implementación práctica.
• Consideraciones Éticas: El artículo advierte que la interpretabilidad técnica por sí sola no garantiza la equidad; se requieren flujos de trabajo operativos rigurosos y auditorías continuas para asegurar que las interpretaciones se utilicen responsablemente.

En conclusión, este artículo establece un nuevo estándar para la puntuación automatizada educativa, demostrando que un diseño centrado en el usuario y basado en principios de razonamiento explícito puede lograr un rendimiento competitivo con los métodos de caja negra, mientras ofrece la transparencia necesaria para la confianza y la justicia educativa.