Quality-Conditioned Agreement in Automated Short Answer Scoring: Mid-Range Degradation and the Impact of Task-Specific Adaptation

Resumen Técnico: Acuerdo Condicionado por la Calidad en la Puntuación Automatizada de Respuestas Cortas

Planteamiento del Problema
La Puntuación Automatizada de Respuestas Cortas (ASAS) está transitando desde modelos discriminativos y ajustados finamente hacia Modelos de Lenguaje Grandes (LLM) utilizados en configuraciones de pocos ejemplos (few-shot). Si bien los LLM ofrecen conocimiento mundial amplio y facilidad de despliegue, su dependencia de datos específicos de la tarea limitados genera preocupaciones sobre su alineación con la calificación experta, particularmente para tareas complejas que requieren interpretación matizada. Un problema crítico y poco explorado es cómo estos modelos se desempeñan en respuestas de "rango medio"—respuestas que son parcialmente correctas y requieren distinguir entre elementos correctos e incorrectos. La literatura existente sugiere que la precisión de la puntuación automatizada puede variar sistemáticamente según la calidad de la respuesta, lo que potencialmente conduce a evaluaciones inequitativas para estudiantes con comprensión en desarrollo. La pregunta central de investigación investiga la asociación entre la calidad de la respuesta y el acuerdo entre calificadores para pares humano-humano versus humano-IA a través de diferentes niveles de adaptación específica de la tarea (variando ejemplos de pocos ejemplos versus ajuste fino).

Metodología
El estudio evaluó el acuerdo de puntuación en dos ítems abiertos de biología concernientes a la respiración celular (específicamente los efectos del tabaquismo y la anemia en el ejercicio). El conjunto de datos comprendió aproximadamente 800 respuestas de estudiantes de secundaria.

• Verdad Terrena: Las respuestas fueron calificadas por un experto en educación biológica (Calificador1) utilizando una rúbrica analítica que descompone las explicaciones en 10 categorías binarias. Esta puntuación sirvió como la verdad terrena.
• Modelos Comparados:
  1. Experto Humano (H2): Un segundo experto en educación biológica.
  2. Codificador Ajustado Finamente: Un modelo discriminativo basado en BERT (DictaBERT) ajustado finamente en 669 respuestas de entrenamiento.
  3. LLM de Pocos Ejemplos: Tres modelos generativos basados en decodificadores (GPT-5.2, GPT-4o y Claude Opus 4.5) solicitados con números variables de ejemplos (2, 4, 6, 8 y 10-shot).
• Métrica de Evaluación: Las diferencias de puntuación se midieron utilizando la Distancia Manhattan (distancia L1) entre el vector binario de la verdad terrena y el vector producido por el calificador/IA. Esta métrica cuenta el número de categorías de la rúbrica calificadas de manera diferente.
• Diseño Experimental: El estudio analizó el acuerdo a través del espectro completo de calidad de respuesta (0 a 10 categorías correctas), examinando específicamente el desempeño en los extremos (totalmente correcto/incorrecto) versus el rango medio (parcialmente correcto).

Resultados Clave

1. Degradación del Rango Medio: Todos los modelos de IA exhibieron un patrón de desempeño en forma de U (o acuerdo en forma de U invertida). Si bien los modelos se desempeñaron bien en respuestas totalmente correctas (puntuaciones 9–10) y totalmente incorrectas (puntuaciones 0–1), mostraron una degradación sustancial en el rango medio (puntuaciones 4–7).
2. Consistencia Humana vs. IA: El experto humano (H2) mantuvo un acuerdo alto y estable con la verdad terrena a través de todo el espectro de calidad, sin mostrar degradación significativa en el rango medio. En contraste, los calificadores de IA estuvieron menos alineados con el experto específicamente en respuestas de rango medio.
3. Impacto de la Adaptación Específica de la Tarea: La severidad de la degradación del rango medio estuvo condicionada por la cantidad de datos específicos de la tarea:
   • LLM de Pocos Ejemplos: Los modelos con menos ejemplos (por ejemplo, 2-shot) mostraron la degradación más severa en el rango medio. Aumentar el número de ejemplos (hasta 10-shot) redujo pero no eliminó esta brecha.
   • Modelos Ajustados Finamente: El modelo basado en BERT ajustado finamente se desempeñó mejor entre los sistemas de IA, reduciendo significativamente el error de rango medio en comparación con los LLM de pocos ejemplos, aunque aún no igualó la estabilidad del experto humano.
4. Variabilidad del Modelo: Mientras que GPT-4o y GPT-5.2 mostraron patrones consistentes, el modelo Claude Opus 4.5 exhibió un comportamiento errático, desempeñándose mejor en un ítem pero peor en el otro, lo que sugiere inestabilidad en la solicitud de pocos ejemplos para esta arquitectura específica.

Contribuciones Clave

• Identificación de Equidad Condicionada por la Calidad: El artículo introduce el concepto de "equidad condicionada por la calidad", definiéndolo como el requisito de que los sistemas ASAS mantengan una precisión consistente a través de todo el rango de calidad de respuesta.
• Caracterización del Sesgo de Rango Medio: El estudio demuestra empíricamente que la fuente principal de desacuerdo entre la IA y los expertos humanos no se encuentra en los extremos de la distribución de puntuaciones, sino específicamente en el rango medio donde los estudiantes demuestran dominio parcial.
• Adaptación vs. Desempeño: El trabajo aclara que, si bien los LLM pueden manejar casos extremos con datos mínimos, la evaluación precisa del conocimiento parcial requiere una adaptación significativa específica de la tarea (ajuste fino o ejemplos de pocos ejemplos extensos).

Significado y Afirmaciones
Los autores afirman que estos hallazgos destacan una limitación crítica en el paradigma actual de desplegar LLM de pocos ejemplos para ASAS sin datos específicos de la tarea suficientes. La "degradación del rango medio" plantea un riesgo específico de equidad: los estudiantes con estados de conocimiento en desarrollo son los más propensos a recibir puntuaciones inexactas, lo que podría conducir a apoyo de aprendizaje o retroalimentación inapropiados.

El artículo sugiere un enfoque híbrido práctico: los sistemas automatizados podrían manejar de manera confiable respuestas totalmente correctas y totalmente incorrectas (incluso con solicitud de pocos ejemplos), mientras que las respuestas de rango medio deberían ser enrutadas a calificadores humanos hasta que se acumulen datos específicos de la tarea suficientes para el ajuste fino. Al identificar este patrón de sesgo específico, los autores argumentan que el campo puede pasar de tratar los errores de puntuación como "sesgos desconocidos" a "sesgos conocidos", un paso necesario para mejorar la equidad en la IA educativa. El estudio no afirma que los LLM sean inherentemente superiores o inferiores a los modelos ajustados finamente en todos los contextos, sino que su desempeño depende altamente de la calidad de la respuesta que se está calificando y del grado de adaptación aplicado.