Multi model deliberation improves the stability of automated scoring by large language models across genres and assessment contexts

Resumen Técnico: Deliberación Multimodelo para la Estabilidad de la Calificación Automatizada

Planteamiento del Problema
Si bien los Modelos de Lenguaje Extensos (LLM) demuestran potencial en la calificación automatizada de ensayos, su implementación práctica en la evaluación educativa se ve obstaculizada por la inestabilidad de la calificación y la falta de validación transcontextual. La investigación existente prioriza la precisión predictiva (acuerdo con calificadores humanos), pero a menudo descuida la fiabilidad; específicamente, la consistencia de un modelo al evaluar repetidamente la misma respuesta. Como generadores probabilísticos, los LLM introducen una variabilidad estocástica similar a la fatiga del evaluador humano, lo que amenaza la equidad y la validez educativa. La teoría de la medición clásica postula que la fiabilidad es una condición previa para la validez; un instrumento que arroja puntuaciones diferentes para la misma respuesta no puede sustentar inferencias válidas. Además, los métodos de ensamble tradicionales (por ejemplo, el promedio simple) no logran fomentar la "calibración cognitiva", ya que agregan juicios aislados sin facilitar el intercambio de información o el razonamiento conjunto.

Metodología
El estudio propone un Marco de Deliberación Multimodelo basado en la teoría de la inteligencia colectiva. Este marco reconceptualiza la calificación automatizada como un proceso deliberativo que involucra tres LLM de código abierto y heterogéneos en chino: Baichuan2-13B, Qwen2.5-14B y ChatGLM4-9B. El proceso opera en tres rondas secuenciales:

1. Calificación Independiente (R1): Los modelos califican una respuesta de forma aislada, generando puntuaciones iniciales y justificaciones.
2. Intercambio de Información (R2): Se presenta a los modelos las puntuaciones y justificaciones de los otros dos modelos. Se les solicita que reevalúen la respuesta, con la opción de ajustar sus puntuaciones o mantener su juicio original basándose en la nueva evidencia.
3. Confirmación Final (R3): Los modelos reciben el conjunto completo de ajustes y justificaciones de R2 y presentan una puntuación final definitiva.

El marco fue evaluado a través de dos conjuntos de datos complementarios para probar su generalizabilidad y estabilidad:

• Corpus ASAP-AES: Un benchmark público que contiene aproximadamente 13,000 ensayos de estudiantes de K-12 distribuidos en ocho consignas de escritura. Para este estudio, se seleccionaron deliberadamente cinco ensayos de cada una de las ocho consignas (cubriendo segmentos de puntuación altos, medios y bajos) para crear un conjunto de prueba de 40 ensayos, con 30 ensayos realizados por cada ensayo (7,350 observaciones a nivel de rasgo).
• Corpus de Periodismo: Respuestas auténticas de un curso de periodismo universitario chino (10 ensayos, 100 ensayos cada uno, 9,000 registros de calificación) calificadas por un evaluador humano experto.

El estudio comparó el ensamble de deliberación propuesto contra baselines de un solo modelo, ensambles de media/mediana simple y calificación de un solo modelo post-deliberación. Las métricas incluyeron el Error Absoluto Medio (MAE) entre modelos para la convergencia, el Coeficiente de Variación (CV) para la estabilidad y las correlaciones de orden de rango con las puntuaciones humanas.

Resultos Clave

• Reducción Significativa del Desacuerdo: En el corpus ASAP-AES, el desacuerdo entre modelos (MAE) disminuyó significativamente de R1 a R3 en todas las consignas (p corregida por Holm < 0.001). El efecto combinado fue grande (Cohen's dz = 1.08), con una correlación de razón biserial de 0.92, lo que indica que la deliberación impulsó la convergencia de manera consistente independientemente del género o la escala de la rúbrica.
• Estabilidad Mejorada: En el corpus de periodismo, el Coeficiente de Variación (CV) para el ensamble de deliberación cayó de un 7.29% (baseline) a un 2.78%, lo que representa una mejora relativa del 61.9% (t(9) = 7.98, p < 0.001). Esta mejora superó significativamente a las estrategias de ensamble simple (que redujeron el CV en un 40.8%) y a la calificación de un solo modelo post-deliberación (mejora del 34.2%), demostrando un efecto sinérgico entre la deliberación y la agregación.
• Descomposición de Rondas: El efecto de convergencia se particionó en dos segmentos. La ronda de intercambio de información (R1 a R2) representó aproximadamente dos tercios (66–69%) de la convergencia total, mientras que la ronda de confirmación final (R2 a R3) contribuyó con el tercio restante (31–34%). Ambas etapas resultaron ser estadísticamente significativas y no redundantes.
• Heterogeneidad y Comportamiento de los Modelos: Los tres modelos exhibieron roles distintos y consistentes a través de los conjuntos de datos. Baichuan2 actuó como un "ancla" conservadora con cambios mínimos en la puntuación; Qwen funcionó como un "ajustador activo", revisando frecuentemente las puntuaciones al alza; y ChatGLM operó como un "juez robusto", equilibrando el ajuste con la resistencia al pensamiento de grupo. Esta heterogeneidad evitó la convergencia prematura.
• Alineación con Puntuaciones Humanas: Si bien la deliberación mejoró la precisión (estabilidad), indujo un desplazamiento sistemático al alza en las puntuaciones absolas respecto a los evaluadores humanos (por ejemplo, +13.46 puntos en la escala de 100 puntos del corpus de periodismo). Sin embargo, la correspondencia de orden de rango con las puntuaciones humanas se preservó en gran medida (Spearman ρ = 0.75 en el corpus de periodismo). El estudio demostró que este sesgo sistemático podía corregirse mediante una calibración lineal estándar contra anclajes humanos, reduciendo el Error Absoluto Medio en un 50.3%.

Contribuciones Clave

1. Reencuadre de la Fiabilidad de la Calificación: El estudio desplaza el enfoque de la pura precisión predictiva hacia la fiabilidad de la medición, proponiendo un marco de deliberación que logra la estabilidad a través de una calibración cognitiva activa en lugar de la cancelación numérica de errores.
2. Validación Empírica: Proporciona evidencia robusta de la efectividad del marco a través de diversos idiomas (chino/inglés), géneros (argumentativo/narrativo) y escalas de evaluación, validando la generalizabilidad de la deliberación multimodelo.
3. Caracterización del Mecanismo: La investigación caracteriza los patrones de convergencia específicos y los comportamientos de ajuste de los modelos heterogéneos, revelando que el intercambio de información impulsa la mayor parte de la convergencia mientras que una ronda de confirmación final proporciona la estabilización necesaria.

Significancia y Reivindicaciones
El artículo sostiene que la deliberación multimodelo mejora sustancialmente la estabilidad de la calificación automatizada, haciendo que los LLM sean más viables para la evaluación educativa donde la consistencia es crítica para la equidad. Los autores argumentan que, si bien la deliberación mejora la precisión (fiabilidad) de las puntuaciones, no garantiza automáticamente la validez (alineación absoluta con los estándares humanos). Por lo tanto, el marco se presenta como una capa de mejora de la precisión que debe combinarse con una calibración anclada en humanos para aplicaciones de alto riesgo. El estudio concluye que tal sistema puede apoyar la evaluación formativa y reducir la carga de trabajo de calificación, siempre que el juicio profesional humano permanezca central en el proceso de evaluación y que los sesgos sistemáticos se gestionen mediante la calibración. Los hallazgos sugieren que la "sabiduría colectiva" de los modelos heterogéneos, cuando se estructura mediante la deliberación, ofrece un camino hacia una calificación automatizada más fiable que los enfoques de agregación simple o de un solo modelo.