Resumen Técnico: ¿Especialistas o Generalistas? Modelos de Lenguaje de Gran Escala (LLM) Multi-Agente y de Agente Único para la Calificación de Ensayos

Planteamiento del Problema

Los sistemas de Calificación Automática de Ensayos (AES, por sus siglas en inglés) dependen cada vez más de los Modelos de Lenguaje de Gran Escala (LLMs), pero la literatura carece de claridad sobre cómo las elecciones arquitectónicas —específicamente el compromiso entre los diseños de agente único (monolíticos) y de múltiples agentes (jerárquicos)— impactan el rendimiento a través de diferentes niveles de calidad de los ensayos. Mientras que los defensores argumentan que la descomposición de tareas en roles especializados mejora la interpretabilidad y el acuerdo, la evidencia empírica sigue siendo mixta, con algunos estudios que sugieren que las estrategias de agente único con few-shot prompting superan a los flujos de trabajo complejos de múltiples agentes. Este estudio aborda la brecha en la comprensión de cómo estas arquitecturas interactúan con la calidad del ensayo de manera granular, cuestionando si el aumento del costo computacional de los sistemas de múltiples agentes está justificado en toda la distribución de las puntuaciones.

Metodología

El estudio realizó una comparación rigurosa de arquitecturas de Agente Único y de Múltiples Agentes utilizando el corpus ASAP 2.0, un conjunto de datos de 24,278 ensayos argumentativos basados en fuentes de estudiantes de secundaria de EE. UU. (grados 6–10). Los investigadores extrajeron un conjunto de prueba estratificado de 450 ensayos y un conjunto de calibración separado de 12 ensayos (2 ejemplos por nivel de puntuación, 1–6).

Configuración Experimental

Todos los experimentos utilizaron el modelo GPT-5.1 a través de la API de OpenAI bajo dos condiciones de prompting:

1. Zero-Shot: El modelo recibió únicamente la rúbrica oficial.
2. Few-Shot: El modelo recibió la rúbrica más los 12 ejemplos de calibración.

Diseños Arquitectónicos

• Agente Único (Monolítico): El modelo actuó como un experto único, recibiendo la rúbrica completa y generando una puntuación holística (1–6) y una justificación.
• Múltiples Agentes (Jerárquico): Este sistema descompuso la calificación en tres Agentes Especialistas y un Agente Presidente:
  • Especialistas: Contenido (ideas/evidencia), Estructura (organización/coherencia) y Lenguaje (mecánica/vocabulario). Cada uno fue instruido mediante restricciones negativas para ignorar dimensiones fuera de su dominio.
  • Agente Presidente (Adjudicador): Recibió informes de los especialistas y aplicó heurísticas lógicas alineadas con la rúbrica en lugar de un simple promedio. Las reglas clave incluyeron:
    • Regla de Veto: Si cualquier especialista asignaba una puntuación de 1, la puntuación final es 1.
    • Lógica de Topes: Si cualquier especialista asignaba una puntuación de 2, la puntuación final se limita a 2 o 3.

Métricas de Evaluación

El rendimiento se midió frente a la verdad de referencia humana utilizando el Kappa de Peso Cuadrático (QWK) para penalizar grandes discrepancias y la Precisión de Coincidencia Exacta (porcentaje de predicciones que coinciden exactamente con las puntuaciones humanas).

Resultados Clave

Rendimiento General

El sistema de Múltiples Agentes con prompting de Few-Shot logró el mayor rendimiento general (QWK: 0.7453; Coincidencia Exacta: 57.11%), superando a la línea base de Agente Único con Few-Shot (QWK: 0.7165; Coincidencia Exacta: 54.00%) por un margen marginal.

Impacto de la Calibración Few-Shot

La calibración few-shot surgió como el factor dominante para ambas arquitecturas. Proporcionar solo dos ejemplos por nivel de puntuación mejoró el QWK en aproximadamente un 26% para ambos sistemas:

• Agente Único: El QWK aumentó de 0.5664 (Zero-Shot) a 0.7165.
• Múltiples Agentes: El QWK aumentó de 0.5917 (Zero-Shot) a 0.7453.

Rendimiento por Nivel de Puntuación

El análisis granular reveló fortalezas y debilidades distintivas:

• Ensayos de Baja Calidad (Puntuaciones 1–2): El sistema de Múltiples Agentes superó significativamente al sistema de Agente Único. Para la Puntuación 1, el sistema de Múltiples Agentes con Few-Shot logró un 73.3% de precisión frente al 46.7% del Agente Único. Esto se atribuye a las reglas de veto y topes del Agente Presidente, que penalizan eficazmente las deficiencias críticas en cualquier dimensión.
• Ensayos de Rango Medio (Puntuaciones 3–4): El sistema de Agente Único demostró un rendimiento superior o competitivo. Para la Puntuación 4, el Agente Único con Few-Shot logró un 61.2% de precisión comparado con el 57.3% de Múltiples Agentes. Los autores sugieren que la visión holística del agente único permite una puntuación compensatoria implícita (equilibrando fortalezas y debilidades) que los agentes especialistas, limitados por dominios estrechos, no pueden replicar.
• Ensayos de Alta Calidad (Puntuaciones 5–6): Ambas arquitecturas tuvieron dificultades significativas. Para la Puntuación 5, las mejores configuraciones lograron solo un 30.8% de precisión. Para la Puntuación 6 (solo 3 ensayos en el conjunto de prueba), ambas configuraciones de few-shot identificaron correctamente solo 1 ensayo (33.3%). El sistema de Múltiples Agentes mostró un sesgo conservador, subestimando frecuentemente las puntuaciones altas debido a su lógica de topes.

Principales Contribuciones

El artículo realiza tres contribuciones primarias al campo de la AES y los sistemas de LLM de múltiples agentes:

1. Comparación Empírica de Arquitecturas: Proporciona un análisis granular que muestra que la elección arquitectónica moldea fundamentalmente los patrones de rendimiento de formas que las métricas agregadas (como el QWK general) ocultan. Demuestra que ninguna arquitectura domina universalmente; más bien, exhiben fortalezas complementarias basadas en la calidad del ensayo.
2. Diseño de Múltiples Agentes Novedoso: El estudio introduce un marco de múltiples agentes que combina la descomposición de dominios con reglas de agregación basadas en la lógica (veto y topes) alineadas con las rúbricas oficiales, yendo más allá de los simples mecanismos de votación o promedio.
3. Guía de Implementación: Ofrece perspectivas prácticas indicando que la calibración few-shot es esencial para ambas arquitecturas, que los sistemas de múltiples agentes incurren en costos computacionales 4 veces mayores (cuatro llamadas a la API por ensayo) para ganancias totales marginales, y que ambos sistemas tienen dificultades con los ensayos excepcionales.

Significado e Implicaciones

Los autores concluyen que la selección de la arquitectura debe basarse en prioridades de despliegue específicas en lugar de solo en las métricas generales:

• Sistemas de Múltiples Agentes: Son más adecuados para el tamizaje diagnóstico e identificación de estudiantes en riesgo (ensayos de baja calidad) donde la detección de deficiencias críticas es primordial. También ofrecen una mayor interpretabilidad mediante retroalimentación específica por dimensión. Sin embargo, conllevan mayores costos y un sesgo conservador contra las puntuaciones altas.
• Sistemas de Agente Único: Proporcionan una solución rentable para la evaluación general, particularmente para ensayos de rango medio donde existen compensaciones matizadas. Son más eficientes pero carecen de la profundidad diagnóstica y la robustez para señalar el trabajo de baja calidad.

El estudio enfatiza que la calibración few-shot es un requisito de implementación crítico, señalando que las ganancias sustanciales de rendimiento con un pequeño número de ejemplos hacen de esta una inversión necesaria para la efectividad del sistema. Finalmente, los autores reconocen limitaciones respecto a la generalizabilidad del conjunto de datos y la necesidad de futuras investigaciones sobre la mitigación de sesgos y la evaluación de la interpretabilidad de la retroalimentación de los múltiples agentes.