💬 NLP

Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays

Este artículo propone y evalúa dos enfoques complementarios para la calificación automática de ensayos argumentativos basada en rasgos, demostrando que un modelo BigBird supervisado con regresión ordinal supera significativamente a los modelos base en su alineación con calificadores humanos, mientras que los modelos de lenguaje de gran tamaño (LLM) de código abierto y de pequeño tamaño ofrecen una alternativa competitiva y que preserva la privacidad para generar retroalimentación interpretable y alineada con la rúbrica sin necesidad de un ajuste fino específico para la tarea.

Autores originales: Lucile Favero, Juan Antonio Pérez-Ortiz, Tanja Käser, Nuria Oliver

Publicado 2026-02-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lucile Favero, Juan Antonio Pérez-Ortiz, Tanja Käser, Nuria Oliver

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un profesor calificando una pila de ensayos de estudiantes. En los viejos tiempos, los sistemas de calificación automatizados eran como un director gruñón que solo miraba toda la pila y daba un único número, como un "7 de 10". Esto se llama calificación holística. ¿El problema? No le dice al estudiante por qué obtuvo esa calificación. ¿Tenía grandes ideas pero una letra desordenada? ¿O su gramática era perfecta pero sus argumentos eran débiles?

Este documento trata sobre la creación de un asistente de calificación más inteligente que no solo da un número único, sino que desglosa el ensayo en "rasgos" específicos (como Ideas, Organización, Vocabulario, Fluidez y Gramática) y califica cada uno por separado. Los autores quisieron ver si podían hacer esto con precisión utilizando dos tipos diferentes de herramientas de IA.

Así es como lo hicieron, explicado con algunas analogías de la vida cotidiana:

Las Dos Herramientas que Probaron

Los investigadores compararon dos enfoques muy diferentes para calificar estos ensayos:

1. El "Pasante Inteligente" (LLMs de código abierto pequeños)
Piensa en esto como un pasante muy brillante y bien leído que aún no ha sido entrenado específicamente para calificar ensayos.

Cómo funcionaron: Los investigadores le dieron al pasante una "hoja de trucos" (un prompt) que explicaba exactamente qué buscar, mostraba ejemplos de ensayos buenos y malos, y le pedía que explicara su razonamiento antes de dar una calificación.
El giro: Utilizaron modelos pequeños y gratuitos de código abierto (como Ministral-3) que pueden ejecutarse en una computadora normal, en lugar de modelos masivos, costosos y propietarios propiedad de las grandes empresas tecnológicas.
El objetivo: Ver si un "pasante" inteligente y explicable podía calificar ensayos tan bien como una supercomputadora, manteniendo la privacidad y la localidad de los datos de los estudiantes.

2. El "Estadístico Especializado" (BigBird-CORAL)
Piensa en esto como un estadístico altamente capacitado que solo mira los números y los patrones.

Cómo funcionó: Este modelo fue entrenado específicamente (ajuste fino o fine-tuning) con miles de ensayos.
El ingrediente secreto: Los autores utilizaron un truco matemático especial llamado CORAL. Imagina calificar una carrera. Si tratas las posiciones (1º, 2º, 3º) solo como nombres aleatorios, podrías pensar que el 1º y el 3º están igualmente lejos entre sí. Pero en realidad, el 1º está más cerca del 2º que del 3º. El método CORAL le enseña a la IA que las calificaciones tienen un orden (Bajo < Medio < Alto). Entiende que darle una calificación de "Medio" a un ensayo "Alto" es un error más grande que darle una calificación de "Medio" a un ensayo "Medio".
El objetivo: Ver si enseñar a la IA que las calificaciones tienen un orden específico hace que coincida más con los profesores humanos.

El Experimento

Probaron estas herramientas en 1,783 ensayos argumentativos escritos por estudiantes de octavo grado. Los ensayos fueron calificados por humanos en una escala del 1 al 6, que los investigadores simplificaron en tres niveles: Débil, Regular y Fuerte.

Examinaron cinco rasgos específicos:

Contenido: ¿Son buenas las ideas?
Organización: ¿Está bien estructurado el ensayo?
Vocabulario: ¿Es bueno el léxico?
Fluidez de la oración: ¿Se lee con fluidez?
Convenciones: ¿Hay errores de ortografía y gramática?

Lo Que Encontraron

1. El "Estadístico Especializado" ganó en precisión.
El modelo BigBird-CORAL fue el mejor para coincidir con las calificaciones de los profesores humanos. El documento encontró que enseñar explícitamente a la IA que las calificaciones tienen un orden (usando el método CORAL) marcó una gran diferencia. Coincidió con los humanos con mucha más frecuencia que los otros modelos. Fue como el estadístico que entendía que un "B+" está más cerca de un "A" que un "C" lo está de un "A", y calificó en consecuencia.

2. El "Pasante Inteligente" fue sorprendentemente bueno.
El modelo pequeño de código abierto Ministral-3 hizo un trabajo fantástico, especialmente en las partes de "pensamiento" del ensayo (Contenido y Organización).

Fue casi tan bueno como los modelos propietarios masivos y más caros (como GPT-5.1) en muchas áreas.
Fue mucho mejor calificando los argumentos del "panorama general" que los detalles del "panorama pequeño", como la gramática o la fluidez de las oraciones.
Por qué esto importa: Debido a que es pequeño y de código abierto, las escuelas pueden ejecutarlo en sus propias computadoras sin enviar los datos de los estudiantes a la nube. Es como tener un asistente de calificación que puedes mantener en tu salón de clases en lugar de rentar uno de una gran corporación.

3. Los "Trucos" (Líneas de base) fallaron.
Cuando intentaron lo mismo con los modelos de IA sin la matemática de "orden" especial (CORAL), o sin los prompts de la "hoja de trucos" inteligentes, no obtuvieron tan buenos resultados. Esto demuestra que no puedes simplemente lanzar una IA genérica a un problema de calificación; tienes que enseñarle cómo funcionan realmente las rúbricas.

La Conclusión

El documento concluye que para calificar ensayos de manera efectiva, necesitas dos cosas:

Respetar el Orden: Debes enseñar a la IA que las calificaciones son una escalera (Bajo a Alto), no solo cubetas aleatorias. Esto hace que la IA coincida más con los humanos.
Pequeño es Hermoso: No necesitas una supercomputadora masiva y costosa para obtener buenos resultados. Un modelo pequeño, inteligente y de código abierto puede hacer un gran trabajo si se le dan instrucciones y ejemplos claros.

Este enfoque nos aleja de simplemente obtener un número único y nos mueve hacia una retroalimentación específica y útil que los profesores y estudiantes realmente pueden usar para mejorar su escritura, todo esto manteniendo el proceso transparente y privado.

Resumen Técnico: Más allá de las puntuaciones holísticas: Calificación automática de rasgos para ensayos argumentativos

Planteamiento del problema

Los sistemas de Calificación Automática de Ensayos (AES, por sus siglas en inglés) han priorizado tradicionalmente las puntuaciones holísticas, lo que limita su utilidad pedagógica, particularmente en géneros complejos como la escritura argumentativa. La evaluación holística oscurece la naturaleza multidimensional de la calidad de la escritura, al no proporcionar la retroalimentación interpretable a nivel de rasgos necesaria para el aprendizaje formativo y la alineación instruccional. Además, la investigación previa sobre la Calificación Automática de Ensayos Argumentativos (AAES) basada en rasgos es poco explorada; los trabajos anteriores suelen agregar puntuaciones de diferentes consignas o tipos de ensayo, lo que confunde constructos evaluativos distintos y socava la validez. Asimismo, muchos enfoques actuales dependen de Modelos de Lenguaje Extensos (LLM) propietarios para la calificación holística, lo que plantea preocupaciones sobre la transparencia, la privacidad de los datos, la reproducibilidad y la capacidad de desplegar sistemas localmente en entornos educativos. Existe una necesidad crítica de métodos de AAES que estén alineados con las rúbricas, sean interpretables y capaces de modelar la naturaleza ordinal de las rúbricas de calificación sin depender de modelos masivos y propietarios.

Metodología

Los autores llevan a cabo una evaluación sistemática utilizando 1,783 ensayos argumentativos del conjunto de datos ASAP++ (Prompt 1), calificados a través de cinco rasgos analíticos: Ideas y Contenido, Organización, Selección de Palabras, Fluidez de las Oraciones y Convenciones. Para alinearse con los objetivos pedagógicos y mejorar la fiabilidad del modelo, la escala original de seis puntos se mapeó a tres categorías ordinales: débil (1–2), regular (3–4) y fuerte (5–6).

El estudio compara dos paradigmas de modelado complementarios:

Aprendizaje en Contexto (ICL) Estructurado con LLM Pequeños de Código Abierto:
- Modelos: El estudio utiliza modelos pequeños de código abierto (Llama-3.1 8B, Gemma-3 12B y Ministral-3 8B) y los compara contra modelos propietarios (GPT-4o-mini y GPT-5.1).
- Enfoque: Los modelos se despliegan localmente mediante Ollama para garantizar la privacidad de los datos. Se les proporciona un esquema estructurado que incluye la especificación del rol, instrucciones de la tarea, definiciones de los rasgos, guías de rúbrica con ejemplares y especificaciones de salida que requieren puntuaciones en formato JSON, justificaciones y estimaciones de confianza.
- Restricción: Estos modelos operan en un entorno de cero disparos (zero-shot) o pocos disparos (few-shot) sin ajuste fino (fine-tuning) específico para la tarea.
Modelado Supervisado Basado en Codificadores con Regresión Ordinal:
- Modelo: Se utiliza un modelo BigBird como base, seleccionado por su mecanismo de atención de dispersión de bloques capaz de manejar secuencias largas (hasta 4096 tokens) de manera eficiente.
- Formulación: Los autores emplean un marco CORAL (COnsistent RAnk Logits). En lugar de tratar la calificación como una clasificación nominal o una regresión estándar, la tarea se formula como una regresión ordinal. El modelo predice umbrales de probabilidad ( $P(y > 1)$ y $P(y > 2)$ ) para codificar explícitamente la naturaleza ordenada de las puntuaciones de la rúbrica.
- Líneas Base: Este enfoque se compara con variantes de BigBird utilizando clasificación nominal (BigBird-nominal) y regresión con Error Cuadrático Medio (BigBird-RMSE).

Contribuciones Clave

El artículo realiza tres contribuciones principales al campo de la IA en la Educación (AIED):

Análisis Comparativo: Proporciona una comparación directa entre los LLM pequeños de código abierto utilizando ICL estructurado y los modelos basados en codificadores supervisados optimizados para la comprensión de secuencias largas, específicamente para la calificación basada en rasgos bajo restricciones educativas realistas.
Eficacia del Modelado Ordinal: Presenta evidencia de que el modelado explícito de la ordinalidad de las puntuaciones (vía CORAL) en los modelos basados en codificadores mejora significamente el acuerdo con los calificadores humanos en comparación con las líneas base de clasificación nominal y regresión, alineando mejor los objetivos del modelo con la semántica de la rúbrica.
Viabilidad de los LLM Pequeños de Código Abierto: Ofrece evidencia empírica de que los LLM pequeños de código abierto, cuando son guiados por prompts alineados con la rúbrica, pueden lograr un rendimiento competitivo frente a modelos propietarios mucho más grandes, permitiendo escenarios de evaluación transparentes, que preservan la privacidad y de despliegue local.

Resultados

La evaluación utiliza las métricas de Kappa de Peso Cuadrático (QWK), F1 Ponderado y Tau de Kendall ( $\tau$ ).

Rendimiento de los Modelos Ordinales: El modelo BigBird-CORAL logró consistentemente el mayor acuerdo con los calificadores humanos en los cinco rasgos, superando a todos los LLM y otras variantes de BigBird. Esto confirma que modelar explícitamente la estructura ordenada de las puntuaciones de la rúbrica es crucial para la AAES.
Rendimiento de los LLM: Entre los LLM de código abierto, Ministral-3 8B (un modelo orientado al razonamiento) superó consistentemente a Llama-3.1 y Gemma-3. Ministral-3 logró puntuaciones de QWK competitivas, particularmente en rasgos orientados al razonamiento como Contenido y Organización.
Comparación con Modelos Propietarios: El modelo Ministral-3 8B funcionó de manera comparable a, y en algunos casos mejor que, el modelo propietario GPT-5.1, a pesar de tener dos órdenes de magnitud menos de parámetros. GPT-5.1 mostró ventajas leves solo en rasgos que dependen fuertemente de la variación lingüística superficial (por ejemplo, Selección de Palabras, Fluidez de las Oraciones).
Tendencias por Rasgo: El acuerdo fue generalmente mayor para los rasgos orientados al razonamiento (Contenido, Organización) que para los rasgos estilísticos (Fluidez de las Oraciones, Convenciones). Los autores señalan que el menor acuerdo en los rasgos estilísticos probablemente refleja la ambigüedad intrínseca en la calificación humana más que un fallo del modelo.
Ingeniería de Prompts: Solicitar explícitamente justificaciones y estimaciones de confianza en el prompt mejoró el rendimiento de la calificación y la estabilidad para los LLM.

Significado y Reivindicaciones

El artículo sostiene que la AAES basada en rasgos, apoyada por el modelado ordinal y el prompting transparente de LLM, representa un paso significativo hacia un soporte escalable y centrado en el aprendizaje para la escritura argumentativa.

Alineación Pedagógica: Los resultados refuerzan que alinear los objetivos del modelo con la semántica de la rúbrica (específicamente a través de formulaciones ordinales) es esencial para la evaluación educativa, ya que la consistencia ordinal es más pedagógicamente válida que la precisión de categoría estricta.
Viabilidad de Despliegue: El estudio demuestra que una calificación de alta calidad e interpretable no requiere necesariamente modelos propietarios masivos. Los LLM pequeños de código abierto pueden generar puntuaciones competitivas permitiendo al mismo tiempo el despliegue local, asegurando la privacidad de los datos y el control institucional.
Limitaciones: Los autores señalan modestamente que su estudio está limitado a una única consigna argumentativa y se centra en la precisión de la calificación más que en los efectos de aprendizaje posteriores. Sugieren que trabajos futuros examinen la generalización entre distintas consignas y el impacto práctico de la retroalimentación a nivel de rasgos en aulas reales. También proponen investigar marcos híbridos que combinen la estabilidad de los modelos ordinales con las capacidades explicativas de los LLM.