From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring

Este estudio presenta una comparación unificada de diversas estrategias basadas en modelos de lenguaje grande para la calificación automática de ensayos en inglés como segunda lengua, revelando que la combinación de ajuste fino supervisado y generación aumentada por recuperación (RAG) logra el mejor rendimiento con un 93% de puntuación F1.

Lo esencial

Imagina que tienes un examen de inglés muy importante, como el IELTS, donde debes escribir un ensayo sobre un tema (por ejemplo: "¿Deberían las computadoras reemplazar a los maestros?"). Tradicionalmente, un profesor humano lee tu texto, lo califica y te dice qué hiciste bien y qué mal. Pero los profesores son humanos: se cansan, tardan mucho y a veces no se ponen de acuerdo.

Aquí es donde entra la Inteligencia Artificial (IA), específicamente los Modelos de Lenguaje Grandes (LLM), como los que usan ChatGPT o Gemini. La pregunta de este estudio es: ¿Cuál es la mejor forma de "enseñar" a una IA para que califique esos ensayos tan bien como un humano?

Los autores de este estudio (de la Universidad de Ciencia de Ho Chi Minh, Vietnam) probaron cuatro métodos diferentes para ver cuál funcionaba mejor. Vamos a usar una analogía para entenderlo:

La Analogía: El Examen de Conducción

Imagina que la IA es un automóvil nuevo y la tarea es calificar ensayos. Necesitamos entrenar a este coche para que sea un "examinador de conducción" perfecto.

1. El Método Clásico (Ajuste Discriminativo)

• La analogía: Es como darle al coche un manual de reglas estrictas y decirle: "Si ves una mancha de aceite, resta 1 punto. Si el motor hace ruido, resta 2".
• Cómo funciona: Se entrena un modelo matemático para mirar el ensayo y saltar directamente a una nota (ej. 6.5).
• Resultado: Es rápido y barato, pero el coche es un poco "tonto". Sigue las reglas, pero no entiende el sentido de la conducción. A veces falla si el ensayo es un poco diferente a lo que vio en el manual.

2. El Método "Preguntar al Experto" (Prompting / Zero-shot)

• La analogía: Es como subirte al coche y decirle: "Oye, eres un experto en conducción. Lee este ensayo y dime qué nota le darías". No le das reglas nuevas, solo le hablas.
• Cómo funciona: Le pides a una IA muy potente (como GPT-4) que actúe como un examinador sin entrenarla específicamente para eso.
• Resultado: Funciona bastante bien porque la IA ya sabe mucho de inglés, pero es inestable. A veces el coche responde genial, y otras veces se distrae o inventa cosas. Además, es muy caro usar estos modelos potentes cada vez.

3. El Método "Entrenamiento con Manuales y Ejemplos" (Instruction Tuning + RAG)

• La analogía: Aquí le damos al coche un manual de instrucciones específico para el examen de IELTS y, además, le conectamos una biblioteca en tiempo real. Antes de calificar, el coche busca en la biblioteca ejemplos de ensayos que ya calificaron otros expertos para ver cómo se hace.
• Cómo funciona: Se entrena a la IA para que siga instrucciones paso a paso (Task Response, Coherencia, Vocabulario, Gramática) y le permitimos "buscar" ejemplos similares antes de dar su veredicto.
• Resultado: ¡Este fue el ganador! El coche ahora es un examinador muy preciso. No solo da la nota exacta (93% de precisión), sino que sabe exactamente por qué. Es como tener un profesor que consulta sus apuntes antes de corregir.

4. El Método "Aprendizaje por Preferencias" (SFT + DPO)

• La analogía: Imagina que el coche ya sabe calificar, pero ahora le enseñamos a comprender la opinión humana. Le mostramos dos correcciones: una que un humano prefirió y otra que no. El coche aprende a imitar el estilo y la suavidad de un profesor humano.
• Cómo funciona: Se entrena a la IA no solo para acertar la nota, sino para dar un feedback (comentario) que suene más natural y pedagógico, como si lo hubiera escrito un humano real.
• Resultado: Es excelente para dar consejos constructivos. Sus comentarios son más coherentes y útiles para el estudiante, aunque a veces la nota numérica sea un pelín menos precisa que el Método 3.

---

¿Qué descubrieron? (La Gran Lección)

El estudio comparó estos métodos y encontró un equilibrio (trade-off) muy interesante:

1. Precisión vs. Costo:

   • Si quieres algo barato y rápido (como el Método 1), obtendrás resultados mediocres.
   • Si quieres precisión absoluta (la nota exacta), el Método 3 (Entrenamiento + Biblioteca de ejemplos) es el rey. Es el mejor para exámenes oficiales donde la nota es lo más importante.
   • Si quieres consejos útiles para que el estudiante aprenda, el Método 4 es el mejor, porque sus explicaciones suenan más humanas.

2. La Conclusión Final:
   No existe una "bala de plata" mágica.

   • Para calificar masivamente (como en un examen nacional), usa el Método 3.
   • Para ayudar a estudiantes a mejorar en casa, usa el Método 4.

En resumen:
Los autores demostraron que simplemente "preguntarle" a una IA no es suficiente. Para que una IA sea un buen profesor de inglés, necesita entrenamiento específico (aprender las reglas del juego) y acceso a ejemplos (ver cómo lo hacen los demás). Con la combinación correcta, la IA puede calificar ensayos casi tan bien como un humano, pero a una velocidad y costo que un humano nunca podría igualar.

¡Y lo mejor de todo! Ellos compartieron su código y datos públicamente para que cualquiera pueda seguir aprendiendo y mejorando este sistema.

Resumen técnico

Resumen Técnico: De la Prompting a la Optimización de Preferencias en la Evaluación Automatizada de Ensayos

1. Planteamiento del Problema

La Evaluación Automatizada de Ensayos (AES, por sus siglas en inglés) busca asignar puntuaciones a escritos que sean consistentes con las de los evaluadores humanos. Aunque los modelos de lenguaje grandes (LLM) han transformado este campo, la investigación previa ha sido fragmentada:

• Falta de comparación unificada: La mayoría de los estudios analizan técnicas individuales (como prompting, ajuste fino o RAG) de forma aislada, sin comparar sistemáticamente sus ventajas relativas.
• Limitaciones en el contexto L2: Existe una necesidad crítica de entender cómo estas técnicas se comportan específicamente en la escritura de inglés como segunda lengua (L2), donde los criterios de evaluación (como en IELTS) son complejos y matizados.
• Compensaciones no exploradas: No está claro cuál es la mejor estrategia al equilibrar la precisión, el costo computacional y la robustez del sistema.

El objetivo de este trabajo es cerrar esta brecha mediante una comparación exhaustiva de los paradigmas principales de LLM aplicados a la tarea IELTS Writing Task 2.

2. Metodología

Los autores proponen un marco unificado que evalúa cuatro enfoques distintos sobre el mismo conjunto de datos y protocolo experimental. El sistema toma un prompt de IELTS y una respuesta del estudiante para generar una puntuación de banda (band score) y retroalimentación alineada con la rúbrica oficial.

Los cuatro paradigmas comparados son:

1. Ajuste Fino Discriminativo (Approach 1):

   • Utiliza modelos codificadores (como RoBERTa y GPT-2) entrenados como clasificadores supervisados.
   • Mapea directamente el ensayo a una etiqueta de puntuación discreta (0 a 9.0).
   • Actúa como línea base neural fuerte pero carece de capacidad de generación de retroalimentación explicativa.

2. Aprendizaje en Contexto (In-Context Learning - Approach 2):

   • Utiliza LLMs generativos (GPT-4o, Llama-3-70B, Gemini) sin actualizar parámetros.
   • Evalúa mediante Zero-shot (sin ejemplos) y Few-shot (con 2-4 ejemplos) prompting, instruyendo al modelo para actuar como examinador.
   • Representa el escenario de menor costo de adaptación.

3. Ajuste Fino de Instrucción con RAG (Approach 3):

   • Combina Instruction Tuning (usando LoRA para eficiencia de parámetros) con Retrieval-Augmented Generation (RAG).
   • Descompone la evaluación en los 4 criterios oficiales de IELTS (Respuesta a la Tarea, Coherencia, Recurso Léxico, Rango Gramatical).
   • Utiliza un mecanismo de recuperación para inyectar ejemplos y guías de rúbrica relevantes en el contexto del modelo, reduciendo alucinaciones y mejorando la adherencia a los criterios.

4. Ajuste Fino Supervisado con Optimización de Preferencias y RAG (Approach 4):

   • Una arquitectura híbrida que integra:
     • SFT (Supervised Fine-Tuning): Para aprender a generar pares de puntuación-retroalimentación.
     • DPO (Direct Preference Optimization): Alinea el modelo con preferencias humanas (usando datos de pares de retroalimentación preferida vs. no preferida) para mejorar la calidad pedagógica.
     • RAG: Para fundamentar las predicciones en evidencia externa.

Datos:

• Se utilizó un conjunto de datos consolidado de 10,328 ensayos de IELTS Writing Task 2.
• Las puntuaciones analíticas (por criterio) fueron regeneradas utilizando el modelo Gemini-2.5-Pro para asegurar consistencia interna con las descripciones de banda oficiales.
• División: 9,833 ensayos para entrenamiento y 495 para prueba.

3. Contribuciones Clave

• Primer Benchmark Unificado: Presentan la primera comparación sistemática de cuatro paradigmas de adaptación de LLM (clasificación discriminativa, prompting, ajuste de instrucción con RAG, y optimización de preferencias) específicamente para la evaluación de escritura L2.
• Marco Consciente de Criterios: Diseñan un sistema que no solo predice una puntuación global, sino que alinea las predicciones con la rúbrica detallada de IELTS mediante la descomposición en sub-tareas y recuperación de ejemplos.
• Análisis de Compensaciones (Trade-offs): Proporcionan una guía práctica sobre las compensaciones entre precisión, costo computacional y robustez, identificando qué enfoque es mejor para escenarios de alto riesgo (exámenes) versus aprendizaje formativo.

4. Resultados Principales

Rendimiento Cuantitativo:

• Mejor Configuración Global: El enfoque k-Instruction Tuning con RAG (Approach 3) utilizando Llama-3.1-8B obtuvo los mejores resultados generales, alcanzando una Precisión (Accuracy) de 0.9902 y un F1-Score de 0.9350.
• Jerarquía de Rendimiento: Se observó una clara jerarquía:
  Ajuste Discriminativo < Prompting < Ajuste de Instrucción < SFT + DPO + RAG < k-SFT + RAG.
• Impacto del RAG: La incorporación de RAG mejoró significativamente la estabilidad y la precisión, especialmente en niveles de competencia limítrofes.
• Efecto de DPO: Aunque el enfoque con DPO (Approach 4) no superó al Approach 3 en precisión bruta de puntuación, logró los errores más bajos (RMSE y MAE), indicando una mejor calibración y alineación con juicios humanos.

Análisis de Costo-Precisión-Robustez:

• Prompting (A2): Bajo costo, pero alta varianza y menor precisión.
• Ajuste de Instrucción + RAG (A3+RAG): El equilibrio óptimo. Ofrece la mayor precisión con un costo de entrenamiento moderado (7.2 horas en GPU).
• SFT + DPO + RAG (A4): Mayor costo computacional (9.5 horas) con retornos decrecientes en precisión bruta, pero mejora notable en la calidad de la retroalimentación.

Estudio de Caso Cualitativo:

• A3+RAG: Excelente para la predicción precisa de bandas y retroalimentación diagnóstica granular (identifica errores específicos por criterio). Ideal para calificación automatizada de alto riesgo.
• A4 (SFT+DPO): Genera retroalimentación más holística, coherente y natural (estilo de examinador), aunque a veces subestima ligeramente la puntuación exacta. Ideal para feedback formativo a estudiantes.

5. Significado e Impacto

Este estudio demuestra que para la evaluación de escritura en inglés como segunda lengua, los modelos puramente generativos sin adaptación (zero-shot) o los clasificadores tradicionales son insuficientes. La combinación de ajuste fino de instrucciones específico por criterio y recuperación aumentada de generación (RAG) es la estrategia más efectiva para lograr alta precisión.

Además, el trabajo destaca que la optimización de preferencias (DPO) es crucial no para mejorar la puntuación numérica, sino para elevar la calidad pedagógica de la retroalimentación. Esto ofrece a los investigadores y desarrolladores un mapa de ruta claro:

• Usar k-SFT + RAG para sistemas de calificación automatizada en exámenes estandarizados.
• Usar SFT + DPO + RAG para herramientas de aprendizaje adaptativo que requieren feedback constructivo y natural.

El código y los datos están disponibles públicamente, facilitando la reproducibilidad y el avance futuro en el campo de la AES basada en LLM.