The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay Scoring

Resumen Técnico: El orden importa: Ajuste fino secuencial de LLaMA para la calificación automatizada de ensayos coherentes

Planteamiento del problema
Los sistemas de Calificación Automatizada de Ensayos (AES, por sus siglas en inglés) enfrentan un desafío crítico al modelar la naturaleza interdependiente de los elementos del discurso dentro de un ensayo. Los enfoques tradicionales suelen tratar componentes como la introducción, la posición, la tesis, la evidencia y la conclusión de forma aislada. Esta fragmentación no logra capturar el flujo lógico y las dependencias jerárquicas inherentes a la escritura argumentativa (por ejemplo, cómo la claridad de una posición influye en la solidez de una tesis). En consecuencia, los modelos existentes tienen dificultades con la coherencia, la generalización a través de diversos estilos de escritura y la evaluación fiable de componentes integradores. Además, aunque los Modelos de Lenguaje Extensos (LLMs) ofrecen potencial, existe una falta de comprensión sobre si los modelos más pequeños y ajustados de manera eficiente pueden superar a los baselines masivos de propósito general cuando las dependencias de las tareas se modelan explícitamente.

Metodología
El estudio investiga el impacto de los currículos de entrenamiento en el ajuste fino de LLaMA-3.1-8B para AES. Los autores utilizan el corpus PERSUADE 2.0, un conjunto de datos de más de 25,000 ensayos argumentativos anotados con cinco componentes discursivos específicos: Introducción (Lead), Posición, Tesis (Claim), Evidencia y Conclusión.

Para adaptar el modelo de manera eficiente, los autores emplean Adaptación de Bajo Rango (LoRA) con cuantización de 4 bits (NF4), lo que permite el entrenamiento en una sola GPU A100 preservando el conocimiento preentrenado. El diseño experimental central compara tres currículos de entrenamiento distintos contra un baseline zero-shot de LLaMA-70B:

1. Ajuste Fino Independiente: Se entrenan cinco modelos separados, cada uno dedicado a un único componente discursivo mediante adaptadores LoRA específicos para la tarea. Esto sirve como un baseline para evaluar el valor de las representaciones compartidas.
2. Ajuste Fino Aleatorio (Multitarea): Un único modelo es entrenado en una mezcla aleatoria de todos los conjuntos de datos de los cinco componentes simultáneamente. Este enfoque trata las tareas como independientes e idénticamente distribuidas, ignorando la estructura secuencial.
3. Ajuste Fino Secuencial (Curricular): El método principal propuesto. Un único modelo se ajusta finamente de forma progresiva siguiendo el orden lógico natural de la escritura de un ensayo: Introducción $\rightarrow$ Posición $\rightarrow$ Tesis $\rightarrow$ Evidencia $\rightarrow$ Conclusión. Los parámetros aprendidos de una etapa sirven como la inicialización para la siguiente, con el objetivo de construir representaciones complejas aprovechando el conocimiento de los componentes fundacionales.

Resultados Clave
Los experimentos en el conjunto de prueba de PERSUADE 2.0 revelan que la estructura del currículo de entrenamiento impacta significativamente el rendimiento del modelo:

• Superioridad del Aprendizaje Secuencial: El currículo Secuencial produjo los resultados más sólidos en general. Logró los puntajes F1 más altos en tres de los cinco componentes: Tesis (40%), Evidencia (65%) y Conclusión (87%). Notablemente, alcanzó una precisión del 85% en la tarea de Conclusión.
• Interdependencia de Tareas: El modelo Secuencial superó significativamente a los modelos Independientes, particularmente en la tarea de Conclusión (87% F1 frente a 12% F1 para el Independiente). Esto sugiere que la evaluación de componentes integradores requiere representaciones contextuales informadas por secciones previas del ensayo, algo que el entrenamiento aislado no logra capturar.
• Inconsistencia del Aprendizaje Aleatorio: Aunque el enfoque Aleatorio mejoró la puntuación de la Posición (57% F1), tuvo un desempeño pobre en el componente de Introducción (7% F1), lo que indica que el aprendizaje multitarea no estructurado es menos robusto que un currículo alineado con la estructura del discurso.
• Modelos Pequeños vs. Grandes: Un modelo compacto y optimizado para la tarea, LLaMA-8B (Secuencial), superó al own-baseline LLaMA-70B mucho más grande en tareas dependientes del contexto. Específicamente, el modelo 8B superó al baseline 70B en Evidencia (65% vs. 49% F1) y Conclusión (87% vs. 60% F1), a pesar de la capacidad superior del 70B.

Significancia y Reivindicaciones
El artículo sostiene que "el orden importa" en el ajuste fino, afirmando que el diseño del currículo alineado con la estructura intrínseca de la tarea actúa como un poderoso sesgo inductivo. Los autores argumentan que:

1. El Diseño del Currículo es Crítico: Modelar las dependencias de las tareas mediante el ajuste fino secuencial mejora materialmente el rendimiento de AES, particularmente para componentes integradores donde el flujo lógico es esencial.
2. Eficiencia y Competitividad: Los modelos pequeños, optimizados para la tarea, pueden ser competitivos e incluso superar a los LLMs sustancialmente más grandes cuando la estrategia de entrenamiento está alineada con la naturaleza jerárquica de la tarea. Esto ofrece un camino práctico y rentable para la evaluación educativa escalable sin depender de APIs propietarias que consumen muchos recursos.
3. Generalizabilidad: Al alejarse de la calificación de componentes aislados, el enfoque propuesto aborda el problema de la retroalimentación incoherente, proporcionando un marco más robusto para evaluar la escritura de los estudiantes que refleje las relaciones lógicas entre las secciones del ensayo.

Los autores concluyen que para las tareas de predicción estructurada en PLN, cómo se enseña a un modelo (el currículo) es tan importante como qué se le enseña, permitiendo la inducción de representaciones más robustas y eficientes.