💬 NLP

Enhancing Automated Essay Scoring With Three Techniques: Two-Stage Fine-Tuning, Score Alignment, and Self-Training

Este artículo propone un enfoque novedoso para mejorar el rendimiento de la Calificación Automática de Ensayos tanto en entornos de datos limitados como de datos completos mediante la integración de tres técnicas clave —ajuste fino de dos etapas, alineación de puntuación y autoentrenamiento consciente de la incertidumbre— en el modelo DualBERT, logrando resultados de vanguardia en múltiples conjuntos de datos, incluyendo ASAP++.

Autores originales: Hongseok Choi, Serynn Kim, Wencke Liermann, Jin Seong, Jin-Xia Huang

Publicado 2026-08-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hongseok Choi, Serynn Kim, Wencke Liermann, Jin Seong, Jin-Xia Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde un profesor cansado tiene que calificar cientos de ensayos cada semana. Es un trabajo masivo, y hacerlo de manera justa requiere tiempo y energía. Para ayudar, científicos han construido sistemas de "Calificación Automática de Ensayos" (AES, por sus siglas en inglés), programas informáticos que leen la escritura de los estudiantes y les asignan una calificación, tal como lo haría un humano. Piensa en estos programas como asistentes docentes digitales. Durante mucho tiempo, estos asistentes fueron como robots inteligentes pero torpes; necesitaban leer miles de ejemplos antes de poder volverse buenos calificando. Si un profesor solo tenía unos pocos ensayos para calificar, el robot se confundía y daba puntuaciones malas. Este es un gran problema porque, en el mundo real, los profesores a menudo no tienen miles de ensayos para entrenar a la computadora; solo tienen un montón de papeles de su propia clase.

El desafío es que enseñar a una computadora a entender la escritura es difícil. No se trata solo de contar palabras o revisar la gramática; se trata de entender el flujo de las ideas, el tono y la estructura. Aunque existen modelos de IA enormes y poderosos (como los que escriben historias o charlan contigo), estos suelen tener dificultades con esta tarea específica a menos que se les proporcione una cantidad masiva de datos. Así que, la gran pregunta para los investigadores es: ¿Cómo podemos hacer un calificador de computadora que sea inteligente y justo, incluso cuando no ha visto muchos ejemplos?

Este artículo introduce una nueva y astuta forma de entrenar estos calificadores digitales, especialmente cuando hay muy pocos ensayos de los cuales aprender. Los investigadores, trabajando con un modelo llamado DualBERT (que es como un lector inteligente que entiende tanto las oraciones individuales como el ensayo completo), desarrollaron tres técnicas especiales para potenciar el rendimiento.

Primero, utilizaron un método llamado Ajuste Fino de Dos Etapas con LoRA. Imagina que estás enseñando a un estudiante que ya conoce las bases del inglés. En lugar de hacer que vuelva a aprender todo desde cero, le das un conjunto especial de "marcadores fluorescentes" (LoRA) que le permiten enfocarse en partes específicas y complicadas de la tarea sin arruinar lo que ya sabe. Los investigadores permitieron que el modelo practicara con estos marcadores en dos rondas, probando diferentes formas de ponderar la importancia de distintos rasgos del ensayo (como el contenido frente a la organización) hasta encontrar el equilibrio perfecto.

Segundo, introdujeron la Alineación de Puntuación. A veces, incluso un calificador inteligente se pone un poco nervioso y juega sobre seguro. Si un estudiante escribe un ensayo perfecto, la computadora podría tener miedo de dar una puntuación perfecta y, en su lugar, da un 9.8 de 10. Si el ensayo es terrible, podría dar un 0.2 en lugar de un 0. Esta técnica actúa como una "herramienta de calibración". Los investigadores observan cómo la computadora calificó un pequeño conjunto de práctica de ensayos, ven dónde estaba siendo demasiado tímida o demasiado audaz, y luego aplican un simple ajuste matemático para corregir las puntuaciones para la prueba real. Es como afinar una guitarra para que cada nota dé la nota correcta.

Tercero, utilizaron el Autoentrenamiento Consciente de la Incertidumbre. Aquí es donde la computadora practica con ensayos que aún no han sido calificados. La computadora lee estos ensayos no calificados y les da una puntuación "falsa". Pero aquí está el truco: si la computadora no está segura de su propia puntuación (está "incertidumbre"), desecha ese ensayo. Solo conserva los ensayos sobre los cuales se siente segura para utilizarlos como material de práctica adicional. De esta manera, la computadora aprende de más ejemplos sin aprender accidentalmente de sus propios errores.

Cuando los investigadores probaron estos tres trucos juntos en un conjunto de datos llamado ASAP++, los resultados fueron impresionantes. En un escenario donde la computadora solo tenía 32 ensayos para aprender (una cantidad muy pequeña), el nuevo método mejoró significamente la precisión de la calificación. Alcanzó el 91.2% del nivel de rendimiento de un modelo que había sido entrenado con alrededor de 1,000 ensayos. En términos más simples, con solo una pizca de datos y estos tres trucos inteligentes, la computadora se volvió casi tan buena como si hubiera leído toda una biblioteca de ensayos.

Aún más interesante, cuando la computadora tenía abundantes datos (el entorno de "datos completos"), el trucción de "Alineación de Puntuación" por sí solo ayudó a superar todos los récords anteriores, logrando un nuevo mejor puntaje. Los investigadores también probaron esto en otros conjuntos de datos con diferentes tipos de ensayos y descubrieron que los trucos funcionaban allí también, lo que sugiere que estos métodos son robustos y no solo un golpe de suerte para una prueba específica.

El artículo sugiere que estas técnicas son modulares, lo que significa que pueden mezclarse y combinarse con otros sistemas. Sin embargo, los autores advierten cuidadosamente que, aunque los resultados son sólidos, todavía enfrentan limitaciones. Por ejemplo, el método de "Autoentrenamiento" necesita un gran montón de ensayos no calificados para funcionar, lo que podría no estar disponible siempre en cada escuela. Además, el método de "Dos Etapas" toma un poco más de tiempo entrenar a la computadora inicialmente, aunque no ralentiza el proceso de calificación real después.

En última instancia, este estudio muestra que no siempre necesitamos cantidades masivas de datos para construir grandes herramientas de IA. Al usar estrategias inteligentes para ajustar los modelos, calibrar sus puntuaciones y seleccionar cuidadosamente el material de práctica, podemos crear calificadores automatizados que sean confiables incluso cuando los datos escasean. Esto nos acerca un paso más a tener asistentes digitales útiles, justos y eficientes para profesores en todas partes.

Resumen Técnico: Mejora de la Calificación Automatizada de Ensayos mediante Tres Técnicas

Planteamiento del Problema
La Calificación Automatizada de Ensayos (AES, por sus siglas en inglés) es crítica para una educación escalable, pero enfrenta obstáculos significativos en su despliegue en el mundo real, principalmente debido a la extrema escasez de datos etiquetados. La construcción de conjuntos de datos para AES es laboriosa, costosa y propensa a la inconsistencia entre evaluadores. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) han tenido éxito en diversas tareas de PLN, su rendimiento en AES sigue siendo subóptimo (Kappa de Peso Cuadrático [QWK] de ~0.5–0.6) en comparación con los modelos de aprendizaje profundo específicos para la tarea, y sus requisitos computacionales plantean barreras para su adopción. Además, los enfoques de aprendizaje profundo existentes suelen tener dificultades en entornos de bajos recursos donde solo se dispone de un pequeño número de ensayos etiquetados.

Metodología
Los autores proponen un enfoque novedoso para mejorar el rendimiento de la AES tanto en entornos de datos limitados como de datos completos, integrando tres técnicas clave sobre un modelo base, DualBERT, que captura la semántica inter-token e inter-oración.

Ajuste Fino en Dos Etapas con Adaptación de Bajo Rango (LoRA):
- Etapa 1: El modelo base DualBERT se ajusta finamente en el conjunto de datos etiquetados.
- Etapa 2: Se insertan capas LoRA en el modelo base congelado. Los autores introducen una estrategia para realizar un barrido de diversas configuraciones de pesos específicos por rasgo. En lugar de realizar el ajuste fino completo de modelos separados para diferentes combinaciones de pesos, el método entrena únicamente las capas de adaptador (LoRA) para cada configuración. La configuración que ofrece el mejor rendimiento en el conjunto de desarrollo es la seleccionada. Esto permite que el modelo capture características finamente detalladas y se adapue eficientemente a los requisitos específicos de cada rasgo.
Alineación de Puntuación (SA):
- Esta es una técnica de post-procesamiento libre de entrenamiento, diseñada para corregir el sesgo de distribución entre las puntuaciones predichas y las reales. Los modelos ajustados finamente suelen fallar al predecir puntuaciones extremas (por ejemplo, predecir 0.95 en lugar de 1.0).
- SA aplica una transformación lineal a las predicciones del conjunto de prueba basándose en la discrepancia entre las puntuaciones reales y las predichas observadas en el conjunto de desarrollo reservado. Específicamente, calcula las diferencias medias para el $p\%$ superior e inferior de las puntuaciones en el conjunto de desarrollo y utiliza estas para ajustar los límites mínimo y máximo de las predicciones de prueba, asegurando que la distribución predicha se alinee más estrechamente con la distribución real.
Autoconsistencia Basada en la Incertidumbre (UST):
- Diseñada para aprovechar los datos no etiquetados (que son más fáciles de recolectar que los datos etiquetados), UST estima la incertidumbre de las predicciones en ensayos no calificados.
- La incertidumbre se mide como la desviación estándar de las predicciones obtenidas mediante el dropout de Monte Carlo (pasadas de dropout repetidas).
- Las muestras se particionan en contenedores (bins) según la magnitud de la puntuación predicha. De cada contenedor, se selecciona un número fijo de muestras con la menor incertidumbre para servir como datos con etiquetas pseudo (pseudo-labeled). Este filtrado mitiga la propagación del ruido de las etiquetas. El conjunto de datos aumentado (etiquetado original + pseudo-etiquetado seleccionado) se utiliza posteriormente para reentrenar el modelo.

Contribuciones Clave

Integración Novedosa: El artículo integra el ajuste fino de dos etapas, la Alineación de Puntuación y UST en un marco modular. Esto permite combinar las técnicas o aplicarlas de forma independiente para abordar cuellos de botella complementarios: adaptación del modelo, calibración de salida y aumento de datos.
Innovación en la Alineación de Puntuación: Los autores demuestran que la Alineación de Puntuación mejora consistentemente el rendimiento tanto en entornos de datos limitados como de datos completos. Cuando se combina con LoRA, el modelo DualBERT alcanza nuevos resultados de estado del arte (SOTA) en el entorno de datos completos, superando los métodos de AES existentes.
Efectividad en Bajos Recursos: El estudio proporciona evidencia extensa de que el enfoque integrado aumenta significativamente el rendimiento cuando los datos etiquetados son escasos, alcanzando el 91.2% del rendimiento de datos completos utilizando solo 32 muestras etiquetadas por instrucción (prompt).

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos ASAP++, con la generalizabilidad probada en TOEFL11 y ELLIPSE.

Entorno de Datos Completos (ASAP++): La integración de LoRA y la Alineación de Puntuación con DualBERT logró un nuevo resultado SOTA, superando métodos previos como ArTS+RMTS y SaMRL. El QWK mejoró en 0.011 (por rasgo) y 0.008 (por instrucción) respecto al modelo base DualBERT, alcanzando la integración total (LoRA+SA) un 0.714 (por rasgo) y 0.732 (por instrucción). Mientras que la Alineación de Puntuación por sí sola tuvo un rendimiento similar a los mejores baselines supervisados, la combinación con LoRA produjo los mejores resultados generales.
Entorno de Datos Limitados (32-datos): En el entorno de 32 datos, el método integrado (LoRA+SA+UST) mejoró el QWK en 4.6 puntos (por rasgo) y 5.4 puntos (por instrucción) respecto al DualBERT base. Esto resultó en una puntuación final de 0.639 (por rasgo), que es el 91.2% del rendimiento de datos completos.
Comparación con LLMs: El método propuesto superó a los baselines de LLM de pocos disparos (few-shot) (ej. Llama-3.1-8B-Instruct) en ASAP++ en entornos de bajos recursos, requiriendo significativamente menos recursos computacionales y parámetros.
Generalizabilidad: En TOEFL11 y ELLIPSE, la Alineación de Puntuación y UST mejoraron consistentemente el rendimiento sobre el baseline, aunque LoRA mostró efectos marginales o negativos en entornos de múltiples instrucciones debido al sobreajuste en conjuntos de rasgos homogéneos.

Significancia y Reivindicaciones
El artículo sostiene que su enfoque aborda eficazmente el desafío de la escasez de datos en AES sin depender de LLMs masivos. La significancia reside en la modularidad de las técnicas propuestas, lo que permite mejoras de rendimiento incrementales. Los autores enfatizan que la Alineación de Puntuación es particularmente robusta, proporcionando ganancias consistentes independientemente del volumen de datos. El método integrado demuestra que es posible lograr una AES de alta calidad incluso con una escasez severa de etiquetas (ej. 32 muestras), cerrando la brecha entre el rendimiento de datos limitados y las capacidades de datos completos. El estudio concluye que estas técnicas ofrecen una vía práctica y eficiente para desplegar sistemas de AES robustos en escenarios educativos del mundo real donde los datos etiquetados son un cuello de botella.

Más como este