Training data generation for context-dependent rubric-based short answer grading

Título: Generación de datos de entrenamiento para la calificación de respuestas cortas basada en rúbricas y dependiente del contexto

1. El Problema

El acceso a datos de alta calidad y específicos de un dominio es una de las mayores barreras en la investigación del procesamiento del lenguaje natural (NLP), especialmente para tareas poco exploradas como la evaluación automatizada de respuestas abiertas.

• Restricciones de Privacidad y Propiedad Intelectual: Los datos más valiosos, como las respuestas de estudiantes del examen PISA (Programa para la Evaluación Internacional de Estudiantes) de la OCDE, están protegidos por acuerdos de no divulgación (NDA). Esto impide su publicación directa, limitando la investigación a instituciones específicas y reduciendo la reproducibilidad.
• Falta de Datos Públicos: Los conjuntos de datos abiertos existentes suelen estar restringidos a un solo dominio, carecen de rúbricas de calificación detalladas o solo contienen respuestas correctas, lo que los hace insuficientes para entrenar evaluadores robustos.
• Dilema de la Generación: Generar datos sintéticos puros a menudo resulta en distribuciones que no se asemejan a los datos reales, mientras que usar los datos confidenciales directamente para generar datos públicos viola los NDA.

2. Metodología

El equipo propuso un enfoque para crear un "conjunto de datos proxy" (sustituto) de gran escala utilizando un pequeño conjunto de datos confidenciales de referencia (PISA) sin revelar información sensible. El proceso se divide en cuatro etapas principales:

A. Generación de Candidatos Sintéticos
Se utilizó un pipeline multi-etapa con Modelos de Lenguaje de Gran Escala (LLM) y fuentes abiertas de internet:

1. Extracción de Contexto: Se extrajo texto plano de sitios web abiertos, se limpió y se segmentó en fragmentos de 150 a 800 palabras.
2. Generación de Preguntas: Un LLM generó preguntas abiertas basadas en el contexto, asegurando que fueran respondibles solo con la información dada y que probaran la comprensión lógica. Un segundo LLM (juez) validó el cumplimiento de criterios.
3. Generación de Rúbricas: Se crearon rúbricas de calificación (puntuación completa, parcial y nula) siguiendo criterios estrictos de claridad y sin ambigüedades, inspiradas en ejemplos públicos de la OCDE.
4. Generación y Calificación de Respuestas: Se generaron respuestas simulando el estilo de un estudiante de secundaria (con errores tipográficos y gramaticales) para los tres niveles de puntuación. Un juez LLM filtró las respuestas que no seguían las instrucciones de generación.

B. Extracción de Características (Feature Extraction)
Para alinear los datos sintéticos con los datos de referencia sin exponer el contenido original, se extrajeron características lingüísticas y semánticas derivadas (DTF - Derived Text Formats). Estas incluyen:

• Similitud coseno de embeddings densos (usando BAAI/bge-m3) entre contexto-pregunta, contexto-respuesta y rúbrica-respuesta.
• Métricas de superposición de n-gramas (recall, precisión, Jaccard) entre preguntas, contextos y respuestas.
• Longitud de la respuesta y densidad léxica.
• Similitud coseno basada en TF-IDF.

C. Selección de Datos (Data Selection)
Se compararon tres métodos para seleccionar el subconjunto sintético que mejor imitara la distribución de los datos de referencia:

1. Método 1: Selección del 5% de muestras más cercanas a la media global de las características de la clase en el conjunto de referencia (métrica L2).
2. Método 2: Mejora del Método 1 abordando la diversidad. Se seleccionó el 5% mejor dentro de cada dominio por separado y se utilizó el promedio de 8 clústeres (K-means) en lugar de una sola media global.
3. Método 3 (El más riguroso): Se relajó la restricción de no usar características directas para la selección. En lugar de comparar distancias a medias, se ordenaron los datos sintéticos y de referencia juntos según su distancia L2 a cada muestra sintética. Se calculó una puntuación negativa basada en el rango promedio de las 5 muestras de referencia más cercanas en esa ordenación.

3. Contribuciones Clave

• Marco de Datos Proxy: Demostración de cómo generar conjuntos de datos de entrenamiento abiertos y de gran escala a partir de datos confidenciales restringidos, cumpliendo con los NDA mediante el uso de características derivadas.
• Pipeline de Generación Sintética: Un proceso automatizado de múltiples etapas para crear contextos, preguntas, rúbricas y respuestas de estudiantes con variabilidad realista (incluyendo errores).
• Evaluación de Métodos de Selección: Comparación sistemática de tres estrategias de selección de subconjuntos, identificando que el uso de características no reducidas (Método 3) es superior a las aproximaciones basadas en promedios simples.
• Recurso Abierto: Publicación del código y del conjunto de datos generado en un repositorio de GitHub.

4. Resultados

Los experimentos se evaluaron mediante tres enfoques (E1: few-shot, E2: selección de modelos, E3: entrenamiento de modelos pequeños):

• Métodos 1 y 2: No lograron mejorar el rendimiento del modelo en comparación con el uso de todo el conjunto de datos o la selección aleatoria. Las métricas de similitud de características mostraron mejoras en algunas áreas (como la longitud de la respuesta), pero el rendimiento final en la tarea de calificación fue inferior o neutro. Esto sugiere que los promedios simples de características no capturan la complejidad necesaria.
• Método 3: Fue el único que mostró resultados positivos y estadísticamente significativos.
  • En la prueba de entrenamiento (E3), el modelo entrenado con el subconjunto seleccionado mediante el Método 3 superó al modelo entrenado con una selección aleatoria.
  • Se observó una ganancia promedio de precisión de 0.0206 en una primera ejecución y 0.0116 en repeticiones posteriores.
  • Las pruebas de rangos con signo de Wilcoxon arrojaron valores p de 0.00091 y 0.00102 (ambos < 0.05), confirmando que la mejora no fue aleatoria.

5. Significado e Implicaciones

• Viabilidad de Datos Sintéticos para Tareas Restringidas: El trabajo demuestra que es posible superar las barreras de privacidad y propiedad intelectual en la investigación de NLP mediante la generación de datos proxy de alta fidelidad.
• Importancia de la Complejidad en la Selección: El estudio revela que las características simples y promediadas (como las usadas en métodos de condensación de datos tradicionales) pueden ser insuficientes para tareas complejas y dependientes del contexto. La selección basada en la relación de ordenamiento de distancias (Método 3) es más efectiva.
• Futuro de la Investigación: Sugiere que para tareas de calificación educativa automatizada, es necesario un conjunto de características más expresivo y posiblemente métodos de selección que no dependan únicamente de la reducción de dimensionalidad o promedios globales.
• Reproducibilidad: Al proporcionar un conjunto de datos abierto que imita la distribución de datos confidenciales, se permite que más investigadores accedan a este tipo de problemas sin violar acuerdos legales.

En conclusión, aunque los métodos basados en características reducidas no fueron suficientes, el enfoque de selección basado en el ordenamiento de distancias (Método 3) ofrece una vía prometedora para crear conjuntos de datos de entrenamiento efectivos a partir de fuentes confidenciales, mejorando el entrenamiento de modelos para la evaluación de respuestas abiertas.