SCALEFeedback: A Large-Scale Dataset of Synthetic Computer Science Assignments for LLM-generated Educational Feedback Research

Resumen Técnico: Conjunto de Datos SCALEFeedback para la Investigación de Retroalimentación Educativa mediante LLM

Planteamiento del Problema
La integración de los Modelos de Lenguaje de Gran Escala (LLM) en la educación ofrece un potencial significativo para proporcionar retroalimentación automatizada y oportuna a los estudiantes. Sin embargo, la investigación sobre metodologías generalizables para generar una retroalimentación educativa efectiva y responsable se ve actualmente obstaculizada por una falta crítica de conjuntos de datos de código abierto. La investigación existente suele limitarse a tareas de programación específicas o cursos únicos, y la creación de conjuntos de datos abiertos y exhaustivos que incluyan descripciones de tareas, rúbricas y diversas entregas de estudiantes se ve obstruida por los derechos de propiedad intelectual de las universidades y las preocupaciones sobre la privacidad de los estudiantes. En consecuencia, no existe un conjunto de datos a gran escala que incluya de manera integral estos elementos a través de diversos cursos para apoyar el desarrollo de sistemas de retroalimentación escalables y generalizables.

Metodología: Mimetismo de Tareas Sofisticado (SAM)
Para abordar la escasez de datos educativos compartibles, los autores presentan SCALEFeedback (Synthetic Computer science Assignments for LLM Educational Feedback Research), un conjunto de datos generado mediante un nuevo marco llamado Sophisticated Assignment Mimicry (SAM) (Mimetismo de Tareas Sofisticado).

La metodología consiste en un proceso de imitación uno a uno basado en LLM diseñado para preservar el significado semántico y la distribución de datos de los datos del mundo real, eliminando al mismo tiempo la información de identificación personal (PII). El proceso sigue un bucle de instrucción iterativo de cuatro pasos:

1. Evaluar: El LLM analiza la descripción de la tarea original (tema, objetivos, estilo, longitud, rúbrica) y la entrega real del estudiante correspondiente (extensión, detalle, corrección y calificación estimada).
2. Generar: El LLM crea una descripción de tarea sintética y una entrega de estudiante sintética, imitando estrictamente las dimensiones evaluadas en el paso anterior.
3. Reevaluar: El LLM evalza los nuevos datos sintéticos generados frente a las mismas dimensiones utilizadas para los datos originales.
4. Comparar y Bucle: El LLM compara los resultados de la evaluación de los datos sintéticos con los originales. Si se considera que la imitación es exitosa, los datos se emiten; de lo contrario, el proceso regresa al paso 2.

Para garantizar la privacidad, el marco emplea una puerta de privacidad externa utilizando un LLM de alto razonamiento (o4-mini). Esta puerta realiza una verificación de tres pasos para verificar que no aparezcan nombres o IDs de estudiantes de la entrega real en la salida sintética. Si se encuentra una coincidencia, la generación se descarta y se reintenta.

El conjunto de datos se construyó a partir de 45,126 entregas reales de estudiantes de la Facultad de Tecnologías de la Información de la Universidad de Monash (primer semestre de 2021). Tras filtrar por restricciones de longitud (menos de 7,500 palabras para adaptarse a las ventanas de contexto de los LLM más antiguos) y ponderación proporcional, se generaron 10,000 entregas sintéticas en 155 tareas de 59 cursos de ciencias de la computación.

Contribuciones Clave
El artículo presenta cuatro contribuciones primarias:

1. Lanzamiento de Conjunto de Datos Abierto: El lanzamiento de SCALEFeedback, que contiene 10,000 entregas sintéticas de estudiantes en 155 tareas y 59 cursos, formateado para la investigación de métodos de retroalimentación automatizada generalizables.
2. Validación Técnica: Una validación exhaustiva que demuestra que los datos sintéticos se asemejan estrechamente a los datos reales en términos de calificaciones de entrega, similitud semántica, métricas lingüísticas (LIWC) y métricas de legibilidad (Coh-Metrix), garantizando al mismo tiempo la eliminación de la información identificable del estudiante.
3. Utilidad como Proxy: Evidencia que muestra que el conjunto de datos sirve como un proxy confiable para la investigación de retroalimentación basada en LLM. La retroalimentación generada para las entregas sintéticas es comparable en calidad a la retroalimentación generada para las entregas reales correspondientes.
4. Proceso de Síntesis que Preserva la Privacidad: Documentación de un proceso de síntesis uno a uno basado en LLM que mantiene las características distribucionales de los datos educativos sensibles permitiendo al mismo tiempo su intercambio abierto.

Resultados

• Semejanza: El método SAM logró una alta similitud semántica (BERTScore F1 > 0.85) y una fuerte correlación positiva en longitud (PCC > 0.85) en comparación con los datos originales. En contraste, una línea base de "mimetismo ingenuo" mostró una correlación significativamente menor en longitud (PCC ≈ 0.5) y mayores tasas de error.
• Lingüística y Legibilidad: Las descripciones y entregas sintéticas exhibieron similitudes de coseno superiores a 0.94 con los datos reales a través de 83 características lingüísticas de LIWC y 68 índices de legibilidad de Coh-Metrix.
• Distribución de Calificaciones: Si bien las entregas sintéticas mostraron una correlación positiva moderada con las calificaciones originales (PCC = 0.624) en comparación con la línea base ingenua (PCC = 0.421), los autores señalan que los datos sintéticos tienden a agruparse alrededor de la media, mostrando menos efectividad para imitar patrones de cola larga (por ejemplo, calificaciones extremadamente altas o bajas).
• Evaluación de Utilidad: Utilizando 10 LLM comerciales diferentes para generar retroalimentación, el estudio encontró una alta consistencia entre la retroalimentación para las entregas sintéticas y las reales. La alineación promedio fue de 0.847 y la puntuación F1 fue de 0.856, lo que indica que los datos sintéticos preservan eficazmente las características necesarias para activar componentes de retroalimentación específicos.
• Protección de la Privacidad: La combinación de protección en el prompt y la puerta de privacidad externa logró una tasa de protección de la privacidad del 100%, superando significativamente al método de mimetismo ingenuo (96.5%) y a los enfoques de un solo mecanismo.

Significancia y Limitaciones
Los autores posicionan a SCALEFeedback como una contribución valiosa para los investigadores que buscan desarrollar métodos escalables y generalizables de retroalimentación educativa automatizada. Al proporcionar un conjunto de datos estandarizado y de código abierto que evita las restricciones legales y éticas, facilita el descubrimiento, la reutilización y la comparación de metodologías.

Sin embargo, el artículo mantiene una postura modesta respecto a las limitaciones. Los autores reconocen que el método de síntesis no capturó completamente la diversidad de comportamiento de los estudiantes "atípicos", como aquellos con recuentos de palabras extremadamente altos o calificaciones reprobatorias, ya que los datos sintéticos tienden a ser más centrados que los datos del mundo real. En consecuencia, el conjunto de datos puede no ser adecuado para entrenar modelos diseñados específicamente para detectar estudiantes que reprueban o casos de mala conducta académica, que suelen ser fenómenos de cola larga. El artículo sugiere que el marco SAM puede ser adoptado por otras instituciones para transformar sus datos internos sensibles en recursos compartibles.