Synthetic Student Responses: LLM-Extracted Features for IRT Difficulty Parameter Estimation

Resumen Técnico: Respuestas Sintéticas de Estudiantes para la Estimación de la Dificultad mediante IRT

Planteamiento del Problema
El desarrollo de evaluaciones educativas enfrenta un cuello de botella significativo: determinar la dificultad de nuevas preguntas requiere tradicionalmente de la aplicación de pruebas previas con estudiantes reales, seguida de un análisis estadístico (Teoría de Respuesta al Ítem, o IRT). Este proceso genera retrasos y costos que obstaculizan a los docentes y a los desarrolladores de evaluaciones a gran escala. Si bien la investigación existente intenta predecir la dificultad directamente desde el texto mediante el aprendizaje automático, la mayoría de los enfoques la tratan como un problema de regresión directa, omitiendo el mecanismo fundamental de cómo se establece la dificultad en la práctica: a través de patrones de respuesta de los estudiantes. Además, los métodos actuales suelen depender de características lingüísticas convencionales o embeddings, subutilizando el potencial de los Modelos de Lenguaje de Gran Escala (LLM) para extraer conocimientos pedagógicos profundos.

Metodología
Los autores proponen un enfoque de dos etapas que simula el proceso de respuesta del estudiante para derivar los parámetros de dificultad sin necesidad de realizar nuevas pruebas con estudiantes.

1. Ingeniería de Datos y de Características:

   • Conjunto de Datos: El estudio utiliza un conjunto de datos de Zapien, una plataforma de matemáticas adaptativa en Chile, que contiene 251.851 respuestas de estudiantes a 4.696 preguntas de matemáticas únicas.
   • Referencia (Benchmark): Los parámetros de dificultad de referencia se establecieron utilizando un modelo IRT de 1 Parámetro Logístico (1PL) sobre el conjunto de datos completo.
   • Extracción de Características: El modelo integra cinco fuentes de datos:
     • Embeddings de Texto de la Pregunta: Vectores contextuales generados por ModernBERT, que combinan el enunciado del problema y las opciones de respuesta.
     • Características Lingüísticas/Estructurales: Métricas como el recuento de palabras, la presencia de LaTeX y la similitud entre opciones.
     • Características Pedagógicas Extraídas por LLM: Utilizando los modelos Gemini de Google, el sistema extrae atributos complejos que incluyen el número de pasos de la solución, niveles de la Taxonomía de Bloom, posibles concepciones erróneas, complejidad cognitiva y plausibilidad de los distractores.
     • Embeddings de Estudiantes: Un vector aprendido de 8 dimensiones para cada estudiante para capturar perfiles de capacidad individuales.

2. Etapa 1: Red Neuronal para la Predicción de la Corrección:
   Se entrena una red neuronal para predecir la probabilidad de que un estudiante específico responda correctamente una pregunta específica. La arquitectura concatena los embeddings de los estudiantes, los embeddings del texto de la pregunta y los vectores de características diseñadas (procesados a través de capas densas con activación ReLU y dropout). El resultado es una puntuación de probabilidad para cada par estudiante-pregunta.

3. Etapa 2: Estimación de Parámetros IRT:
   El modelo entrenado se aplica a un conjunto de validación de 470 preguntas no vistas. Este genera una matriz de respuesta "sintética" prediciendo cómo responderían los 1.875 estudiantes de los datos de entrenamiento a estas nuevas preguntas. Estas salidas de probabilidad se binarizan (mediante un umbral de 0.5) para simular resultados correctos o incorrectos. Se ajusta un modelo IRT 1PL a esta matriz sintética para estimar los parámetros de dificultad ($\beta$) para las preguntas no vistas.

Resultos Clave

• Precisión de la Predicción: La red neuronal logró una puntuación F1 de 0.8350 y un AUC-ROC de 0.7789 en la predicción de la corrección de los estudiantes en el conjunto de validación.
• Estimación de la Dificultad: Los parámetros de dificultad derivados mostraron una correlación de Pearson de 0.7791 y una correlación de rango de Spearman de 0.7606 con los parámetros de referencia calculados a partir de datos reales de estudiantes.
• Ablación de Características:
  • Los modelos que utilizan únicamente embeddings de texto lograron una correlación de Pearson de ~0.68.
  • La adición de características lingüísticas y estructurales tradicionales proporcionó una mejora insignificante.
  • La inclusión de características pedagógicas extraídas por LLM fue el factor crítico, elevando la correlación a ~0.78. Esto sugiere que los conocimientos derivados de IA sobre la carga cognitiva y la complejidad de la solución son más predictivos de la dificultad que las métricas de texto superficiales.
• Eficiencia: Una evaluación de eficiencia basada en RMSE reveló que la precisión del modelo (RMSE de 1.1857) es comparable a un análisis tradicional de IRT 1PL utilizando aproximadamente 5.818 respuestas de estudiantes reales (aproximadamente el 22.8% de los datos disponibles para esos ítems).

Significancia y Reivindicaciones
El artículo afirma que es posible estimar con precisión los parámetros de dificultad de IRT sin realizar nuevas pruebas previas con estudiantes mediante el modelado del proceso de respuesta de los mismos. La contribución principal es la demostración de que combinar embeddings semánticos con características pedagógicas extraídas por LLM (como los pasos de la solución y las concepciones erróneas) supera significativamente a los enfoques tradicionales basados en texto.

Los autores argumentan que este enfoque basado en la simulación ofrece una alternativa más interpretable y robusta que la regresión directa, ya que refleja el proceso educativo real donde la dificultad emerge de los patrones de desempeño de los estudiantes. El estudio sugiere que este método podría reducir sustancialmente la carga de recursos y el tiempo requerido para desarrollar evaluaciones de alta calidad manteniendo la validez psicométrica.

Limitaciones
Los autores reconocen varias restricciones:

• Generalizabilidad: Los datos son específicos del contexto educativo chileno, lo que puede limitar su aplicabilidad a otras regiones.
• Estabilidad de los LLM: La naturaleza probabilística de los LLM introduce una posible variabilidad en la extracción de características, a pesar de las estrategias de agregación.
• Interpretabilidad: La red neuronal actúa como una "caja negra", lo que dificulta aislar definitivamente la contribución de características específicas más allá del estudio de ablación.
• Sensibilidad: Los resultados pueden variar según el proveedor de LLM y los parámetros de inferencia utilizados.