Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning

Resumen Técnico: Modelado de Dificultad de Ítems sin Respuesta para Preguntas de Opción Múltiple con Transformers Ajustados Finamente

Planteamiento del Problema
La estimación precisa de la dificultad de los ítems es crítica para la evaluación educativa de alto impacto, pero la calibración basada en respuestas convencional a menudo no está disponible para ítems recién redactados, pruebas piloto seguras o poblaciones pequeñas. Si bien los juicios de expertos ofrecen una solución parcial, carecen de la fiabilidad suficiente. Esto hace necesaria la modelización de la dificultad de los ítems sin respuestas (IDM), donde la dificultad se infiere directamente de la redacción del ítem antes de su administración.

Los enfoques existentes enfrentan limitaciones significativas:

1. Tuberías de Ingeniería de Características: Estas extraen manualmente características del texto (por ejemplo, legibilidad, profundidad sintáctica) y las alimentan en modelos estadísticos. Este proceso requiere un preprocesamiento extenso (lemaización, eliminación de palabras vacías) que descarta información morfosintáctica y depende del diseño de características impulsado por la teoría.
2. TOM Explicativa con Codificadores Congelados: Métodos como el Modelo Logístico Lineal de Pruebas (LLTM) integran características de los ítems en la función de verosimilitud. Adaptaciones recientes utilizan codificadores BERT congelados para reemplazar las características codificadas a mano, pero las representaciones permanecen vinculadas a objetivos de preentrenamiento de propósito general en lugar de la tarea específica de IDM.
3. El Desafío de la Comprensión Lectora: Para las preguntas de opción múltiple (MCQ) de comprensión lectora, la dificultad surge de las demandas inferenciales a través del pasaje, la pregunta y las opciones conjuntamente. La extracción simple de características o los codificadores congelados a menudo fallan en capturar estas interacciones complejas entre componentes, especialmente en los regímenes de muestra pequeña típicos de la psicometría aplicada donde los datos de dificultad etiquetados son escasos.

Metodología
Los autores proponen y evalúan tres arquitecturas basadas en transformers que ajustan finamente modelos de solo codificador (específicamente ModernBERT) de extremo a extremo sobre la redacción del ítem, eliminando la ingeniería manual de características. El estudio utiliza un diseño anidado de tamaño de entrenamiento en el corpus RACE++ (29,618 ítems), donde los objetivos de dificultad están pseudo-etiquetados utilizando un Modelo de Lenguaje Grande (Gemini 2.5 Flash) calibrado contra estimaciones Rasch humanas del subconjunto PALRACE.

Los tres métodos comparados son:

1. Codificación Conjunta (Línea Base):

   • Arquitectura: El pasaje, la pregunta y las opciones se concatenan en una única secuencia de entrada separada por tokens [SEP].
   • Mecanismo: Un codificador Transformer estándar procesa la secuencia plana. La representación agrupada del token [CLS] se pasa a través de una cabeza de regresión lineal para predecir la dificultad ($\hat{b}_i$).
   • Objetivo: Minimiza el Error Cuadrático Medio (MSE) entre la dificultad predicha y la pseudo-etiquetada.

2. Codificación por Componentes:

   • Arquitectura: El pasaje, la pregunta y el conjunto de opciones se codifican por separado a través de un codificador compartido.
   • Mecanismo: Cada componente produce una representación [CLS]. Estos tres vectores se concatenan y se alimentan a la cabeza de regresión.
   • Motivación: Enforza explícitamente la descomposición funcional de una MCQ, permitiendo teóricamente que el modelo preserve características relacionales de los distractores que podrían perderse en una secuencia plana.

3. Aprendizaje Multitarea (MTL):

   • Arquitectura: Mantiene la entrada de codificación conjunta pero añade una rama auxiliar de Respuesta a Preguntas de Opción Múltiple (MCQA).
   • Mecanismo: El codificador compartido alimenta dos cabezas:
     • Una cabeza de regresión para la dificultad ($\hat{b}_i$).
     • Una cabeza de clasificación ($f_\xi$) que predice la probabilidad de que cada opción sea correcta.
   • Entrenamiento: Las tareas se alternan por lote. Se añade un vector de condicionamiento de tarea aprendible ($z_t$) a la incrustación [CLS] para señalar la tarea activa. La pérdida de MCQA se pondera ($\lambda=0.05$) para evitar la transferencia negativa.
   • Motivación: La tarea auxiliar actúa como un regularizador, forzando al codificador a aprender representaciones capaces de discriminación a nivel de opción. Esto alinea las características aprendidas con el proceso cognitivo de la toma de pruebas, proporcionando una señal supervisora cuando la etiqueta de dificultad principal es escasa.

Resultados Clave
Los modelos se evaluaron en tres tamaños de conjunto de entrenamiento ($n \approx 800$, $n \approx 4,300$ y $n \approx 23,000$) utilizando RMSE, $R^2$ y Spearman $\rho$.

• Viabilidad del Ajuste Fino de Extremo a Extremo: Todos los métodos basados en transformers superaron significativamente al regresor "falso" (que predice la dificultad media del conjunto de entrenamiento). En $n \approx 800$, los modelos redujeron el RMSE entre un 14 y un 16% en comparación con la línea base, demostrando que el ajuste fino de transformers es una alternativa viable a las tuberías de ingeniería de características.
• Codificación por Componentes: Esta variante mostró ningún beneficio detectable sobre la codificación conjunta. De hecho, tuvo un rendimiento ligeramente peor en RMSE y $R^2$ en tamaños de muestra más pequeños. Los autores interpretan esto como evidencia de que el mecanismo de autoatención en la codificación conjunta ya captura eficazmente las señales entre componentes, haciendo redundante la descomposición arquitectónica explícita.
• Aprendizaje Multitarea (MTL):
  • En el tamaño de muestra más pequeño ($n \approx 800$), el MTL ofreció mejoras pareadas significativas sobre la codificación conjunta en todas las métricas (RMSE, $R^2$ y Spearman $\rho$).
  • A medida que aumentó el tamaño del conjunto de entrenamiento ($n \approx 4,300$ y $23,000$), la ventaja del MTL disminuyó y se volvió estadísticamente indistinguible de la codificación conjunta.
  • Esto confirma la hipótesis de que el objetivo auxiliar de MCQA proporciona una señal regularizadora crucial específicamente cuando la señal de dificultad principal es escasa.

Significado y Afirmaciones
El artículo afirma que el ajuste fino de transformers, particularmente cuando se regulariza mediante una tarea auxiliar adecuada, recupera una parte sustancial de la señal de dificultad derivable de la redacción en tamaños de conjunto de entrenamiento típicos de contextos de medición aplicados.

Las conclusiones clave incluyen:

• Eficiencia: El ajuste fino de extremo a extremo colapsa las etapas de preprocesamiento y modelado de la ingeniería de características tradicional en un único proceso impulsado por datos.
• Regularización en Muestras Pequeñas: En regímenes con escasez de datos, añadir una tarea auxiliar que imita el proceso de toma de pruebas (MCQA) actúa como un sesgo inductivo efectivo, evitando que el modelo aprenda atajos superficiales y mejorando la generalización.
• Aplicación Práctica: Estas predicciones sin respuestas pueden servir como priores o estimaciones iniciales en flujos de trabajo de calibración, reduciendo potencialmente el tamaño de muestra requerido para el refinamiento posterior basado en respuestas.

Los autores permanecen modestos respecto al límite absoluto de la predicción basada en texto, reconociendo que factores como las estrategias de toma de pruebas y la disposición visual no se capturan en la redacción, y que los objetivos pseudo-etiquetados en sí mismos contienen ruido tanto del LLM como de la estimación Rasch subyacente. Sin embargo, el marco proporciona una interfaz personalizable para futuras extensiones motivadas por la psicometría.