Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization

Resumen Técnico: Generación de Preguntas de Opción Múltiple Controlable por Dificultad mediante LLMs y Optimización Directa de Preferencias

1. Planteamiento del Problema

La generación automática de preguntas (QG) para la comprensión lectora es fundamental para el aprendizaje adaptativo. Aunque existen métodos neuronales que pueden controlar la dificultad de las preguntas, los enfoques convencionales enfrentan dos limitaciones críticas:

1. Tipo de pregunta: La mayoría de los métodos existentes generan preguntas con respuestas extractivas (identificar un fragmento de texto), pero no pueden generar directamente preguntas de opción múltiple, que son el formato más utilizado en contextos educativos.
2. Precisión en el control de dificultad: Los métodos actuales se entrenan mediante ajuste fino supervisado (SFT) maximizando la verosimilitud condicional del texto de la pregunta. Sin embargo, no optimizan explícitamente la precisión del control de dificultad, lo que resulta en una correlación imperfecta entre el nivel de dificultad especificado y la dificultad real de la pregunta generada.

2. Metodología Propuesta

Los autores proponen un nuevo marco que combina un Modelo de Lenguaje Grande (LLM) con la técnica de Optimización Directa de Preferencias (DPO) para superar las limitaciones mencionadas.

• Arquitectura Base: Se utiliza Llama 3.1 como modelo base.
• Construcción del Dataset:
  • Se utiliza el dataset RACE (preguntas de opción múltiple).
  • Dado que RACE no incluye niveles de dificultad, se estima la dificultad de cada pregunta utilizando la Teoría de Respuesta al Ítem (IRT), específicamente el Modelo Rasch.
  • Para estimar la dificultad, se emplean múltiples sistemas de preguntas y respuestas (QA) basados en diferentes modelos transformadores preentrenados (BERT, RoBERTa, ALBERT, DeBERTa) con distintos niveles de capacidad (entrenados con diferentes porcentajes de datos), actuando como "estudiantes virtuales".
• Entrenamiento en Dos Etapas:
  1. Ajuste Fino Supervisado (SFT): Se entrena el Llama 3.1 para generar preguntas y opciones (correcta y distractores) dadas una lectura y un nivel de dificultad especificado, minimizando la pérdida de verosimilitud negativa.
  2. Optimización Directa de Preferencias (DPO): Tras el SFT, se aplica DPO para optimizar explícitamente la precisión del control de dificultad.
     • A diferencia del Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF), que es costoso e inestable, DPO es un método de aprendizaje supervisado matemáticamente equivalente.
     • Se construye un conjunto de datos de preferencias donde, para una misma entrada (lectura + dificultad), se compara una respuesta "buena" (generada por el modelo SFT) con una respuesta "mala" (otra pregunta aleatoria de la misma lectura).
     • La función de pérdida de DPO maximiza la probabilidad de que la respuesta generada coincida con la dificultad especificada, sin necesidad de generar muestras durante el entrenamiento.

3. Contribuciones Clave

• Primera generación directa de opción múltiple: El método es capaz de generar tanto el texto de la pregunta como las opciones (correcta y distractores) en un solo paso, adaptándose a un nivel de dificultad cuantificado por IRT.
• Optimización explícita de la dificultad: Introduce el uso de DPO para alinear la salida del LLM con el objetivo específico de controlar la dificultad, superando las limitaciones del entrenamiento puramente basado en verosimilitud.
• Marco de evaluación integral: Demuestra que el control de dificultad no solo se mide por la tasa de aciertos, sino también por la Información de Fisher, que indica la precisión en la estimación de la habilidad del estudiante.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el dataset RACE, comparando el modelo solo con SFT ($QG_{sft}$) contra el modelo con SFT + DPO ($QG_{dpo}$).

• Precisión del Control de Dificultad:
  • $QG_{dpo}$ mostró una correlación significativamente mayor entre la dificultad especificada y la dificultad estimada (basada en IRT) en comparación con $QG_{sft}$.
  • El Error Absoluto Medio (MAE) entre la dificultad especificada y la estimada disminuyó de 1.41 ($QG_{sft}$) a 1.07 ($QG_{dpo}$).
  • Las curvas de probabilidad de respuesta correcta y las estimaciones de dificultad se ajustaron mucho más a la línea teórica esperada con DPO.
• Calidad de la Pregunta:
  • La evaluación realizada por un LLM (GPT-4.1 mini) como juez ("LLM-as-a-Judge") en fluidez, relevancia del contenido y capacidad de respuesta (answerability) mostró que DPO no degradó la calidad del texto generado. Los puntajes fueron estadísticamente similares entre ambos modelos.
• Relación con la Complejidad:
  • Se analizó el tipo de razonamiento requerido (desde "coincidencia de palabras" hasta "razonamiento multi-oración"). $QG_{dpo}$ mostró una tendencia más clara: a medida que aumentaba la dificultad especificada, aumentaba la proporción de preguntas que requerían razonamiento multi-oración, validando que el control de dificultad refleja una mayor complejidad cognitiva.
• Comparación con Few-Shot Learning:
  • Se probó el enfoque de few-shot learning (proporcionar ejemplos en el prompt) con GPT-4.1 mini. Los resultados mostraron que este enfoque no logró controlar la dificultad, ya que no hubo correlación entre la dificultad especificada y la generada, validando la necesidad del entrenamiento específico con DPO.

5. Significado e Impacto

Este trabajo es significativo porque:

1. Habilita el Aprendizaje Adaptativo Real: Permite generar dinámicamente preguntas de opción múltiple ajustadas exactamente a la habilidad de un estudiante, un requisito fundamental para sistemas de evaluación adaptativa a gran escala.
2. Mejora la Eficiencia de la Estimación de Habilidad: Al generar preguntas con mayor información de Fisher en el nivel de habilidad del estudiante, se mejora la precisión y velocidad con la que se puede estimar el conocimiento del alumno.
3. Valida DPO en Tareas Educativas: Demuestra que DPO es una herramienta superior al SFT tradicional y al RLHF para optimizar objetivos específicos no diferenciables (como la dificultad percibida) en la generación de texto educativo, manteniendo la calidad lingüística.

Limitaciones Futuras: Los autores reconocen que la "capacidad de respuesta" (answerability) de las preguntas generadas aún puede mejorarse y que el método depende actualmente de grandes conjuntos de datos (RACE), por lo que futuras investigaciones explorarán técnicas de aumento de datos para entornos con recursos limitados.