Cognitively Diverse Multiple-Choice Question Generation: A Hybrid Multi-Agent Framework with Large Language Models

Resumen Técnico: ReQUESTA – Un Marco Híbrido Multi-Agente para la Generación de Preguntas de Opción Múltiple Cognitivamente Diversas

Declaración del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLM) han hecho que la generación automatizada de preguntas de opción múltiple (MCQ) sea cada vez más factible, producir de manera fiable ítems que satisfagan demandas cognitivas controladas sigue siendo un desafío significativo. Los enfoques actuales de un solo paso (single-pass prompting) suelen tener dificultades para alinear las preguntas generadas con habilidades cognitivas de orden superior (por ejemplo, inferencia, síntesis) y frecuentemente producen ítems con una calidad de distractores inconsistente, falta de paralelismo estructural o un alineamiento superficial con los textos fuente. Los enfoques híbridos existentes aún no han demostrado un control fiable sobre la complejidad cognitiva de las preguntas generadas sin restricciones estructurales adicionales. El problema central abordado es cómo ir más allá de la generación monolítica de un solo paso para crear un sistema que pueda apuntar sistemáticamente a niveles cognitivos específicos (recuerdo basado en el texto, razonamiento inferencial y síntesis de la idea principal) asegurando al mismo tiempo una alta calidad psicométrica y pedagógica.

Metodología: El Marco ReQUESTA
Los autores presentan ReQUESTA (Reading Question-generation Using Educational Smart Text Agents), un marco híbrido multi-agente diseñado para orquestar la generación de MCQ a través de una secuencia coordinada de agentes impulsados por LLM y componentes basados en reglas. En lugar de depender únicamente del escalado del modelo, ReQUESTA descompone el proceso de autoría en subtareas especializadas para garantizar la controlabilidad y la fiabilidad.

• Arquitectura y Flujo de Trabajo:

  • Preprocesador (Basado en reglas): Segmenta el texto de entrada en unidades coherentes y manejables utilizando el análisis de nivel de oración.
  • Planificador (Impulsado por LLM): Analiza los segmentos para identificar conceptos clave, inferencias implícitas y temas centrales. Genera un plan estructurado (representación intermedia) que especifica qué segmentos y elementos se utilizarán para diferentes tipos de preguntas (basadas en el texto, inferenciales, idea principal).
  • Controlador (Basado en reglas): Interpreta la salida del Planificador y orquesta la ejecución de las tareas, asignando segmentos de texto específicos y objetivos cognitivos a los agentes generadores apropiados.
  • Generadores de Preguntas (Impulsados por LLM): Tres agentes especializados generan preguntas basadas en las restricciones del Planificador:
    1. Basadas en el texto: Apuntan a hechos explícitos.
    2. Inferenciales: Apuntan a relaciones que requieren la integración de información.
    3. Idea Principal: Apuntan a temas generales.
  • Evaluador (Impulsado por LLM): Evalúa los ítems generados frente a una lista de verificación (claridad, alineación enunciado-respuesta, plausibilidad del distractor). Los ítems que fallan los criterios son devueltos al generador para una revisión iterativa.
  • Formateador (Basado en reglas): Estandariza la salida, barajando las opciones y aplicando un etiquetado consistente.
  • Módulo de Acortamiento de Opciones: Un paso de post-procesamiento que utiliza un sistema de agentes colaborativos (Analizador de Sintaxis, Determinador de Longitud, Generador de Candidatos, Selector de Candidatos) para corregir los desequilibrios de longitud entre los distractores, un modo de fallo común en la generación por LLM.

• Estrategias de Ingeniería de Prompts:
  El marco emplea cuatro estrategias clave para guiar el comportamiento de los agentes:

  1. Prompting basado en Personajes (Persona-based Prompting): Asigna roles específicos (por ejemplo, "instructor universitario experimentado") para alinear las salidas con las normas de evaluación.
  2. Cadena de Pensamiento (Chain-of-Thought - CoT): Requiere que los agentes informen sus pasos de razonamiento intermedio, haciendo que los procesos de decisión sean explícitos e inspeccionables.
  3. Prompting de Pocos Ejemplos (Few-shot Prompting): Proporciona ejemplos de salidas efectivas frente a ineficaces (por ejemplo, para el acortamiento de opciones) para calibrar las restricciones estilísticas.
  4. Autocrítica: Se solicita a los agentes que revisen sus propias salidas en busca de debilidades comunes (ambigüedad, desalineación) antes de la evaluación externa.

• Diseño Experimental:
  El marco fue evaluado contra un baseline de GPT-5 zero-shot (prompting de un solo paso) utilizando 20 pasajes expositivos académicos de libros de texto de OpenStax.

  • Participantes: 572 adultos reclutados vía Prolific.
  • Tarea: Los participantes leyeron los pasajes y respondieron 5 MCQ por pasaje (2 basadas en el texto, 2 inferenciales, 1 de idea principal).
  • Condiciones: Diseño intra-sujeto donde los participantes respondieron ítems generados ya sea por ReQUESTA o por el baseline de GPT-5.
  • Métricas:
    • Psicométricas: Dificultad del ítem ($p$), discriminación ($D$) y correlación punto-biserial ($r_{pb}$) analizadas mediante la Teoría Clásica de los Tests y regresión logística de efectos mixtos.
    • Evaluación de Expertos: Dos evaluadores expertos calificaron 200 ítems (100 por método) utilizando una rúbrica que cubría la corrección de la respuesta, la incorrección del distractor, la relevancia del tema, la claridad de la redacción y la calidad del distractor (rasgos lingüísticos, plausibilidad semántica, unicidad).

Resultados Clave

1. Desempeño Psicométrico: Los ítems generados por ReQUESTA fueron consistentemente más desafiantes y discriminativos que el baseline de GPT-5.

   • Dificultad: Los ítems de ReQUESTA tuvieron un índice de dificultad media menor ($M = 0.786$) en comparación con GPT-5 ($M = 0.902$), lo que indica que fueron más difíciles para los estudiantes.
   • Discriminación: Los ítems de ReQUESTA mostraron una discriminación significativamente mayor ($M = 0.39$ vs. $0.17$), diferenciando mejor entre lectores de alto y bajo rendimiento.
   • Alineación: Los ítems de ReQUESTA mostraron correlaciones punto-biseriales más fuertes con las puntuaciones totales de la prueba ($M = 0.323$ vs. $0.275$), indicando un mejor alineamiento con la capacidad general de comprensión lectora.
   • Análisis de Regresión: Los modelos de efectos mixtos confirmaron que la fuente de la pregunta (ReQUESTA) fue un predictor significativo de una menor precisión ($\beta = -1.277, p < .001$), manteniendo constantes el tipo de pregunta y el vocabulario.

2. Evaluación de Expertos:

   • Relevancia del Tema: Los ítems de ReQUESTA fueron calificados significativamente más alto en cuanto a alineación con los conceptos centrales ($p < .05$).
   • Calidad de los Distractores: ReQUESTA superó al baseline en rasgos lingüísticos de los distractores (consistencia en longitud/estructura) y en plausibilidad semántica de los distractores (razonabilidad para los estudiantes que no comprendieron el punto), particularmente para las preguntas inferenciales.
   • Claridad de Redacción: El baseline de GPT-5 recibió puntuaciones más altas para la claridad de redacción ($p < .001$), lo que sugiere un compromiso (trade-off) donde el enfoque de ReQUESTA en el rigor cognitivo y los distractores complejos resultó en, en ocasiones, enunciados u opciones ligeramente menos concisos.
   • Corrección: Ambos métodos alcanzaron puntuaciones casi perfectas para la corrección de la respuesta y la incorrección del distractor.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias al campo de los sistemas de generación basados en LLM:

1. Diseño de Flujo de Trabajo sobre Escalado de Modelos: El estudio demuestra que se pueden lograr mejoras significativas en la generación automatizada de MCQ a través del diseño de flujo de trabajo y orquestación, en lugar de escalar los parámetros del modelo. Al mantener constante el LLM subyacente (GPT-5) e introducir una coordinación estructurada a través de la planificación, generación, evaluación y revisión, ReQUESTA logró resultados superiores comparados con un baseline de un solo paso.
2. Marco de Generación Controlable: ReQUESTA propone una arquitectura híbrida que combina el poder expresivo de los LLM con la fiabilidad del procesamiento determinista basado en reglas. Al diseñar explícitamente los límites de los agentes, la especialización de tareas y los bucles de retroalimentación iterativa, el sistema regula las demandas de razonamiento y las restricciones estructurales de los artefactos generados, yendo más allá de las limitaciones del prompting monolítico.
3. Práctica de Evaluación: El estudio avanza en las prácticas de evaluación para sistemas de generación estructurada al utilizar medidas de resultados funcionales (por ejemplo, dificultad del ítem, discriminación, plausibilidad del distractor) en lugar de depender únicamente de indicadores superficiales como la gramaticalidad.

Conclusión
Los autores concluyen que la orquestación de agentes puede mejorar sistemáticamente la fiabilidad y la controlabilidad de la generación basada en LLM. ReQUESTA ilustra que la descomposición de tareas complejas en pasos intermedios auditables y la imposición de restricciones mediante verificaciones repetidas produce artefactos más fiables, cognitivamente diversos y pedagógicamente alineados que el prompting de un solo paso. El marco se posiciona como un enfoque maduro y orientado a la evaluación para la generación de evaluaciones automatizadas, destacando que el diseño del flujo de trabajo de generación es una palanca clave para la generación de artefactos estructurados.