Cognitively Diverse Multiple-Choice Question Generation: A Hybrid Multi-Agent Framework with Large Language Models

Sintesi Tecnica: ReQUESTA – Un framework multi-agente ibrido per la generazione di MCQ cognitivamente diversificati

Problematica
Sebbene i Large Language Models (LLM) abbiano reso sempre più fattibile la generazione automatizzata di domande a scelta multipla (MCQ), produrre in modo affidabile item che soddisfino carichi cognitivi controllati rimane una sfida significativa. Gli attuali approcci di prompting a passaggio singolo spesso faticano ad allineare le domande generate con le abilità cognitive di ordine superiore (es. inferenza, sintesi) e producono frequentemente item con qualità dei distrattori inconsistente, mancanza di parallelismo strutturale o un allineamento superficiale con i testi sorgente. Gli esistenti approcci ibridi non hanno ancora dimostrato un controllo affidabile sulla complessità cognitiva delle domande generate senza ulteriori vincoli strutturali. Il problema centrale affrontato è come andare oltre la generazione monolitica a passaggio singolo per creare un sistema in grado di mirare sistematicamente a specifici livelli cognitivi (richiamo basato sul testo, ragionamento inferenziale e sintesi dell'idea principale) garantendo al contempo un'alta qualità psicometrica e pedagogica.

Metodologia: Il Framework ReQUESTA
Gli autori introducono ReQUESTA (Reading Question-generation Using Educational Smart Text Agents), un framework ibrido multi-agente progettato per orchestrare la generazione di MCQ attraverso una sequenza coordinata di agenti basati su LLM e componenti basati su regole. Invece di fare affidamento esclusivamente sulla scalabilità del modello, ReQUESTA decompone il processo di autoria in sottotask specializzati per garantire controllabilità e affidabilità.

• Architettura e Workflow:

  • Preprocessor (basato su regole): Segmenta il testo di input in unità coerenti e gestibili utilizzando l'analisi a livello di frase.
  • Planner (basato su LLM): Analizza i segmenti per identificare concetti chiave, inferenze implicite e temi centrali. Genera un piano strutturato (rappresentazione intermedia) che specifica quali segmenti ed elementi verranno utilizzati per diversi tipi di domande (basate sul testo, inferenziali, idea principale).
  • Controller (basato su regole): Interpreta l'output del Planner e orchestra l'esecuzione del compito, assegnando segmenti di testo specifici e obiettivi cognitivi agli agenti generatori appropriati.
  • Generatori di Domande (basati su LLM): Tre agenti specializzati generano domande basandosi sui vincoli del Planner:
    1. Basate sul testo: Mirano a fatti espliciti.
    2. Inferenziali: Mirano a relazioni che richiedono l'integrazione di informazioni.
    3. Idea principale: Mirano a temi generali.
  • Evaluator (basato su LLM): Valuta gli item generati rispetto a una checklist (chiarezza, allineamento tra stem e risposta, plausibilità dei distrattori). Gli item che non soddisfano i criteri vengono restituiti al generatore per una revisione iterativa.
  • Formatter (basato su regole): Standardizza l'output, mescolando le opzioni e imponendo un'etichettatura coerente.
  • Modulo di Accorciamento delle Opzioni: Un passaggio di post-elaborazione che utilizza un sistema di agenti collaborativi (Analizzatore Sintattico, Determinatore di Lunghezza, Generatore di Candidati, Selezionatore di Candidati) per correggere gli squilibri di lunghezza tra i distrattori, un comune fallimento della generazione tramite LLM.

• Strategie di Prompt Engineering:
  Il framework impiega quattro strategie chiave per guidare il comportamento degli agenti:

  1. Prompting basato su Persona: Assegna ruoli specifici (es. "esperto docente universitario") per allineare gli output agli standard di valutazione.
  2. Chain-of-Thought (CoT): Richiede agli agenti di riportare i passaggi intermedi di ragionamento, rendendo i processi decisionali espliciti e ispezionabili.
  3. Few-shot Prompting: Fornisce esempi di output efficaci vs inefficaci (es. per l'accorciamento delle opzioni) per calibrare i vincoli stilistici.
  4. Auto-critica: Gli agenti sono istruiti a revisionare i propri output per individuare debolezze comuni (ambiguità, disallineamento) prima della valutazione esterna.

• Disegno Sperimentale:
  Il framework è stato valutato contro un baseline zero-shot di GPT-5 (prompting a passaggio singolo) utilizzando 20 passaggi espositivi accademici tratti dai libri di testo OpenStax.

  • Partecipanti: 572 adulti reclutati tramite Prolific.
  • Task: I partecipanti hanno letto i passaggi e risposto a 5 MCQ per ogni passaggio (2 basate sul testo, 2 inferenziali, 1 idea principale).
  • Condizioni: Disegno within-participant dove i partecipanti rispondevano a item generati da ReQUESTA o dal baseline GPT-5.
  • Metriche:
    • Psicometriche: Difficoltà dell'item ($p$), discriminazione ($D$) e correlazione punto-bisseriale ($r_{pb}$) analizzate tramite la Teoria Classica dei Test e regressione logistica a effetti misti.
    • Valutazione degli Esperti: Due valutatori esperti hanno punteggiato 200 item (100 per metodo) secondo una rubrica che copriva correttezza della risposta, erroneità del distrattore, rilevanza dell'argomento, chiarezza della scrittura e qualità del distrattore (caratteristiche linguistiche, plausibilità semantica, unicità).

Risultati Chiave

1. Performance Psicometrica: Gli item generati da ReQUESTA erano costantemente più impegnativi e discriminanti rispetto al baseline GPT-5.

   • Difficoltà: Gli item di ReQUESTA avevano un indice di difficoltà medio inferiore ($M = 0,786$) rispetto a GPT-5 ($M = 0,902$), indicando che erano più difficili per gli studenti.
   • Discriminazione: Gli item di ReQUESTA mostravano una discriminazione significativamente più alta ($M = 0,39$ vs $0,17$), differenziando meglio tra lettori con prestazioni elevate e basse.
   • Allineamento: Gli item di ReQUESTA mostravano correlazioni punto-bisseriali più forti con i punteggi totali del test ($M = 0,323$ vs $0,275$), indicando un migliore allineamento con la capacità complessiva di comprensione della lettura.
   • Analisi di Regressione: I modelli a effetti misti hanno confermato che la fonte della domanda (ReQUESTA) era un predittore significativo di una minore accuratezza ($\beta = -1,277, p < ,001$), mantenendo costanti il tipo di domanda e il vocabolario.

2. Valutazione degli Esperti:

   • Rilevanza dell'Argomento: Gli item di ReQUESTA sono stati valutati significativamente più alti per l'allineamento con i concetti centrali ($p < ,05$).
   • Qualità dei Distrattori: ReQUESTA ha superato il baseline nelle caratteristiche linguistiche dei distrattori (coerenza in lunghezza/struttura) e nella plausibilità semantica dei distrattori (ragionevolezza per i lettori che hanno mancato il punto), particolarmente per le domande inferenziali.
   • Chiarezza della Scrittura: Il baseline GPT-5 ha ricevuto punteggi più alti per la chiarezza della scrittura ($p < ,001$), suggerendo un compromesso in cui il focus di ReQUESTA sul rigore cognitivo e sui distrattori complessi ha talvolta prodotto stem o opzioni leggermente meno concisi.
   • Correttezza: Entrambi i metodi hanno ottenuto punteggi quasi perfetti per la correttezza della risposta e l'erroneità del distrattore.

Significatività e Contributi
L'articolo rivendica tre contributi primari nel campo dei sistemi di generazione basati su LLM:

1. Design del Workflow rispetto alla Scalabilità del Modello: Lo studio dimostra che miglioramenti significativi nella generazione automatizzata di MCQ possono essere ottenuti attraverso il design del workflow e dell'orchestrazione piuttosto che scalando i parametri del modello. Mantenendo costante l'LLM sottostante (GPT-5) e introducendo una coordinazione strutturata tra pianificazione, generazione, valutazione e revisione, ReQUESTA ha ottenuto risultati superiori rispetto a un baseline a passaggio singolo.
2. Framework di Generazione Controllabile: ReQUESTA propone un'architettura ibrida che combina la potenza espressiva degli LLM con l'affidabilità dell'elaborazione deterministica basata su regole. Progettando esplicitamente i confini degli agenti, la specializzazione dei compiti e i cicli di feedback iterativi, il sistema regola le richieste di ragionamento e i vincoli strutturali degli artefatti generati, andando oltre i limiti della prompting monolitica.
3. Pratica di Valutazione: Lo studio avanza le pratiche di valutazione per i sistemi di generazione strutturata utilizzando misure di esito funzionale (es. difficoltà dell'item, discriminazione, plausibilità del distrattore) anziché affidarsi solo a indicatori superficiali come la grammaticalità.

Conclusione
Gli autori concludono che l'orchestrazione agentica può migliorare sistematicamente l'affidabilità e la controllabilità della generazione basata su LLM. ReQUESTA illustra come la decomposizione di compiti complessi in passaggi intermedi auditabili e l'imposizione di vincoli attraverso controlli ripetuti produca artefatti più affidabili, cognitivamente diversificati e pedagogicamente allineati rispetto al prompting a passaggio singolo. Il framework si posiziona come un approccio maturo e guidato dalla valutazione per la generazione automatizzata di assessment, evidenziando come il design del workflow di generazione sia un leva chiave per la generazione di artefatti strutturati.