Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization

Titolo

Generazione di Domande a Scelta Multipla Controllabile per Difficoltà tramite Grandi Modelli Linguistici e Ottimizzazione Diretta delle Preferenze (DPO)

1. Il Problema

La generazione automatica di domande (QG) per la comprensione del testo è fondamentale per supportare l'apprendimento adattivo e la valutazione educativa. Sebbene i metodi neurali recenti abbiano ottenuto successi nel generare domande di alta qualità, esistono due limitazioni critiche nei sistemi esistenti:

1. Incapacità di generare domande a scelta multipla (MCQ): Le metodologie precedenti si concentrano principalmente sulla generazione di domande con risposte "estrazive" (dove l'utente deve estrarre un segmento di testo dalla lettura), mentre le MCQ sono il formato più diffuso nei contesti educativi reali.
2. Scarsa accuratezza nel controllo della difficoltà: I metodi attuali controllano la difficoltà in modo indiretto (ad esempio, massimizzando la verosimiglianza condizionale del testo della domanda data una difficoltà target), senza ottimizzare esplicitamente l'accuratezza del controllo della difficoltà stessa. Inoltre, le scale di difficoltà usate spesso non sono interpretabili in relazione alle capacità degli studenti.

2. Metodologia Proposta

Gli autori propongono un nuovo framework per la generazione di MCQ controllabile per difficoltà, basato su un Grande Modello Linguistico (LLM) addestrato con una tecnica di Ottimizzazione Diretta delle Preferenze (DPO).

• Base del Modello: Viene utilizzato Llama 3.1 come modello di base.
• Dataset: È stato costruito un dataset specifico (basato su RACE) contenendo quadruple di (passaggio di testo, domanda, opzioni, livello di difficoltà). Poiché i dataset standard non includono livelli di difficoltà, gli autori hanno stimato questi valori utilizzando la Teoria della Risposta all'Item (IRT), in particolare il modello di Rasch, simulando le risposte di 77 diversi sistemi di Question Answering (QA) con capacità variabili (agendo come "studenti virtuali").
• Fase 1: Fine-tuning Supervisionato (SFT): Il modello Llama 3.1 viene inizialmente addestrato tramite SFT per imparare a generare domande e opzioni (corretta e distrattori) partendo da un passaggio e un livello di difficoltà specificato.
• Fase 2: Ottimizzazione Diretta delle Preferenze (DPO): Per migliorare l'accuratezza del controllo della difficoltà, viene applicato il DPO. A differenza del Reinforcement Learning from Human Feedback (RLHF) classico, che è computazionalmente costoso e instabile, il DPO ottimizza direttamente la politica del modello utilizzando un dataset di preferenze.
  • Meccanismo di Preferenza: Per ogni input (passaggio + difficoltà target), viene generata una risposta "buona" ($y_w$) che corrisponde alla difficoltà target e una risposta "cattiva" ($y_l$) che non corrisponde (ad esempio, una domanda generata per lo stesso passaggio ma con una difficoltà target diversa o casuale).
  • Funzione di Ricompensa: La ricompensa è definita come l'errore quadratico negativo tra la difficoltà specificata nell'input e la difficoltà stimata della domanda generata (calcolata nuovamente tramite il modello di Rasch e i sistemi QA).
  • Obiettivo: Il modello viene addestrato per massimizzare la probabilità che la risposta "buona" sia preferita a quella "cattiva", allineando così l'output del modello all'obiettivo di controllo della difficoltà.

3. Contributi Chiave

1. Primo metodo per MCQ controllabili: Sviluppo di un sistema capace di generare direttamente domande a scelta multipla complete (domanda, risposta corretta, 3 distrattori) con un livello di difficoltà quantificabile.
2. Integrazione di DPO per la QG: Applicazione innovativa del DPO per ottimizzare esplicitamente l'accuratezza del controllo della difficoltà, superando i limiti dell'addestramento SFT standard.
3. Dataset arricchito con IRT: Costruzione di un dataset di addestramento che associa livelli di difficoltà basati sulla Teoria della Risposta all'Item (IRT) a domande a scelta multipla, permettendo un controllo della difficoltà interpretabile in termini di capacità dello studente.
4. Analisi della complessità cognitiva: Dimostrazione che il controllo della difficoltà si traduce in una variazione coerente dei tipi di ragionamento richiesti (da "corrispondenza di parole" a "ragionamento multi-sentence").

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset RACE (Reading Comprehension from Examinations).

• Accuratezza del Controllo della Difficoltà:
  • Il modello proposto con DPO ($QG_{dpo}$) ha mostrato una correlazione significativamente migliore tra la difficoltà specificata e la difficoltà stimata rispetto al modello addestrato solo con SFT ($QG_{sft}$).
  • L'errore assoluto medio (MAE) tra difficoltà target e stimata è sceso da 1.41 ($QG_{sft}$) a 1.07 ($QG_{dpo}$).
  • Le curve di informazione di Fisher (che misurano l'accuratezza della stima delle capacità) mostrano che $QG_{dpo}$ genera domande più informative per gli studenti con capacità corrispondenti al livello di difficoltà target.
• Qualità delle Domande:
  • L'uso del DPO non ha degradato la qualità delle domande in termini di fluidità, rilevanza del contenuto e capacità di essere risposte (answerability). I punteggi sono rimasti comparabili a quelli del modello SFT e vicini a quelli delle domande umane.
• Confronto con Few-Shot Learning:
  • L'approccio di few-shot learning (fornire esempi nel prompt senza addestramento specifico) si è rivelato inefficace nel controllare la difficoltà, confermando la necessità di un addestramento specifico con DPO.
• Analisi Qualitativa:
  • È stata osservata una correlazione positiva: all'aumentare della difficoltà target, aumenta la proporzione di domande che richiedono "ragionamento multi-sentence" e diminuisce quella di semplici "corrispondenze di parole".

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo verso sistemi di apprendimento adattivo reali.

• Personalizzazione: Permette di generare dinamicamente domande a scelta multipla calibrate sulle capacità specifiche di uno studente, un requisito fondamentale per i test adattivi su larga scala.
• Efficienza Educativa: Migliorando la precisione del controllo della difficoltà, il sistema può stimare le capacità degli studenti in modo più efficiente, riducendo il numero di domande necessarie per una valutazione accurata.
• Scalabilità: L'uso di DPO offre un metodo computazionalmente più efficiente rispetto al RLHF tradizionale per allineare i LLM a obiettivi specifici non differenziabili (come la metrica di difficoltà IRT).

Il paper conclude che, sebbene rimangano sfide legate alla "answerability" (capacità di rispondere) e alla necessità di grandi dataset, l'approccio proposto supera le limitazioni delle metodologie precedenti, offrendo un nuovo standard per la generazione di contenuti educativi adattivi.