CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems

Riepilogo Tecnico: CodeGENCAT

Enunciato del Problema
I framework esistenti per i Test Adattivi Computerizzati (CAT) si basano prevalentemente sulla Teoria della Risposta all'Item (IRT) per selezionare le domande in base alla probabilità prevista che uno studente risponda correttamente. In questo paradigma, le risposte degli studenti vengono compresse in etichette binarie di correttezza (corretto/errato). Questa astrazione scarta informazioni diagnostiche ricche, intrinseche nelle risposte aperte, una limitazione particolarmente acuta nell'educazione alla programmazione. Nei compiti di codifica, due studenti possono entrambi fallire una domanda, eppure i loro invii di codice possono rivelare livelli di comprensione vastamente diversi: uno potrebbe presentare un errore di sintassi minore, mentre l'altro dimostra un divario concettuale fondamentale. Trattare entrambi come semplicemente "errati" ignora la natura specifica dell'errore, ostacolando la capacità del sistema di modellare accuratamente la comprensione concettuale e la capacità di codifica.

Metodologia
Gli autori propongono CodeGENCAT (Test Adattivo Computerizzato Generativo per Problemi di Codifica Aperti), un framework che sfrutta i Modelli Linguistici su Larga Scala (LLM) per selezionare le domande in base alle risposte di codice aperte previste degli studenti, piuttosto che a esiti binari. La metodologia consta di tre componenti fondamentali:

1. Modello di Teoria della Risposta all'Item Generativa (GIRT):

   • Rappresentazione della Conoscenza: La conoscenza dello studente è rappresentata come un vettore latente $z_i$ proiettato in livelli di padronanza espliciti ($\theta_i$) per specifici Componenti di Conoscenza (KC) tramite un Perceptron Multistrato (MLP).
   • Generazione del Codice: Un LLM genera risposte di codice previste condizionate al testo della domanda e alla conoscenza stimata dello studente. Per colmare il divario tra i livelli di padronanza scalari e gli input dell'LLM, gli autori impiegano una tecnica di "soft prompting". I livelli di padronanza sono interpolati linearmente tra gli embedding pre-addestrati di "TRUE" (Vero) e "FALSE" (Falso) per creare embedding continui iniettati nel prompt.
   • Strategia di Addestramento: Il modello subisce un processo di addestramento in due fasi:
     • Fine-Tuning Supervisionato (SFT): Il modello impara a generare codice condizionato alla conoscenza minimizzando la log-verosimiglianza negativa. Una perdita ausiliaria allinea la padronanza media prevista con il punteggio di correttezza reale (ground-truth).
     • Ottimizzazione Diretta delle Preferenze (DPO): Per affrontare il collasso modale (dove il modello genera codice identico indipendentemente dalla conoscenza in ingresso), viene introdotta una fase di apprendimento per rinforzo. Le coppie di preferenze sono formate confrontando le risposte reali degli studenti con le risposte di altri studenti meno probabili data la conoscenza dello studente corrente. La DPO affina il modello per garantire che le risposte generate varino semanticamente in base allo stato di conoscenza in ingresso.

2. Algoritmi di Selezione delle Domande:
   CodeGENCAT utilizza il modello GIRT per campionare $N$ risposte di codice potenziali per le domande candidate. Vengono proposti tre criteri di selezione per determinare la prossima domanda:

   • Basato sull'Incertezza: Seleziona la domanda in cui il punteggio medio di correttezza previsto è più vicino a 0,5, massimizzando il guadagno informativo riguardo alla probabilità di correttezza.
   • Basato sulla Diversità: Seleziona la domanda in cui le risposte di codice campionate esibiscono la massima diversità semantica (misurata tramite similarità del coseno a coppie degli embedding CodeBERT), indicando un'alta incertezza su come lo studente potrebbe rispondere.
   • Basato sull'Informazione di Fisher: Seleziona la domanda che massimizza la traccia della matrice di Informazione di Fisher, mirando a ridurre in modo più significativo l'incertezza sul vettore di conoscenza latente dello studente.

3. Ciclo di Test Adattivo:
   Il sistema inizializza la conoscenza latente di uno studente utilizzando una prior di popolazione. Ad ogni passo, campiona risposte dal modello GIRT per le domande candidate, le valuta utilizzando l'algoritmo di selezione, somministra la domanda con il punteggio più alto e aggiorna la conoscenza latente dello studente tramite discesa del gradino basata sulla risposta effettiva.

Contributi Chiave

• Framework CAT Generativo: Il primo framework CAT specificamente progettato per problemi di codifica aperti che utilizza le risposte di codice previste degli studenti per la selezione delle domande, andando oltre la correttezza binaria.
• Modello GIRT: Un modello innovativo che combina la rappresentazione della conoscenza latente con la generazione di codice guidata da LLM, addestrato con SFT e DPO per garantire che le risposte generate siano allineate con la conoscenza stimata dello studente.
• Algoritmi di Selezione Innovativi: Tre algoritmi distinti (Incertezza, Diversità, Informazione) che sfruttano le capacità generative per valutare l'informatività delle domande nel contesto delle risposte aperte.

Risultati Sperimentali
Il framework è stato valutato su due dataset reali: CodeWorkout (invii in Java) e ProgFeed (invii in Python).

• Prestazioni: CodeGENCAT ha costantemente superato baseline robuste (IRT 1PL, BOBCAT, NCAT, LACAT) nella stima della conoscenza degli studenti, misurata tramite Area Under the Curve (AUC) e Accuratezza.
• Vantaggi nelle Fasi Iniziali: I miglioramenti più significativi si sono verificati nelle fasi iniziali del test ($t=1$ fino a $t=7$). Su CodeWorkout, l'algoritmo di selezione basato sulla diversità ha ottenuto un miglioramento del 4,32% nell'AUC rispetto alla baseline più forte alla prima fase.
• Varianza degli Algoritmi: L'algoritmo di selezione ottimale variava in base al dataset e alla fase del test. La diversità ha funzionato meglio nelle fasi iniziali su CodeWorkout, mentre la selezione basata sull'informazione è stata costantemente superiore su ProgFeed e nelle fasi successive su CodeWorkout.
• Sicurezza del Test: CodeGENCAT ha mantenuto metriche di sicurezza del test competitive (tassi di esposizione e sovrapposizione delle domande), dimostrando di poter bilanciare efficienza e requisiti di sicurezza.
• Studi di Ablazione: Lo studio ha confermato che l'allineamento DPO è critico affinché il modello generi risposte diversificate e condizionate alla conoscenza. Modelli backbone più grandi (3B vs 1B) hanno mostrato benefici dipendenti dal dataset, e la riduzione del numero di risposte campionate ($N$) da 10 a 3 ha offerto significativi risparmi di tempo con una perdita minima di accuratezza.

Significato e Affermazioni
Il documento afferma che CodeGENCAT rappresenta un avanzamento significativo nei test adattivi per l'educazione alla programmazione sfruttando le informazioni ricche contenute nel codice aperto. Spostando il focus da "se uno studente fallirà" a "come uno studente potrebbe fallire", il framework cattura errori specifici e misconcezioni che i modelli binari ignorano. Gli autori affermano che questo approccio porta a una stima della conoscenza più accurata ed efficiente, in particolare durante le fasi critiche iniziali del test. Osservano che, sebbene la valutazione attuale sia confinata all'informatica introduttiva, il framework è teoricamente adattabile ad altri domini aperti, a condizione che siano disponibili dataset adeguati. Il lavoro evidenzia il potenziale dei modelli generativi di migliorare la modellazione psicometrica senza scartare le sfumature dei contenuti generati dagli studenti.