Riepilogo Tecnico: INSIDE – Modellazione congiunta del ragionamento latente e dell'azione nei simulatori di studenti basati su LLM

Definizione del Problema

I simulatori basati su Large Language Model (LLM) in ambito educativo spesso replicano le azioni osservabili degli studenti (ad esempio, l'invio di codice) ma non riescono a catturare i processi di ragionamento latenti sottostanti. In contesti educativi, due studenti possono produrre lo stesso codice per ragioni fondamentalmente diverse, o arrivare alla stessa soluzione errata attraverso percorsi cognitivi distinti. Gli approcci esistenti trattano tipicamente il comportamento dello studente come una scatola nera, concentrandosi esclusivamente sulla previsione dei risultati. Questa limitazione ostacola la diagnosi dei malintesi, la generazione di feedback mirati o la valutazione efficace dei sistemi di tutoraggio, poiché le azioni osservabili forniscono solo una visione parziale della cognizione. Inoltre, mentre la ricerca sul ragionamento degli LLM si concentra spesso sul miglioramento della correttezza, l'apprendimento umano comporta frequenti errori, malintesi e strategie incomplete che gli attuali modelli faticano a simulare in modo autentico.

Metodologia

Il paper propone INSIDE (INTERNAL STUDENT DIALOGUE), un framework che modella congiuntamente le azioni dello studente e i suoi processi di ragionamento interno. La metodologia si compone di tre componenti primarie:

1. Dati e Contesto

Lo studio utilizza dati provenienti da un corso introduttivo di programmazione presso la UC Berkeley, che copre due semestri (Primavera 2024 e Primavera 2025). Il dataset include circa 900 studenti, 10 compiti a casa e flussi di invio multi-tentativo. Ogni tentativo cattura il codice dello studente, i risultati dell'autograder e il feedback in linguaggio naturale di un tutor IA. I dati sono suddivisi in set di addestramento (Primavera 2025) e di test (Primavera 20 largo 2024), con ulteriori suddivisioni per "Old Problems" (problemi familiari, nuovi studenti) e "New Problems" (problemi inediti).

2. Generazione del Dialogo Interno (Modello Teacher)

Poiché il ragionamento interno reale è inosservabile, gli autori impiegano un modello teacher (GPT-5) per eseguire l'inferenza retrospettiva. Dato il contesto di interazione (problema, invii precedenti, feedback) e il successivo invio osservato, il modello teacher genera:

• Sintesi strutturate dello stato: Analisi in terza persona dello stato cognitivo (comprensione/malintesi), affettivo (emozioni/motivazione) e di azione (passaggi concreti) dello studente, basate sulla Tassonomia di Bloom.
• Dialogo interno in prima persona: Una "traccia di pensiero" ($z_t$) che simula il monologo interiore dello studente prima dell'invio. Questo dialogo è progettato per riflettere il ragionamento dei novizi, includendo incertezza, comprensione parziale e potenziali errori.

3. Framework di Modellazione dello Studente

Il contributo principale è un modello studente addestrato a generare sia il dialogo interno che il successivo invio di codice ($c_t$) condizionati dalla cronologia dell'interazione.

• Fine-tuning (INSIDE): I modelli (Qwen2.5, Qwen3, LLaMA-3) sono sottoposti a fine-tuning tramite LoRA su sequenze accoppiate di (Contesto $\to$ Dialogo Interno $\to$ Codice). Il dialogo interno funge da livello cognitivo intermedio.
• Baseline: Il framework viene confrontato con:
  • SFT: Fine-tuning senza dialogo interno (contesto diretto $\to$ codice).
  • Prompting (CoT): Standard Chain-of-Thought prompting.
  • Prompting (BloomCoT): Prompting strutturato ispirato alla Tassonomia di Bloom.

Contributi Chiave

1. Ricostruzione di tracce di ragionamento pedagogicamente fondate: Il paper introduce un metodo per ricostruire le tracce di ragionamento latente dai dati di interazione tramite inferenza retrospettiva, consentendo ai modelli di generare un dialogo interno interpretabile nonostante l'assenza di un ragionamento "ground-truth".
2. Framework di modellazione congiunta (INSIDE): Un framework innovativo che condiziona la generazione di codice al dialogo interno inferito, modellando esplicitamente il processo di ragionamento latente che precede le azioni osservabili.
3. Valutazione bidimensionale: Una metrica di valutazione completa che valuta sia la Fedeltà dell'Azione (somiglianza tra le distribuzioni del codice generato e quello reale degli studenti) sia la Qualità del Ragionamento (allineamento tra il dialogo generato e le effettive modifiche al codice).

Risultati

La valutazione dimostra che INSIDE supera sia le baseline di fine-tuning senza ragionamento (SFT) sia le varie strategie di prompting.

Fedeltà dell'Azione

Utilizzando la distanza di Wasserstein per misurare la somiglianza distributiva tra il codice generato dal modello e quello reale degli studenti:

• INSIDE ottiene costantemente le distanze di Wasserstein più basse attraverso le metriche (Tasso di superamento, Linee di codice, profondità/ampiezza AST, violazioni PEP 8) sul set di test "Old Problems" ($test\_OP$).
• Su "New Problems" ($test\_NP$), INSIDE si comporta in modo comparabile a SFT, sebbene il divario sia minore. Gli autori attribuiscono ciò al tasso di successo più elevato in $test\_NP$, dove SFT è già vicino alla distribuzione target.
• Traiettorie del Tasso di Superamento: Gli studenti reali mostrano bassi tassi di superamento iniziali con aumenti netti vicino agli ultimi passaggi. I modelli SFT seguono bene questo andamento, ma i modelli basati su prompting mantengono spesso tassi di superamento artificialmente alti sin dall'inizio. I modelli INSIDE corrispondono strettamente al progresso incrementale degli studenti reali, con l'Errore Assoluto Medio (MAE) più basso nelle traiettorie del tasso di superamento.

Qualità del Ragionamento (Allineamento)

L'allineamento misura la frazione di affermazioni atomiche nel dialogo interno generato che si riflettono nelle modifiche al codice reali:

• INSIDE raggiunge i punteggi di allineamento più elevati tra i modelli testati. Nello specifico, Qwen3-8B-INSIDE raggiunge il 57,9% su $test\_NP$, mentre Qwen2.5-7B-INSIDE raggiunge il 51,8% su $test\_OP$, superando le migliori baseline di prompting in entrambi i contesti.
• Significativamente, i modelli più grandi e capaci (ad esempio, GPT-5, Qwen3-32B) ottengono spesso punteggi di allineamento inferiori, suggerendo che una superiore capacità di ragionamento generale non si traduce automaticamente nella simulazione di un ragionamento tipico dei novizi, soggetto a errori.
• Auto-coerenza: Sebbene i modelli di prompting mostrino un'alta auto-coerenza (il ragionamento corrisponde al proprio codice generato), spesso non riescono a corrispondere al comportamento reale degli studenti. INSIDE mantiene un'auto-coerenza competitiva pur ottenendo un allineamento superiore con le effettive modifiche apportate dagli studenti.

Significatività e Rivendicazioni

Il paper sostiene che modellare il ragionamento oltre le azioni osservabili sia essenziale per costruire simulatori di studenti realistici. Incorporando il dialogo interno, INSIDE colma il divario tra spiegazione e comportamento, producendo simulazioni in cui il ragionamento è coerente con le modifiche al codice osservate.

Gli autori evidenziano due implicazioni principali:

1. Valutazione e Ottimizzazione: I simulatori di studenti con dialogo interno permettono di valutare se il feedback di un tutor IA risolva i malintesi e consentono l'analisi controfattuale delle interazioni prima del deployment.
2. Strumenti rivolti allo studente: Esternalizzare il dialogo interno può supportare la riflessione e la metacognizione dello studente, e consentire il clustering degli studenti basandosi su pattern di ragionamento piuttosto che solo sul comportamento superficiale.

Il paper riconosce i limiti, principalmente il fatto che il dialogo interno è ricostruito anziché osservato, il che potrebbe riflettere un ragionamento più coerente rispetto a quello degli studenti novizi reali. Tuttavia, afferma che questo approccio fornisce un utile proxy per i segnali cognitivi inosservabili, facendo avanzare lo stato dell'IA centrata sull'uomo nell'educazione.