Sintesi Tecnica: Simulazione degli Errori di Programmazione Java degli Studenti con i Large Language Models

Definizione del Problema

Comprendere gli errori degli studenti è fondamentale per l'educazione alla programmazione, in particolare per identificare gli errori logici che rivelano concezioni errate sottostanti e strategie di ragionamento fallaci. Tuttavia, ottenere un insieme rappresentativo di errori autentici degli studenti per nuovi compiti progettati è lento e costoso, poiché richiede un dispiegamento esteso in classe e l'accumulo di dati. Sebbene i Large Language Models (LLM) offrano una via scalabile per simulare i comportamenti degli apprendenti, gli approcci attuali affrontano una lacuna critica: il prompting generico tende a produrre soluzioni corrette, mentre le strategie di corruzione casuale producono bug artificiali privi di valore pedagogico. La sfida centrale è l'indistinguibilità — generare errori che siano sbagliati nei modi specifici in cui lo farebbe uno studente novizio (riflettendo una comprensione parziale e specifiche concezioni errate) piuttosto che rumore superficiale. Inoltre, le infrastrutture di valutazione esistenti spesso danno priorità alla correttezza assoluta rispetto alla diversità e all'allineamento dei pattern di errore.

Metodologia

Lo studio sfrutta il dataset CodeWorkout, che comprende oltre 74.000 sottomissioni Java uniche di studenti attraverso 37 problemi di programmazione introduttiva raccolti da studenti universitari della Virginia Tech.

Design Sperimentale

1. Preparazione dei Dati: Gli autori hanno filtrato i log grezzi per trattenere solo il codice compilabile ma errato (errori logici), rimuovendo gli errori di sintassi e le sottomissioni completamente corrette. I problemi sono stati categorizzati in tre livelli di difficoltà (struggling levels) (Basso, Medio, Alto) basati sul volume totale di sottomissioni degli studenti per problema, fungendo da proxy per la difficoltà di apprendimento empirica.
2. Simulazione LLM: Cinque LLM sono stati valutati: Google Gemini 2.5 Pro, OpenAI GPT-5, OpenAI GPT-4o, Anthropic Claude Sonnet 4, e xAI Grok Code Fast 1.
3. Strategie di Prompting: Tre distinte strategie sono state testate per ogni combinazione modello/problema:
   • Input-Output (IO): Istruzione diretta senza ragionamento intermedio.
   • Chain-of-Thought (CoT): Il modello articola una razionale per un imprevisto logico prima di generare il codice.
   • Iterative Self-Refine: Un ciclo iterativo in cui un critico fornisce feedback e un raffinatore riscrive il codice (fino a quattro iterazioni).
4. Metriche di Valutazione:
   • Diversità (RQ1): Misurata tramite la media della distanza di edit Zhang–Shasha (ZSS) tra i codici errati generati. Distanze maggiori indicano una maggiore variazione strutturale.
   • Allineamento (RQ2): Misurato tramite la distanza di edit del vicino più prossimo tra il codice generato dall'LLM e la sottomissione umana più vicina. Distanze minori indicano una maggiore fedeltà agli errori reali degli studenti.
   • Validazione Qualitativa: Uno studio di annotazione esperta in cieco ($N=401$) ha confrontato gli errori sintetici (Claude Sonnet 4 con Self-Refine) e quelli autentici. Gli esperti hanno valutato la plausibilità (scala Likert 1–5), hanno eseguito l'attribuzione della fonte (test di Turing) e hanno categorizzato gli errori in otto tassonomie di errori logici.

Risultati Chiave

1. Diversità (RQ1)

Tutti i modelli hanno dimostrato la capacità di generare codice errato diversificato, ma le prestazioni variano significativamente per modello e strategia.

• Gemini 2.5 Pro e Claude Sonnet 4 hanno mostrato la maggiore diversità, con distanze di edit medie spesso superiori a 60, in particolare quando utilizzavano il prompting CoT.
• GPT-4o ha prodotto i pattern di errore più omogenei (meno diversificati) (distanze ~25–40).
• Impatto del Prompting: Le strategie hanno modulato la diversità in modo differente; ad esempio, Self-Refine ha ridotto la diversità in Claude Sonnet 4 ma l'ha aumentata in altri contesti.

2. Allineamento (RQ2)

La capacità di imitare gli errori autentici degli studenti varia per modello, con un chiaro compromesso rispetto alla diversità.

• Claude Sonnet 4 ha ottenuto la prestazione più equilibrata, mantenendo distanze di edit relativamente basse (miglior caso: 16.35 con Self-Refine) in tutte le strategie, indicando un forte allineamento con gli errori umani.
• Grok Code Fast 1 ha raggiunto la distanza minima assoluta (16.22) con Self-Refine ma ha mostrato un'alta varianza tra gli altri prompt.
• GPT-5 e Gemini 2.5 Pro hanno mostrato un scarso allineamento, con distanze spesso superiori a 80, suggerendo che i loro errori divergono significativamente dai pattern autentici degli studenti.
• Valutazione Umana: Gli annotatori hanno classificato erroneamente il 83,7% delle sottomissioni generate dall'LLM come scritte da umani. Sorprendentemente, gli errori generati dagli LLM hanno ricevuto un punteggio di plausibilità significativamente più alto (4.27) rispetto agli errori autentici (3.78). Ciò è attribuito al fatto che gli LLM generano errori logici "puliti" e a scopo singolo (es. Logica Condizionale, errori di Confine) che somigliano a misconception da manuale, mentre il codice autentico degli studenti spesso conteneva errori diffusi, multi-difetto o a livello di strategia, che erano più difficili da categorizzare chiaramente.

3. Livello di Difficoltà come Moderatore (RQ3)

La difficoltà del compito di programmazione (livello di struggle) ha influenzato sia la diversità che l'allineamento.

• Diversità: Livelli di difficoltà più elevati hanno elicitato output di errore più diversificati (eterogenei) dagli LLM, poiché i problemi più difficili aprono più percorsi di fallimento.
• Allineamento: Al contrario, all'aumentare del livello di difficoltà, l'allineamento tra gli errori generati dagli LLM e quelli autentici è diminuito (le distanze di edit sono aumentate). I modelli hanno trovato più difficile riprodurre errori logici simili a quelli degli studenti su problemi ad alta difficoltà, divergendo ulteriormente dal comportamento autentico.

Significato e Contributi

L'articolo sostiene che gli LLM possono servire come proxy scalabili per gli studenti nella generazione di errori logici, ma con specifici compromessi che devono essere gestiti in base all'obiettivo applicativo:

1. Simulazione Bilanciata: Claude Sonnet 4 è identificato come il modello più equilibrato, offrendo un compromesso tra la generazione di pattern di errore diversificati e il mantenimento di un'alta fedeltà agli errori reali degli studenti.
2. Utilità Pedagogica: Lo studio valida il fatto che gli errori sintetici possono essere funzionalmente indistinguibili da quelli autentici per gli esperti. Ciò supporta l'integrazione dei dati sintetici in:
   • Sistemi di Tutoraggio Intelligente (ITS): Per addestrare i sistemi a diagnosticare diverse misconception senza dipendere esclusivamente da scarsi dati umani.
   • Agenti Insegnanti (Teachable Agents): Per permettere agli apprendenti di praticare il debugging correggendo errori generati dall'IA, favorendo l'apprendimento vicario.
   • Sviluppo Professionale degli Insegnanti: Per esporre gli educatori a una varietà concentrata di misconception anticipate per una migliore pianificazione didattica.
3. Considerazioni di Design: I risultati evidenziano un compromesso diversità-fedeltà. I modelli forti nella diversità (es. Gemini) possono mancare di allineamento, mentre quelli con alto allineamento possono essere meno diversificati. Inoltre, il "livello di difficoltà" di un compito agisce come un doppio moderatore: aumenta l'ampiezza degli errori simulati ma riduce la loro rappresentatività rispetto al reale comportamento degli studenti.

Gli autori concludono che, sebbene gli LLM offrano una via promettente per aumentare i dati degli studenti nelle tecnologie educative, il loro uso richiede una selezione attenta di modelli e strategie di prompting adattate al fine di decidere se l'obiettivo sia la copertura ampia delle misconception o l'approssimazione precisa delle distribuzioni di errore osservate in classe.