Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems

1. Il Problema

Nel campo della modellazione degli studenti e dell'analisi dell'apprendimento, le Componenti di Conoscenza (Knowledge Components - KC) rappresentano unità fini di abilità o concetti. La loro corretta modellazione è fondamentale per fornire feedback diagnostico, personalizzare l'apprendimento e progettare curricoli.

Tuttavia, nei dataset reali, specialmente nei problemi di programmazione a risposta aperta (open-ended), mancano quasi sempre le etichette di correttezza a livello di KC. Esistono solitamente solo etichette di correttezza a livello di problema (l'intera soluzione è corretta o errata).

• Limitazione attuale: Propagare l'etichetta di correttezza del problema a tutte le KC associate è un approccio grossolano. Se uno studente risolve correttamente la maggior parte delle KC ma fallisce su una, l'etichetta "errata" per l'intero problema maschera la padronanza parziale delle altre competenze.
• Conseguenze: Questo porta a curve di apprendimento che non seguono la Legge della Pratica (Power Law of Practice), secondo cui il tasso di errore su una KC dovrebbe diminuire man mano che lo studente la esercita. Inoltre, rende difficile la modellazione predittiva accurata.
• Sfida specifica: Ottenere etichette manuali per KC nei problemi di programmazione è laborioso, soggetto a bias e non scalabile, poiché le soluzioni spesso combinano più KC simultaneamente. I metodi automatizzati precedenti basati sugli AST (Abstract Syntax Tree) catturano solo aspetti sintattici superficiali, trascurando KC algoritmiche di alto livello.

2. Metodologia

Gli autori propongono un framework automatizzato che utilizza i Large Language Models (LLM) per generare etichette di correttezza a livello di KC direttamente dal codice scritto dagli studenti.

Il framework si articola in tre componenti principali:

A. Strategia di Prompting (Chain-of-Thought)

Per ogni coppia "problema-sottomissione", viene utilizzato un LLM (GPT-4o o Qwen3 Coder) con una strategia di prompting Chain-of-Thought (CoT).

• Input: Enunciato del problema, codice dello studente e l'insieme delle KC mappate al problema.
• Processo: Il modello riceve esempi few-shot e viene istruito a ragionare passo dopo passo:
  1. Determinare se una specifica KC è presente nel codice dello studente.
  2. Valutare se l'applicazione di quella KC è corretta.
  3. Assegnare un'etichetta binaria (corretto/errato) per ogni KC.
• Se una KC richiesta non è utilizzata, viene etichettata come errata.

B. Generazione Automatica delle KC

Il framework è flessibile e supporta diversi insiemi di KC:

1. KC create da umani: Tag esistenti nei dataset pubblici.
2. KC generate automaticamente: Utilizzando LLM per analizzare soluzioni corrette diverse (clusterizzate tramite embedding CodeBERT) e generare nuove KC che coprano la diversità delle strategie di soluzione, superando i limiti delle KC umane che possono essere troppo rigide o rare.

C. Mappatura Codice-KC Consapevole del Contesto Temporale

Poiché un singolo studente utilizza solo un sottoinsieme delle KC possibili per un problema, è cruciale allineare le KC alla specifica strategia di soluzione dello studente.

• Meccanismo:
  1. Si generano KC candidate per il problema.
  2. Si confronta il codice della prima tentata dello studente (quella che riflette la padronanza iniziale) con il codice della ultima tentata (spesso quasi corretta o completa).
  3. Si utilizza l'embedding CodeBERT per trovare la soluzione corretta di riferimento più vicina all'ultima tentata dello studente.
  4. Si applicano le KC associate a quella soluzione di riferimento per valutare la correttezza della prima tentata. Questo permette di attribuire le KC giuste alla strategia specifica dello studente, evitando errori di mappatura.

3. Contributi Chiave

1. Primo studio sistematico: È il primo lavoro che esplora l'uso degli LLM per l'etichettatura della correttezza a livello di KC in problemi di programmazione a risposta aperta.
2. Framework di etichettatura automatizzato: Introduzione di una pipeline che combina prompting CoT e mappatura contestuale temporale per ottenere etichette fini e interpretabili.
3. Validazione empirica: Dimostrazione che le etichette generate dagli LLM sono in forte accordo con il giudizio umano e migliorano significativamente i modelli di apprendimento rispetto alle baselines tradizionali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset CodeWorkout (10.834 codici, 246 studenti, 50 problemi Java).

• Metriche:
  • Adattamento alla Legge della Pratica (RMSE, $r^2$).
  • Prestazioni predittive tramite il modello Additive Factors Model (AFM) (AUC).
• Risultati Quantitativi:
  • Il framework basato su LLM (sia GPT-4o che Qwen3) ha superato significativamente la baseline (che usa la correttezza del problema come proxy per le KC) sia nell'adattamento delle curve di apprendimento che nella predizione futura.
  • L'uso della mappatura "Selected" (consapevole del contesto) ha ulteriormente migliorato le prestazioni con GPT-4o ($r^2$ da 0.291 a 0.383).
  • L'ablation study ha mostrato che il Chain-of-Thought è essenziale: senza di esso, i miglioramenti rispetto alla baseline sono marginali.
• Valutazione Umana:
  • Accordo sostanziale tra LLM e esperti umani (Cohen's Kappa = 0.74).
  • Accordo quasi perfetto tra due annotatori umani (Kappa = 0.86).
• Studio di Caso sulle Curve di Apprendimento:
  • Le curve generate con le etichette LLM mostrano una chiara tendenza decrescente degli errori (allineata alla teoria cognitiva).
  • Le curve basate sulla correttezza del problema mostrano trend irregolari o in aumento, fallendo nel modellare l'apprendimento reale.

5. Significato e Implicazioni

Questo lavoro offre un'alternativa scalabile e fondata teoricamente alle euristiche attuali per l'analisi dell'apprendimento.

• Impatto sull'istruzione adattiva: Etichette di correttezza precise a livello di KC permettono di rilevare la "padronanza parziale". Questo evita diagnosi errate dello studente (es. saltare pratiche necessarie o fornire supporto ridondante) e consente un feedback mirato.
• Scalabilità: Risolve il collo di bottiglia della creazione manuale di etichette per KC in ambienti educativi su larga scala.
• Futuro: Apre la strada a simulazioni di errori degli studenti e a una valutazione più fine-granulare del codice, migliorando la robustezza dei sistemi di feedback automatizzati.

In sintesi, il paper dimostra che gli LLM possono essere utilizzati con successo per decomporre la complessità dei problemi di programmazione in competenze atomiche affidabili, migliorando drasticamente la qualità dei modelli predittivi e l'analisi delle curve di apprendimento.