💬 NLP

Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems

Questo articolo presenta KCGen-KT, una pipeline automatizzata basata su LLM che genera e assegna tag a componenti di conoscenza per problemi di programmazione aperti, dimostrando attraverso una valutazione estesa che tali componenti generati dall'intelligenza artificiale superano quelli tradizionali scritti da esseri umani nel prevedere le prestazioni degli studenti e nel modellare le curve di apprendimento.

Autori originali: Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un insegnante che cerca di capire esattamente con cosa uno studente sta lottando in un corso di programmazione. Una volta, avresti dovuto scrivere manualmente un elenco di competenze specifiche (come "saper usare un ciclo" o "capire come sommare numeri") e poi esaminare ogni singolo problema dei compiti per contrassegnare quali competenze venivano testate. Questo è come un bibliotecario che scrive manualmente un catalogo a schede per ogni libro di una vasta biblioteca: richiede un'eternità, è soggetto a errori umani ed è incredibilmente noioso.

Questo articolo introduce un nuovo metodo automatizzato per farlo utilizzando l'Intelligenza Artificiale (nello specifico, i Modelli Linguistici di grandi dimensioni o LLM), ma con una svolta: funziona per problemi di programmazione aperti, dove gli studenti scrivono il proprio codice da zero, invece di scegliere semplicemente risposte da un elenco a scelta multipla.

Ecco una panoramica di ciò che hanno fatto, utilizzando semplici analogie:

1. Il Problema: il Caos "Aperto"

Nelle domande a scelta multipla, c'è una sola risposta corretta, quindi è facile indovinare quale competenza veniva testata. Ma nella programmazione, gli studenti possono risolvere lo stesso problema in dieci modi diversi. Uno studente potrebbe usare un "ciclo for", mentre un altro usa le "espressioni regolari". Entrambi ottengono la risposta corretta, ma hanno utilizzato competenze diverse.

L'Analogia: Immagina di chiedere alle persone di costruire una casetta per uccelli. Se dai loro un quiz a scelta multipla, sai esattamente cosa hanno imparato. Ma se chiedi loro di costruirla, una persona potrebbe usare un martello e dei chiodi, mentre un'altra usa colla e legno. Capire esattamente quali competenze ha usato ciascuna persona guardando solo la casetta finita è molto difficile.

2. La Soluzione: il "Detective delle Competenze" AI

Gli autori hanno costruito una pipeline automatizzata in tre fasi per agire come un "Detective delle Competenze":

Fase 1: L'Indagine (Generazione): Forniscono all'AI un problema di programmazione e una serie di diverse soluzioni degli studenti (sia corrette che errate). L'AI agisce come un detective, leggendo il codice e dicendo: "Ah, per risolvere questo, dovevi sapere come usare un 'istruzione If' e come fare 'Matematica con valori assoluti'". Crea un elenco di queste competenze (chiamate Componenti della Conoscenza, o KC).
Fase 2: Il Cappello Smistatore (Clustering): L'AI potrebbe generare 100 nomi leggermente diversi per la stessa competenza (ad esempio, "If-Else", "Logica Condizionale", "Processo Decisionale"). Il sistema raggruppa queste idee simili, come ordinare un mucchio di calze miste in coppie.
Fase 3: Il Creatore di Etichette (Sintesi): Infine, l'AI esamina ogni gruppo di competenze simili e assegna loro un nome chiaro e leggibile dall'uomo (come "Logica Condizionale"). Quindi etichetta ogni problema con queste nuove etichette pulite.

3. Il Risultato: Un Tutor Più Intelligente (KCGen-KT)

Una volta che l'AI ha queste etichette di competenze, hanno costruito un nuovo sistema di "Tracciamento della Conoscenza" (un modo per monitorare l'apprendimento degli studenti nel tempo) chiamato KCGen-KT.

Come funziona: Invece di indovinare semplicemente se uno studente risponderà correttamente o meno alla prossima domanda, questo sistema esamina la storia dello studente con competenze specifiche. Si chiede: "Questo studente ha difficoltà con i 'Cicli' ma eccelle nelle 'Variabili'?".
La Magia: Il sistema traduce il livello di competenza dello studente in un "token soft" (un segnale digitale) che l'AI può leggere. Questo permette all'AI di prevedere non solo se lo studente fallirà, ma come apparirà il suo prossimo pezzo di codice.

4. La Prova: Ha funzionato?

I ricercatori hanno testato questo su due dataset reali contenenti migliaia di invii di codice da parte di studenti (uno in Java, uno in Python).

Meglio degli Umani: Sorprendentemente, le etichette di competenze generate dall'AI hanno effettivamente aiutato a prevedere le prestazioni degli studenti meglio delle etichette scritte da esperti umani.
Meglio della Vecchia AI: Il nuovo sistema ha battuto i precedenti modelli AI all'avanguardia che non utilizzavano queste specifiche etichette di competenze.
Il Controllo della "Curva di Apprendimento": Hanno verificato se il sistema seguiva la "Legge della Pratica" (l'idea che le persone migliorano più praticano). Le competenze generate dall'AI mostravano un modello chiaro: man mano che gli studenti praticavano una specifica competenza, il loro tasso di errore diminuiva. Questo ha dimostrato che l'AI stava identificando competenze reali e significative.
Approvazione Umana: Quando hanno mostrato il lavoro dell'AI a veri insegnanti di informatica, gli insegnanti hanno concordato che le descrizioni delle competenze dell'AI erano chiare, comprensibili e accurate.

Riepilogo

In breve, questo articolo dice: "Abbiamo insegnato a un'AI a capire automaticamente esattamente quali competenze gli studenti stanno utilizzando nei loro compiti di programmazione. Abbiamo poi utilizzato quelle etichette di competenze generate dall'AI per costruire un sistema più intelligente che prevede come gli studenti si comporteranno in futuro. Funziona meglio degli esperti umani e meglio dei precedenti metodi AI, e ci aiuta a comprendere l'apprendimento degli studenti in modo chiaro e interpretabile".

Cosa NON hanno affermato:

Non hanno affermato che questo sostituisca gli insegnanti; dichiarano esplicitamente che è destinato a supportarli.
Non hanno ancora testato questo su problemi di matematica o scienze (solo programmazione).
Non hanno affermato che sia perfetto; hanno notato che a volte l'AI manca competenze condivise tra i problemi perché li analizza uno per uno.

Riepilogo Tecnico: Generazione Automatizzata di Componenti di Conoscenza e Tracciamento della Conoscenza Interpretabile in Problemi di Programmazione

Enunciato del Problema
Nella modellazione degli studenti, le Componenti di Conoscenza (KC) sono essenziali per valutare la padronanza fine delle competenze, abilitare feedback personalizzati e guidare sistemi di apprendimento adattivi. Tradizionalmente, le KC sono progettate e associate ai problemi da esperti di dominio umani, un processo laborioso, soggetto a bias e difficile da scalare. Sebbene lavori precedenti abbiano esplorato la generazione automatizzata di KC per domande a scelta multipla, i problemi a risposta aperta, in particolare nella programmazione, rimangono poco studiati. I problemi di codifica a risposta aperta presentano sfide uniche: le risposte degli studenti mostrano una significativa diversità, gli errori possono verificarsi in innumerevoli modi e possono esistere molteplici approcci di soluzione validi, ciascuno dei quali copre diversi insiemi di KC. I metodi automatizzati esistenti spesso non riescono a catturare questa complessità o si affidano a strutture sintattiche rigide inadatte a submissions di studenti diversificate.

Metodologia
Gli autori propongono un framework in due parti: una pipeline automatizzata per generare e associare KC utilizzando Modelli Linguistici di Grandi Dimensioni (LLM), e un nuovo metodo di Tracciamento della Conoscenza (KT), KCGen-KT, che sfrutta queste KC generate.

Pipeline Automatizzata di Generazione delle KC:
- Generazione Iniziale: Per ogni problema di programmazione, il sistema seleziona un insieme diversificato di submissions di codice corrette rappresentative degli studenti (clusterizzate tramite embedding CodeBERT per garantire varietà). Invia prompt a GPT-4o con esempi few-shot e ragionamento chain-of-thought per identificare le KC fine necessarie per risolvere il problema, convertendo i tag di argomento esistenti in descrizioni in linguaggio naturale.
- Controllo dell'Clusterizzazione e dell'Astrazione: Per gestire la granularità, le descrizioni testuali delle KC generate vengono incorporate utilizzando Sentence-BERT. Viene applicata la Clusterizzazione Agglomerativa Gerarchica (HAC) per unire KC semanticamente simili. Regolando il numero di cluster, il sistema controlla il livello di astrazione, passando da competenze specifiche a livello di funzione a raggruppamenti concettuali più ampi.
- Etichettatura: GPT-4o viene sollecitato a riassumere ogni cluster in un'unica etichetta informativa (selezionando una KC esistente o sintetizzando una nuova descrizione). Infine, viene costruita una matrice Q mappando ogni problema alle sue KC riassunte corrispondenti.
KCGen-KT (Framework di Tracciamento della Conoscenza):
- Architettura: Il modello utilizza Llama 3 (8 miliardi di parametri) come backbone per l'apprendimento multi-task, prevedendo sia la correttezza binaria della successiva submission dello studente sia il codice effettivo token per token.
- Modellazione dello Stato dello Studente: Un LSTM standard aggiorna lo stato latente di conoscenza dello studente ( $h_t$ ) basato sul testo del problema passato, sul codice e sulla correttezza. Questo stato è proiettato in un vettore di padronanza ( $m_t$ ) che rappresenta la competenza su ciascuna KC unica.
- Conversione Soft-Token: Per integrare i livelli di padronanza nello spazio di input dell'LLM, il modello converte i valori discreti di padronanza in "soft token". Un livello di padronanza $m^j_t$ per la KC $j$ viene trasformato in una combinazione ponderata degli embedding per i token "vero" e "falso": $s^j_t = m^j_t \cdot \text{emb}_{\text{vero}} + (1 - m^j_t) \cdot \text{emb}_{\text{falso}}$ . Ciò consente ai gradienti di fluire attraverso i parametri di padronanza durante l'addestramento.
- Interpretabilità: Il modello impiega un modello compensativo per aggregare i livelli individuali di padronanza delle KC in un punteggio complessivo di padronanza, garantendo che una conoscenza più elevata su specifiche KC si correli con una probabilità più alta di una risposta corretta.
- Obiettivo di Addestramento: Il sistema minimizza una funzione di perdita combinata che include la perdita di generazione del codice (cross-entropy), la perdita di previsione della correttezza (cross-entropy binaria) e una perdita di regolarizzazione per imporre la monotonia tra la padronanza delle KC e la correttezza.

Contributi Chiave

Prima Pipeline Automatizzata per la Programmazione a Risposta Aperta: Il documento presenta la prima pipeline basata su LLM capace di generare e associare KC specificamente per problemi di programmazione a risposta aperta, affrontando la diversità e la complessità delle submissions di codice degli studenti.
KT Interpretabile con Soft Token: Gli autori introducono KCGen-KT, che modella esplicitamente la padronanza dello studente su descrizioni testuali delle KC. Il nuovo meccanismo di conversione soft-token permette all'LLM di utilizzare livelli di padronanza continui come input, colmando il divario tra stati latenti degli studenti e generazione testuale.
Validazione Empirica: Il framework è stato valutato su due dataset reali (CodeWorkout e FalconCode) contenenti migliaia di submissions di studenti.

Risultati

Prestazioni: KCGen-KT supera i metodi KT esistenti all'avanguardia (inclusi TIKTOC e Code-DKT) e le linee di base che utilizzano KC scritte da umani. Nello specifico, la versione che utilizza KC generate da LLM ottiene miglioramenti statisticamente significativi in AUC, punteggio F1, accuratezza e CodeBLEU (per la generazione di codice) su entrambi i dataset.
Analisi della Granularità: Gli esperimenti che variano il livello di astrazione delle KC rivelano che KC eccessivamente astratte (cluster di alto livello) degradano le prestazioni, mentre livelli di astrazione medio-bassi (granularità più fine) producono i migliori risultati. Ciò suggerisce che un dettaglio sufficiente è cruciale per una modellazione accurata degli studenti.
Curve di Apprendimento: Le KC generate si allineano meglio alla legge della potenza della pratica (tassi di errore in diminuzione con la pratica) rispetto alle KC scritte da umani, raggiungendo un $R^2$ ponderato più elevato (0,21 contro 0,18) quando adattate a modelli di curva di apprendimento.
Valutazione Umana: Gli istruttori hanno valutato le KC generate da LLM come altamente interpretabili (98,6% contro il 94,6% delle linee di base umane) e hanno riscontrato che le mappature problema-KC hanno un'alta precisione (93,2%) e copertura (il 96% dei casi ha avuto una copertura uguale o superiore rispetto alle linee di base umane).

Significato e Affermazioni
Il documento afferma che KC di alta qualità, generate automaticamente, e un'associazione accurata sono fondamentali per migliorare le prestazioni della modellazione degli studenti a valle. Gli autori dimostrano che gli LLM possono identificare efficacemente competenze fini in compiti di codifica a risposta aperta, spesso superando i tag scritti da umani in termini di potere predittivo e allineamento con i principi cognitivi dell'apprendimento.

Il lavoro è moderatamente circoscritto all'educazione informatica a causa di vincoli sulla disponibilità di dati (la necessità di dati di risposta aperta degli studenti longitudinali su larga scala). Gli autori riconoscono che la loro pipeline si basa attualmente su esempi in contesto e che il lavoro futuro dovrebbe esplorare il perfezionamento con intervento umano (human-in-the-loop), l'ottimizzazione diretta per l'adattamento delle curve di apprendimento e l'applicazione ad altri domini come la matematica e le scienze. Sottolineano che il loro approccio è inteso a supportare gli educatori riducendo il lavoro manuale, non a sostituire il giudizio umano, e raccomandano una revisione da parte di esperti prima del dispiegamento in contesti educativi reali.