ConceptKT: A Benchmark for Concept-Level Deficiency Prediction in Knowledge Tracing

1. Il Problema

La Knowledge Tracing (KT) è una tecnica fondamentale per modellare lo stato di conoscenza degli studenti e supportare l'apprendimento personalizzato. Tuttavia, la maggior parte dei sistemi KT esistenti si concentra esclusivamente sulla previsione binaria della correttezza della risposta (giusto/sbagliato).
Questo approccio presenta due limiti critici:

1. Mancanza di diagnosi granulare: Non identifica le specifiche incomprensioni concettuali alla base degli errori.
2. Feedback limitato: Senza sapere quale concetto lo studente non ha padroneggiato, è difficile progettare interventi didattici mirati o materiali di recupero efficaci.

Il paper evidenzia la necessità di passare dalla semplice previsione della correttezza alla previsione delle carenze a livello di concetto (Concept-Level Deficiency Prediction), ovvero identificare quali concetti specifici uno studente probabilmente non padroneggerà nelle future domande.

2. Metodologia e Costruzione del Dataset

Dataset: ConceptKT

Gli autori hanno costruito un nuovo dataset chiamato ConceptKT, estendendo il dataset esistente MathEDU.

• Origine: Deriva da 4.048 registrazioni di processi di risoluzione problemi di 6 studenti con background accademici diversi (Matematica Applicata, Finanza, Fisica, ecc.).
• Annotazione Esperta: Tre esperti in educazione matematica hanno annotato i dati con:
  • Concetti Associati: I concetti necessari per risolvere il problema.
  • Concetti Mancanti: I concetti specifici che lo studente non ha dimostrato di padroneggiare quando ha risposto in modo errato.
• Struttura: Il dataset include 55 concetti matematici raggruppati in 13 categorie (es. Aritmetica di base, Geometria, Probabilità, Finanza).
• Qualità: L'accordo inter-annotatore è stato valutato con un coefficiente $\kappa$ di Fleiss di circa 0.67 per i concetti associati e 0.63 per quelli mancanti, indicando un accordo sostanziale.

Formulazione del Task

Il task è stato riformulato come un problema di Learning in Context (In-Context Learning) utilizzando Modelli Linguistici di Grande Dimensione (LLM) e Modelli di Ragionamento (LRM).

• Input: Una storia di risposte dello studente ($H$) e una nuova domanda target ($q$).
• Output: Il modello deve prevedere:
  1. La correttezza della risposta futura.
  2. L'insieme dei concetti mancanti ($\gamma$) che potrebbero causare un errore.
• Prompting: È stato utilizzato un prompt strutturato con strategia Chain-of-Thought (CoT) che guida il modello a: (1) identificare i concetti richiesti, (2) analizzare la storia dello studente, (3) prevedere correttezza e carenze.

Strategie di Selezione della Storia

Poiché l'inserimento dell'intera storia dello studente può introdurre rumore o ridondanza, il paper esplora diverse strategie per selezionare le risposte storiche più informative da fornire al modello:

1. All Responses: Tutte le risposte storiche (senza filtraggio).
2. Same-Concept Only: Solo le risposte che coinvolgono gli stessi concetti della domanda target.
3. Conceptual Semantic Selection: Una strategia ibrida che seleziona prima le risposte con concetti in comune e poi, se necessario, filtra quelle con la massima similarità semantica (calcolata tramite BERTScore) rispetto alla domanda target.

3. Contributi Chiave

1. Nuovo Task: Introduzione della previsione delle carenze a livello di concetto come estensione della Knowledge Tracing tradizionale.
2. Dataset ConceptKT: Il primo dataset annotato da esperti che include etichette granulari sia per i concetti richiesti che per le carenze concettuali negli errori.
3. Valutazione di LLM/LRM: Analisi sistematica delle capacità di modelli come Gemini-2.0-Flash, Llama-4, o3-mini e DeepSeek-R1 nel task di KT.
4. Strategie di Selezione: Dimostrazione empirica che la selezione delle risposte basata sulla rilevanza concettuale e semantica è superiore all'uso indiscriminato di tutta la storia.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un set di test del 10% dei dati, utilizzando metriche di Accuracy per la correttezza e Macro-F1 per la previsione delle carenze (problema di classificazione multi-etichetta).

• Performance dei Modelli:
  • I modelli basati su LLM/LRM hanno mostrato buone capacità, superando spesso i modelli KT tradizionali (come DKT, SAKT) nella previsione delle carenze concettuali.
  • DeepSeek-R1 e Llama-4 hanno ottenuto i risultati migliori.
• Impatto delle Strategie di Selezione:
  • L'uso di tutte le risposte (All Responses) ha portato a un crollo delle prestazioni nella previsione delle carenze (es. Macro-F1 di DeepSeek-R1 sceso al 14.82% con "All Responses" contro il 17.40% con "Same-Concept Only").
  • La strategia Same-Concept Only ha migliorato significativamente la precisione diagnostica.
  • La strategia Conceptual Semantic Selection ha portato ulteriori guadagni, specialmente per modelli con forti capacità di ragionamento come o3-mini, che è passato da un Macro-F1 del 2.16% (All Responses) al 12.77% (Conceptual Semantic Selection).
• Analisi dell'Augmentation: Aggiungere risposte di concetti diversi (augmentation) quando i dati sono scarsi ha peggiorato le prestazioni, introducendo rumore semantico. La qualità e la rilevanza concettuale sono risultate più importanti della quantità di dati inseriti.

5. Significato e Conclusioni

Il lavoro di ConceptKT rappresenta un passo avanti significativo verso la didattica adattiva di precisione.

• Diagnosi Profonda: Sposta il focus dal "cosa" lo studente ha sbagliato al "perché" (mancanza di un concetto specifico), permettendo sistemi di tutoring che possono fornire feedback mirati e esercizi di recupero specifici.
• Efficienza dei Modelli: Dimostra che per i modelli LLM, non è necessario (e talvolta controproducente) fornire l'intera cronologia dello studente. Una selezione intelligente basata sulla similarità concettuale e semantica permette di ottenere prestazioni superiori anche con contesti più brevi.
• Futuro: Il paper apre la strada a sistemi educativi che non si limitano a prevedere il voto, ma comprendono la struttura cognitiva dello studente per guidare l'apprendimento in modo dinamico.

In sintesi, ConceptKT valida l'idea che l'integrazione di annotazioni concettuali dettagliate e strategie di selezione contestuale nei modelli di linguaggio possa trasformare la Knowledge Tracing da un semplice strumento predittivo a un potente sistema di diagnosi educativa.