From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints

Riepilogo Tecnico: Dalle Risorse Didattiche alle Competenze: Tagging Basato su LLM con Evidenza e Vincoli Grafici

Formulazione del Problema
Il documento affronta la sfida di allineare automaticamente risorse eterogenee dei Sistemi di Gestione dell'Apprendimento (LMS) (ad esempio, PDF, diapositive, quiz, compiti) a quadri strutturati di competenze istituzionali. Sebbene il tagging manuale sia accurato, è laborioso e difficile da scalare. I metodi completamente automatici spesso mancano di trasparenza, rendendoli inadatti per l'audit educativo. Il problema centrale è definito come il calcolo di una mappatura a livello di risorsa $M: R \to 2^C$ (dove $R$ è un insieme di risorse e $C$ è un insieme di nodi di competenza in un grafo diretto $G$) che sia sia accurata sia tracciabile attraverso span di evidenza verificabili all'interno del testo.

Metodologia: La Pipeline LBG
Gli autori propongono una pipeline end-to-end, denominata LBG (LLM+BM25+Grafo), che opera a livello di frammento prima di aggregare a livello di risorsa. Il processo consta di quattro fasi distinte:

1. Rappresentazione e Frammentazione della Risorsa:
   Le risorse LMS eterogenee sono decomposte in frammenti pedagogici ($\phi(r)$) basati su strutture autenticate dal docente (ad esempio, sezioni, diapositive, voci di quiz). Se manca una struttura esplicita, la segmentazione di fallback utilizza i confini di paragrafo e frase. Ogni frammento mantiene metadati di provenienza per consentire l'audit successivo.

2. Generazione dei Candidati (Recupero):
   Per vincolare lo spazio di previsione ed evitare una generazione senza vincoli, il sistema recupera un insieme limitato delle prime $K$ competenze candidate ($Cand(x)$) per ogni frammento $x$. Ciò è ottenuto confrontando il testo del frammento con i profili di competenza (contenenti etichette, descrizioni, sinonimi e contesto del grafo) utilizzando il ranking lessicale (BM25).

3. Tagging Basato su LLM con Evidenza:
   Un Large Language Model (LLM), specificamente gpt-4o-mini, funge da modulo decisionale semantico vincolato. Dato un frammento e il suo insieme di candidati recuperati, l'LLM:

   • Seleziona le competenze rilevanti esclusivamente dall'insieme dei candidati.
   • Assegna un punteggio di confidenza.
   • Estrae uno span di evidenza verificabile (offset di caratteri) dal testo del frammento a supporto della selezione.
     Gli output sono formattati in uno schema JSON rigoroso per garantire la parsabilità automatica.

4. Riconciliazione e Aggregazione Consapevoli del Grafo:
   Le previsioni a livello di frammento sono raffinate utilizzando le relazioni strutturali del grafo di competenza $G$ (ad esempio, prerequisiti, relazioni gerarchiche). Questa fase esegue:

   • Controllo della Granularità: Riduzione delle assegnazioni ridondanti tra nodi genitori e figli.
   • Controlli di Coerenza dei Prerequisiti: Segnalazione di tag potenzialmente incoerenti (ad esempio, una competenza avanzata prevista senza evidenza dei suoi prerequisiti) senza forzare una correzione automatica.
   • Deduplicazione: Unione di previsioni sovrapposte.
     Infine, i punteggi dei frammenti sono aggregati (tramite somma ponderata o massimo) per produrre un punteggio di competenza a livello di risorsa, che viene sottoposto a soglia per generare la mappatura finale.

Contributi Chiave

• Tagging Basato su Evidenza: A differenza della classificazione standard, la pipeline richiede al modello di outputare specifici span di testo che giustificano ogni tag, facilitando l'audit umano e la trasparenza.
• Spazio Decisionale Vincolato: Integrando il recupero (BM25) con la selezione LLM, il metodo mitiga il problema degli LLM che allucinano competenze o performano male su framework locali sottorappresentati.
• Riconciliazione Consapevole del Grafo: L'approccio utilizza esplicitamente la topologia del grafo di competenza (prerequisiti e gerarchie) per post-processare le previsioni, garantendo coerenza strutturale nell'output finale.
• Pipeline End-to-End: Il sistema colma il divario tra contenuti LMS grezzi e analisi strutturate delle competenze, operando efficacemente attraverso tipi di risorse eterogenei.

Risultati Sperimentali
L'approccio è stato valutato su un dataset del dipartimento di Informatica dell'Université de Technologie de Compiègne (UTC), comprendente 430 risorse, 26 unità didattiche e 22 competenze. La valutazione ha utilizzato la validazione incrociata a 5 fold a livello di unità didattica.

• Prestazioni: La pipeline LBG ha raggiunto un Micro-F1 di 0,571 e un Macro-F1 di 0,504 a livello di frammento, e un Macro-F1 di 0,507 a livello di risorsa.
• Vantaggio Comparativo: LBG ha superato:
  • LLM Zero-shot e Few-shot: Che mancavano di vincoli di recupero e riconciliazione grafica.
  • Baseline di Recupero/Similarità: Compresi BM25, bi-codificatori densi e SBERT, che faticavano nella conversione di liste classificate in previsioni multi-etichetta.
  • Classificatori Supervisionati: Compresi LogReg, LinearSVC e un Trasformatore Supervisionato, che generalizzavano meno efficacemente su unità didattiche non viste.
• Validità dell'Evidenza: LBG ha raggiunto la più alta Validità dello Span (0,511) tra i metodi che producono span, indicando che l'approccio vincolato stabilizza l'estrazione di evidenza meccanicamente tracciabile.
• Qualità del Ranking: La pipeline ha raggiunto un Mean Reciprocal Rank (MRR) di 0,82, significativamente superiore alle baseline, suggerendo che le competenze corrette sono classificate in alto nella lista dei candidati.

Significato e Affermazioni
Il documento afferma che combinare il tagging LLM vincolato al recupero con la riconciliazione basata su grafi offre una soluzione robusta per l'analisi dei curricula basata sulle competenze. Gli autori sottolineano che il loro metodo produce span di evidenza meccanicamente tracciabili, aspetto critico per l'audit umano e l'analisi educativa, affrontando la natura "scatola nera" degli output standard degli LLM.

I risultati suggeriscono che, sebbene gli LLM mostrino promesse per il tagging delle abilità, le loro prestazioni su framework locali sono significativamente potenziate vincolando lo spazio delle etichette tramite recupero e imponendo coerenza strutturale tramite vincoli grafici. Gli autori notano che il loro approccio è agnostico rispetto al modello e che la progettazione della pipeline supporta applicazioni LMS a valle come il recupero basato sulle competenze, l'allineamento della valutazione e l'analisi della copertura curricolare.

Limitazioni
Gli autori riconoscono modestamente diverse limitazioni:

• La valutazione è limitata a un singolo quadro istituzionale (Informatica UTC) e a risorse esclusivamente testuali.
• La metrica di validità dell'evidenza testa la tracciabilità meccanica degli offset piuttosto che la fedeltà semantica (cioè se il testo giustifica effettivamente il tag).
• Il sistema si basa sul testo del profilo di competenza per il recupero, il che può limitare le prestazioni su competenze altamente ambigue o implicite senza vincoli grafici più ricchi.
• È necessario un lavoro futuro per validare l'approccio su tassonomie più ampie e multilingue (ad esempio, ESCO, ROME) e per migliorare la generazione dei candidati.