Sintesi Tecnica: KNIGHT

Problematica

Il rapido progresso dei Large Language Models (LLM) li ha resi centrali in applicazioni come la Retrieval-Augmented Generation (RAG). Tuttavia, la valutazione di questi sistemi affronta un collo di bottiglia significativo: il tempo, il costo e l'esperienza necessari per costruire dataset di valutazione specializzati e di alta qualità. Gli attuali dataset di valutazione pubblici sono spesso scarsi a causa di restrizioni proprietarie, mentre i benchmark standard come MMLU sono ampiamente statici, difficili da aggiornare e mancano di un controllo fine dell'istruttore sulla difficoltà per singolo argomento o sulle strutture di ragionamento multi-hop. Inoltre, i precedenti sforzi di generazione automatizzata di dataset mancano di framework open-source ampiamente adottati e riproducibili che possano generare domande con difficoltà controllata senza dover reinserire ripetutamente lunghi testi sorgente.

Metodologia

Gli autori introducono KNIGHT (Knowledge-graph-driven Natural Item Generation with Adaptive Hardness Tuning), un framework completamente automatizzato progettato per sintetizzare dataset di domande a scelta multipla (MCQ) su larga scala, specifici per argomento, partendo da collezioni di documenti ed ontologie esterne. Il framework opera attraverso una pipeline a quattro stadi:

1. Costruzione del Grafo di Conoscenza (KG): Dato un argomento definito dall'utente $\tau$, il sistema costruisce un grafo orientato a proprietà $G=(V, E, R)$ tramite un ciclo retrieve-generate-filter.

   • Recupero e Sintesi: Recupera evidenze classificate da fonti (es. Wikipedia) e utilizza un LLM per generare una glossa strutturata a otto punti (descrizione) per l'entità seme.
   • Induzione di Tripletti: Il sistema estrae tripletti soggetto-predicato-oggetto da queste descrizioni, filtrando i duplicati quasi identici.
   • Curatela ed Espansione: Un modulo di curatela applica controlli di tipo (istanziati con Wikidata), controlli di coerenza NLI (Natural Language Inference) e screening delle policy sui contenuti. Il grafo si espande con ricerca in ampiezza fino a un limite di profondità $d_{max}$ definito dall'utente, creando una rappresentazione compatta e riutilizzabile di entità e relazioni.

2. Sintesi di MCQ: Il sistema genera domande attraversando percorsi multi-hop all'interno del KG costruito.

   • Campiona percorsi di lunghezza (profondità) e orientamento (avanti o inverso) configurabili.
   • Le glossa dei nodi e le etichette delle relazioni vengono verbalizzate in un template di contesto, che istruisce un LLM per generare un testo della domanda (stem), una singola risposta corretta e tre distrattori semanticamente prossimi.

3. Calibrazione della Difficoltà: La difficoltà è controllata esplicitamente tramite la lunghezza del percorso (numero di hop) e il livello di astrazione all'interno del KG. Il sistema valida che percorsi più lunghi correlino con un aumento dell'incertezza del modello (entropia) e della difficoltà percepita dall'uomo.

4. Validazione e Filtraggio: Un LLM validatore valuta i candidati item rispetto a cinque criteri adattati dalle migliori pratiche di redazione dei test:

   • Fluidità grammaticale.
   • Unambiguità della risposta singola corretta.
   • Unicità delle opzioni (distrattori non sovrapponibili).
   • Rintracciabilità della risposta dalle evidenze fornite (funge da proxy per l'allucinazione).
   • Rilevanza dell'argomento.
     Gli item che falliscono uno qualsiasi dei criteri vengono scartati.

Il framework è istanziato utilizzando Wikipedia/Wikidata come ontologia, ma è progettato per essere agnostico rispetto al dominio e all'ontologia. Utilizza GPT-4o-mini per tutte le chiamate LLM per mantenere un setting di valutazione consapevole dei costi e dei token.

Contributi Chiave

• Rappresentazione KG Riutilizzabile: KNIGHT introduce un metodo per costruire un KG specifico per argomento una sola volta e memorizzarlo nella cache, consentendo la generazione di molteplici varianti di domande (diversi livelli di difficoltà, formati e target) senza dover rialimentare ripetutamente lunghi documenti sorgente. Ciò riduce significativamente l'uso di token e i costi rispetto al prompting ingenuo o ai baseline standard di RAG.
• Controllo della Difficoltà Adattiva: Sfruttando la profondità del grafo e la struttura del percorso, KNIGHT consente un controllo esplicito sulla difficoltà delle domande, facilitando la creazione di valutazioni allineate ai programmi scolastici con requisiti di ragionamento multi-hop.
• Pipeline di Valutazione Completa: Il framework integra l'estrazione basata su RAG, la generazione guidata da KG e la validazione basata su LLM in una pipeline modulare che mitiga le allucinazioni e garantisce la validità pedagogica.
• Implementazione Open-Source: Gli autori forniscono un pacchetto pubblicamente disponibile su PyPI e GitHub, offrendo un'alternativa riproducibile e a basso consumo di token rispetto ai benchmark statici.

Risultati Sperimentali

Gli autori hanno valutato KNIGHT su sei dataset in Storia, Biologia e Matematica, coprendo due livelli di difficoltà (Livello 1 e Livello 3). Hanno confrontato il KNIGHT completo con le ablazioni: Plain (nessuna evidenza), RAG (solo evidenza), RAG+KG (evidenza + KG, senza validatore) e RAG+Val (evidenza + validatore, senza KG).

• Metriche di Qualità: KNIGHT ha ottenuto punteggi elevati nella qualità linguistica (fluidità, grammatica) e ha superato significativamente i baseline nelle metriche di validità. Ha prodotto i tassi più bassi di item "non rispondibili" (proxy di allucinazione), chiavi ambigue e opzioni duplicate.
• Calibrazione della Difficoltà: L'analisi dell'entropia predittiva utilizzando un modello di sonda fisso (LLaMA 3.2-3B) ha mostrato che KNIGHT ha generato con successo item più difficili al Livello 3 (entropia più alta, accuratezza del probe inferiore) rispetto al Livello 1. Fondamentalmente, l'aumento della difficoltà non ha degradato la validità degli item.
• Qualità dei Distrattori: L'approccio guidato dal KG (RAG+KG) è stato identificato come il driver primario per la generazione di distrattori competitivi (entropia più alta), mentre il solo RAG o la sola validazione non sono riusciti a indurre una separazione significativa della difficoltà.
• Utilità del Benchmark: Le classifiche dei modelli sui dataset KNIGHT si sono allineate strettamente con benchmark stabiliti come MMLU, ARC e CSQA, suggerendo che i dataset generati catturano i fattori di competenza generale in ambito QA.
• Efficienza: Il framework ha dimostrato efficienza nei token, con una media di circa 600 token per domanda grazie al riutilizzo del KG in cache, rispetto ai costi più elevati del reinserimento di contesti lunghi negli approcci RAG standard. I tempi di generazione su hardware comune (Google Colab T4) sono stati pratici (da minuti a circa 40 minuti per dataset).

Significato e Rivendicazioni

Il paper posiziona KNIGHT non solo come un nuovo dataset, ma come un generatore di benchmark scalabile e a basso costo. Il suo significato primario risiede nel risolvere il collo di bottiglia della curatela dei dataset per la valutazione degli LLM. Decoupling (disaccoppiando) la fase costosa di estrazione della conoscenza (costruzione del KG) dalla fase di generazione, KNIGHT consente:

1. Aggiornabilità Rapida: A differenza dei benchmark statici che richiedono uno sforio esperto sostanziale per essere aggiornati, KNIGHT permette aggiornamenti frequenti e specifici per argomento.
2. Controllo dell'Istruttore: Fornisce un controllo esplicito sulla difficoltà e sulla struttura multi-hop, che spesso manca nelle suite a copertura ampia e statiche.
3. Efficacia dei Costi: Offre un'alternativa efficiente in termini di token rispetto alle pipeline di prompting ingenuo, rendendo la valutazione di alta qualità accessibile senza costi computazionali proibitivi.

Gli autori concludono che KNIGHT integra i benchmark esistenti offrendo uno strumento flessibile, riproducibile e adattabile al dominio per la creazione di set di valutazione rigorosi e fondati sui fatti. Riconoscono i limiti riguardanti la generalizzazione a domini ad alta intensità di calcolo (es. fisica) e la presenza residua di allucinazioni, ma affermano che il framework migliora sostanzialmente la validità rispetto agli approcci basati solo sul recupero (retrieval-only).