💬 NLP

Improving Factuality in LLMs via Inference-Time Knowledge Graph Construction

Questo articolo propone un nuovo framework che migliora l'accuratezza fattuale dei Large Language Models costruendo e affinando dinamicamente grafi della conoscenza strutturati durante l'inferenza, integrando la conoscenza interna del modello con il recupero esterno per superare i limiti degli approcci basati su testo non strutturato.

Autori originali: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Pubblicato 2026-05-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una bibliotecaria molto intelligente e colta (il Modello Linguistico di Grande Dimensione, o LLM). Questa bibliotecaria ha letto milioni di libri e può dirti quasi tutto. Tuttavia, come qualsiasi essere umano, ha un limite a ciò che può ricordare perfettamente. A volte, potrebbe confondere due storie simili, dimenticare un dettaglio specifico o inventare con sicurezza un fatto che sembra corretto ma non lo è. Questo è ciò che i ricercatori chiamano "allucinazione".

Per risolvere questo problema, gli autori di questo articolo propongono un nuovo modo per far lavorare la bibliotecaria, che chiamano "Costruzione di Grafo della Conoscenza al Momento dell'Inferenza".

Ecco come funziona il loro metodo, scomposto in passaggi semplici utilizzando un'analogia di costruire una mappa per trovare un tesoro nascosto.

Il Problema: La Ricerca "Non Strutturata"

Di solito, quando chiedi alla bibliotecaria una domanda difficile, potrebbe provare a rispondere semplicemente pensando intensamente (come una "Catena di Pensiero"). Oppure, potrebbe cercare del testo su Internet e leggerlo.

Il Problema: Leggere un lungo e disordinato paragrafo di testo è come cercare di trovare una strada specifica in una città leggendo un romanzo sulla città. È facile perdersi, sbagliare svolta o distrarsi con dettagli irrilevanti. La bibliotecaria potrebbe afferrare il fatto sbagliato perché le informazioni non erano organizzate.

La Soluzione: Costruire una "Mappa" (Il Grafo della Conoscenza)

Invece di leggere semplicemente del testo, gli autori insegnano alla bibliotecaria a disegnare una mappa (un Grafo della Conoscenza) mentre risponde alla domanda. Questa mappa collega punti (fatti) con linee (relazioni).

Ecco il loro processo in 4 passaggi:

1. Disegnare la Mappa Seminale (Inizializzazione)

Quando fai una domanda (ad esempio: "Su quale opera teatrale si basano le Danze Sinfoniche di Bernstein?"), la bibliotecaria guarda prima la propria memoria e disegna una piccola bozza approssimativa.

Scrive: Dag Achatz → trascritto → Danze Sinfoniche → proviene da → West Side Story.
Il Problema: La memoria interna della bibliotecaria potrebbe essere incompleta. Potrebbe fermarsi a West Side Story e pensare: "Questa è la risposta!". Ma in realtà, West Side Story stessa si basava su qualcos'altro. Alla mappa manca un pezzo.

2. Espandere la Mappa (Espansione Interna)

La bibliotecaria guarda la sua bozza e si chiede: "Cosa altro so di questi punti?". Cerca di aggiungere più linee alla mappa usando le proprie capacità mentali.

Potrebbe aggiungere: West Side Story → composto da → Leonard Bernstein.
Il Problema: Anche con questa espansione, la bibliotecaria potrebbe ancora mancare del collegamento cruciale che riconduce West Side Story all'opera teatrale originale, Romeo e Giulietta. La sua memoria interna ha una lacuna.

3. Consultare la "Guida della Città" (Recupero Esterno)

Questo è il passaggio magico. La bibliotecaria si rende conto: "Non sono sicura di avere il quadro completo". Quindi, si ferma e consulta una affidabile Guida della Città esterna (come Wikipedia o una ricerca Google).

Cerca West Side Story nella guida.
La guida dice: "West Side Story è stato ispirato da Romeo e Giulietta."
La bibliotecaria prende questo nuovo fatto verificato e lo aggiunge alla sua mappa: West Side Story → ispirato da → Romeo e Giulietta.
Il Vantaggio: Se la bibliotecaria avesse commesso un errore in precedenza (ad esempio, pensando che la musica fosse di un anno diverso), la Guida della Città aiuta a correggere la mappa, non solo ad aggiungerci qualcosa.

4. Trovare il Tesoro (Risposta sul Grafo)

Ora, con una mappa completa e corretta che collega Dag Achatz fino a Romeo e Giulietta, la bibliotecaria traccia il percorso sulla mappa. Poiché il percorso è chiaro e verificato dalla Guida della Città, può affermare con sicurezza: "La risposta è Romeo e Giulietta."

Perché è meglio?

L'articolo afferma che questo metodo è superiore per tre motivi principali:

Struttura invece di Caos: Invece di guadare attraverso un'inondazione di testo non strutturato, la bibliotecaria lavora con una mappa strutturata. Questo rende più difficile distrarsi con informazioni irrilevanti.
Auto-correzione: La bibliotecaria non si fida solo della propria memoria. Usa la guida esterna per correggere gli errori nella propria mappa. Se la bibliotecaria pensa che "A porta a B", ma la guida dice "A porta a C", la bibliotecaria aggiorna la mappa.
Piccole bibliotecarie possono svolgere grandi compiti: Gli esperimenti hanno dimostrato che anche bibliotecarie più piccole e meno potenti (modelli AI più piccoli) potevano performare altrettanto bene di quelle giganti se usavano questo metodo di costruzione della mappa. La guida esterna livella il campo di gioco.

I Risultati

Gli autori hanno testato questo su tre diversi tipi di sfide di cultura generale.

L'Esito: Il loro metodo ha ottenuto costantemente più risposte corrette rispetto ai modi standard di interrogare l'AI.
L'Impulso al "Recupero": Hanno scoperto che usando la guida esterna, la "mappa" che costruivano conteneva i fatti corretti molto più spesso (un enorme aumento del "recall", o trovare i fatti giusti) rispetto al fare affidamento solo sulla memoria dell'AI.

Il Rovescio della Medaglia (Limiti)

Gli autori sono onesti riguardo ai difetti:

Spazzatura dentro, Spazzatura fuori: Se la bibliotecaria disegna la parte iniziale della mappa in modo errato, e la guida esterna non lo coglie, la risposta finale sarà comunque sbagliata.
Non Perfetto: C'è ancora un divario tra avere i fatti giusti sulla mappa e effettivamente scegliere la risposta corretta. Il sistema non è ancora perfetto al 100%.

Riepilogo

In breve, questo articolo suggerisce che invece di chiedere a un'AI di semplicemente "pensare" o "leggere un paragrafo", dovremmo chiederle di costruire una mappa visiva di fatti, verificare quella mappa contro un'enciclopedia affidabile, correggere eventuali errori sulla mappa e poi seguire la mappa fino alla risposta. Questo rende l'AI più accurata, meno propensa a mentire e più facile da comprendere.

Riepilogo Tecnico: Miglioramento della Fattualità negli LLM tramite Costruzione di Grafi della Conoscenza al Momento dell'Inferenza

Enunciato del Problema

I Large Language Models (LLM) generano frequentemente risposte fattualmente inconsistenti a causa delle limitazioni nella loro memoria parametrica. Sebbene i paradigmi di Generazione Aumentata dal Recupero (RAG) tentino di mitigare questo problema incorporando conoscenze esterne al momento dell'inferenza, gli approcci esistenti trattano tipicamente le conoscenze recuperate come testo non strutturato. Questo approccio basato solo sul testo soffre di una minore accuratezza nel recupero, ostacola il ragionamento composizionale e amplifica l'influenza di informazioni irrilevanti, minando infine la coerenza fattuale delle uscite degli LLM. Inoltre, i metodi che si basano su Grafi della Conoscenza (KG) statici e pre-costruiti mancano di adattabilità in contesti in rapida evoluzione e sono difficili da scalare.

Metodologia

Gli autori propongono una nuova pipeline a quattro stadi che costruisce ed espande dinamicamente i Grafi della Conoscenza durante l'inferenza, integrando sia la conoscenza interna dell'LLM sia quella esterna recuperata. Il processo è formalizzato come segue:

Inizializzazione del Grafo: Data una domanda $Q$ , l'LLM viene sollecitato a estrarre entità e relazioni pertinenti per formare un KG seme ( $G_0$ ). Questo cattura il focus centrale della domanda.
Espansione del Grafo: Il KG seme viene espanso iterativamente in modo breadth-first utilizzando la conoscenza interna dell'LLM. Il modello seleziona entità da un buffer e genera nuovi tripletti (soggetto-relazione-oggetto) per estendere il grafo fino a una profondità predefinita $D$ , risultando in un KG espanso ( $G_1$ ).
Recupero Esterno: Per affrontare imprecisioni o lacune in $G_1$ $G_{1}$ , il sistema impiega un meccanismo di recupero esterno (utilizzando Wikipedia e Google Search tramite BM25). L'LLM seleziona entità o tripletti specifici dal grafo e sceglie tra due azioni:
- Correzione: Sostituire tripletti errati con quelli fattualmente accurati trovati nelle fonti esterne.
- Espansione: Aggiungere nuovi tripletti correlati per colmare le lacune di conoscenza.
  Questo affinamento iterativo produce un KG fondato ( $G^*$ ).
Risposta sul Grafo: Infine, l'LLM genera la risposta interrogando il KG raffinato ( $G^*$ ). Il modello è limitato al ragionamento sui tripletti presenti nel grafo per ridurre le allucinazioni fuori dal grafo e garantire che la risposta sia fondata su catene di evidenze verificabili.

Contributi Chiave

Il documento delinea tre contributi principali:

Costruzione di KG al Momento dell'Inferenza: Un nuovo metodo per estrarre tripletti direttamente dalla conoscenza interna di un LLM e progettare una strategia di espansione iterativa per estendere dinamicamente i KG durante l'inferenza.
Integrazione Ibrida delle Conoscenze: Una pipeline unificata che combina senza soluzione di continuità la conoscenza interna dell'LLM con le basi di conoscenza esterne. Questo approccio ibrido compensa le lacune intrinseche in ciascuna fonte, migliorando il fondamento fattuale.
Validazione Empirica: Una valutazione estesa su tre diversi benchmark di QA fattuale (Complex WebQuestions, HotpotQA e SimpleQA) dimostra miglioramenti coerenti e significativi nell'accuratezza delle risposte e nella coerenza fattuale su diversi dataset e modelli di base.

Risultati Sperimentali

Il metodo è stato valutato su CWQ, HotpotQA e SimpleQA utilizzando vari modelli di base (inclusi GPT-4o, Deepseek-V3, Llama-4-Scout e Qwen2.5).

Guadagni di Prestazione: L'approccio proposto ha ottenuto risultati all'avanguardia sia nelle impostazioni di conoscenza interna che esterna. Nell'impostazione di conoscenza esterna, il metodo ha mostrato miglioramenti sostanziali, in particolare sul dataset impegnativo SimpleQA, con guadagni di accuratezza fino al 23,0% rispetto ai baseline.
Miglioramenti nel Recall: L'integrazione del recupero esterno ha aumentato significativamente il recall dei fatti ground-truth che appaiono nel processo di ragionamento. Ad esempio, su SimpleQA, il recall di Llama-4-Scout è aumentato dal 13,0% (solo interno) al 37,5% (con recupero esterno).
Generalizzazione: Il metodo si è dimostrato robusto su diverse scale di modelli. In particolare, modelli più piccoli (ad esempio Llama-4-Scout) equipaggiati con questo metodo potevano superare o eguagliare modelli significativamente più grandi (ad esempio DeepSeek-V3) quando veniva utilizzato il recupero esterno, suggerendo che il metodo mitiga efficacemente le limitazioni della memoria parametrica interna.
Analisi di Ablazione: L'analisi ha rivelato un compromesso in cui l'aumento della complessità del ragionamento (più salti) porta a dimensioni del grafo più grandi ma a una minore accuratezza, poiché il modello fatica a identificare il percorso corretto tra i candidati espansi. Tuttavia, i modelli più grandi hanno generalmente mostrato una maggiore accuratezza e recall, con il divario di prestazione tra i modelli che si riduce quando viene introdotta la conoscenza esterna.

Significato

Il documento sostiene che la costruzione di KG al momento dell'inferenza è una direzione promettente per migliorare la fattualità degli LLM in modo strutturato, interpretabile e scalabile. Superando il recupero di testo non strutturato, il framework proposto consente agli LLM di accedere e integrare la conoscenza fattuale in modo sistematico. La capacità di costruire e raffinare dinamicamente i grafi permette un adattamento in tempo reale alle lacune di conoscenza, offrendo una soluzione plug-and-play che migliora l'affidabilità senza richiedere una curatela manuale estesa o grafi pre-costruiti statici. Gli autori sottolineano che, sebbene rimangano limitazioni riguardanti la propagazione delle allucinazioni e l'ottimalità del recupero del grafo, l'approccio rappresenta un passo significativo verso un'IA più affidabile in domini ad alto rischio.