Sintesi Tecnica: RAS (Retrieval-And-Structuring) per la Generazione di LLM ad Alta Intensità di Conoscenza

Definizione del Problema

I Large Language Models (LLM) hanno dimostrato capacità impressionanti in compiti ad alta intensità di conoscenza, ma spesso faticano con il ragionamento multi-step. Questa limitazione deriva in gran parte dalla natura non strutturata del contesto recuperato nei framework standard di Retrieval-Augmented Generation (RAG). Sebbene il RAG fornisca informazioni esterne, la mancanza di un'organizzazione esplicita tra i passaggi recuperati costringe i modelli a colmare implicitamente le lacune logiche, portando spesso a percorsi di ragionamento fragili e allucinazioni.

I tentativi esistenti di integrare i Knowledge Graphs (KG) con gli LLM si basano tipicamente su grafi statici a livello di corpus. Tali approcci affrontano due significative limitazioni:

1. Costi Elevati: Costruire e mantenere KG globali (ad esempio, per Wikipedia) richiede milioni di chiamate agli LLM e ingenti risorse finanziarie.
2. Ambiguità: I grafi globali spesso mescolano prove provenienti da documenti contrastanti, creando relazioni ambigue o contraddittorie che oscurano il contesto specifico rilevante per una query dell'utente.

Di conseguenza, esiste la necessità di un sistema in grado di costruire dinamicamente strutture di conoscenza adattate a specifiche query, consentendo un ragionamento più interpretabile e robusto senza i costi proibitivi dell'indicizzazione offline.

Metodologia: Il Framework RAS

Gli autori propongono Retrieval-And-Structuring (RAS), un framework che costruisce dinamicamente grafi di conoscenza specifici per ogni domanda attraverso un recupero iterativo e una strutturazione della conoscenza. RAS intercala la pianificazione del recupero mirato con la costruzione incrementale di grafi, permettendo al modello di assemblare e ragionare su strutture di conoscenza in evoluzione e personalizzate per ogni query.

Il framework opera attraverso tre fasi primarie:

1. Pianificazione Consapevole della Conoscenza (Knowledge-Aware Planning)

Il processo è avviato e controllato da un modulo di pianificazione che valuta dinamicamente lo stato attuale della conoscenza.

• Pianificazione Iniziale: Dato un input query $Q$, il modello determina se la query può essere risposta direttamente ([NO_RETRIEVAL]) o se è necessario il recupero. Se il recupero è richiesto, la domanda principale funge da subquery iniziale ($q_0$).
• Pianificazione Iterativa: Ad ogni iterazione $i$, il modello analizza il grafo della conoscenza accumulata $G_i$ e la cronologia delle subquery ed estratti di triple. Decide se:
  • Generare una nuova subquery focalizzata ($q_{i+1}$) per colmare specifici vuoti di conoscenza ([SUBQ]).
  • Terminare il recupero se la conoscenza accumulata è sufficiente ([SUFFICIENT]).

2. Recupero del Testo e Strutturazione (Text Retrieval and Structuring)

Una volta generata una subquery, il sistema esegue una pipeline di recupero e strutturazione:

• Recupero: Un recuperatore denso estrae i top-$k$ passaggi semanticamente rilevanti ($t_i$) per la subquery.
• Conversione da Testo a Triple: Un modello specializzato ($f_{t2t}$) converte il testo recuperato in triple fattuali strutturate (soggetto-predicato-oggetto). Questo modello è addestrato sul dataset WikiOfGraph.
• Costruzione del Grafo: Le triple estratte vengono convertite in una struttura di grafo $g'_i$ con embedding semantici per nodi e archi.
• Arricchimento Iterativo: Il nuovo grafo $g'_i$ viene fuso in un grafo di conoscenza in evoluzione e specifico per la domanda, $G_Q$. Questo grafo cresce iterativamente, accumulando prove rilevanti per la domanda principale.

3. Risposta Aumentata dalla Conoscenza (Knowledge-Augmented Answering)

Quando il modulo di pianificazione segnala che la conoscenza è sufficiente, il modello genera la risposta finale.

• Se non è stato necessario alcun recupero, la risposta viene generata direttamente dalla query.
• Altrimenti, la risposta viene generata condizionata dal KG codificato specifico per la domanda ($G_Q$) e dalla catena di subquery e dalle relative informazioni del grafo. Il modello presta attenzione a questo contesto strutturato per produrre output accurati e coerenti.

Strategia di Addestramento

RAS impiega un approccio di Apprendimento Multi-task Consapevole della Struttura (Structure-Aware Multitask Learning). Un singolo Graph LLM è addestrato per eseguire sia i compiti di pianificazione che quelli di risposta utilizzando una strategia di fine-tuning efficiente dei parametri (LoRA). I dati di addestramento, HotpotQA-SUBQ, sono costruiti filtrando i documenti di HotpotQA, generando subquery per ogni documento di supporto e etichettando i campioni con l'azione di pianificazione appropriata ([SUBQ], [SUFFICIENT] o [NO_RETRIEVAL]) o la risposta finale.

Contributi Chiave

1. Framework RAS: La proposta di un framework che costruisce dinamicamente grafi di conoscenza specifici per domanda attraverso il recupero iterativo e la strutturazione, evitando i costi e il rumore dei KG globali.
2. Architettura di Modello Unificata: La progettazione di un Graph LLM unificato che pianifica congiuntamente le necessità di recupero e genera risposte su grafi di conoscenza in evoluzione, utilizzando un setup di apprendimento multi-task.
3. Validazione Empirica: Dimostrazione di guadagni di prestazioni costanti attraverso sette diversi benchmark, mostrando che la strutturazione dinamica migliora l'accuratezza e la robustezza del ragionamento.

Risultati Sperimentali

Gli autori hanno valutato RAS su sette benchmark che coprono la QA a dominio aperto (TriviaQA, PopQA, 2WikiMultihopQA), compiti a set chiuso (PubHealth, ARC-Challenge) e generazione di testi lunghi (ASQA, ELI5).

• Guadagni di Prestazioni: RAS ha superato costantemente i baselines forti, inclusi Self-RAG, RPG e SuRe.
  • Con LLM open-source (LLaMA-2-7B/LLaMA-3-8B), RAS ha ottenuto guadagni fino al 7,0% rispetto ai baselines.
  • Con modelli proprietari (Claude-3.5-Sonnet), RAS ha ottenuto guadagni fino all'8,7%.
• Studi di Ablazione:
  • Pianificazione Iterativa: Rimuovere il modulo di pianificazione (tornando al recupero a passaggio singolo) ha causato cali significativi di prestazioni, evidenziando la necessità di determinare dinamicamente le necessità di recupero.
  • Costruzione del Grafo: Rimuovere la conversione da testo a triple o l'encoder del grafo ha portato a una degradazione sostanziale, confermando il valore della rappresentazione della conoscenza strutturata.
  • Strategia di Addestramento: L'addestramento congiunto multi-task e l'uso di LoRA sono risultati critici per le prestazioni ottimali.
• Efficienza: A differenza dei metodi a grafo statico (ad esempio, GraphRAG) che richiedono costose indicizzazioni offline (stimate tra \85k e \500k per la scala di Wikipedia), RAS incorre in costi offline trascurabili costruendo i grafi dinamicamente durante l'inferenza.

Significato e Rivendicazioni

L'articolo sostiene che la strutturazione della conoscenza dinamica e specifica per domanda offre una strada robusta per migliorare l'accuratezza e la robustezza del ragionamento nella generazione del linguaggio. Rendendo esplicita l'organizzazione della conoscenza recuperata in grafi in evoluzione, RAS mitiga i rischi di allucinazione associati al contesto non strutturato e le inefficienze dei KG globali.

Gli autori sottolineano che il loro approccio si allinea agli studi di interpretabilità che suggeriscono come i fallimenti degli LLM derivino spesso da catene di ragionamento implicite interrotte. Rendendo queste catene esplicite attraverso un ragionamento intermedio strutturato, RAS fornisce una soluzione trasparente e scalabile per i compiti ad alta intensità di conoscenza. Il framework è presentato come un approccio general-purpose per la risposta a domande a dominio aperto, piuttosto che limitato a compiti specifici di Knowledge Graph Question Answering (KGQA).