The Reasoning Bottleneck in Graph-RAG: Structured Prompting and Context Compression for Multi-Hop QA

1. Il Problema: Il Divario tra Recupero e Ragionamento

Il paper affronta una limitazione critica nei sistemi Graph-RAG (Retrieval-Augmented Generation basati su Grafi) per la Risposta alle Domande Multi-hop (QA). Sebbene questi sistemi siano eccellenti nell'indicizzare documenti in grafi della conoscenza e nel recuperare contesti rilevanti, esiste un "divario" significativo tra la capacità di recupero e la capacità di generare risposte corrette.

• Il Fenomeno: Analizzando il sistema leader KET-RAG su tre benchmark (HotpotQA, MuSiQue, 2WikiMultiHopQA), gli autori hanno scoperto che in 77-91% dei casi la risposta corretta (gold answer) è presente nel contesto recuperato.
• La Fallacia: Nonostante l'alta copertura del contesto, l'accuratezza delle risposte varia solo dal 35% al 78%.
• La Causa: L'errore non è nel recupero (retrieval), ma nel ragionamento. Il 73-84% degli errori è dovuto al fallimento del modello nel collegare i fatti dispersi all'interno di un contesto enorme (spesso ~10.000 token). Il modello fatica a trovare l'ago nel pagliaio ("needle-in-a-haystack") e a concatenare i passaggi logici multipli richiesti.

2. Metodologia Proposta

Gli autori propongono due strategie di potenziamento (augmentations) che operano a tempo di inferenza, senza necessità di riaddestramento o re-indicizzazione. Queste strategie sfruttano la struttura intrinseca del contesto recuperato (descrizioni di entità e relazioni).

A. SPARQL Chain-of-Thought (CoT) Prompting

Invece di chiedere al modello di ragionare in linguaggio naturale, il metodo chiede al modello di decomporre la domanda in una query SPARQL (un linguaggio standard per grafi RDF).

• Funzionamento: Il prompt istruisce il modello a scrivere una query con pattern a tripla (es. ?soggetto predicato ?oggetto) che mappano direttamente sulle relazioni nel contesto recuperato.
• Vantaggio: Trasforma un compito di ricerca aperta su 10.000 token in un compito strutturato di "matching di template". Il modello deve tracciare i vincoli delle variabili passo dopo passo, riducendo l'ambiguità e forzando l'attivazione della catena logica multi-hop.
• Costo: Un'unica chiamata LLM con un output leggermente più lungo (la query e la traccia).

B. Compressione del Contesto tramite "Graph-Walk" (GW)

Questa è una fase di filtraggio post-recupero che riduce il rumore nel contesto.

• Algoritmo: Esegue una Breadth-First Search (BFS) partendo dalle entità della domanda attraverso il grafo della conoscenza.
• Fasi:
  1. Identificazione delle entità "seme" dalla domanda.
  2. Traversamento topologico (fino a 3 salti/hop) per isolare le entità strutturalmente connesse.
  3. Espansione tramite co-occorrenza nei chunk di testo per recuperare entità semanticamente legate ma non direttamente collegate nel grafo estratto.
  4. Assemblaggio prioritario entro un budget di token (es. 4.000 token), ordinando le informazioni per vicinanza strutturale alla domanda.
• Risultato: Riduce il contesto di circa il 60% (da ~10.000 a ~4.000 token) senza utilizzare chiamate LLM o calcoli di embedding aggiuntivi.

C. Routing per Tipo di Domanda

Poiché le diverse domande (ponte, confronto, inferenza) beneficiano di strategie diverse, viene introdotto un classificatore leggero che indirizza le domande verso la strategia CoT più adatta (SPARQL o CoT generico) e gestisce i tentativi di fallback in caso di astensione.

3. Contributi Chiave

1. Decomposizione Quantitativa degli Errori: Dimostrazione empirica che il collo di bottiglia principale nei sistemi Graph-RAG è il ragionamento, non il recupero.
2. Efficacia dello SPARQL CoT: Miglioramento sistematico dell'accuratezza (+2/+14 punti percentuali), con benefici maggiori sui dataset più difficili.
3. Sinergia tra Compressione e Prompting: La compressione del contesto (GW) è più efficace quando il modello segue una "mappa" di ragionamento strutturata (come quella fornita da SPARQL CoT).
4. Riduzione dei Costi: La combinazione di prompting strutturato, compressione e routing permette a un modello open-weight economico (Llama-8B) di eguagliare o superare un modello base non potenziato di grandi dimensioni (Llama-70B) su tutti i benchmark, con un costo per token 12 volte inferiore.
5. Generalizzabilità: Le strategie sono state validate anche su LightRAG, un altro sistema Graph-RAG open-source, confermando che l'approccio è trasferibile.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su HotpotQA, MuSiQue e 2WikiMultiHopQA utilizzando modelli Llama-3.1-8B (budget) e Llama-3.3-70B.

• Performance del Modello 8B Potenziato:
  • Con SPARQL CoT + Graph-Walk + Routing, il modello 8B ha superato il baseline 70B non potenziato su 2WikiMultiHopQA (55.8% vs 48.8%) e ha colmato il divario su MuSiQue e HotpotQA.
  • Il tasso di astensione (quando il modello dice "non lo so") è crollato drasticamente (es. da 52% a 20% su MuSiQue per il modello 8B), dimostrando che la struttura SPARQL costringe il modello a tentare il ragionamento invece di arrendersi.
• Impatto della Compressione (GW):
  • Per il modello 8B con SPARQL CoT, la compressione ha aggiunto +6 punti percentuali in media.
  • Per il modello 70B, la compressione ha avuto un impatto neutro o leggermente negativo se usata da sola, ma ha permesso di risparmiare token senza perdere accuratezza significativa quando combinata con SPARQL.
• Analisi per Tipo di Domanda:
  • Le domande di tipo "ponte" (bridge) e "confronto" (comparison) hanno beneficiato maggiormente della decomposizione SPARQL.
  • Le catene di ragionamento più profonde (3-4 hop) richiedono ancora modelli più grandi, ma il routing intelligente permette di mitigare questo limite.

5. Significato e Implicazioni

Il paper ribalta la percezione comune secondo cui i modelli più grandi sono sempre necessari per compiti complessi di ragionamento multi-hop. Dimostra che:

• La struttura del contesto è fondamentale: sfruttare la topologia del grafo della conoscenza (tramite SPARQL e BFS) è più efficace che semplicemente aumentare la dimensione del modello o la quantità di contesto grezzo.
• È possibile costruire sistemi economici ed efficienti (usando modelli 8B) che competono con sistemi enterprise costosi (70B) semplicemente ottimizzando il processo di inferenza e la presentazione dei dati al modello.
• Il futuro dei sistemi RAG non risiede solo nel migliorare il recupero, ma nell'ingegnerizzare il ragionamento attraverso prompt strutturati e compressione intelligente del contesto.

In sintesi, gli autori offrono una roadmap pratica per colmare il divario di ragionamento nei sistemi Graph-RAG, rendendo l'IA accessibile ed economica senza sacrificare la qualità delle risposte complesse.