Riepilogo Tecnico: CompactRAG

Definizione del Problema

La Generazione Aumentata da Recupero (RAG) è diventata un paradigma standard per il question answering basato su conoscenze intensive. Tuttavia, gli attuali sistemi RAG multi-hop affrontano inefficienze significative quando devono gestire query complesse che richiedono l'integrazione di prove provenienti da più documenti. Gli approcci iterativi esistenti (ad es. Self-Ask, IRCoT, Iter-RetGen) alternano il recupero e il ragionamento dell'LLM ad ogni passaggio. Questo design porta a tre problemi primari:

1. Scalabilità e Costi: Il consumo di token e la latenza crescono linearmente con il numero di hop di ragionamento a causa delle ripetute invocazioni dell'LLM.
2. Ridondanza: I contesti recuperati contengono spesso informazioni ridondanti, gonfiando l'uso dei token.
3. Entity Drift (Deriva delle Entità): La scomposizione automatica di domande complesse in sotto-domande può causare la perdita di menzioni esplicite di entità (ad es. sostituendo "dove è nato lui?" dopo aver identificato "lui" come uno scienziato). Questa ambiguità causa errori di recupero e risultati inconsistenti tra gli hop.

Metodologia: CompactRAG

Gli autori propongono CompactRAG, un framework che scinde la ristrutturazione offline del corpus dal ragionamento online per ottenere un'inferenza multi-hop efficiente. Il sistema opera in due fasi distinte:

1. Fase Offline: Costruzione della Base di Conoscenza QA Atomica

Invece di recuperare passaggi grezzi dal corpus durante l'inferenza, CompactRag elabora il corpus una sola volta offline.

• Processo: Un LLM legge il corpus grezzo e riformula il contenuto del documento in un insieme di coppie QA atomiche.
• Granularità: Ogni coppia rappresenta un'unità fattuale minima e fine-grained (ad es., "Chi ha diretto X?" $\to$ "Y").
• Ancoraggio delle Entità: Le entità all'interno del corpus vengono automaticamente annotate (usando SpaCy) ed esplicitamente imposte durante la generazione per garantire la completezza semantica e prevenire la perdita referenziale.
• Indicizzazione: Ogni coppia QA atomica viene incorporata in uno spazio semantico condiviso tramite dense retrieval (Contriever). La domanda e la risposta vengono concatenate ($[q; a]$) per preservare l'intero ambito fattuale, consentendo al retriever di corrispondere sia all'intento che al contenuto.

2. Fase Online: Inferenza a Due Chiamate

Durante l'inferenza, il sistema risolve query complesse attraverso una pipeline leggera e fissa che invoca l'LLM principale solo due volte, indipendentemente dalla profondità del ragionamento.

• Passaggio 1: Scomposizione (Chiamata LLM #1): La query complessa viene scomposta in un grafo di sotto-domande ordinate per dipendenza.
• Passaggio 2: Risoluzione Iterativa (Moduli Leggeri):
  • Recupero: Le sotto-domande vengono utilizzate per recuperare le top-$k$ coppie QA atomiche dalla base di conoscenza pre-costruita.
  • Estrazione della Risposta: Un Estrattore di Risposte basato su RoBERTa, leggero, identifica lo span della risposta corretta dalle coppie recuperate, evitando chiamate all'LLM per l'estrazione.
  • Riscrittura della Sotto-Domanda: Un Riscrittore di Sotto-Domande basato su Flan-T5 prende l'entità della risposta estratta e riscrive la prossima sotto-domanda per ancorare esplicitamente i riferimenti ambigui (ad es. cambiando "Dove è nato lui?" in "Dove è nato [Entità]?"). Ciò previene l'entity drift.
• Passaggio 3: Sintesi (Chiamata LLM #2): Una volta risolte tutte le sotto-domande e aggregate le prove, l'LLM principale esegue un singolo passaggio di sintesi per generare la risposta finale.

Contributi Chiave

1. Analisi della Scalabilità: Il paper analizza come il consumo di token e le chiamate all'LLM nei pipeline RAG iterativi scalano linearmente con la profondità del ragionamento, identificando questo come un collo di bottiglia per il deployment su larga scala.
2. Framework CompactRAG: L'introduzione di un'architettura RAG a due chiamate che utilizza una base di conoscenza QA atomica offline e moduli online leggeri (estrattore e riscrittore) per abilitare un ragionamento multi-hop efficiente senza ripetute invocazioni dell'LLM.
3. Validazione Empirica: Valutazione completa su HotpotQA, 2WikiMultiHopQA e MuSiQue che dimostra come CompactRAG raggiunga un'accuratezza competitiva riducendo drasticamente il consumo di token rispetto ai forti baseline iterativi.

Risultati Sperimentali

Valutato su tre benchmark multi-hop utilizzando LLaMA-3.1-8B come LLM di base:

• Accuratezza: CompactRAG raggiunge prestazioni competitive. Su HotpotQA, ha raggiunto un Exact Match (EM) del 45.20% e un'Accuratezza basata su LLM del 70.40%, comparabile o superiore ai baseline iterativi come IRCoT (42.80% EM) e Iter-RetGen (46.80% EM).
• Efficienza: Il sistema riduce significativamente l'overhead dei token.
  • CompactRAG: ~1.9K token per campione.
  • Iter-RetGen: ~4.7K token.
  • IRCoT: ~10.2K token.
  • Self-Ask: ~6.9K token.
• Studi di Ablazione: La rimozione dei moduli Riscrittore di Sotto-Domande o Estrattore di Risposte ha causato cali di accuratezza costanti (ad es., rimuovere il riscrittore su HotpotQA ha abbassato l'accuratezza dal 70.4% al 63.2%), confermando la loro necessità per mantenere l'ancoraggio delle entità e la precisione del recupero.
• Limite Superiore (Upper Bound): L'utilizzo di GPT-4 per la costruzione offline delle QA ha ulteriormente migliorato l'accuratezza (ad es., 49.60% EM su HotpotQA), suggerendo che la qualità della base di conoscenza offline influenza direttamente le prestazioni dell'inferenza.

Significatività e Rivendicazioni

Il paper sostiene che CompactRAG offre un'alternativa pratica ed efficiente in termini di costi ai sistemi RAG iterativi. La sua principale significatività risiede in:

• Inferenza a Costo Fisso: Limitando le chiamate all'LLM a due per query (scomposizione e sintesi), il sistema scinde il costo dell'inferenza dalla profondità del ragionamento, rendendolo altamente scalabile per compiti multi-hop profondi.
• Scissione tra Recupero e Ragionamento: Il framework dimostra che un ragionamento multi-hop di alta qualità non richiede strettamente ripetute interazioni con l'LLM. Invece, strutturare la conoscenza esterna in unità atomiche e semanticamente allineate e sfruttare moduli locali leggeri può produrre un'accuratezza comparabile con un overhead computazionale significativamente inferiore.
• Deployability (Impiegabilità): A differenza dei metodi che si affidano a segnali interni del modello (ad es. l'entropia dell'attenzione) che non sono disponibili nei modelli a pesi chiusi, l'approccio architettonico di CompactRAG è compatibile sia con LLM open che closed.

Gli autori concludono che questo approccio fornisce un modello per lo sviluppo di sistemi RAG scalabili e ottimizzati per i token, adatti ad applicazioni su larga scala e basate sulla conoscenza.