Sintesi Tecnica: Diagnosi e Riparazione di Errori Fattuali in RAG sotto Vincoli di Budget

Problematica

La Generazione Aumentata da Recupero (RAG) mira a migliorare la fattualità dei Large Language Models (LLM) ancorando le risposte a prove esterne. Tuttavia, le implementazioni nel mondo reale rimangono fragili, fallendo spesso a causa di evidenze mancanti o debolmente rilevanti, oppure a causa di una generazione che non riflette fedelmente il contesto recuperato. Queste modalità di fallimento sono particolarmente problematiche in contesti con rigidi budget di latenza e hardware (ad esempio, memoria GPU limitata, API con limiti di frequenza o implementazioni edge con vincoli di costo), dove il recupero iterativo o il reranking intensivo dal punto di vista computazionale sono proibitivi.

Le soluzioni esistenti affrontano limitazioni significative:

• Modifiche al tempo di training (ad esempio, Self-RAG) richiedono il fine-tuning e l'accoppiamento architettonico, limitando l'uso in contesti black-box o basati su API.
• Controllo al tempo di inferenza (ad esempio, DRAGIN) si basa spesso su segnali interni del modello come l'accesso ai logit, che non sono disponibili nelle API di LLM closed-source.
• Policy basate sull'apprendimento (ad esempio, MBA-RAG, QueryBandits) spesso prendono di mira specifiche fasi della pipeline o richiedono componenti di supervisione e modellazione aggiuntive.

Esiste la necessità di un framework model-agnostic e consapevole delle risorse che possa diagnosticare i fallimenti utilizzando solo artefatti osservabili e selezionare l'azione correttiva a minor costo sotto espliciti vincoli di latenza e VRAM.

Metodologia: D2R-RAG

Gli autori propongono D2R-RAG (Diagnose-to-Repair RAG), un framework che aumenta una pipeline RAG standard con due moduli primari: Diagnosi del Fallimento e Riparazione Adattiva.

1. Diagnosi del Fallimento

Questa fase determina l'affidabilità dell'output RAG iniziale e identifica il tipo di fallimento utilizzando solo segnali osservabili: la query ($q$), l'evidenza recuperata ($E$), la risposta generata ($r$) e un'etichetta predetta ($y$). Il sistema triangola la verifica utilizzando tre segnali complementari:

• Implicazione della Query (Query Entailment, $e_q$): Verifica se l'evidenza implica la query.
• Implicazione della Risposta (Response Entailment, $e_r$): Verifica se l'evidenza implica la risposta.
• Allineamento con il Grafo di Conoscenza (Knowledge Graph Alignment, $\kappa$): Estrae triple relazionali dalla risposta e le allinea contro un KG per identificare discrepanze tra entità/predicato.

Sulla base di questi segnali, il sistema classifica i fallimenti in quattro firme interpretabili:

• Predicato Errato (Wrong-Predicate, WP): Conflitto con il KG.
• Evidenza Insufficiente (Insufficient-Evidence, IE): L'evidenza recuperata non implica la query ($e_q = \text{neutral}$).
• Risposta Errata (Wrong-Response, WR): La risposta non è implicata dall'evidenza ($e_r \in \{\text{neutral, contradict}\}$).
• Discrepanza Etichetta-Evidenza (Label–Evidence Mismatch, LEM): Specificamente per i compiti FEVER, dove l'etichetta predetta confligge con l'implicazione query-contesto.

Per i compiti FEVER, i casi IE e LEM attivano un'etichetta di astensione "Unverified" per dare priorità alle riparazioni orientate al recupero.

2. Riparazione Adattiva tramite Contextual Bandits

Una volta identificata una firma di fallimento, D2R-RAG formula la selezione della riparazione come un problema di Contextual Multi-Armed Bandit (CMAB).

• Spazio delle Azioni ($A$): Un piccolo set di interventi deployabili come black-box:
  1. Riscritture a livello di prompt: Parafrasare o semplificare la query per ridurre l'ambiguità.
  2. Attivazione del Reranker: Utilizzare un cross-encoder per migliorare la precisione dell'evidenza.
  3. Interventi a livello di recupero: Regolare la profondità ($k$), passare tra recupero BM25 e denso, o aggiornare l'indice.
• Apprendimento della Policy: Il sistema utilizza LinUCB per apprendere una policy che bilancia il recupero fattuale atteso rispetto al costo computazionale. La policy assume un modello di reward lineare $\hat{r}(a | x) = x^\top \theta_a$ e seleziona le azioni massimizzando un limite superiore di confidenza.
• Reward Consapevole delle Risorse: La funzione di reward ($r(a)$) valuta le riparazioni in base all'affidabilità dell'output (NoFailure, coerenza KG, implicazione NLI) e alla conformità del budget. Include:
  • Gate rigidi (Hard gates): Azzeramento dei reward se la latenza ($L_a$) o la VRAM ($V_a$) superano i budget per azione ($B_L, B_V$).
  • Termini moltiplicativi: Incoraggiare le azioni più economiche tra quelle fattibili.

Contributi Chiave

1. Framework Model-Agnostic: D2R-RAG opera senza fine-tuning del generatore o accesso ai logit interni, consentendo il deployment con API di LLM closed-source.
2. Firme di Fallimento Interpretabili: Il sistema distingue tra insufficienza lato recupero e mancanza di fedeltà lato generazione utilizzando solo artefatti osservabili.
3. Riparazione Adattiva e Vincolata dal Budget: Inquadrando la riparazione come un problema di contextual bandit con espliciti vincoli di latenza e VRAM, il sistema impara a selezionare l'azione correttiva a "minor costo" per specifici tipi di fallimento.
4. Validazione Empirica: Il framework è valutato sulla verifica dei fatti (FEVER) e sul multi-hop question answering (HotpotQA), dimostrando un miglioramento della affidabilità e dei trade-off accuratezza-efficienza rispetto ai recenti baseline.

Risultati Sperimentali

Gli autori hanno valutato D2R-RAG rispetto a Naive-RAG, Query Paraphrase, Context Expansion e Thompson Sampling (una policy context-free baseline) utilizzando GPT-4o-mini.

• FEVER (Verifica dei Fatti):
  • D2R-RAG (Thompson Sampling) ha raggiunto il 61,5% di Accuratezza, superando Naive-RAG (56,3%) e Context Expansion (61,8% con latenza maggiore).
  • Ha mantenuto un profilo di costo superiore (latenza 1,14s, 0,17 MB VRAM) rispetto alla variante LinUCB (1,47s, 0,36 MB).
• HotpotQA (Multi-hop QA):
  • D2R-RAG (Thompson Sampling) ha raggiunto il 40,4% di Exact Match (EM) con una fedeltà del 71,52%.
  • La variante LinUCB ha eguagliato il 39,8% di EM ma ha comportato una latenza maggiore (3,41s vs 2,37s) e ha occasionalmente superato i budget di VRAM.
• Adattamento della Policy (RQ2): L'analisi ha mostrato che la policy condiziona correttamente le azioni sui tipi di fallimento. Ad esempio, i casi di "Insufficient-Evidence" su FEVER hanno favorito l'escalation del recupero (denso/BM25 più profondo), mentre i fallimenti "Wrong-Response" e "Wrong-Predicate" su HotpotQA hanno indirizzato verso l'attivazione del reranker.
• Sensibilità al Budget (RQ3): Gli studi di ablazione hanno confermato che la formulazione del reward controlla efficacemente i trade-off qualità-costo. Impostazioni di budget "stringenti" hanno ridotto l'uso di VRAM preservando le prestazioni, mentre impostazioni "rilassate" hanno abbassato la latenza e aumentato la fedeltà.

Significato e Limitazioni

Il paper sostiene che un recupero affidabile in contesti RAG black-box richiede una doppia capacità: una diagnostica leggera della differenziazione dei tipi di fallimento e la selezione dell'azione correttiva a minor costo sotto vincoli di risorse. D2R-RAG dimostra che l'affidabilità migliora maggiormente quando la riparazione è mirata a specifiche firme di fallimento piuttosto che utilizzare una strategia uniforme.

Gli autori notano modestamente due limitazioni:

1. Imperfezioni dei Segnali Diagnostici: L'allineamento KG e i modelli NLI potrebbero avere difficoltà con evidenze rumorose e ragionamento multi-hop, potenzialmente trasformando gli errori in riparazioni subottimali.
2. Vincoli dello Spazio delle Azioni: La policy è limitata alle azioni di riparazione esposte; se le alternative più economiche non sono disponibili, il sistema potrebbe abusare di patch costose o mancare della capacità di risolvere fallimenti complessi.

Il lavoro conclude che D2R-RAG offre un approccio pratico e consapevole delle risorse per migliorare l'affidabilità di RAG in ambienti vincolati senza richiedere l'accesso ai parametri interni del modello.