Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction

Riepilogo Tecnico: Verso una Generazione Aumentata dal Recupero Affidabile Mediante Predizione della Fiducia Fattuale

Enunciato del Problema
La Generazione Aumentata dal Recupero (RAG) è diventata uno standard per dotare i Modelli Linguistici su Larga Scala (LLM) di conoscenze specifiche di dominio. Tuttavia, rimane una vulnerabilità critica: non vi è alcuna garanzia intrinseca che il contesto recuperato tramite ricerca per similarità supporti effettivamente i fatti generati, né che l'LLM non allucini informazioni nonostante la presenza di un contesto pertinente. I metodi attuali di garanzia della sicurezza si basano spesso su miglioramenti euristici o modifiche a componenti specifici, mancando di un protocollo generale, agnostico rispetto all'architettura, per fornire garanzie certificabili per la pipeline RAG. La sfida fondamentale consiste nell'associare misure di fiducia significative sia al processo di recupero (garantendo la fedeltà della fonte) sia al processo di generazione (garantendo la fattualità rispetto al contesto recuperato).

Metodologia
Gli autori propongono un protocollo di certificazione in due fasi, agnostico rispetto all'architettura, che opera senza modificare i componenti sottostanti del recuperatore o dell'LLM.

1. Stima della Fiducia nel Recupero (Blocco 1):

   • Approccio: Gli autori applicano la Predizione Conformale (CP) al processo di recupero per selezionare solo i frammenti di documento con una probabilità statisticamente garantita di originarsi dalla fonte corretta.
   • Meccanismo: Utilizzando un set di calibrazione di triple domanda-riferimento-risposta, il sistema calcola una soglia di non conformità basata sui punteggi di recupero e su una metrica di similarità (RougeL). Viene stabilita una soglia $s_{thres}$ per distinguere i frammenti corretti da quelli errati.
   • Garanzia: Sotto l'assunzione di scambiabilità del campione, questo metodo fornisce una garanzia statistica (controllata dal tasso di errore $\alpha$) che l'insieme dei frammenti "fidati" includa il frammento della fonte vera.
   • Diagnostica: Gli autori introducono due metriche, $m_1$ (esistenza binaria di un frammento fidato) e $m_2$ (proporzione di frammenti fidati), per diagnosticare se una specifica combinazione recuperatore-dataset soddisfi l'assunzione di scambiabilità richiesta affinché la CP sia valida.

2. Stima della Fiducia nella Risposta (Blocco 2):

   • Approccio: Per rilevare le allucinazioni nella risposta finale, gli autori utilizzano un classificatore di fattualità basato sull'attenzione.
   • Meccanismo: Il sistema estrae i valori intermedi di attenzione dall'LLM durante la generazione. Nello specifico, calcola i rapporti di riveduta per frammento (CW LR), che misurano l'attenzione media che il modello dedica a specifici frammenti di contesto recuperato rispetto all'attenzione totale dedicata al contesto e all'output generato.
   • Classificatore: Una semplice unità di regressione logistica viene addestrata su questi rapporti di riveduta per prevedere un punteggio di fattualità. Crucialmente, gli autori escludono l'attenzione dai prompt di sistema e dalla domanda dell'utente dal vettore delle caratteristiche per impedire al classificatore di apprendere bias specifici del dominio (ad esempio, "le domande finanziarie sono più difficili") anziché l'ancoraggio fattuale.

Contributi Chiave

• Pipeline RAG Certificabile: Un flusso di lavoro innovativo che integra la predizione conformale per il recupero e il rilevamento basato sull'attenzione per la generazione, fornendo metriche di fiducia separate per ciascuna fase.
• Metriche Diagnostiche: L'introduzione delle metriche $m_1$ e $m_2$ per valutare l'idoneità di una configurazione RAG. Il documento dimostra che se queste metriche indicano una scarsa performance del recuperatore (violando la scambiabilità), le garanzie statistiche della CP falliscono e il filtraggio dei frammenti può degradare la qualità della risposta.
• Raffinamento del Rilevamento delle Allucinazioni: Una dimostrazione che, sebbene i modelli di attenzione sul contesto completo (inclusi i prompt) possano raggiungere un AUROC più elevato nella validazione incrociata, i rapporti di riveduta per frammento forniscono un ancoraggio fattuale più affidabile escludendo le fonti di attenzione non derivanti dal recupero che potrebbero fuorviare il classificatore.

Risultati
La metodologia è stata valutata sul dataset Natural Questions (NQ) e sulla collezione Ragbench (RB) (12 dataset diversi) utilizzando Llama-3-8B-Instruct e il recupero BM25.

• Fiducia nel Recupero:

  • Su dataset in cui il recuperatore performa bene (ad esempio NQ, RB-cuad), la metrica $m_1$ si allinea con l'aspettativa teorica di $1-\alpha$, validando l'assunzione di scambiabilità.
  • Su dataset con compiti di recupero difficili (ad esempio RB-finqa, RB-tatqa), $m_1$ scende significativamente, indicando che i frammenti corretti non appaiono nei top-K. In questi casi, applicare un filtraggio basato sulla CP ha effettivamente peggiorato la coerenza della risposta fino al 10%, confermando che le garanzie statistiche non valgono quando il recuperatore non riesce a trovare la fonte.
  • Per recuperatori forti, il filtraggio dei frammenti non fidati ha migliorato la coerenza della risposta fino al 6%.

• Fiducia nella Risposta:

  • Il classificatore basato sul rapporto di riveduta per frammento ha raggiunto un AUROC di test massimo del 77% nella validazione incrociata nello stesso gruppo.
  • La validazione incrociata tra diversi gruppi di dataset ha mostrato cali di performance fino al 16%, evidenziando la sfida della generalizzazione.
  • I confronti hanno mostrato che i rapporti di riveduta sul Contesto Completo (FC) (inclusi i prompt) hanno prodotto AUROC più elevati (fino all'82%) ma sono stati considerati meno affidabili per l'ancoraggio fattuale a causa di potenziali bias derivanti dai pattern dei prompt. L'approccio proposto per Frammento (CW) è preferito per sistemi affidabili nonostante un AUROC leggermente inferiore.

Significato e Affermazioni
Il documento afferma di stabilire una fondazione per sistemi RAG certificati adatti ad applicazioni industriali critiche per la sicurezza. Il suo significato principale risiede nel passaggio dalla robustezza euristica alla certificazione statistica. Gli autori sottolineano che il loro approccio non è una "bacchetta magica" per tutte le configurazioni RAG; piuttosto, fornisce un quadro diagnostico. Il documento afferma esplicitamente che la validità delle garanzie di fiducia nel recupero dipende dalla scambiabilità dei campioni, che è condizionata alla capacità del recuperatore di portare alla luce i frammenti corretti. Pertanto, le metriche proposte ($m_1, m_2$) sono prerequisiti essenziali per determinare se una specifica configurazione RAG sia idonea alla distribuzione con queste garanzie di fiducia. Il lavoro mira a guidare lo sviluppo di applicazioni RAG affidabili identificando dove la pipeline è debole (recupero vs. generazione) e offrendo misure quantificabili di fiducia.