ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation

1. Il Problema: Conflitti di Conoscenza e Incertezza nei Sistemi RAG

I modelli linguistici di grandi dimensioni (LLM) integrati con il Retrieval-Augmented Generation (RAG) mirano a ridurre le allucinazioni attingendo a fonti esterne. Tuttavia, il RAG introduce una nuova classe di sfide critiche: i conflitti di conoscenza tra la conoscenza parametrica interna del modello (addestrata su dati statici) e le informazioni recuperate esternamente.

I metodi di affidabilità esistenti soffrono di due limitazioni fondamentali:

1. Stime di confidenza scalari: Si basano su probabilità scalari che non riescono a distinguere tra incertezza epistemica (mancanza di conoscenza) e incertezza aleatoria (ambiguità intrinseca nei dati). Questo porta spesso a previsioni eccessivamente confidenti anche quando il modello sta sbagliando.
2. Aggregazione opaca: La fusione di conoscenza interna ed esterna in una singola distribuzione di output nasconde i conflitti tra le fonti, rendendo difficile identificare quando il modello dovrebbe astenersi dal rispondere (abstention) invece di allucinare.

2. Metodologia: Il Framework ERA

Il paper propone ERA (Evidence-based Reliability Alignment), un framework che sposta la stima della confidenza dalle probabilità scalari alla modellazione esplicita delle distribuzioni di evidenza. L'approccio si articola in tre componenti principali:

A. Quantificazione dell'Evidenza Contestuale (Contextual Evidence Quantification)

Invece di usare la classica Cross-Entropy, ERA adotta l'Apprendimento Profondo Evidenziale (Evidential Deep Learning - EDL).

• Architettura a Doppia Testa: Il modello utilizza due "teste" evidenziali indipendenti:
  1. Una per il percorso Parametrico (solo query, senza contesto).
  2. Una per il percorso RAG (query + contesto recuperato).
• Distribuzione Dirichlet: Ogni testa proietta gli stati nascosti in parametri di una distribuzione Dirichlet. Questo permette di scomporre l'output in masse di credenza ($b_k$) per ogni categoria di conoscenza e una massa di incertezza ($u$).
• Obiettivo di Ottimizzazione: Viene utilizzata una funzione di perdita ibrida che combina la minimizzazione del rischio Bayesiano con una regolarizzazione KL per penalizzare evidenze non supportate, garantendo che l'incertezza sia alta quando i dati sono ambigui.

B. Quantificazione del Conflitto di Conoscenza (Quantifying Knowledge Conflict)

Per misurare rigorosamente il disaccordo tra le fonti interne ed esterne, ERA utilizza la Teoria di Dempster-Shafer (DST).

• Riduzione delle Masse: Le masse di credenza delle quattro quadranti di conoscenza (Noto/Conoscenza Interna, Notto/Contesto, ecc.) vengono aggregate in due ipotesi principali: Supportato (S) e Non Supportato (U).
• Punteggio di Conflitto ($\kappa$): Viene calcolato il conflitto geometrico tra la massa di credenza parametrica ($m_{param}$) e quella recuperata ($m_{rag}$). Un alto valore di $\kappa$ indica che una fonte sostiene fortemente una risposta mentre l'altra la rifiuta, segnalando un potenziale allucinazione o un conflitto critico.

C. Meccanismo di Astensione Consapevole dell'Incertezza (Uncertainty-Aware Abstention Mechanism)

Il framework modula l'obiettivo di allineamento (basato su Direct Preference Optimization - DPO) in base al conflitto rilevato.

• Pesatura Dinamica: Viene introdotto un fattore di peso $w_{ds}$ che aumenta la penalità sulla perdita di allineamento quando il conflitto $\kappa$ è alto e l'incertezza della fonte recuperata è bassa.
• Obiettivo Unificato: La funzione di perdita totale combina la perdita DPO (modulata dal conflitto), la perdita evidenziale totale e un termine di Supervised Fine-Tuning (SFT) per garantire la coerenza generativa. Questo insegna al modello a dare priorità alle evidenze esterne affidabili quando confliggono con le credenze interne errate, o ad astenersi quando entrambe le fonti sono incerte.

3. Contributi Chiave

1. Nuovo Paradigma di Allineamento: Spostamento dalla stima scalare della confidenza alle distribuzioni di evidenza, disaccoppiando esplicitamente incertezza epistemica e aleatoria.
2. Quantificazione Rigorosa del Conflitto: Introduzione di una metrica basata sulla Teoria di Dempster-Shafer per misurare geometricamente il disaccordo tra conoscenza parametrica ed esterna.
3. Dataset di Benchmark Curato: Creazione di un dataset basato su eventi di Wikipedia (2010-2025) per valutare la generalizzazione su informazioni non presenti durante l'addestramento, simulando scenari reali di rumore e conflitto.
4. Risultati Sperimentali: Dimostrazione empirica che ERA supera le baseline esistenti (inclusi metodi non supervisionati e DPO standard) ottimizzando il compromesso tra copertura delle risposte e astensione corretta.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard (Natural Questions, TriviaQA, WebQuestions) e sul nuovo dataset Wiki Event.

• Performance Generale: ERA ha ottenuto i punteggi Overall F1 più alti su entrambi i backbone testati (Qwen3-8B e Llama3-8B), superando significativamente metodi come Logprob, Self-Consistency e DTA (Divide-Then-Align).
• Qualità dell'Astensione: Il modello mostra una Precisione di Astensione superiore, riuscendo a identificare correttamente le domande non risolvibili ("True Unknowns") senza cadere in un'eccessiva astensione (over-abstention).
• Generalizzazione: Sul dataset Wiki Event (fuori distribuzione), ERA ha raddoppiato l'F1 delle risposte corrette rispetto a DTA, mantenendo un'alta F1 di astensione. Questo dimostra che il modello non ha memorizzato pattern di rifiuto specifici, ma ha imparato una strategia di decisione robusta basata sull'evidenza.
• Calibrazione: L'analisi qualitativa mostra che ERA riduce l'Errore di Calibrazione Atteso (ECE) e la divergenza JS tra percorsi coerenti e conflittuali, indicando una stima dell'incertezza molto più affidabile rispetto ai modelli basati su Cross-Entropy.

5. Significato e Impatto

Il lavoro di ERA rappresenta un passo fondamentale verso l'RAG "Onesto" (Honest RAG). Dimostra che per costruire sistemi di IA affidabili non basta recuperare informazioni, ma è necessario un meccanismo interno capace di:

1. Riconoscere quando le proprie conoscenze interne sono in conflitto con i fatti esterni.
2. Distinguere tra "non so la risposta" (incertezza epistemica) e "i dati sono ambigui" (incertezza aleatoria).
3. Adattare dinamicamente il comportamento di generazione o astensione in base a questi segnali.

Questo approccio fornisce le basi teoriche e pratiche per ridurre le allucinazioni in scenari reali, dove la qualità delle informazioni recuperate può variare e i conflitti di conoscenza sono frequenti, migliorando la fiducia nell'uso dei sistemi LLM per applicazioni critiche.