ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation

Probleemstelling

Retrieval-Augmented Generation (RAG) systemen zijn ontwikkeld om taalkundige modellen te grondvesten in feitelijke bewijsvoering door externe kennisbronnen te integreren. Echter, deze hybride architectuur introduceert kritieke uitdagingen, met name kennisconflicten tussen de geïnternaliseerde parametrische kennis van het model en de opgehaalde externe informatie.

Bestaande methoden voor betrouwbaarheid (reliability) hebben twee fundamentele tekortkomingen:

1. Scalariteit: Ze vertrouwen vaak op scalare waarschijnlijkheidsschattingen (zoals softmax-probabiliteiten) die niet in staat zijn om onderscheid te maken tussen epistemische onzekerheid (ontstaan door gebrek aan kennis) en aleatorische onzekerheid (ontstaan door inherente data-ambiguïteit). Dit leidt vaak tot oververzekerde voorspellingen.
2. Verborgen conflicten: Het samenvoegen van interne en externe kennis in één outputverdeling verbergt de conflicten tussen deze bronnen, waardoor het moeilijk is om hallucinaties betrouwbaar te identificeren.

Bestaande oplossingen, zowel onbewaakt (statistische proxies) als bewaakt (gebaseerd op Direct Preference Optimization), lopen vaak vast in overfitting op specifieke afstotingspatronen of kunnen geen onderscheid maken tussen een zelfverzekerde hallucinatie en een correcte voorspelling.

Methodologie: ERA Framework

Het auteurs stellen ERA (Evidence-based Reliability Alignment) voor, een raamwerk dat de schaal van vertrouwensschatting verschuift van scalare probabilities naar expliciete evidentiële verdelingen. Het framework bestaat uit drie kerncomponenten:

1. Contextuele Evidentiële Quantificatie (Contextual Evidence Quantification)

In plaats van één output, gebruikt ERA een dubbel-kop architectuur (dual-head) om onafhankelijk bewijs te kwantificeren uit twee bronnen:

• Parametrische pad: Krijgt alleen de query (zonder context) en schat de interne kennis.
• RAG-pad: Krijgt de query met de opgehaalde context.
  Beide paden gebruiken Evidential Deep Learning (EDL). In plaats van directe probabilities, voorspellen de koppen "evidence" (bewijs) die worden gemapt naar een Dirichlet-verdeling. Dit maakt het mogelijk om de voorspelling te ontbinden in:
• Geloofsmassa's ($b_k$): De steun voor een specifiek antwoord.
• Onzekerheidsmassa ($u$): De mate van onwetendheid.
  Dit onderscheidt expliciet tussen "weten" en "niet weten".

2. Kwantificering van Kennisconflict (Quantifying Knowledge Conflict)

Om conflicten tussen interne kennis en externe bewijsvoering te meten, maakt ERA gebruik van de Dempster-Shafer Theory (DST).

• De gedetailleerde kenniskwadranten (bijv. "bekend met gouden context", "onbekend met ruis") worden gereduceerd tot twee hoofdhypothese: Ondersteund (S) en Niet-ondersteund (U).
• De conflict-score ($\kappa$) wordt berekend als de massa die toevallig toekomt aan de lege verzameling wanneer de interne geloofsmassa ($m_{param}$) en de externe geloofsmassa ($m_{rag}$) tegenstrijdige hypothesen ondersteunen.
• Een hoge $\kappa$ duidt op een kritieke dissonantie: het model is zeker van iets, maar de externe bron is het daar sterk over oneens (of vice versa).

3. Onzekerheidsbewust Afstotingsmechanisme (Uncertainty-Aware Abstention Mechanism)

Het trainingsoptimalisatiedoel wordt dynamisch gemoduleerd op basis van de berekende conflict-score.

• Conflictbewuste Loss Modulation: Een gewichtsfactor ($w_{ds}$) wordt toegepast op de Direct Preference Optimization (DPO) loss. Deze factor is hoog wanneer er een groot conflict is ($\kappa$ hoog) en de externe bron betrouwbaar is (lage onzekerheid $m_{rag}(\Omega)$).
• Dit dwingt het model om in deze kritieke situaties prioriteit te geven aan het oplossen van het dissonant (vaak door de externe bewijsvoering te volgen en hallucinaties te corrigeren) of bewust af te zien van een antwoord als beide bronnen onzeker zijn.
• Het totale verlies is een combinatie van de gemoduleerde DPO-loss, de totale evidentiële loss (EDL) en een Supervised Fine-Tuning (SFT) loss voor de gekozen antwoorden.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Introductie van een raamwerk dat vertrouwen baseert op evidentiële verdelingen (Dirichlet) in plaats van scalare probabilities, waardoor epistemische en aleatorische onzekerheid expliciet worden ontbonden.
2. Rigoureuze Conflictmeting: Toepassing van Dempster-Shafer Theory om een meetbare, geometrische "geloofconflict"-score te genereren tussen interne priors en externe bewijsvoering.
3. Nieuwe Benchmark: Constructie van een Wiki Event dataset, specifiek ontworpen om generalisatie te testen op gebeurtenissen die na de training van het model hebben plaatsgevonden (post-training events), inclusief synthetische ruis en tegenstrijdige contexten.
4. Honest RAG: Een methode die het compromis tussen antwoorddekking (coverage) en afstoting (abstention) optimaliseert, waardoor het systeem eerlijk is: het geeft een antwoord als het zeker is, en onthoudt zich van een antwoord als de kennis ontoereikend of tegenstrijdig is.

Resultaten

Experimenten zijn uitgevoerd op standaard benchmarks (Natural Questions, TriviaQA, WebQuestions) en de nieuwe Wiki Event dataset, met als achtergronden modellen zoals Qwen3-8B en Llama3-8B.

• Prestatie: ERA presteert significant beter dan bestaande baselines (zoals Logprob, Self-Consistency, en DTA) op de Overall F1-score, die het evenwicht tussen antwoordkwaliteit en afstotingskwaliteit meet.
• Generalisatie: Op de out-of-distribution Wiki Event dataset overtreft ERA de sterke baseline DTA aanzienlijk. Waar DTA neigt tot over-afstoting (overfitting op afstotingspatronen), behoudt ERA een hoge nauwkeurigheid op beantwoordbare vragen terwijl het toch correct afstoot bij onbekende vragen.
• Calibratie: ERA produceert beter gekalibreerde onzekerheidsschattingen. De Expected Calibration Error (ECE) is lager dan bij traditionele Cross-Entropy modellen, wat betekent dat de voorspelde onzekerheid beter overeenkomt met de werkelijke waarschijnlijkheid van correctheid.
• Conflictgevoeligheid: Analyse toont aan dat ERA gevoelig is voor kennisconflicten (gemeten via Jensen-Shannon divergentie), terwijl standaard modellen dit onderscheid niet maken.

Betekenis

Dit paper biedt een fundamentele oplossing voor het probleem van hallucinaties in RAG-systemen door kennisconflicten niet als een bijverschijnsel te behandelen, maar als een expliciete, meetbare signaal in het trainingproces. Door de onzekerheid te ontleden en conflicten geometrisch te kwantificeren, stelt ERA systemen in staat om "eerlijk" te zijn: ze geven toe wanneer ze het niet weten of wanneer de bewijsvoering tegenstrijdig is, in plaats van te gokken. Dit is een cruciale stap richting betrouwbare AI-systemen voor real-world toepassingen waar feitelijke juistheid essentieel is.