💻 computer science

ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation

Die Arbeit stellt ERA vor, ein neues Framework für Retrieval-Augmented Generation, das durch die Umstellung von skalaren Konfidenzwerten auf explizite Evidenzverteilungen und die Anwendung der Dempster-Shafer-Theorie zur Quantifizierung von Wissenskonflikten die Zuverlässigkeit und Abstentionsfähigkeit von Modellen verbessert.

Ursprüngliche Autoren: Sunguk Shin, Meeyoung Cha, Byung-Jun Lee, Sungwon Park

Veröffentlicht 2026-04-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sunguk Shin, Meeyoung Cha, Byung-Jun Lee, Sungwon Park

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen superklugen, aber manchmal etwas eingebildeten Bibliothekar. Dieser Bibliothekar hat sein ganzes Leben lang Millionen von Büchern gelesen und kennt die Welt auswendig (das ist das Wissen im Modell). Aber manchmal passieren zwei Dinge:

Er weiß etwas nicht mehr genau oder hat es sich falsch gemerkt.
Jemand bringt ihm ein neues Buch mit, das ihm widerspricht (das ist die Suche im Internet).

Das Problem bei normalen KI-Systemen (RAG) ist: Wenn der Bibliothekar aus dem neuen Buch liest, was ihm widerspricht, wird er verwirrt. Oder schlimmer noch: Er ignoriert das neue Buch, weil er sich zu 100 % auf sein altes Gedächtnis verlässt, und erfindet dann eine Antwort, die gar nicht stimmt. Das nennt man eine "Halluzination".

Die Forscher in diesem Papier haben eine neue Methode namens ERA entwickelt, um diesen Bibliothekar ehrlicher und zuverlässiger zu machen. Hier ist die Erklärung, wie das funktioniert, ganz einfach erklärt:

1. Statt "Ich bin mir zu 90 % sicher" → "Ich habe 3 Beweise"

Normalerweise sagt eine KI: "Ich bin zu 90 % sicher, dass die Antwort X ist." Das Problem ist: Diese 90 % sind oft nur eine Zahl, die nicht sagt, warum sie sicher ist. Ist sie sicher, weil sie es wirklich weiß? Oder ist sie nur mutig?

ERA macht etwas anderes: Es zählt nicht nur eine Zahl, sondern sammelt Beweise.

Stell dir vor, die KI hält in einer Hand ihre alten Notizen (internes Wissen) und in der anderen Hand das neue Buch (Suchergebnisse).
Statt zu sagen "Ich bin sicher", sagt sie: "Ich habe 5 Beweise aus meinen Notizen und 2 Beweise aus dem neuen Buch."
Wenn die Beweise aus dem neuen Buch stark sind, aber die Notizen schwach, weiß die KI: "Okay, ich muss mich auf das neue Buch verlassen."
Wenn beide Seiten starke Beweise haben, aber sie sich widersprechen, weiß die KI sofort: "Achtung! Hier gibt es einen Konflikt!"

2. Der "Streit-Detektor" (Der Konflikt-Messer)

Das Herzstück von ERA ist ein cleverer Mechanismus, der wie ein Schiedsrichter funktioniert. Er misst genau, wie sehr sich die beiden Informationsquellen (Notizen vs. Neues Buch) streiten.

Szenario A (Harmonie): Die Notizen sagen "Berlin ist die Hauptstadt", das neue Buch sagt auch "Berlin". -> Kein Konflikt. Die KI antwortet selbstbewusst.
Szenario B (Konflikt): Die Notizen sagen "Berlin", das neue Buch sagt "Paris". -> Hoher Konflikt!
Szenario C (Unwissen): Beide Seiten sagen "Ich weiß es nicht" oder haben keine Beweise. -> Hohe Unsicherheit.

Bei normalen KIs passiert bei Szenario B oft, dass sie raten und eine falsche Antwort geben. Bei ERA erkennt der "Streit-Detektor" sofort: "Hey, hier stimmt was nicht! Ich sollte lieber schweigen, als zu lügen."

3. Die Kunst des "Nicht-Antwortens" (Abstention)

Das Ziel von ERA ist nicht, immer eine Antwort zu geben. Das Ziel ist, ehrlich zu sein.

Wenn die KI merkt, dass sie den Konflikt nicht lösen kann oder dass die Informationen zu unsicher sind, sagt sie einfach: "Ich weiß es nicht."
Das klingt erstmal schlecht, ist aber eigentlich super. Es ist besser, ehrlich zu schweigen, als eine falsche Antwort zu geben, die jemanden in die Irre führt.
ERA lernt genau zu unterscheiden: "Soll ich jetzt raten?" oder "Soll ich lieber die Klappe halten?"

Zusammenfassung in einer Metapher

Stell dir vor, du fährst ein Auto mit einem Autopiloten (die KI) und einem Beifahrer (die Suchmaschine).

Das alte System: Der Autopilot ignoriert den Beifahrer, wenn er sich sicher fühlt. Wenn der Beifahrer schreit "Achtung, Stau!", fährt der Autopilot trotzdem weiter, weil er denkt, er wüsste es besser. Crash!
Das neue System (ERA): Der Autopilot hat ein spezielles Dashboard. Es zeigt nicht nur die Geschwindigkeit, sondern auch, wie sehr sich Autopilot und Beifahrer uneinig sind.
- Wenn sie sich einig sind: Vollgas!
- Wenn sie sich streiten (Konflikt): Der Autopilot bremst sofort ab und fragt: "Soll ich lieber stehen bleiben, statt einen Unfall zu bauen?"
- Wenn beide nichts wissen: Der Autopilot hält an und sagt: "Ich brauche Hilfe."

Warum ist das wichtig?

In der echten Welt (z. B. bei medizinischen Ratschlägen oder Nachrichten) ist es gefährlich, wenn eine KI "halluziniert" (falsche Fakten erfindet). ERA sorgt dafür, dass die KI vertrauenswürdig wird. Sie gibt nur dann eine Antwort, wenn sie wirklich sicher ist oder wenn die Beweise klar sind. Wenn sie unsicher ist, sagt sie lieber "Ich weiß es nicht", als zu lügen.

Das ist der große Fortschritt: Ehrlichkeit statt Selbstvertrauen.

1. Problemstellung

Retrieval-Augmented Generation (RAG) soll Large Language Models (LLMs) durch externe Fakten absichern, führt jedoch zu neuen Herausforderungen, insbesondere bei Wissenskonflikten zwischen dem internalisierten parametrischen Wissen des Modells und den abgerufenen externen Informationen.

Bestehende Methoden zur Zuverlässigkeitsprüfung scheitern oft daran, dass sie auf skalaren Konfidenzwerten (einfache Wahrscheinlichkeiten) basieren. Dies führt zu zwei Hauptproblemen:

Unterscheidung von Unsicherheiten: Es wird nicht zwischen epistemischer Unsicherheit (Mangel an Wissen) und aleatorischer Unsicherheit (inhärente Datenambiguität) unterschieden. Dies führt oft zu übermäßig selbstsicheren Halluzinationen.
Verschleierung von Konflikten: Die Aggregation interner und externer Informationen in eine einzige Verteilung verschleiert Konflikte zwischen den Quellen, was die Erkennung von Halluzinationen erschwert.

Ziel ist es, ein System zu schaffen, das „ehrlich" ist: Es soll antworten, wenn die Evidenz stark ist, und sich zurückhalten (Abstention), wenn Informationen fehlen oder widersprüchlich sind.

2. Methodik: ERA (Evidence-based Reliability Alignment)

ERA ist ein Framework, das das Paradigma der Konfidenzschätzung von skalaren Wahrscheinlichkeiten hin zu expliziten Evidenzverteilungen verschiebt. Es besteht aus drei Hauptkomponenten:

A. Kontextuelle Evidenzquantifizierung (Contextual Evidence Quantification)

Anstatt nur eine Antwort zu generieren, nutzt ERA Evidential Deep Learning (EDL).

Dual-Head-Architektur: Das Modell verfügt über zwei separate „evidential heads":
1. Einen Pfad für das parametrische Wissen (nur Eingabe, ohne Kontext).
2. Einen Pfad für den RAG-Pfad (Eingabe + abgerufener Kontext).
Dirichlet-Verteilung: Beide Pfade projizieren ihre Ausgaben in eine Dirichlet-Verteilung über vier Wissensquadranten (bekannt/unkannt, gold/noisy).
Entflechtung: Durch die Parameterisierung der Evidenz (mittels Dirichlet-Konzentrationsparameter $\alpha$ ) werden belief masses (Glaubensmassen) und Unsicherheitsmassen explizit getrennt. Dies erlaubt eine prinzipielle Unterscheidung zwischen „Wissen" und „Ignoranz".

B. Quantifizierung von Wissenskonflikten (Quantifying Knowledge Conflict)

Um Konflikte zwischen internem Wissen und externer Evidenz zu messen, wird die Dempster-Shafer-Theorie (DST) angewendet.

Reduktion: Die feinkörnigen Quadranten werden auf zwei übergeordnete Hypothesen reduziert: „Unterstützt" (Supported) und „Nicht unterstützt" (Unsupported).
Konfliktscore ( $\kappa$ ): Mithilfe der Dempster-Regel wird ein Konfliktscore berechnet, der die geometrische Diskordanz zwischen den Glaubensmassen der beiden Quellen ( $m_{param}$ und $m_{rag}$ ) misst.
Bedeutung: Ein hoher $\kappa$ -Wert deutet auf einen kritischen Konflikt hin (z. B. starkes internes Wissen vs. starke gegenteilige externe Evidenz), während hohe Unsicherheit in einer Quelle den Konflikt automatisch dämpft.

C. Unsicherheitsbewusster Abstentionsmechanismus (Uncertainty-Aware Abstention Mechanism)

Das Training nutzt einen modifizierten Direct Preference Optimization (DPO)-Ansatz, der durch den Konfliktscore gesteuert wird.

Dynamische Gewichtung: Die Verlustfunktion wird durch einen Faktor $w_{ds}$ $w_{d s}$ gewichtet, der vom Konfliktscore $\kappa$ $κ$ und der Unsicherheit der externen Quelle abhängt.
- Bei hohem Konflikt und verlässlicher externer Evidenz wird der Lernschritt verstärkt, um das Modell zur Korrektur von Halluzinationen oder zur Anpassung an die externe Evidenz zu zwingen.
- Bei unsicherer externer Evidenz wird die Gewichtung reduziert, um das Lernen aus verrauschten Daten zu verhindern.
Ziel: Das Modell lernt, sich gezielt zurückzuhalten, wenn interne und externe Quellen unvereinbar sind oder keine Evidenz vorliegt, ohne dabei auf gut unterstützte Fragen zu verzichten.

3. Wichtige Beiträge

Neues Framework (ERA): Ein Paradigmenwechsel von skalaren Konfidenzen zu Evidenzverteilungen mittels Dirichlet-Verteilung, der epistemische und aleatorische Unsicherheit explizit entkoppelt.
Geometrische Konfliktquantifizierung: Die erstmalige Anwendung der Dempster-Shafer-Theorie in RAG-Systemen, um den Konflikt zwischen internem parametrischem Wissen und externen Beweisen als explizites Trainingssignal zu nutzen.
Benchmark-Datensatz: Erstellung eines kuratierten Datensatzes basierend auf Wikipedia-Ereignissen (2010–2025), um die Generalisierbarkeit auf zeitlich neue und im Vorfeld nicht gesehene Daten zu testen.
Robustheit: Nachweis, dass das System überanpassungsfrei (overfitting-frei) ist und auch bei unbekannten Szenarien eine hohe Zuverlässigkeit beibehält.

4. Ergebnisse

Die Evaluation erfolgte auf Standard-Benchmarks (Natural Questions, TriviaQA, WebQuestions) sowie dem neuen Wiki-Event-Datensatz.

Überlegene Leistung: ERA übertrifft alle Baselines (einschließlich DPO-basierter Ansätze wie DTA und unsupervisierte Methoden wie Logprob oder Self-Consistency) signifikant in Bezug auf den Overall F1-Score, der den Trade-off zwischen Antwortqualität und korrekter Zurückhaltung misst.
Kalibrierung: ERA liefert besser kalibrierte Konfidenzschätzungen. Im Vergleich zu Standard-Modellen (Cross-Entropy) zeigt ERA eine deutlich geringere „Expected Calibration Error" (ECE) und vermeidet übermäßiges Vertrauen in falsche Antworten.
Generalisierung: Auf dem out-of-distribution Wiki-Event-Datensatz zeigt ERA eine robuste Generalisierung. Während Baseline-Modelle (wie DTA) dazu neigten, sich spezifische Ablehnungsmuster zu merken und bei neuen Daten zu oft zu verweigern (Over-abstention), behielt ERA eine hohe Antwortqualität bei, ohne die Zuverlässigkeit zu opfern.
Konflikterkennung: Qualitative Analysen zeigen, dass ERA Konflikte zwischen internem und externem Wissen deutlich besser erkennt (gemessen an der Jensen-Shannon-Divergenz) als herkömmliche probabilistische Ansätze.

5. Bedeutung und Fazit

ERA adressiert eine fundamentale Lücke in der Zuverlässigkeit von RAG-Systemen. Indem es Unsicherheit nicht als bloßen Skalar, sondern als strukturierte Evidenzverteilung modelliert und Konflikte explizit quantifiziert, ermöglicht es LLMs, „ehrlicher" zu agieren.

Die Arbeit zeigt, dass die Trennung von Unsicherheitsarten und die Nutzung von Konfliktsignalen als Trainingstreiber entscheidend sind, um Halluzinationen zu reduzieren und gleichzeitig die Nützlichkeit des Systems zu erhalten. Dies legt einen wichtigen Grundstein für die Entwicklung vertrauenswürdiger KI-Systeme, die in realen Anwendungen verlässlich mit widersprüchlichen oder unvollständigen Informationen umgehen können.