💬 NLP

EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models

Das Papier stellt EvidenceRL vor, ein Reinforcement-Learning-Framework, das mittels GRPO die Konsistenz von Antworten mit verifizierbaren Belegen in großen Sprachmodellen sicherstellt und so Halluzinationen in hochriskanten Bereichen wie der Kardiologie und Rechtsanalyse erheblich reduziert, ohne die Aufgabenleistung zu beeinträchtigen.

Ursprüngliche Autoren: J. Ben Tamo, Yuxing Lu, Benoit L. Marteau, Micky C. Nnamdi, May D. Wang

Veröffentlicht 2026-03-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: J. Ben Tamo, Yuxing Lu, Benoit L. Marteau, Micky C. Nnamdi, May D. Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen extrem klugen, aber manchmal etwas träumerischen Assistenten. Dieser Assistent ist ein Large Language Model (LLM) – eine künstliche Intelligenz, die sehr gut darin ist, flüssig und überzeugend zu schreiben. Aber er hat einen großen Haken: Er ist wie ein Geschichtenerzähler, der sich Dinge ausdenkt, wenn er nicht genau weiß, was er sagt. Man nennt das „Halluzinationen".

In Bereichen wie Medizin oder Recht ist das gefährlich. Wenn ein Arzt oder Anwalt eine falsche Diagnose oder Rechtsberatung gibt, nur weil der KI-Assistent „klingt, als wüsste er es", kann das katastrophale Folgen haben.

Das neue Papier stellt eine Lösung vor, die „EvidenceRL" heißt. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar bildhaften Vergleichen:

Das Problem: Der Assistent, der nur „klingt", als würde er wissen, wovon er spricht

Bisher haben Forscher versucht, den Assistenten zu trainieren, indem sie ihm sagten: „Antworte richtig!" oder „Benutze die Bücher, die ich dir gebe!" (das nennt man RAG – Retrieval-Augmented Generation).

Aber das reichte nicht. Der Assistent las die Bücher, schaute sie sich kurz an und sagte dann trotzdem Dinge, die er aus seinem eigenen Gedächtnis (seinen Trainingsdaten) kannte, statt aus den Büchern. Es war, als würde ein Schüler eine Prüfung schreiben, die Antworten auswendig gelernt haben, aber behaupten, er habe sie gerade erst im Lehrbuch nachgeschlagen.

Die Lösung: EvidenceRL – Der strenge Lehrer mit dem roten Stift

EvidenceRL ist wie ein neuer Trainingsansatz für diesen Assistenten. Statt ihm nur zu sagen „Sei nett" oder „Sei richtig", zwingt ihn dieses System, jeden einzelnen Satz zu belegen.

Stell dir vor, der Assistent schreibt eine Antwort. Bevor er sie abgibt, passiert Folgendes:

Der Fokus-Check (Die Lupe):
Normalerweise schaut ein Prüfer nur auf das ganze Dokument. Das ist wie wenn ein Lehrer nur auf die Note schaut, ohne zu lesen, wie man sie erreicht hat.
Bei EvidenceRL nimmt der Prüfer die Antwort Satz für Satz und hält sie gegen die genauen Textstellen aus den bereitgestellten Büchern.
- Die Analogie: Stell dir vor, der Assistent sagt: „Der Patient hat einen Herzinfarkt." Der Prüfer nimmt eine Lupe und schaut in den Patientenbericht. Steht dort wirklich etwas über einen Herzinfarkt? Wenn ja: Punkt! Wenn nein: Abzug!
Der Belohnungs-System (Das Spiel):
Der Assistent spielt ein Spiel. Er bekommt Punkte für:
- Richtigkeit: Ist die Antwort medizinisch/rechtlich korrekt?
- Format: Ist die Antwort gut strukturiert?
- Beweisführung (Grounding): Kann er beweisen, dass seine Antwort in den Texten steht?
Das Besondere: Der Assistent bekommt doppelt so viele Punkte für eine Antwort, die nicht nur richtig ist, sondern auch nachweisbar ist. Wenn er eine richtige Antwort gibt, die aber erfunden ist (Halluzination), gibt es kaum Punkte.
Das Training (GRPO):
Der Assistent probiert viele verschiedene Antworten aus (wie ein Schüler, der 8 verschiedene Lösungen für eine Aufgabe ausprobiert). Das System vergleicht diese Lösungen und belohnt die, die am besten belegen können, woher sie ihre Informationen haben. So lernt der Assistent: „Aha, wenn ich meine Behauptungen mit Zitaten untermauere, gewinne ich das Spiel!"

Was passiert dabei? (Die Ergebnisse)

Die Forscher haben das in zwei sehr schwierigen Bereichen getestet: Herzdiagnosen und Rechtsfragen.

Vorher: Der Assistent war oft richtig, aber seine Antworten waren nicht durch die Patientenakte oder Gesetze belegt. Er hatte eine „Glücksrate" oder nutzte sein eigenes Gedächtnis.
Nachher (mit EvidenceRL):
- Die Anzahl der erfundenen Antworten (Halluzinationen) ist um das Fünffache gesunken.
- Die Anzahl der Antworten, die tatsächlich durch Beweise gestützt sind, ist von ca. 30 % auf über 60 % gestiegen.
- Und das Beste: Die Antworten waren immer noch genauso richtig wie vorher. Der Assistent wurde nicht „dümmer", sondern ehrlicher.

Die große Erkenntnis

Früher dachte man: „Wenn wir dem Assistenten nur mehr Bücher geben, wird er besser."
EvidenceRL zeigt: Das reicht nicht. Man muss ihn trainieren, die Bücher auch wirklich zu benutzen.

Es ist der Unterschied zwischen einem Schüler, der die Antworten auswendig lernt (und sie manchmal falsch anwendet), und einem Schüler, der gelernt hat, in den Nachschlagewerken nachzusehen und genau zu zitieren.

Zusammenfassend:
EvidenceRL ist wie ein strenge, aber faire Lehrerin, die dem KI-Assistenten beibringt: „Es reicht nicht, die richtige Antwort zu kennen. Du musst mir zeigen, woher du sie hast. Nur dann darfst du sie abgeben." Das macht KI in wichtigen Bereichen wie Medizin und Recht endlich vertrauenswürdig.

1. Problemstellung

Große Sprachmodelle (LLMs) zeichnen sich zwar durch ihre Flüssigkeit aus, neigen jedoch in hochriskanten Domänen (wie Medizin und Recht) häufig zu Halluzinationen. Das Hauptproblem ist die mangelnde Evidenz-Verankerung (Evidence Grounding): Modelle generieren plausible Antworten, die nicht durch die bereitgestellten Beweise (Kontext oder extrahierte Dokumente) gestützt werden.

Dieses Versagen manifestiert sich oft als Konflikt zwischen Kontext und Gedächtnis (context-memory conflict): Selbst wenn relevante Beweise im Kontext vorhanden sind, greifen Modelle oft auf parametrisches Wissen (aus dem Training) zurück und ignorieren die Evidenz. Bestehende Ansätze wie Retrieval-Augmented Generation (RAG) oder Nachprüfungen zur Laufzeit (inference-time filtering) reichen nicht aus, da sie die Generierungsstrategie des Modells nicht fundamental ändern. Das Modell lernt nicht, Evidenz als zwingende Einschränkung zu behandeln, sondern nutzt sie oft nur oberflächlich oder ignoriert sie zugunsten von „post-rationalisierten" Antworten.

2. Methodik: EvidenceRL

Die Autoren stellen EvidenceRL vor, ein Reinforcement-Learning-Framework (RL), das die Einhaltung von Evidenz direkt während des Trainings erzwingt, anstatt sie nur nachträglich zu überprüfen.

Kernkomponenten:

Optimierungsziel: Das Ziel ist es, die Generierungsstrategie so zu verändern, dass Ausgaben sowohl korrekt als auch strikt durch die bereitgestellten Beweise begründet sind.
Belohnungsfunktion (Reward Function): Die Gesamtbelohnung $r(x, y)$ setzt sich aus drei Komponenten zusammen:
1. Format-Belohnung ( $r_f$ ): Sicherstellung, dass die Ausgabe ein valides JSON-Format hat (notwendig für die Parsing-Verarbeitung).
2. Korrektur-Belohnung ( $r_c$ ): Misst die semantische Übereinstimmung mit der Referenzantwort (Ground Truth).
  - Medizin: Nutzung von Embeddings (BioLORD-2023) und kosinischer Ähnlichkeit.
  - Recht: Exakte Übereinstimmung der Antwortbuchstaben.
3. Grounding-Belohnung ( $r_g$ ): Dies ist der innovativste Teil. Sie misst, ob die Begründung des Modells durch die Evidenz gestützt wird.
  - Architektur „Focus-Then-Verify": Um das Problem der Signalverwässerung bei langen Dokumenten zu lösen, wird der Kontext in fokussierte Paare zerlegt. Ein Anker-Kontext (z. B. Hauptbeschwerde) wird mit einzelnen Evidenzabschnitten (z. B. Laborwerte, Bildgebung) kombiniert.
  - NLI-Verifikation: Ein gefrorenes Natural Language Inference (NLI)-Modell bewertet jedes Paar als Entailment (Folgerung), Contradiction (Widerspruch) oder Neutral.
  - Die Belohnung basiert auf dem stärksten Signal (maximale Magnitude) über alle Evidenzquellen hinweg.
Optimierungsalgorithmus (GRPO):
- Es wird Group Relative Policy Optimization (GRPO) verwendet.
- Für jede Eingabe werden $G$ Kandidatenantworten generiert.
- Die Belohnungen werden innerhalb der Gruppe normalisiert, um Vorteile (Advantages) zu berechnen.
- Der Policy-Gradient wird aktualisiert, um die Gruppe mit höheren Belohnungen zu bevorzugen, unter Verwendung einer KL-Divergenz-Strafe gegen eine Referenz-Policy, um den Kollaps zu vermeiden.

3. Wichtige Beiträge

EvidenceRL-Framework: Ein RL-Ansatz, der Evidenz-Verankerung als differenzierbares Trainingsziel implementiert und dabei auf automatisierte NLI- und LLM-Richter-Belohnungen setzt (keine menschlichen Annotationen nötig).
Focus-Then-Verify-Architektur: Eine neue Methode zur Berechnung von Grounding-Belohnungen auf Satzebene innerhalb fokussierter Kontextfenster, die das Problem der Signalverwässerung bei der Bewertung ganzer Dokumente löst.
Umfassende Evaluation: Demonstration, dass EvidenceRL die Genauigkeit und die Evidenz-Verankerung über verschiedene Modellgrößen (3B bis 120B Parameter) und Familien (Llama, Gemma, GPT-oss) hinweg verbessert, ohne die Aufgabenleistung zu opfern.

4. Ergebnisse

Die Evaluation erfolgte in zwei hochriskanten Domänen: Kardiologische Diagnose (MIMIC-IV-Ext) und Rechtliche Argumentation (BarExam MBE).

Medizin (Kardiologie):

Leistungssteigerung: Auf dem Modell Llama-3.2-3B stieg der F1@3-Score von 37,0 auf 54,5.
Grounding: Der maximale Grounding-Score (Gmax@3) verbesserte sich drastisch von 47,6 auf 78,2.
Halluzinationen: Die Rate an Halluzinationen sank um das Fünffache (von 11,6% auf 2,4%).
Evidenzbasierte Diagnosen: Der Anteil an durch Evidenz gestützten Diagnosen (Evidence-Based, EB) stieg von 31,8% auf 61,6%.
Treue (Faithfulness): Der Anteil korrekter Diagnosen, die tatsächlich durch Evidenz gestützt sind, stieg von 72,5% (bei reinem Reasoning) auf 87,5% bei EvidenceRL.

Recht (BarExam):

Treue: Auf Llama-3.1-8B stieg die Treue (Faithfulness) von 32,8% auf 67,6%.
Grounding: Die durchschnittliche Grounding-Leistung verbesserte sich von -1,7 (negativ, d.h. Widerspruch zur Evidenz) auf 18,9.
Reduktion von Zufallstreffern: Die Rate an „Lucky Guesses" (korrekte Antworten ohne Evidenz) sank von 12,8% auf 4,3%.

Vergleich mit Baselines:

SFT (Supervised Fine-Tuning): Führt oft zu einer „Grounding-Kollapse". Modelle lernen das Format und die Zitation von Beweisen zu imitieren, ohne die semantische Beziehung zu verstehen (hohe Genauigkeit, aber nahe 0 Grounding).
Inference-Time-Methoden (Self-RAG, Self-Consistency): Können die Grounding-Leistung leicht verbessern, versagen aber darin, gleichzeitig Genauigkeit und Evidenznutzung konsistent zu steigern. Sie verändern nicht das zugrundeliegende Lernziel des Modells.
fDPO (Faithful DPO): Verbessert die Grounding, führt aber oft zu einem Rückgang der Genauigkeit, da es auf Präferenzpaare zwischen verschiedenen Modellen angewiesen ist (Distillationseffekt). EvidenceRL optimiert hingegen on-policy und verbessert beides gleichzeitig.

5. Bedeutung und Fazit

Die Studie zeigt, dass Reinforcement Learning ein wirksames Mittel ist, um das Verhalten von LLMs in hochriskanten Szenarien fundamental zu ändern. Im Gegensatz zu Methoden zur Laufzeit, die nur Ausgaben filtern, verändert EvidenceRL die Generierungsstrategie des Modells selbst.

Skalierungseffekt: Interessanterweise können kleinere Modelle (z. B. 3B Parameter) nach EvidenceRL-Training die Leistung größerer Modelle (70B+) in Bezug auf evidenzbasierte Argumentation übertreffen. Dies deutet darauf hin, dass eine bessere Nutzung von Evidenz während des Trainings einen Teil des Skalierungsvorteils kompensieren kann.
Vertrauenswürdigkeit: Das Framework macht Modelle nicht automatisch „falschfrei", aber es stellt sicher, dass ihre Schlussfolgerungen überprüfbar und konsistent mit den bereitgestellten Beweisen sind. Dies ist ein entscheidender Schritt für den Einsatz von KI in Bereichen wie Medizin und Recht, wo nachvollziehbare Entscheidungen essenziell sind.

Zusammenfassend beweist EvidenceRL, dass die direkte Belohnung von evidenzbasierter Konsistenz während des Trainings ein effektiver Weg ist, um die Lücke zwischen „plausibler Antwort" und „verifizierbarer Wahrheit" zu schließen.