🤖 machine learning

To Answer or to Abstain: Mitigating Search-Agent Hallucinations via Abstention-Aware Reinforcement Learning

Dieses Paper führt Abstention-Aware Reinforcement Learning (AWA-RL) ein, ein neuartiges Trainingsparadigma, das die Belohnungen für die Enthaltung dynamisch gestaltet, um Halluzinationen von Suchagenten zu mildern, indem es Modelle dazu ermutigt, die Antwort zu verweigern, wenn der Abruf fehlschlägt, wodurch die Präzision und Zuverlässigkeit bei minimalem Verzicht auf die rohe Genauigkeit signifikant verbessert werden.

Ursprüngliche Autoren: Fengji Zhang, Tianyu Fan, Yuxiang Zheng, Xinyao Niu, Chengen Huang, Jacky Keung, Bei Chen

Veröffentlicht 2026-07-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fengji Zhang, Tianyu Fan, Yuxiang Zheng, Xinyao Niu, Chengen Huang, Jacky Keung, Bei Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen superintelligenten Roboter-Freund, der es liebt, deine Fragen zu beantworten. Du fragst ihn: „Was ist die Hauptstadt von Frankreich?“ und er sagt: „Paris!“ Großartig. Aber dann fragst du ihn: „Was ist das Geheimrezept für die unsichtbare Suppe des Kaisers?“ und anstatt zu sagen: „Ich weiß es nicht“, erfindet der Roboter voller Selbstvertrauen eine Geschichte über „Geister-Chili und Mondstaub“. Er versucht nicht, unhöflich zu sein; er ist nur zu eifrig, um zu gefallen. In der Welt der KI nennen wir das Halluzination, und das ist ein großes Problem, wenn der Roboter eigentlich das Internet nach echten Fakten durchsuchen soll.

Lange Zeit versuchten Wissenschaftler, dies zu beheben, indem sie den Roboter lehrten, das Web zu durchsuchen. Sie verwendeten eine Trainingsmethode namens Reinforcement Learning (RL), was wie ein Videospiel ist, bei dem der Roboter Punkte bekommt, wenn er die richtige Antwort findet. Aber hier ist der Haken: Das Spiel gab Punkte nur dafür, dass man die Antwort fand. Es gab keine Punkte dafür, zu wissen, wann man aufhören muss. Also rät der Roboter einfach weiter, wenn er die Antwort nicht finden kann, um diese Punkte zu bekommen. Es war wie ein Schüler, der, anstatt die Hand zu heben, um zu sagen: „Ich weiß es nicht“, auf einer Prüfung einfach die Antwort rät, um nicht dumm dazustehen.

Die Autoren dieser Arbeit, Fengji Zhang und sein Team, sagen: „Warte mal! Wir müssen den Roboter lehren, ‚Ich weiß es nicht‘ zu sagen, wenn er feststeckt.“ Aber sie erkannten auch, dass es nicht ausreicht, dem Roboter nur zu sagen, dass er „Ich weiß es nicht“ sagen soll. Wenn man den Roboter zu hart dafür bestraft, etwas zu raten, könnte er Angst bekommen und aufhören, überhaupt irgendwelche Fragen zu beantworten. Das nennt man „faule Verweigerung“ (lazy refusal), und das ist genauso schlimm, wie Fakten zu erfinden.

Deshalb entwickelten sie eine neue Trainingsmethode namens AWA-RL (Abstention-Aware Reinforcement Learning). Stell es dir wie einen sehr klugen Trainer vor, der den Roboter beim Spielen beobachtet. Anstatt eine feste Regel anzuwenden wie „Wenn du dir nicht zu 100 % sicher bist, antworte nicht“, schaut der Trainer auf die spezifische Frage.

Der „Mut“-Faktor: Der Trainer hat einen speziellen Regler namens „Mut“-Faktor (dargestellt durch den griechischen Buchstaben Gamma, $\gamma$ $γ$ ). Dieser Regler steuert, wie mutig der Roboter sein soll.
- Wenn der Regler hoch eingestellt ist, ist der Roboter super mutig und versucht, alles zu beantworten, selbst wenn er sich nicht sicher ist.
- Wenn der Regler niedrig eingestellt ist, ist der Roboter super vorsichtig und sagt zu fast allem „Ich weiß es nicht“.
- Die Magie von AWA-RL ist, dass der Trainer die Belohnung des Roboters dynamisch anpasst, basierend darauf, wie schwer die Frage ist und wie gut der Roboter gerade abschneidet. Wenn der Roboter gut läuft, ermutigt der Trainer ihn, es zu versuchen. Wenn der Roboter anfängt, zu viel zu raten, bremst der Trainer ihn sanft wieder aus.

Das Team testete dies an drei schwierigen Rätselspielen (Datensätze namens HotpotQA, 2WikiMultiHopQA und MuSiQue), bei denen der Roboter Wikipedia durchsuchen musste, um Antworten zu finden. Sie verglichen ihre neue Methode mit den alten Wegen:

Das bloße Beifügen von „Ich weiß es nicht“-Beispielen: Dies funktionierte nicht gut. Der Roboter war entweder verwirrt oder fing an, zu oft „Ich weiß es nicht“ zu sagen, selbst bei einfachen Fragen.
Das Geben einer festen „Bestrafung“ für das Raten: Dies war wie der Einsatz eines Vorschlaghammers, um eine Nuss zu knacken. Wenn die Bestrafung zu stark war, hörte der Roboter auf, überhaupt etwas zu beantworten (99,9 % Verweigerung!). Wenn sie zu schwach war, rät der Roboter weiterhin wild herum.

Was haben sie herausgefunden?
Die AWA-RL-Methode war ein Wendepunkt. Durch die Verwendung dieses dynamischen „Mut“-Reglers fanden sie einen optimalen Punkt (um einen Mut-Faktor von 0,20), an dem der Roboter viel zuverlässiger wurde.

Es steigerte die Präzision (Precision) des Roboters (wie oft er richtig lag, wenn er tatsächlich antwortete) um bis zu 10,3 %.
Es verbesserte ihren neuen Score, genannt RA-F1 (der zwischen Hilfsbereitschaft und Ehrlichkeit abwägt), um 2,9 % bis 5,2 %, je nach Setup.
Das Beste daran? Der Roboter verlor nicht viel von seiner allgemeinen Fähigkeit, Fragen zu beantworten. Er hat lediglich aufgehört, Fakten zu erfinden, wenn er feststeckte.

Das Paper zeigt, dass diese Methode in diesen spezifischen Tests sehr gut funktioniert, aber die Autoren weisen vorsichtig darauf hin, dass sie sie noch nicht auf jeden einzelnen Typ von Roboter oder jede Art von Frage getestet haben. Sie merken auch an, dass der „Mut“-Regler derzeit noch von Menschen eingestellt werden muss, hoffen aber, dies in Zukunft zu automatisieren.

Kurz gesagt: AWA-RL lehrt die KI, ein selbstbewusster Experte zu sein, der seine Grenzen kennt, anstatt ein Besserwisser zu sein, der einfach irgendetwas erfindet. Es ist ein Schritt hin zu KI-Agenten, die nicht nur intelligent, sondern auch vertrauenswürdig sind.

Technisches Resümee: Antworten oder Enthalten: Milderung von Halluzinationen bei Such-Agenten durch Abstentions-bewusstes Reinforcement Learning

Problemstellung

Jüngste Fortschritte bei der Ausstattung von Large Language Models (LLMs) mit Suchwerkzeugen und Outcome-Reward Reinforcement Learning (RL) haben staatliche Spitzenleistungen in der Open-Domain-Beantwortung von Fragen (QA) erzielt. Die aktuellen Trainingsparadigmen bergen jedoch eine kritische Schwachstelle: Sie belohnen primär korrekte Antworten, versäumen es aber, fabrikierte Antworten zu bestrafen, wenn die Informationsbeschaffung fehlschlägt. Infolgedessen neigt ein Agent, wenn er auf Abfragen stößt, die über seine Fähigkeitsgrenzen hinausgehen oder wenn die Informationsbeschaffung nicht genügend Belege liefert, dazu, eine Antwort zu fabricieren, anstatt sicher zu verzichten (Abstention). Dieses „Über-Antworten“-Phänomen verschlimmert Halluzinationen.

Bestehende Ansätze zum Erlernen des Verzichts leiden unter drei wesentlichen Einschränkungen:

Mangelnde Szenario-Übereinstimmung: Sie konzentrieren sich auf Single-Turn-QA statt auf Multi-Turn-Agenten-Settings, bei denen sich die Fähigkeitsgrenzen basierend auf der Werkzeugnutzung dynamisch verschieben.
Kapazitätsdegradierung: Die meisten verwenden Post-hoc-Pipeline-Training (erst Training für Fähigkeiten, dann Tuning für Abstention), was die ursprünglichen Such- und Denkfähigkeiten des Modells beeinträchtigt.
Abhängigkeit von Heuristiken: Sie beruhen auf der Synthese nicht beantwortbarer Datensätze, was menschliche Heuristiken einführt, die nicht über Modelle mit variierenden intrinsischen Fähigkeiten hinweg generalisieren können.

Methodik: AWA-RL

Die Autoren schlagen Abstention-Aware Reinforcement Learning (AWA-RL) vor, ein Framework, das den Abstentions-Reward dynamisch gestaltet, um ein Gleichgewicht zwischen Kapazität und Zuverlässigkeit herzustellen. Die Kernintuition ist, dass der Anreiz zum Verzicht kein universeller Konstant sein sollte, sondern dynamisch auf die spezifische Problemlösungskapazität des Modells für jede einzelne Abfrage kalibriert werden muss.

Schlüsselkomponenten

Abfragespezifischer Basis-Reward ( $R_{base}$ ):
- Vor dem RL-Training wird die Basis-Kapazität des Modells bewertet, indem ein Standard-Checkpoint evaluiert wird, um die geschätzte Korrektheitswahrscheinlichkeit ( $p_i$ ) für jede Abfrage zu berechnen.
- Um ein vorzeitiges Abhalten bei schwierigen Fragen zu verhindern, wird eine untere Clip-Grenze ( $p_{clip}$ ) angewendet.
- Um dem natürlichen Bias des Modells zur „faulen Verweigerung“ (bevorzugte Verweigerung statt Suche) entgegenzuwirken, wird eine nicht-lineare Transformation angewendet: $p^*_i = (p_{clip})^\gamma$ . Hierbei ist $\gamma \in (0, 1]$ ein „Mut-Faktor“ (courage factor), der das Vertrauen des Modells skaliert.
- Der Basis-Verweigerungs-Reward ist definiert als $R_{base}(q_i) = 1 - p^*_i$ . Dies schafft ein theoretisches Gleichgewicht, bei dem bei Abfragen mit hoher geschätzter Kapazität der erwartete Reward für das Beantworten den für das Verweigern übersteigt.
Dynamischer Penalty ( $P(E_t)$ ):
- Während der RL-Phase kann die empirische Verweigerungsrate von den theoretischen Erwartungen abweichen. Ein Batch-level dynamischer Penalty wird eingeführt, um empirische Über- oder Unterverweigerung zu korrigieren.
- Die übermäßige Verweigerungsrate ( $E_t$ ) wird basierend auf der Abweichung zwischen der empirischen mittleren Verweigerungsrate und der erwarteten Batch-level Rate berechnet.
- Eine stückweise Penalty-Funktion passt den finalen Verweigerungs-Reward ( $r_{ref}$ ) in Echtzeit an. Schwere Überverweigerung drängt den Reward in den negativen Bereich (Bestrafung der Verweigerung), während schwere Unterverweigerung ihn in den positiven Bereich drängt (Förderung der Verweigerung).
Kompositorisches Ziel (Composite Objective):
- Das Framework nutzt Group Relative Policy Optimization (GRPO).
- Zusätzlich zum spärlichen Outcome-Reward (Korrekt/Inkorrekt/Abstention) führen die Autoren einen dichten Zitations-Reward ein, der durch ein externes LLM-Judge evaluiert wird. Dieser Reward bewertet die Zitationsabdeckung und Redundanz und bietet granulares Feedback, um Multi-Hop-Suche und Denkfähigkeiten zu stärken, ohne das primäre Ziel des Ausgleichs zwischen Beantwortung und Verzicht zu gefährdet.

Wesentliche Beiträge

Dynamische Reward-Gestaltung: Im Gegensatz zu statischen Verweigerungs-Rewards oder Datenmanipulation verankert AWA-RL den Verweigerungs-Reward an den Abfragespezifischen Vorab-Kapazitäten des Modells, was einen robusteren und skalierbareren Weg zu zuverlässigen Agenten ermöglicht.
Der „Mut-Faktor“ ( $\gamma$ ): Die Autoren führen einen einzelnen, erklärbaren Hyperparameter ein, der die nicht-lineare Abbildung des Vertrauens steuert. Empirische Ergebnisse zeigen, dass dieser Faktor hochgradig responsiv und leicht zu tunen ist, wodurch die Erwerbung von Fähigkeiten effektiv von der Abstentions-Kalibrierung entkoppelt wird.
RA-F1 Metrik: Eine neue Metrik, Reliability-Aware F1 (RA-F1), wird eingeführt, um den Trade-off zwischen Präzision (Korrektheit beim Beantworten) und Genauigkeit (Gesamtnützlichkeit) zu messen. Sie dient als ganzheitlicher Indikator für das optimale Gleichgewicht zwischen selbstbewusstem Antworten und sicherem Verzicht.
Stabilisierungstechniken: Das Paper beschreibt Mechanismen wie EMA-Glättung (Exponential Moving Average) und schrittweise Quantisierung von Penalties, um Reward-Hacking und Policy-Kollaps während des Trainings zu verhindern.

Experimentelle Ergebnisse

Die Autoren evaluierten AWA-RL auf drei Multi-Hop-QA-Benchmarks: HotpotQA, 2WikiMultiHopQA und MuSiQue, wobei Qwen2.5-7B-Instruct als Basismodell diente.

Leistungssteigerungen: Im Vergleich zu Nicht-Abstentions-Baselines steigerte AWA-RL die absolute Präzision um bis zu 10,3 % und verbesserte den allgemeinen RA-F1 um 2,9 % (wobei im Abstract eine spezifische Verbesserung von 5,2 % erwähnt wird, der Ergebnisteil jedoch eine Steigerung von 2,9 % im Haupttext zusammenfasst).
Management des Trade-offs: Die Methode erreichte diese Gewinne mit nur einem geringfügigen Opfer an der Rohgenauigkeit. Beispielsweise erreichte AWA-RL im Cold-Start-Szenario einen State-of-the-Art RA-F1 von 0,585, wobei die Präzision von 0,559 auf 0,662 stieg, während die Genauigkeit nur leicht von 0,552 auf 0,529 sank.
Versagen der Baselines: Konventionelle Baselines scheiterten daran, zuverlässige Grenzen zu etablieren. Statische Verweigerungs-Rewards lösten katastrophales „Reward Hacking“ aus (z. B. 99,9 % Verweigerungsraten bei minimalen Reward-Änderungen), während Datenmanipulation (Injektion nicht beantwortbarer Abfragen) zu unvorhersehbarem Verhalten oder zum Kollaps durch „lahme Verweigerung“ führte.
Trainingsdynamik: AWA-RL zeigte bemerkenswert stabile Trainingsdynamiken, wobei die Batch-level Verweigerungsraten glatt zu Plateaus konvergierten, die dem „Mut-Faktor“ entsprachen, und so die wilden Oszillationen anderer Methoden vermieden.

Bedeutung und Ansprüche

Das Paper behauptet, dass AWA-RL einen robusten und skalierbaren Pfad zu wahrhaft zuverlässigen Such-Agenten bietet. Durch das explizite Training von Agenten, ihre Fähigkeitsgrenzen zu erkennen und sich konsequent der Antwort zu enthalten, wenn keine fundierten Antworten möglich sind, adressiert das Framework den kritischen Trade-off zwischen Kapazität und Zuverlässigkeit.

Die Autoren betonen, dass ihr Ansatz die Limitationen früherer Arbeiten erfolgreich löst, indem er:

Die Abstention direkt in den RL-Prozess integriert, anstatt sie als Post-hoc-Patch zu behandeln.
Einen dynamisch gestalteten Verweigerungs-Reward verwendet, der an die geschätzte Vorab-Kapazität gebunden ist, anstatt statische Boni zu nutzen.
Einen expliziten Begriff zur Förderung der Generierung hinzufügt, um den Kollaps in die „lahme Verweigerung“ zu vermeiden.

Die Arbeit wird als entscheidender Schritt zur Bereitstellung vertrauenswürdiger KI in realen Szenarien positioniert, indem sie die Risiken von Halluzinationen und übermäßig selbstbewussten faktischen Fehlern mindert. Die Autoren räumen Einschränkungen hinsichtlich der Skalierung der getesteten Modelle (aktuell Qwen2.5-7B) und der Abhängigkeit vom „Mut-Faktor“ ein und merken an, dass zukünftige Arbeiten adaptive Mechanismen zur automatischen Kalibrierung dieser Vertrauensabbildung untersuchen werden.