💬 NLP

Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models

Diese Arbeit zeigt, dass Reinforcement Learning with Verifiable Rewards (RLVR), welches Modelle explizit dazu anreizt, die Beantwortung unsicherer Fragen zu unterlassen, Halluzinationen effektiv reduziert und die intellektuelle Demut in Large Language Models verbessert, ohne dabei die Genauigkeit bei faktischen Benchmarks signifikant zu beeinträchtigen.

Ursprüngliche Autoren: Abha Jha, Akanksha Mahajan, Ashwath Vaithinathan Aravindan, Praveen Saravanan, Sai Sailaja Policharla, Sonal Chaturbhuj Gehlot

Veröffentlicht 2026-01-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abha Jha, Akanksha Mahajan, Ashwath Vaithinathan Aravindan, Praveen Saravanan, Sai Sailaja Policharla, Sonal Chaturbhuj Gehlot

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen sehr intelligenten, belesenen Assistenten ein, um Ihre Fragen zu beantworten. Das Problem ist nur, dass dieser Assistent ein wenig ein „Besserwisser“ ist. Selbst wenn er die Antwort eigentlich nicht weiß, fühlt er sich gezwungen zu raten und erfindet oft Fakten, die überzeugend klingen, aber völlig falsch sind. In der Welt der KI nennt man das „Halluzinieren“.

In diesem Paper geht es darum, diesen KI-Assistenten eine neue, lebenswichtige Fähigkeit beizubringen: zu wissen, wann man sagt: „Ich weiß es nicht.“

Hier ist die Aufschlüsselung ihres Ansatzes, unter Verwendung einfacher Analogien:

Das Problem: Die überkonfidente Ratemaschine

Aktuell sind Large Language Models (LLMs) darauf trainiert, immer eine Antwort zu geben. Wenn Sie ihnen eine Frage stellen, versuchen sie, irgendetwas zu generieren, selbst wenn sie nur raten. Es ist wie ein Schüler, der eine Prüfung ablegt und Angst hat, eine Frage leer zu lassen, also schreibt er einfach eine zufällige Antwort hin, nur um Punkte zu bekommen. Dies führt zu selbstbewussten, aber falschen Informationen.

Die Lösung: Das „Ehrlichkeits-Belohnungssystem“

Die Forscher haben eine neue Trainingsmethode namens Reinforcement Learning with Verifiable Rewards (RLVR) ausprobiert. Betrachten Sie dies als ein neues Bewertungssystem für die KI.

Anstatt nur Punkte für eine richtige Antwort zu vergeben, führten sie ein dreistufiges Bewertungssystem ein:

Richtige Antwort: +1 Punkt (Gut gemacht!)
Falsche Antwort: -1 Punkt (Schlechter Tipp, du verlierst Punkte.)
„Ich weiß es nicht“: Eine spezielle Belohnung (sagen wir etwa +0,3 Punkte).

Das Ziel war es, der KI beizubringen, dass es besser ist, ehrlich zu sein und „Ich weiß es nicht“ zu sagen, als selbstbewusst zu raten und dabei falsch zu liegen. Sie wollten das „Goldlöckchen-Maß“ finden: nicht zu hoch (sonst würde die KI bei allem „Ich weiß es nicht“ sagen und aufhören, sich anzustrengen), und nicht zu niedrig (sonst würde sie weiter raten).

Die Experimente: Testen der neuen Regeln

Sie testeten dies an zwei verschiedenen Arten von „Schülern“ (KI-Modellen):

Granite-3.3-2B: Ein kleineres, kompakteres Modell.
Qwen-3-4B: Ein größeres, leistungsfähigeres Modell.

Sie testeten sie auf zwei Arten von „Prüfungen“:

MedMCQA: Multiple-Choice-Medizinfragen (wie ein Quiz mit einer festen Auswahl an Antworten).
Hendrycks Math: Schwierige Matheaufgaben, die das Schreiben einer langen Lösung erfordern (wie ein Aufsatz oder ein Beweis).

Was sie herausfanden

1. Der „Sweet Spot“ funktioniert bei Multiple-Choice
Bei den Multiple-Choice-Medizinfragen fanden sie einen „Sweet Spot“ für die „Ich weiß es nicht“-Belohnung.

Wenn sie eine winzige Belohnung für das Sagen von „Ich weiß es nicht“ gaben, begann die KI, Unsicherheit zuzugeben.
Das Ergebnis: Die Anzahl der erfundenen, falschen Antworten sank signifikant. Die KI wurde bescheidener.
Der Kompromiss: Die KI erzielte insgesamt etwas weniger richtige Antworten, weil sie aufhörte zu raten. Die Forscher fanden jedoch heraus, dass eine moderate Belohnung (um 0,3) die schlechten Tipps reduzierte, ohne die guten zu ruinieren.
Der Vorteil des größeren Modells: Das größere Modell (Qwen) bewältigte dieses „Ehrlichkeitstraining“ besser als das kleinere. Es war in der Lage, „Ich weiß es nicht“ zu sagen, wenn nötig, ohne dabei so viel von seiner allgemeinen Intelligenz zu verlieren.

2. Der Kampf mit offenen Fragen
Als sie dies bei den schwierigen Matheaufgaben versuchten (bei denen die KI eine lange Antwort schreiben muss), funktionierte es allein nicht so gut.

Das Problem: Die KI war so sehr daran gewöhnt zu raten, dass sie Angst davor hatte, die Option „Ich weiß es nicht“ überhaupt in Betracht zu ziehen. Es war wie ein Schüler, der so sehr Angst davor hat, falsch zu liegen, dass er sich weigert, überhaupt die Option in Erwägung zu ziehen, eine Frage leer zu lassen. Die KI hat die Option des „Nicht-Antwortens“ während des Trainings nicht genug „exploriert“.
Die Lösung: Sie versuchten einen zweistufigen Prozess. Zuer der zwang die KI, das „Ich weiß es nicht“ bei einem spezifischen Satz von Fragen zu üben (Supervised Fine-Tuning). Danach wandten sie das Belohnungssystem an. Dies half der KI, sich mit dem Konzept des Entsichs zu vertraut zu machen, obwohl es immer noch schwierig war, das Gleichgewicht zu halten.

Das Fazit

Das Paper kommt zu dem Schluss, dass man einer KI nicht einfach nur sagen kann, sie solle ehrlich sein; man muss sie für Ehrlichkeit belohnen.

Durch die Anpassung der „Punkte“, die für ein „Ich weiß es nicht“ vergeben werden, können Entwickler die Persönlichkeit der KI feinabstimmen. Sie können sie vorsichtiger machen (weniger wahrscheinlich zu lügen) oder selbstbewusster (wahrscheinlicher zu versuchen), je nachdem, was sie benötigen.

Für den vorsichtigen Ansatz: Geben Sie eine kleine Belohnung für „Ich weiß es nicht“. Die KI wird aufhören, Fakten zu erfinden, was sie für Dinge wie medizinische oder rechtliche Beratung, bei denen ein Fehler gefährlich wäre, viel zuverlässiger macht.
Die Einschränkung: Die KI braucht ein wenig Hilfe beim Erlernen, wie man „Ich weiß es nicht“ sagt, insbesondere bei komplexen, offenen Aufgaben.

Kurz gesagt: Die Forscher haben ein Trainingshandbuch erstellt, das KI-Modelle lehrt, dass Schweigen manchmal besser ist als eine Lüge, und sie haben bewiesen, dass KI mit den richtigen Belohnungen lernen kann, intellektuelle Bescheidenheit zu zeigen.

Technisches Resümee: Belohnung von intellektueller Demut in Large Language Models

Problemstellung

Large Language Models (LLMs) generieren häufig halluzinierte oder nicht verifizierbare Inhalte, insbesondere in faktischen Domänen, da ihre Trainingsziele typischerweise die Generierung von Antworten belohnen, unabhängig von der Sicherheit der Antwort. Bestehende Minderungsstrategien, wie Supervised Fine-Tuning (SFT) und Reinforcement Learning from Human Feedback (RLHF), beruhen oft auf kostspieligem menschlichem Feedback im Loop und modellieren keine Unsicherheit explizit oder lehren Modelle, bei Unsicherheit zu verzichten. Diese Arbeit adressiert das Bedürfnis nach einem Trainingsparadigma, das „intellektuelle Demut“ – die Fähigkeit zu sagen: „Ich weiß es nicht“ – explizit anreizt, um Halluzinationen zu reduzieren, ohne ausschließlich auf dichte menschliche Präferenzdaten angewiesen zu sein.

Methodik

Die Autoren schlagen einen modifizierten Reinforcement Learning with Verifiable Rewards (RLVR)-Rahmen vor. Dieser Ansatz nutzt eine ternäre Belohnungsstruktur, um das Verhalten des Modells zu steuern:

Korrekte Antwort ( $r_{correct} = 1$ ): Wird belohnt.
Falsche Antwort ( $r_{wrong} = -1$ ): Wird bestraft.
Abstention/Verzicht ( $r_{abs}$ ): Wird basierend auf einem abstimmbaren Hyperparameter belohnt oder bestraft. Das Abstentions-Token ist definiert als „Ich weiß es nicht“.

Experimenteller Aufbau

Modelle: Die Studie evaluiert Granite-3.3-2B-Instruct und Qwen-3-4B-Instruct.
Datensätze:
- MedMCQA: Ein Datensatz für medizinische Multiple-Choice-Fragen, der eine explizite „I Don't Know“-Option zur Erleichterung der Verifizierung ergänzt wurde.
- Hendrycks Math: Ein Datensatz mit offenen, mehrstufigen mathematischen Problemen, der verwendet wird, um die Generalisierung auf Nicht-Multiple-Choice-Szenarien zu testen.
Trainingsstrategien: Die Autoren vergleichen drei primäre Einstellungen unter Verwendung von Group Relative Policy Optimization (GRPO):
1. RL-only: Direktes Training mit dem ternären Belohnungssignal.
2. RL-SFT-Random: Ein zweistufiger Prozess, bei dem das Modell zuerst auf MedMCQA mittels SFT trainiert wird, wobei 30 % der Grundwahrheiten (Ground Truths) zufällig durch „Ich weiß es nicht“ ersetzt wurden, um die Abstention zu fördern, gefolgt von RLVR-Fine-Tuning.
3. RL-RTuning: Ähnlich wie oben, aber der SFT-Schritt zielt spezifisch auf Fragen ab, die das Basismodell zuvor falsch beantwortet hat, um das Modell gezielt darauf zu trainieren, bei bekannten Fehlern zu verzichten (basierend auf R-Tuning-Prinzipien).

Belohnungsdesign

Die Belohnungsfunktion $R(y)$ ist definiert als:
$R(y) = \begin{cases} 1 & \text{wenn } y \text{ korrekt ist} \\ r_{abs} & \text{wenn } y = \text{"Ich weiß es nicht"} \\ -1 & \text{wenn } y \text{ falsch ist} \end{cases}$
Für MedMCQA wird zusätzlich eine Format-Belohnung angewendet, um eine strikte XML-ähnliche Tagging-Struktur (<reasoning>, <answer>) zu erzwingen und so verifizierbare Ausgabestrukturen sicherzustellen.

Zentrale Ergebnisse

1. Trade-off zwischen Genauigkeit und Abstention

Die Experimente zeigen einen klaren, abstimmbaren Trade-off auf, der durch die Abstentionsbelohnung ( $r_{abs}$ ) gesteuert wird:

Moderate Belohnungen: Die Einstellung von $r_{abs}$ auf kleine positive oder leicht negative Werte (z. B. $-0,25$ bis $0,3$) reduziert konsistent die falschen Antworten (Halluzinationen), ohne die allgemeine Genauigkeit bei Multiple-Choice-Aufgaben schwerwiegend zu beeinträchtigen.
Modellsensitivität: Größere Modelle (Qwen-3-4B) zeigen eine größere Robustheit gegenüber Abstentionsanreizen im Vergleich zu kleineren Modellen (Granite-3.3-2B). Beispielsweise reduzierte Qwen-3-4B mit $r_{abs}=0,3$ auf MedMCQA die falschen Antworten von 32,5 % auf 10,3 %, während die Korrektheit bei 48,0 % blieb, obwohl die „Ich weiß es nicht“-Rate auf 41,0 % anstieg.

2. Performance der Trainingsvarianten

RL-only: Effektiv bei der Reduktion von Halluzinationen auf MedMCQA, hatte jedoch Schwierigkeiten mit Hendrycks Math. Die Autoren führen dies auf eine „unzureichende Exploration“ zurück, bei der die anfängliche Zögerlichkeit des Basismodells, das „Ich weiß es nicht“-Token zu verwenden, verhindert, dass der RL-Algorithmus das Verhalten in offenen Szenarien lernt.
RL-SFT-Random: Dieser Ansatz konnte das Explorationsproblem erfolgreich entschärfen. Auf Hendrycks Math reduzierte er die falschen Antworten um etwa 28 %, bei nur 10 % Verlust an Genauigkeit. Auf MedMCQA jedoch führten höhere Abstentionsbelohnungen in dieser Einstellung zu einem monotonen Rückgang der Korrektheit, da das Modell übermäßig vorsichtig wurde.
RL-RTuning: Entgegen den Erwartungen schnitt diese Methode schlechter ab als RL-SFT-Random. Die Autoren hypothetisieren, dass der SFT-Schritt in RL-RTuning von „Ich weiß es nicht“-Antworten (ca. 60 %) dominiert wurde, was dazu führte, dass das Modell die Fähigkeit verlor, selbstbewusst zu antworten – ein Zustand, aus dem es sich während der anschließenden RL-Phase nicht mehr erholen konnte.

3. Offene Fragen vs. Multiple-Choice

Während das ternäre Belohnungsschema gut für strukturierte Multiple-Choice-Fragen funktionierte, erforderte die offene Beantwortung (Hendrycks Math) den initialen SFT-Schritt, um die Zurückhaltung des Modells beim Verzicht zu überwinden. Ohne dieses Pre-Training scheiterte RL-only daran, das Abstentionsverhalten im offenen Bereich zu induzieren.

Bedeutung und Behauptungen

Das Paper behauptet, dass das Design verifizierbarer Belohnungen eine praktische, flexible und kosteneffiziente Alternative zu menschenintensiven Alignment-Methoden zur Minderung von Halluzinationen bietet. Die Kernpunkte sind:

Machbarkeit: Die explizite Belohnung von Abstention ist eine praktikable Strategie, um intellektuelle Demut in LLMs zu fördern.
Abstimmbarkeit: Die Abstentionsbelohnung ( $r_{abs}$ ) fungt als direkter Regler, der es Praktikern ermöglicht, den Trade-off zwischen Vorsicht (Reduktion von Halluzinationen) und Korrektheit (Aufrechterhaltung der Aufgaben-Genauigkeit) basierend auf den spezifischen Anforderungen der Anwendung auszubalancieren.
Skalierbarkeit: Der Ansatz ist besonders effektiv für größere Modelle, die eine bessere interne Kalibrierung unter moderaten Abstentionsanreizen zeigen.
Limitierungen: Die Studie räumt ein, dass die Methode Halluzinationen zwar reduziert, aber nicht vollständig eliminiert, und dass die optimale Belohnungsstruktur signifikant zwischen Modellen und Datentypen (MCQ vs. offen) variiert.

Die Autoren kommen zu dem Schluss, dass die aktuellen Ergebnisse zwar vielversprechend sind, aber zukünftige Arbeiten notwendig sind, um das Verhältnis von Abstentions-Samples im SFT-Schritt zu optimieren (sie schlagen 10–30 % statt 30 % oder mehr vor), um einen Kapazitätskollaps zu verhindern und die Leistung in offenen Reasoning-Aufgaben weiter zu verbessern.