💬 NLP

BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation

Das Paper stellt BALTO vor, ein Framework zur ausgewogenen Optimierung auf Token-Ebene, das LLM-Halluzinationen durch die Projektion verifizierter Behauptungsebene-Urteile in Token-Ebene-Belohnungen mildert, um ein stabiles, effizientes Training und überlegene Treue zu gewährleisten, ohne dabei die Informationsgehalt einzubüßen.

Ursprüngliche Autoren: Ning Li, Zixuan Guo, Yan Xu, Wenbo Fei, Yifan Niu, Chang Luo, Yasheng Wang, Weiwen Liu, Yong Yu, Weinan Zhang

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ning Li, Zixuan Guo, Yan Xu, Wenbo Fei, Yifan Niu, Chang Luo, Yasheng Wang, Weiwen Liu, Yong Yu, Weinan Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Einheitsstrafe“ (One-Size-Fits-All)

Stellen Sie sich vor, Sie lehren einen Schüler (die KI), einen Geschichtsaufsatz basierend auf einem bestimmten Lehrbuch zu schreiben. Der Schüler schreibt einen 500 Wörter langen Aufsatz. Er ist größtenteils korrekt, aber in der Mitte erfindet er ein falsches Datum für eine Schlacht.

Der alte Weg (Antwortbasierte Belohnung):
Früher haben Lehrer (KI-Trainer) den gesamten Aufsatz gelesen und ihm eine einzige Note gegeben. Wenn der Aufsatz dieses eine falsche Datum enthielt, bewertete der Lehrer den gesamten Aufsatz als „schlecht“.

Das Ergebnis: Der Schüler wird für den gesamten Aufsatz bestraft, selbst für die Teile, in denen er beispielsweise die Namen der Generäle oder das Wetter korrekt aufgeführt hat. Um eine schlechte Note zu vermeiden, lernt der Schüler, sehr kurze, langweilige Aufsätze zu schreiben, nur um auf der sicheren Seite zu sein, oder er wird verwirrt darüber, was er richtig gemacht hat. Er geht keine Risiken mehr ein, und die Aufsätze werden weniger nützlich.

Die neue Lösung: BALTO (Der „ausgewogene“ Lehrer)

Die Autoren dieser Arbeit schlagen eine neue Methode namens BALTO vor. Anstatt den gesamten Aufsatz mit einer einzigen Punktzahl zu bewerten, agiert BALTO wie ein superpräziser Lektor, der genau markiert, welche Wörter falsch und welche richtig sind.

So funktioniert es, Schritt für Schritt:

1. Die „faulen Äpfel“ finden (Feingranulare Erkennung)

BALTO betrachtet nicht nur den gesamten Aufsatz. Es zerlegt den Aufsatz in kleine Behauptungen (wie „Die Schlacht fand 1863 statt“). Es prüft jede Behauptung gegen das Lehrbuch.

Wenn eine Behauptung erfunden ist, markiert es die spezifischen Wörter, die dafür verantwortlich sind (z. B. „1863“).
Wenn eine Behauptung wahr ist, markiert es diese Wörter als „gut“.
Wenn ein Wort nur ein Bindewort ist (wie „und“ oder „der“), ignoriert es dieses.

2. Die „ausgewogene“ Bewertung (Ausgewiesene Kreditzuweisung)

Dies ist der magische Teil. In der alten Methode, wenn Sie ein falsches Datum fanden, hätten Sie vielleicht einfach Punkte vom gesamten Aufsatz abgezogen. BALTO macht etwas Klügeres: Es balanciert die Punktzahl aus.

Die schlechten Wörter: Das falsche Datum erhält eine negative Punktzahl (eine Strafe).
Die guten Wörter: Die korrekten Fakten erhalten eine positive Punktzahl (eine Belohnung).
Das Gleichgewicht: Das System stellt sicher, dass die gesamten „schlechten Punkte“ den gesamten „guten Punkten“ entsprechen.

Die Analogie: Stellen Sie sich eine Wippe vor.

Wenn der Schüler eine falsche Tatsache schreibt, kippt die Wippe auf dieser Seite nach unten.
Um dies zu korrigieren, drückt BALTO nicht einfach die gesamte Wippe nach unten (indem der ganze Aufsatz bestraft wird). Stattdessen drückt es die korrekten Fakten auf der anderen Seite nach oben.
Das Ziel ist es, das Gewicht zu verlagern: Die Wahrscheinlichkeit von den falschen Fakten weg hin zu den echten Fakten zu bewegen.

Warum das besser ist (Die Theorie)

Die Arbeit nutzt Mathematik, um zwei Hauptpunkte zu beweisen:

Weniger Rauschen (Stabilität): Wenn Sie den gesamten Aufsatz für einen Fehler bestrafen, verwirren Sie die KI. Sie denkt: „Habe ich das Datum vermasselt? Oder die Grammatik? Oder die Rechtschreibung?“ BALTO sagt der KI genau, wo der Fehler lag. Dies macht den Lernprozess viel reibungsloser und weniger chaotisch.
Kein „Einfrieren“ (Effizienz): Wenn die KI zu Beginn sehr schlecht ist, könnte die alte Methode ihr eine so hohe Strafe geben, dass sie aufhört zu lernen („Gradient Starvation“). Wenn die KI fast perfekt ist, könnte die alte Methode sie für einen winzigen Ausrutscher so hart bestrafen, dass es das Modell beschädigt. BALTO hält die Belohnungen und Strafen klein und ausgewogen, sodass die KI von Anfang bis Ende stetig lernt.

Die Ergebnisse: Was ist passiert?

Die Forscher testeten dies auf drei verschiedenen „Prüfungen“ (Datensätzen), die Finanzdaten, Allgemeinwissen und Leseverständnis betrafen. Sie verwendeten zwei verschiedene KI-Modelle (Qwen3-8B und Qwen3-4B).

Treue (Faithfulness): BALTO produzierte weniger Lügen als jede andere Methode.
Informationsgehalt (Informativeness): Im Gegensatz zu den alten Methoden, die die KI dazu brachten, kurze, sichere Antworten zu schreiben, erlaubte BALTO der KI, weiterhin lange, detaillierte und nützliche Antworten zu schreiben.
Der Kompromiss: Die Arbeit zeigt, dass BALTO das beste Gleichgewicht erreicht: Es stoppt die KI am Lügen, ohne die KI dazu zu bringen, aufzuhören zu reden.

Zusammenfassung

Betrachten Sie BALTO als einen Lehrer, der Aufsätze nicht mehr nur mit einem einzigen „Bestanden/Nicht bestanden“-Stempel bewertet. Stattdessen benutzt er einen roten Stift, um die eine Lüge einzukreisen, und einen grünen Stift, um die Wahrheit hervorzuheben, um sicherzustellen, dass der Schüler genau lernt, was er korrigieren muss, ohne das Vertrauen in den Rest seiner Arbeit zu verlieren. Dies führt zu einer KI, die sowohl ehrlich als auch hilfreich ist.

Technisches Resümee: BALTO – Balanced Token-Level Policy Optimization zur Minderung von Halluzinationen

1. Problemstellung

Große Sprachmodelle (LLMs) stehen in wissensintensiven Kontexten vor erheblichen Herausforderungen durch treuebezogene Halluzinationen (faithfulness hallucinations) – also die Generierung von Inhalten, denen es an faktischer Unterstützung mangelt oder die den bereitgestellten Belegen widersprechen. Während Reinforcement Learning (RL) einen vielversprechenden Weg zur Minderung bietet, leiden aktuelle Ansätze unter einer Granularitäts-Diskrepanz.

Die meisten bestehenden RL-Methoden verwenden Antwort-basierte Belohnungen (response-level rewards), die einem gesamten Output einen einzelnen skalaren Wert zuweisen. Diese grobkörnige Überwachung scheitert daran, zwischen halluzinierten Spans und treuen Inhalten innerhalb derselben Antwort zu unterscheiden. Infolgedessen kann ein lokalisierter Fehler (z. B. ein falsches Datum oder eine falsche Entität) eine einheitliche negative Strafe für alle Token auslösen, was korrekte Informationen fälschlicherweise unterdrückt und „Reward Hacking“-Verhalten induziert, bei dem Modelle kürzere, übermäßig konservative Antworten generieren, um Strafen zu vermeiden.

Neuere feinkörnige Ansätze (z. B. Claim- oder Token-basierte Belohnungen) adressen zwar die Detektion, lösen aber oft nicht das Problem der Kreditzuweisung (credit assignment). Ungleichgewichtige Token-basierte Belohnungen können Biase in Richtung Verbosität oder Länge einführen, während Methoden, die an globale Antwort-basierte Vorteile gekoppelt sind, dennoch Rauschen aus dem globalen Signal erben. Das Kernproblem ist das Fehlen eines Mechanismus, der halluzinierte Token präzise bestraft, während er gleichzeitig treue Token innerhalb derselben Antwort kompensiert, um sicherzustellen, dass das Modell die Wahrscheinlichkeitsmasse in Richtung Wahrhaftigkeit umverteilt, anstatt lediglich die Generierung zu unterdrücken.

2. Methodik: BALTO-Framework

Die Autoren schlagen BALTO (Balanced Token-Level Policy Optimization) vor, ein Reinforcement-Learning-Framework, das darauf ausgelegt ist, Halluzinationen zu lokalisieren und eine ausgewogene Kreditzuweisung auf Token-Ebene vorzunehmen. Das Framework operiert in zwei primären Phasen:

A. Feinkörnige Detektion von Halluzinations-Token

BALTO nutzt einen LLM-basierten Treue-Evaluator, um die gesampelten Antworten zu verarbeiten:

Claim-Extraktion: Das System extrahiert überprüfbare faktische Behauptungen (z. B. Entitäten, Zahlen, Daten, Relationen) aus der Antwort.
Verifizierung: Jede Behauptung wird gegen den Referenzkontext (abgerufene Dokumente) überprüft. Die Claims werden in Treue-Sets ( $C^+$ ) und Halluzinations-Sets ( $C^-$ ) unterteilt.
Token-Projektion:
- Token in treuen Claims werden als Treu ( $F$ ) gekennzeichnet.
- Für halluzinierte Claims versucht das System, die minimale fehlerhafte Token-Teilmenge ( $e_{i,m}$ ) zu lokalisieren, die für den Fehler verantwortlich ist (z. B. nur die falsche Zahl „11,4 %“ statt des gesamten Satzes). Falls eine Isolation unmöglich ist, wird der gesamte Claim-Span bestraft. Diese Token werden als Halluziniert ( $H$ ) gekennzeichnet.
- Token außerhalb überprüfbarer Claims oder treue Token innerhalb eines halluzinierten Claims (wo der Fehler nicht isoliert werden konnte) werden als Neutral ( $N$ ) gekennzeichnet.

B. Ausgewogene Token-basierte Kreditzuweisung

Im Gegensatz zu Standard-GRPO, das einen einzelnen Vorteil an alle Token überträgt, weist BALTO spezifische Vorteile ( $A^{bal}_{i,t}$ ) basierend auf den Token-Labels zu:

Halluzinierte Token ( $H$ ): Erhalten einen negativen Vorteil von -1.
Treue Token ( $F$ ): Erhalten einen positiven Kompensationsvorteil von $N^-_i / N^+_i$ , wobei $N^-$ und $N^+$ die Anzahl der halluzinierten bzw. treuen Token sind.
Neutrale Token ( $N$ ): Erhalten einen Vorteil von 0.

Kernmechanismus: Dieses Design gewährleistet eine Intra-Antwort Zero-Sum-Eigenschaft: $\sum A^{bal}_{i,t} = 0$ . Das gesamte negative Signal aus Halluzinationen wird exakt durch das positive Signal aus treuen Inhalten ausgeglichen. Dies ermutigt die Policy, die Wahrscheinlichkeitsmasse von halluzinierten Inhalten zu treuen Inhalten umzuverteilen, anstatt die gesamte Antwort zu unterdrücken.

C. Optimierungsziel

BALTO optimiert die Policy unter Verwendung eines geklippten Objekts ähnlich wie GRPO, das jedoch auf faktische Tokens ( $H \cup F$ ) beschränkt ist. Die Zielfunktion maximiert den erwarteten ausgewogenen Vorteil und normalisiert die Updates durch die Anzahl der faktischen Tokens ( $Z_i = \max(1, |H| + |F|)$ ).

3. Theoretische Analyse

Das Paper liefert theoretische Beweise, die die Überlegenheit von BALTO gegenüber Antwort-basiertem GRPO demonstrieren:

Varianzreduktion (Theorem 1): Antwort-basiertes GRPO induziert eine Gradientenvarianz, die linear mit der Gesamtlänge der Antwort skaliert ( $O(T)$ ). Im Gegensatz dazu beschränkt BALTO die Varianz so, dass sie nur mit der Anzahl der halluzinierten Tokens skaliert ( $O(N^-)$ ). Da Halluzinationen spärlich auftreten, reduziert dies das Gradientenrauschen signifikant und stabilisiert das Training.
Optimierungseffizienz (Theorem 2):
- Kaltstart ( $p \to 0$ ): Antwort-basiertes GRPO leidet unter „Gradienten-Verhungern“ (gradient starvation), da der Normalisierungskoeffizient verschwindet, wenn treue Antworten selten sind. BALTO behält starke, begrenzte lokale Signale ( $O(1)$ ) bei, was eine effiziente Exploration in der frühen Phase sicherstellt.
- Konvergenz ( $p \to 1$ ): Antwort-basiertes GRPO löst bei seltenen Fehlern unbegrenzte divergente Strafen ( $A^- \to -\infty$ ) aus, was die Konvergenz in der Spätphase destabilisiert. BALTO hält strikt begrenzte Vorteile ( $[-1, 1]$ ein), was eine stabile und sanfte Konvergenz gewährleistet.

4. Experimentelle Ergebnisse

Die Experimente wurden auf drei Benchmarks durchgeführt: ConFiQA (kontrafaktische QA), RAGTruth (RAG-Halluzinationskorpus) und FinLLM-Eval (Finanzdomänen-QA). Als Modelle wurden unter anderem Qwen3-8B und Qwen3-4B verwendet.

Wichtigste Erkenntnisse:

Treue (Faithfulness): BALTO erreichte die höchsten Treue-Scores in allen sechs Modell-Benchmark-Einstellungen und übertraf damit Antwort-basierte Baselines (GRPOB, GRPOD) sowie Token-basierte Baselines (FSPO).
Q-Score: BALTO erreichte konsistent den höchsten Q-Score (definiert als Treue $\times$ $\times$ Informativität), was einen überlegenen Trade-off zwischen Korrektheit und Informationsgehalt demonstriert.
- Im Vergleich zur stärksten Post-Training-Baseline verbesserte BALTO den Q-Score im Durchschnitt um 2,7 Punkte (bis zu 4,9) und die Treue um 3,1 Punkte (bis zu 6,7).
Trainingsdynamik:
- Gradientennormen: BALTO wies Gradientennormen auf, die um eine Größenordnung kleiner und konzentrierter waren als bei Antwort-basierten Methoden, was die reduzierte Varianz bestätigt.
- Parameter-Updates: BALTO erreichte eine hohe Treue mit signifikant weniger Parameter-Updates (~12 % vs. ~17 % für GRPOB), was auf ein effizienteres Lernen hindeutet, das auf relevante Parameter fokussiert ist.
Ablationsstudien: Das Entfernen des positiven Kompensationsvorteils für treue Tokens (Setzen von $PA=0$) führte zu erheblichen Rückgängen sowohl in der Treue als auch in der Informativität, was die Notwendigkeit des ausgewogenen Kreditmechanismus validiert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass BALTO eine kritische Lücke in der Minderung von Halluzinationen adressiert: die Notwendigkeit einer ausgewogenen, feinkörnigen Kreditzuweisung.

Präzision: Durch die Lokalisierung von Fehlern auf spezifische Tokens und die Balance des Belohnungssignals vermeidet BALTO die „Alles-oder-Nichts“-Strafe der Antwort-basierten RL, wodurch die Informativität der Antwort bewahrt wird.
Stabilität: Die theoretischen und empirischen Belege deuten darauf hin, dass eine ausgewogene Token-basierte Zuweisung zu stabileren Trainingsverläufen und höherer Optimierungseffizienz führt, insbesondere in der frühen Trainingsphase und während der Konvergenz.
Trade-off: Die Ergebnisse zeigen, dass es möglich ist, Halluzinationen signifikant zu reduzieren, ohne in eine übermäßig konservative oder verbose Generierung zu kollabieren, wodurch ein stärkerer Trade-off zwischen Treue und Informativität als bei bisherigen Post-Training-Ansätzen erreicht wird.

Die Autoren weisen auf Einschränkungen hin, primär darauf, dass die Methode auf einen externen LLM-basierten Evaluator zur Extraktion und Verifizierung von Claims angewiesen ist, was bedeutet, dass ihre Leistung durch die Genauigkeit des Evaluators begrenzt ist. Zudem ist das Framework für Retrieval-gestützte Settings konzipiert, in denen Referenzdokumente verfügbar sind.