💬 NLP

Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

Die Arbeit stellt F-DPO vor, eine einfache Erweiterung von Direct Preference Optimization, die durch die Nutzung binärer Faktizitätslabels und eine entsprechende Anpassung der Präferenzpaare Halluzinationen in großen Sprachmodellen effektiv reduziert und die Faktenhaltigkeit signifikant verbessert, ohne dabei auf zusätzliche Belohnungsmodelle oder mehrstufige Trainingsverfahren angewiesen zu sein.

Ursprüngliche Autoren: Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

Veröffentlicht 2026-04-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der glatte Lügner

Stellen Sie sich einen sehr gut ausgebildeten, aber etwas naiven Assistenten vor. Er ist extrem höflich, spricht fließend und klingt immer absolut sicher. Das Problem: Wenn er etwas nicht genau weiß, erfindet er einfach eine Geschichte, die perfekt klingt, aber völlig falsch ist.

In der Welt der Künstlichen Intelligenz (KI) nennen wir das Halluzinieren.

Bisherige Methoden, um KIs „höflicher" oder „hilfreicher" zu machen (wie das Training mit menschlichen Vorlieben), haben oft ein unbeabsichtigtes Nebenprodukt: Sie belohnen den Assistenten dafür, dass er laut und selbstbewusst klingt. Wenn der Assistent also eine glatte Lüge erzählt, die gut klingt, und eine langweilige, aber wahre Antwort gibt, wählen Menschen (oder andere KIs) oft die glatte Lüge. Die KI lernt daraus: „Aha! Lügen, die gut klingen, werden belohnt!"

Die Lösung: F-DPO (Der ehrliche Lehrer)

Die Autoren dieses Papers haben eine neue Methode namens F-DPO entwickelt. Man kann sich das wie einen strengen, aber fairen Lehrer vorstellen, der dem KI-Assistenten beibringt, dass Wahrheit wichtiger ist als Stil.

Hier ist, wie F-DPO funktioniert, erklärt mit zwei einfachen Tricks:

1. Der „Ja-Nein"-Trick (Label-Flipping)

Stellen Sie sich vor, Sie haben zwei Antworten auf eine Frage:

Antwort A: Klingt super, ist aber eine glatte Lüge.
Antwort B: Klingt etwas holprig, ist aber 100 % wahr.

Normalerweise würde die KI lernen, dass Antwort A besser ist, weil sie „gewählt" wurde.
F-DPO schaut sich das genau an: Es fragt: „Ist Antwort A wahr?" -> Nein. „Ist Antwort B wahr?" -> Ja.
Dann sagt der Lehrer: „Moment! Wir drehen das um!" Er markiert die wahre Antwort (B) als die „gewählte" und die Lüge (A) als die „abgelehnte".
Die Metapher: Es ist, als würde ein Richter in einem Gerichtssaal sagen: „Egal, wie gut der Anwalt redet hat, wenn er die Fakten verdreht, verliert er den Fall." F-DPO korrigiert also die Trainingsdaten, bevor das Lernen überhaupt beginnt.

2. Der „Wahrheits-Bonus" (Factuality Margin)

Nun, wo die KI weiß, welche Antwort wahr ist, gibt es noch einen zweiten Trick.
Wenn die KI eine Antwort gibt, die wahr ist, und die andere Antwort falsch, gibt F-DPO ihr einen extra großen „Bonus" (einen mathematischen Anreiz).
Wenn beide Antworten falsch sind oder beide wahr, behandelt es sie wie gewohnt.
Die Metapher: Stellen Sie sich vor, Sie spielen ein Spiel. Wenn Sie eine richtige Antwort geben, während Ihr Gegner eine falsche gibt, bekommen Sie doppelt so viele Punkte. Das motiviert die KI, besonders darauf zu achten, die Wahrheit zu sagen, wenn sie die Wahl hat.

Warum ist das so besonders?

Bisherige Methoden waren oft kompliziert:

Sie brauchten extra „Wahrheits-Checker" (wie einen zweiten Lehrer), die das Training teuer und langsam machten.
Sie mussten jeden einzelnen Satz im Detail prüfen.

F-DPO ist dagegen wie ein einfacher, aber genialer Schalter:

Es braucht nur ein einfaches „Richtig" oder „Falsch" (wie ein Ja/Nein-Schalter).
Es braucht keine extra Lehrer-KI.
Es funktioniert in einem einzigen Schritt.

Die Ergebnisse: Der Beweis

Die Forscher haben diese Methode an sieben verschiedenen KI-Modellen getestet (von kleinen bis zu sehr großen). Das Ergebnis war beeindruckend:

Die KIs lügten viel seltener. Bei einem der Modelle sank die Lügenrate um das Fünffache.
Die KIs wurden nicht dumm oder unhöflich; sie blieben hilfreich, wurden aber ehrlicher.
Selbst bei Fragen, die sie im Training nicht gesehen hatten (wie im Test „TruthfulQA"), waren sie deutlich besser als vorher.

Fazit

F-DPO ist wie ein „Wahrheits-Filter", der in das Gehirn der KI eingebaut wird. Er sorgt dafür, dass die KI nicht lernt, einfach nur gut zu klingen, sondern lernt, sachlich richtig zu sein. Er nimmt die „glatten Lügen" aus dem Training heraus und belohnt die „wahren Antworten", auch wenn sie weniger schillernd klingen.

Für uns Menschen bedeutet das: Wir können uns mehr darauf verlassen, dass die KI uns die Wahrheit sagt, statt nur das zu sagen, was wir gerne hören wollen.

Titel: Reduzierung von Halluzinationen in LLMs durch faktenbewusstes Präferenzlernen (F-DPO)

Autoren: Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza (Vector Institute, University of Cincinnati, University of Calgary).

1. Problemstellung

Große Sprachmodelle (LLMs) neigen dazu, falsche Informationen mit großer Zuversicht und flüssigem Stil zu generieren (Halluzinationen). Dies stellt ein erhebliches Risiko in hochsensiblen Bereichen wie Medizin, Recht und Finanzen dar.

Die Schwäche bestehender Methoden: Herkömmliche Ausrichtungsmethoden (Alignment), wie Supervised Fine-Tuning (SFT) oder Direct Preference Optimization (DPO), optimieren Modelle oft basierend auf menschlichen Präferenzen. Ein kritisches Problem ist jedoch, dass menschliche Annotatoren oder Bewertungssysteme oft Flüssigkeit und Zuversicht über faktische Richtigkeit bevorzugen.
Folge: Wenn ein Modell eine falsche, aber gut formulierte Antwort gegenüber einer korrekten, aber weniger ausgearbeiteten Antwort bevorzugt wird, verstärkt das DPO dieses fehlerhafte Verhalten. Bestehende faktenbasierte Ansätze sind oft komplex, erfordern mehrstufige Trainingspipelines, externe Belohnungsmodelle oder feingranulare Token-Level-Annotationen, was den Rechenaufwand erhöht.

2. Methodik: F-DPO (Factuality-aware Direct Preference Optimization)

Die Autoren stellen F-DPO vor, eine einfache, aber effektive Erweiterung von DPO, die nur binäre Fakten-Labels (faktisch vs. halluziniert) benötigt. Der Ansatz besteht aus zwei Hauptmechanismen:

A. Datenpipeline und Konstruktion

Datengrundlage: Nutzung des Skywork Reward-Preference-Corpus (ca. 80.000 Paare).
Erweiterung: Jeder Antwort wird ein binäres Fakten-Label $h \in \{0, 1\}$ zugewiesen ($0$ = faktisch korrekt, $1$ = halluziniert), automatisiert durch ein LLM (GPT-4o-mini) als Richter.
Synthetische Daten: Um ein ausgewogenes Verhältnis der Konfigurationen zu gewährleisten, werden synthetische, halluzinierte Varianten korrekter Antworten generiert.
Label-Flipping (Korrektur): Bevor das Training beginnt, werden Präferenzpaare transformiert. Wenn die bevorzugte Antwort ( $y_w$ ) halluziniert ist ( $h_w=1$ ) und die abgelehnte Antwort ( $y_l$ ) faktisch ist ( $h_l=0$ ), werden die Labels und die Antworten getauscht. Dies stellt sicher, dass die „gewählte" Antwort im Training niemals weniger faktisch ist als die „abgelehnte".

B. Das Trainingsziel (Loss Function)

F-DPO modifiziert den Standard-DPO-Loss durch einen faktenbewussten Rand (Margin).

Faktendifferenz ( $\Delta h$ ): Definiert als $h_l - h_w$ . Nach dem Label-Flipping ist $\Delta h$ entweder $0$ (beide gleich faktisch) oder $1$ (gewählt ist faktisch, abgelehnt ist halluziniert).
Modifizierte Margin:
$m_{fact} = m_{DPO} - \lambda \cdot \Delta h$
Dabei ist $m_{DPO}$ der Standard-DPO-Margin und $\lambda$ ein Strafkoeffizient.
Wirkung:
- Wenn $\Delta h = 1$ (gewählt ist faktisch, abgelehnt halluziniert), wird der effektive Margin verkleinert (bzw. der Loss erhöht, wenn das Modell die Wahl nicht stark genug bevorzugt). Dies verstärkt den Lernsignal für faktische Korrektheit.
- Wenn $\Delta h = 0$ , reduziert sich das Ziel exakt auf Standard-DPO.
Vorteile: Kein externes Belohnungsmodell nötig, kein Token-Level-Supervision, einstufiges Training (Single-stage).

3. Wichtige Beiträge

Einführung von F-DPO: Ein einfacher, erweiterbarer DPO-Algorithmus, der binäre Fakten-Labels nutzt, um die Diskrepanz zwischen menschlicher Präferenz und faktischer Wahrheit zu korrigieren.
Zwei Mechanismen: Kombination aus Label-Flipping (Korrektur fehlerhafter Präferenzpaare) und einem faktenbasierten Margin (Straffung des Lernsignals bei klaren Faktenunterschieden).
Skalierbarkeit und Effizienz: Die Methode wurde auf sieben Open-Weight-Modellen (1B bis 14B Parameter) getestet und benötigt keine zusätzlichen komplexen Infrastrukturen.

4. Ergebnisse

Die Evaluation umfasste sieben Modelle (Qwen, LLaMA, Gemma Familien) und Benchmarks wie TruthfulQA.

Reduktion von Halluzinationen: F-DPO reduziert die Halluzinationsraten konsistent im Vergleich zu Basis-Modellen und Standard-DPO.
- Beispiel Qwen3-8B: Reduktion der Halluzinationsrate um das 5-fache (von 0,424 auf 0,084) bei gleichzeitiger Steigerung des Fakten-Scores um 50% (von 5,26 auf 7,90).
- Beispiel Qwen2.5-14B: Erzielte eine extrem niedrige Halluzinationsrate von 0,008.
Generalisierung (Out-of-Distribution): Auf dem TruthfulQA-Benchmark zeigte Qwen2.5-14B mit F-DPO signifikante Verbesserungen:
- +17% Genauigkeit bei MC1 (Single-Correct).
- +49% Genauigkeit bei MC2 (Multi-True).
- Im Gegensatz dazu verschlechterte Standard-DPO die Ergebnisse auf TruthfulQA.
Daten-Effizienz: Die Methode erreicht mit nur 25% der Trainingsdaten fast die gleiche Leistung wie mit dem vollen Datensatz.
Qualitätserhalt: Die Hilfreichkeit (Helpfulness) der Antworten bleibt erhalten oder verbessert sich sogar; es gibt keine signifikanten Trade-offs, außer bei einem spezifischen Modell (Qwen3-8B), wo eine leichte Abnahme der Hilfreichkeit bei maximaler Reduktion von Halluzinationen beobachtet wurde.

5. Bedeutung und Fazit

Paradigmenwechsel: Das Paper zeigt, dass explizite faktenbasierte Überwachung (selbst in binärer Form) entscheidend ist, um zu verhindern, dass Präferenzoptimierung flüssige, aber falsche Antworten verstärkt.
Praktische Anwendbarkeit: Da F-DPO keine teuren externen Reward-Modelle oder mehrstufigen Pipelines benötigt, ist es eine hochskalierbare und kosteneffiziente Lösung, um die Zuverlässigkeit von LLMs in kritischen Anwendungen zu erhöhen.
Ethische Implikationen: Die Methode hilft, Modelle sicherer zu machen, indem sie verhindert, dass sie Anweisungen befolgen, die auf falschen Prämissen oder illegalen Handlungen basieren (wie in den qualitativen Beispielen zu Cybersecurity und rechtlichen Umgehungen gezeigt).

Zusammenfassend bietet F-DPO einen eleganten Weg, um die „Wahrheit" in die Präferenzoptimierung von LLMs zu integrieren, indem es die Trainingsdaten korrigiert und den Lernprozess gezielt auf Fakten statt nur auf Stil ausrichtet.