🤖 AI

Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization

Dieser Beitrag stellt Reasoning-Conditioned Direct Preference Optimization (RC-DPO) vor, ein neuartiges Trainingsframework, das Halluzinationen in Multimodalen Large Reasoning Models mindert, indem es die Antwortgenerierung explizit mit logisch konsistenten, visuell fundierten Reasoning-Ketten in Einklang bringt, anstatt sie als monolithische Ausgabe zu behandeln.

Ursprüngliche Autoren: Jiawei Kong, Hao Fang, Shunxiang Liao, Jinyu Li, Bin Chen, Hao Wu, Shu-Tao Xia, Min Zhang

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiawei Kong, Hao Fang, Shunxiang Liao, Jinyu Li, Bin Chen, Hao Wu, Shu-Tao Xia, Min Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „selbstbewusste Lügner"

Stellen Sie sich einen sehr klugen Schüler (die KI) vor, der eine Prüfung über ein Bild schreibt. Dieser Schüler ist hervorragend darin, schwierige Probleme zu lösen, hat aber eine schlechte Angewohnheit: Er halluziniert häufig.

In der Vergangenheit, wenn der Schüler die endgültige Antwort falsch hatte, sagten die Lehrer einfach: „Nein, diese Antwort ist falsch." Doch dieses Papier entdeckte ein neues Problem bei „Reasoning-Modellen" (KI, die laut nachdenkt, bevor sie antwortet).

Diese Modelle liegen nicht nur bei der endgültigen Antwort falsch; sie lügen oft während sie denken.

Das Szenario: Der Schüler betrachtet ein Bild eines Lastwagens in der Wüste.
Die Lüge: In seinen „Denk"-Schritten (Chain-of-Thought) erfindet er eine Geschichte: „Ich sehe einen blauen Esstisch im Vordergrund." (Es gibt keinen Tisch).
Das Ergebnis: Weil er sich selbst davon überzeugt hat, dass es einen Tisch gibt, antwortet er selbstbewusst: „Ja, es gibt einen Esstisch."

Das Papier argumentiert, dass aktuelle Trainingsmethoden wie Lehrer sind, die nur die endgültige Antwort benoten. Sie sehen „Ja" und „Nein" und versuchen, das zu korrigieren, ignorieren aber die Tatsache, dass der Denkprozess des Schülers voller Lügen war. Der Schüler lernt, die richtige Antwort durch Glück oder durch Auswendiglernen von Abkürzungen zu erraten, ohne tatsächlich zu lernen, das Bild richtig zu betrachten.

Die Lösung: RC-DPO (Der „Denk-Trainer")

Die Autoren schlagen eine neue Trainingsmethode namens RC-DPO (Reasoning-Conditioned Direct Preference Optimization) vor.

Stellen Sie sich dies als eine neue Art vor, wie ein Trainer einen Athleten trainiert. Anstatt nur zu sagen: „Du hast das Rennen zu langsam gelaufen, versuch es noch einmal", zerlegt der Trainer es:

Die Bedingung: Der Trainer sagt: „Wenn du mit guter Form (einem wahrheitsgemäßen Denkprozess) läufst, solltest du eine Goldmedaille erhalten. Wenn du mit schlechter Form (einem lügenden Denkprozess) läufst, solltest du eine Strafe erhalten, selbst wenn du irgendwie als Erster das Ziel erreicht hast."
Das Ziel: Die KI lernt, dass eine „gute Antwort" nur gültig ist, wenn sie durch einen „guten Denkprozess" gestützt wird. Es zwingt die KI, ihr Denken mit den visuellen Beweisen in Einklang zu bringen.

Wie sie die Trainingsdaten erstellten (Die „Suchen und Beschneiden"-Strategie)

Um der KI diese neue Lektion beizubringen, benötigten die Forscher Beispiele für „Gutes Denken" versus „Schlechtes Denken". Sie ließen dies nicht einfach von Menschen schreiben, sondern bauten ein System, um sie automatisch zu generieren:

Das „Gute Denken" finden (MCTS):
Stellen Sie sich einen Detektiv vor, der versucht, ein Rätsel zu lösen. Anstatt einen Weg zu erraten, probiert der Detektiv viele verschiedene Wege aus (unter Verwendung einer Methode namens Monte-Carlo-Baumsuche). Er prüft jeden Weg, um zu sehen: „Entspricht dieser Schritt dem Foto? Ist die Logik stichhaltig?"
- Sie wählen den Weg aus, der am logischsten und visuell genauesten ist. Dies wird zur Positiven Stichprobe (das Beispiel für „Gutes Denken").
Das „Schlechte Denken" erstellen (Attention Pruning):
Um der KI beizubringen, was sie nicht tun soll, nahmen sie eine normale Antwort und brachen sie absichtlich. Sie schauten sich an, welche Wörter im „Denk"-Teil am stärksten mit dem Bild verbunden waren (wie „rot", „Lastwagen", „Staub").
- Sie beschneiden (schneiden heraus) diese wichtigen visuellen Wörter.
- Dies erzeugt eine „Schlechte Denk"-Stichprobe, die so klingt, als würde sie denken, aber tatsächlich ignoriert sie das Bild. Dies wird zur Negativen Stichprobe.

Das Ergebnis: Ein ehrlicherer Denker

Indem sie die KI trainierten, den Weg des „Guten Denkens" dem Weg des „Schlechten Denkens" vorzuziehen (selbst wenn die endgültige Antwort gleich ist), lernte das Modell, während seines Denkprozesses nicht mehr zu lügen.

Vorher: Die KI würde einen Tisch halluzinieren, darüber nachdenken und mit „Ja" antworten.
Nachher: Die KI betrachtet das Bild, sieht keinen Tisch, denkt „Ich sehe einen Lastwagen und eine Scheune, aber keinen Tisch" und antwortet mit „Nein".

Zusammenfassung

Das Papier behauptet, dass wir, um zu verhindern, dass KI halluziniert (Dinge erfindet), nicht nur die endgültige Antwort korrigieren können. Wir müssen den Denkprozess selbst korrigieren. Ihre neue Methode, RC-DPO, wirkt wie ein strenger Trainer, der sagt: „Du kannst nicht die richtige Antwort bekommen, wenn deine Argumentation eine Lüge ist." Indem sie das Modell trainieren, gute Antworten strikt an gute, evidenzbasierte Argumentation zu koppeln, reduzierten sie die Anzahl der Halluzinationen in diesen komplexen Vision-Sprach-Modellen erheblich.

Technische Zusammenfassung: Reasoning Matters: Reduzierung von Halluzinationen in multimodalen großen Reasoning-Modellen durch reasoning-konditionierte Präferenzoptimierung

Problemstellung

Multimodale große Reasoning-Modelle (MLRMs) haben durch die explizite Generierung von Zwischenschritten des Reasonings (Chain-of-Thought, kurz CoT) vor der Ausgabe der endgültigen Antwort starke Fähigkeiten bei komplexen Vision-Language-Aufgaben unter Beweis gestellt. Dennoch bleiben diese Modelle anfällig für Halluzinationen, also die Generierung von Inhalten, die plausibel erscheinen, aber nicht mit den visuellen Eingaben übereinstimmen. Im Gegensatz zu herkömmlichen multimodalen großen Sprachmodellen (MLLMs), bei denen Halluzinationen typischerweise im finalen Output auftreten, können Halluzinationen in MLRMs innerhalb des intermediären CoT entstehen und sich anschließend auf die endgültige Antwort fortpflanzen.

Bestehende trainingsbasierte Minderungsmaßnahmen, wie die Direct Preference Optimization (DPO), behandeln den CoT und die endgültige Antwort in der Regel als monolithischen Output. Die Arbeit stellt fest, dass diese Optimierung auf Antwortebene sich ähnlich wie eine Optimierung nur der Antwort verhält, wobei sie vorwiegend Präferenzen auf Antwortebene lernt und die Überwachung auf CoT-Ebene unzureichend nutzt. Folglich bleiben verbleibende Halluzinationen in der Reasoning-Kette oft bestehen und dominieren die Gesamtfehlerquote der vollständigen Antwort.

Methodik: RC-DPO

Um die Unzulänglichkeit grobgranularer Überwachung zu adressieren, schlagen die Autoren die Reasoning-Conditioned Direct Preference Optimization (RC-DPO) vor. Dieses Framework modelliert explizit die Beziehung zwischen Reasoning-Ketten und endgültigen Antworten, indem es den CoT als Bedingung für die Antwortgenerierung behandelt.

1. Kernziel

Anstatt die gesamte Antwort $(c, a)$ gemeinsam zu optimieren, kontrastiert RC-DPO die Wahrscheinlichkeit der Generierung derselben bevorzugten Antwort ( $a_w$ ) unter verschiedenen CoT-Bedingungen:

Bevorzugte Bedingung ( $c_w$ ): Eine visuell fundierte und logisch gültige Reasoning-Kette.
Abgelehnte Bedingung ( $c_l$ ): Eine halluzinierte oder korrupte Reasoning-Kette.

Die Zielfunktion isoliert den Effekt der Reasoning-Kette auf die Antwortgenerierung. Sie maximiert die Differenz zwischen der bedingten Wahrscheinlichkeit der bevorzugten Antwort gegeben eine hochwertige CoT im Vergleich zu einer korrupten CoT:
$L_{RC} = -\log \sigma \left( \beta \left[ \log \frac{\pi_\theta(a_w|x, c_w)}{\pi_{ref}(a_w|x, c_w)} - \log \frac{\pi_\theta(a_w|x, c_l)}{\pi_{ref}(a_w|x, c_l)} \right] \right)$
Das finale Trainingsziel kombiniert diesen reasoning-konditionierten Verlust mit der Standard-DPO auf Antwortebene:
$L = L_{DPO} + \lambda L_{RC}$

2. Konstruktion von Präferenzdaten

RC-DPO erfordert die Konstruktion von Präferenzpaaren $(x, c_w, a_w, c_l, a_l)$ , ohne auf externe Ground-Truth-Annotationen oder stärkere Modelle zurückzugreifen. Die Autoren führen eine Pipeline ein, die die eigenen Ausgaben des Modells nutzt:

Konstruktion positiver Stichproben (MCTS): Die Autoren setzen Monte-Carlo-Baumsuche (MCTS) ein, um hochwertige Reasoning-Trajektorien zu entdecken. Ausgehend von einem supervised fine-tuned (SFT)-Modell erweitert MCTS Kandidaten-Reasoning-Schritte und verwendet einen Verifizierer, um Trajektorien basierend auf visueller Konsistenz, logischer Gültigkeit und Antwortkorrektheit zu bewerten. Die Trajektorie mit der höchsten Punktzahl wird als positive Stichprobe $(c_w, a_w)$ ausgewählt.
Konstruktion negativer Stichproben (Attention-Guided Pruning): Um herausfordernde negative Stichproben zu erstellen, wenden die Autoren eine Strategie zur Token-Pruning an, die von der Bild-Attention geleitet wird. Sie berechnen die Attention-Scores jedes CoT-Tokens zu den Bild-Tokens. Tokens mit hoher visueller Relevanz werden identifiziert und aus dem ursprünglichen CoT entfernt (gepruned). Dies stört die visuelle Fundierung der Reasoning-Kette und erzeugt eine korrupte CoT ( $c_l$ ), die als negative Bedingung für dieselbe Antwort dient.

3. Trainingspipeline

CoT-Format-Ausrichtung: Eine Warm-up-SFT-Phase richtet das Modell an einem strukturierten CoT-Format aus (schrittweises Reasoning gefolgt von einer Antwort), um MCTS-Operationen zu erleichtern.
Datengenerierung: MCTS und attention-gesteuertes Pruning generieren den Präferenzdatensatz.
Optimierung: Das Modell wird unter Verwendung des kombinierten Ziels $L_{DPO} + \lambda L_{RC}$ trainiert.

Hauptbeiträge

Analyse bestehender DPO: Die Arbeit zeigt auf, dass die Standard-DPO auf Antwortebene zu einer Optimierung auf Antwortebene neigt und Halluzinationen auf CoT-Ebene unzureichend adressiert.
RC-DPO-Framework: Die Vorstellung eines feingranularen Präferenzoptimierungs-Frameworks, das Reasoning-Ketten explizit ausrichtet, indem es dieselbe bevorzugte Antwort unter verschiedenen CoT-Bedingungen kontrastiert.
Strategie zur Datengenerierung: Die Einführung einer eigenständigen Pipeline zur Generierung von Präferenzdaten, die MCTS für das positive Sampling und attention-gesteuertes Token-Pruning für den Aufbau negativer Stichproben nutzt.
Empirische Validierung: Umfassende Experimente mit vier MLRMs und neun Benchmarks, die die Wirksamkeit des Ansatzes belegen.

Experimentelle Ergebnisse

Die Autoren evaluierten RC-DPO an vier repräsentativen MLRMs: R1-Onevision-7B, MM-Eureka-7B, ThinkLite-VL-7B und OpenVLThinker-7B.

Reduzierung von Halluzinationen: Auf dem Object HalBench erreichte RC-DPO konsistent die niedrigsten CHAIRS- und CHAIRI-Werte über alle Modelle hinweg und schnitt deutlich besser ab als Baselines wie VCD, SID, RLAIF-V und OPA-DPO. Beispielsweise wurde bei R1-Onevision CHAIRS von 36,7 (Vanilla) auf 21,7 (RC-DPO) reduziert.
Objektexistenz: Auf dem POPE-Benchmark erzielte RC-DPO die besten Genauigkeits- und F1-Werte in zufälligen, populären und adversarialen Settings, was auf eine verbesserte Erkennung der Objektexistenz hindeutet.
Offene Generierung: Auf MMHal-Bench und in GPT-4-unterstützten Evaluationen reduzierte RC-DPO die Halluzinationsraten, während die deskriptive Qualität und Flüssigkeit erhalten blieben oder verbessert wurden.
Allgemeine Fähigkeiten: Evaluationen auf MME, MMBench, VMCBench und MMVP zeigten, dass RC-DPO keine allgemeinen multimodalen Wahrnehmungs- oder Reasoning-Fähigkeiten opfert; in vielen Fällen verbesserte es die Leistung bei feingranularen visuellen Aufgaben (z. B. OCR und Positionsidentifikation).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die explizite Ausrichtung von intermediären Reasoning-Ketten entscheidend für den Aufbau vertrauenswürdiger und zuverlässiger MLRMs ist. Durch den Wechsel von einer grobgranularen Optimierung auf Antwortebene zu einer feingranularen, reasoning-konditionierten Optimierung adressiert RC-DPO die Ursache der Fortpflanzung von Halluzinationen in Reasoning-Modellen. Die Autoren betonen, dass ihre Methode Halluzinationen sowohl im intermediären CoT als auch in der finalen Antwort effektiv reduziert und zu einem vertrauenswürdigeren multimodalen Reasoning führt, ohne allgemeine Fähigkeiten zu beeinträchtigen. Die Arbeit hebt hervor, dass die Behandlung des CoT als Bedingung für die Antwortgenerierung ein direktes Trainingssignal für das Erlernen von answer-unterstützenden Reasoning-Präferenzen bietet.