💻 computer science

Context Blindness in DPO: Mitigating Object Hallucination in MLLMs via Context-Calibrated Preference Optimization

Dieses Paper identifiziert, dass das Standardverfahren der Direct Preference Optimization (DPO) kontextuelle Informationen unternutzt, was zu Objekt-Halluzinationen in multimodalen großen Sprachmodellen führt, und schlägt Context-Calibrated DPO (C²-DPO) vor, eine Methode, die den kontextuellen Präferenzgewinn explizit maximiert, um Halluzinationen signifikant zu reduzieren, während allgemeine Fähigkeiten zur Argumentation erhalten bleiben.

Ursprüngliche Autoren: Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

Veröffentlicht 2026-08-13

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, die Welt um ihn herum zu beschreiben. Sie zeigen ihm ein Bild eines Hundes und fragen: „Was siehst du?“ Idealerweise sollte der Roboter sagen: „Ich sehe einen Hund.“ Aber manchmal werden diese KI-Modelle ein wenig zu kreativ. Sie könnten sagen: „Ich sehe einen Hund, der einen roten Hut trägt“, obwohl kein Hut im Bild zu sehen ist. Das nennt man „Halluzination“. Es ist, als ob der Roboter tagträumen würde, anstatt auf das zu schauen, was tatsächlich da ist.

Um dies zu beheben, nutzen Wissenschaftler eine Trainingsmethethode namens „Preference Optimization“ (Präferenzoptimierung). Denken Sie an es wie ein Spiel von „Heiß oder Kalt“. Sie zeigen dem Roboter zwei Antworten: eine, die wahr ist (die „heiße“ Antwort), und eine, die erfunden ist (die „kalte“ Antwort). Der Robot lernt, die heiße Antwort zu wählen. Vor kurzem haben Forscher versucht, dies noch besser zu machen, indem sie dem Roboter zusätzliche Hinweise gaben, wie zum Beispiel eine schriftliche Beschreibung des Bildes, in der Hoffnung, dass er diese Hinweise nutzt, um das Tagträumen zu stoppen. Aber hier ist die große Frage: Nutzt der Roboter diese Hinweise tatsächlich, oder ignoriert er sie einfach und rät stattdessen?

Genau dies untersucht das Paper „Context Blindness in DPO“. Die Autoren, ein Team von Forschern der Korea University und der KAIST, entdeckten, dass viele KI-Modelle selbst mit diesen zusätzlichen Hinweisen unter „Context Blindness“ (Kontextblindheit) leiden. Sie fanden heraus, dass die Standard-Trainingsmethoden den Roboter nicht wirklich dazu bringen, den zusätzlichen Informationen Aufmerksamkeit zu schenken. Um dies zu beheben, haben sie eine neue Trainingsmethode namens C2-DPO (Context-Calibrated Direct Preference Optimization) erfunden. Anstatt dem Roboter nur zu sagen, welche Antwort besser ist, lehrt C2-DPO den Roboter, viel sicherer in der richtigen Antwort zu sein, wenn er zusätzliche Hinweise hat, und auch dann sicher zu bleiben, wenn die Hinweise fehlen. Ihre Experimente zeigen, dass diese neue Methode das Tagträumen des Roboters erheblich reduziert und ihn zu einem viel zuverlässigeren Beobachter der realen Welt macht.

Das Problem: Die Tagträumerei des Roboters

Multimodale Large Language Models (MLLMs) sind wie Super-Kameras mit Gehirn. Sie können ein Foto betrachten und darüber sprechen. Aber sie haben eine störende Angewohnheit: Sie erfinden oft Details. Wenn man ihnen das Bild eines schlichten weißen Tellers zeigt, sagen sie vielleicht selbstbewusst: „Da liegt eine Pizzascheibe auf dem Teller.“ Der Satz klingt perfekt, aber es ist eine Lüge. Dies ist „Objekt-Halluzination“.

Um dies zu stoppen, nutzen Wissenschaftler eine Methode namens Direct Preference Optimization (DPO). Stellen Sie sich vor, Sie sind ein Lehrer, der den Aufsatz eines Schülers bewertet. Sie haben zwei Versionen: Eine ist korrekt, die andere ist voller Lügen. Sie sagen dem Schüler: „Ich bevorzuge die korrekte.“ Mit der Zeit lernt der Schüler, so zu schreiben wie die korrekte Version. In der Welt der KI geben Forscher dem Modell Paare von Antworten – eine wahre, eine halluzinierte – und trainieren es darauf, immer die wahre zu wählen.

Vor kur Jahren versuchten einige Forscher, der KI noch mehr zu helfen. Sie fügten dem Bild vor der Fragestellung einen „Hilfstext“ (wie eine Bildunterschrift) hinzu. Die Idee war: „Wenn der Roboter die Bildunterschrift liest und das Bild betrachtet, wird er nichts erfinden.“ Aber die Autoren dieses Papers stellten eine verdächtige Frage: Liest der Roboter die Bildunterschrift wirklich, oder ignoriert er sie einfach und rät trotzdem?

Die Entdeckung: Der „blinde“ Roboter

Um die Antwort zu finden, entwickelten die Autoren einen einfachen Test namens Contextual Preference Gain (CPG). Betrachten Sie CPG als einen „Konfidenz-Meter“ (Vertrauens-Messgerät).

So funktioniert der Test:

Der volle Kontext: Sie zeigen dem Roboter ein Bild plus eine hilfreiche Bildunterschrift. Sie fragen: „Ist Pizza auf dem Teller?“ Der Robbot sagt: „Nein, er ist leer.“ Sie prüfen, wie sicher er sich ist.
Der degradierte Kontext: Sie nehmen die Bildunterschrift weg. Sie zeigen dem Roboter nur das Bild und stellen dieselbe Frage. Der Roboter sagt: „Nein, er ist leer.“ Sie prüfen erneut, wie sicher er sich ist.

Wenn der Roboter wirklich aufpasst, sollte er viel sicherer sein, wenn er die Bildunterschrift hat. Der „Konfidenz-Meter“ (CPG) sollte steigen. Das ist es, was ein intelligenter, fundierter Roboter tun sollte.

Als die Autoren jedoch Standard-KI-Modelle testeten (unter Verwendung der üblichen DPO-Trainingsmethode), fanden sie etwas Schockierendes. Der Konfidenz-Meter bewegte sich kaum. Ob der Roboter nun die Bildunterschrift hatte oder nicht, er fühlte sich exakt gleich sicher. Der Roboter war kontextblind. Er ignorierte die zusätzliche Hilfe und verließ sich auf seine eigenen Vermutungen, was zu diesen lästigen Halluzinationen führte.

Die Autoren fanden eine starke Verbindung: Je mehr der Konfidenz-Meter des Modells durch zusätzliche Hinweise anstieg (hoher CPG), desto weniger Lügen erzählte es. Aber die Standardmodelle hatten einen CPG nahe Null. Sie waren im Wesentlichen „blind“ für den Kontext, den sie eigentlich nutzen sollten.

Die Lösung: C2-DPO (Der „kontext-kalibrierte“ Trainer)

Wie bringt man also einem blinden Roboter bei zu sehen? Die Autoren schlugen eine neue Trainingsmethode namens C2-DPO vor.

Anstatt nur zu sagen: „Wähle die richtige Antwort“, ändert C2-DPO die Regeln des Spiels. Es zwingt den Roboter, eine spezifische Lektion zu lernen: „Wenn du zusätzliche Hinweise hast, musst du dir deiner Antwort viel sicherer sein als wenn du keine hast.“

Dies erreichen sie mit einem speziellen mathematischen Trick (einer Loss-Funktion), der den Roboter belohnt, wenn er die Lücke zwischen seinen Konfidenzniveaus vergrößert.

Szenario A (Voller Kontext): Der Roboter sieht das Bild und die Bildunterschrift. Er muss sich sehr sicher sein, dass die Antwort korrekt ist.
Szenario B (Degradierter Kontext): Der Roboter sieht nur das Bild. Er muss immer noch sicher sein, aber das Training stellt sicher, dass die Konfidenz im „vollen Kontext“ signifikant höher ist.

Es ist wie das Training eines Detektivs. Ein Standard-Detektiv könnte einen Fall mit oder ohne Zeugen lösen. Aber ein C2-DPO-Detektiv wird darauf trainiert zu sagen: „Wenn ich einen Zeugen habe, bin ich mir zu 100 % sicher! Wenn nicht, bin ich mir immer noch recht sicher, aber ich weiß, dass ich mehr Beweise brauche.“ Dies zwingt die KI dazu, die zusätzlichen Informationen (den Zeugen/die Bildunterschrift) tatsächlich zu nutzen, um ihre Argumentation zu stärken.

Die Ergebnisse: Weniger Tagträumen, mehr Wahrheit

Die Autoren testeten diese neue Methode an mehreren berühmten KI-Modellen, darunter LLaVA-v1.5-7B und Qwen2-VL-Instruct-2B. Sie verglichen C2-DPO mit den alten Standardmethoden in einem Test namens Object HalBench, der darauf ausgelegt ist, Roboter zu entlarven, die Objekte erfinden.

Die Ergebnisse waren beeindruckend:

Für das Modell Qwen2-VL-Instruct-2B reduzierte C2-DPO die Rate der halluzinierten Antworten um 36 % und die Rate der halluzinierten Erwähnungen (spezifische Wörter) um 60 %.
Auf dem AMBER-Benchmark sank der Halluzinationswert von 39,9 (mit der alten Methode) auf 16,1 (mit C2-DPO).
Entscheidend war, dass die Modelle bei anderen Aufgaben nicht „dümmer“ wurden. Sie beantworteten allgemeine Fragen und lösten Logikrätsel weiterhin genauso gut wie zuvor. Sie hörten lediglich auf, Dinge zu erfinden.

Die Autoren zeigten auch, dass dieser Trick auch ohne Bilder funktioniert. Als sie dieselbe Logik auf rein textbasierte Modelle anwandten (nur mit Fragen und Antworten), verbesserte dies immer noch deren Genauigkeit. Dies deutet darauf hin, dass das Problem nicht nur das „Sehen“ des Bildes war, sondern wie das Modell lernte, die ihm gegebenen Informationen zu bewerten.

Warum das wichtig ist

Dieses Paper legt nahe, dass die Art und Weise, wie wir KI derzeit trainieren, um „ehrlich“ zu sein, möglicherweise eine entscheidende Zutat vermissen lässt. Wir haben ihnen zusätzliche Hinweise gegeben und gehofft, dass sie diese nutzen, aber die Trainingsmethode hat sie nicht dazu gezwungen, darauf zu achten. Durch die einfache Anpassung des Trainings, um „kontextbewusste Konfidenz“ zu belohnen, haben die Autoren gezeigt, dass wir KI-Modelle signifikant zuverlässiger machen können, ohne massiv neue Datensätze oder komplexe neue Architekturen zu benötigen.

Es ist eine Erinnerung daran, dass der beste Weg, einen Roboter am Tagträumen zu hindern, manchmal nicht darin besteht, ihm mehr Daten zu geben, sondern ihm beizubringen, wie er die Daten, die er bereits hat, zu bewerten. Wie die Autoren feststellten: Wenn man das Modell darauf kalibriert, den Kontext zu respektieren, verschwinden die Halluzinationen und der Roboter beginnt, die Wahrheit zu sagen.

Technisches Resümee: Kontextblindheit in DPO: Abschwächung von Objekt-Halluzinationen in MLLMs durch kontextkalibrierte Präferenzoptimierung

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben signifikante Fortschritte bei visuell-sprachlichen Aufgaben erzielt, sind jedoch anfällig für Objekt-Halluzinationen, bei denen die Modelle semantisch plausible Beschreibungen generieren, die im Widerspruch zum visuellen Input stehen. Während Direct Preference Optimization (DPO) und dessen Varianten eingesetzt wurden, um dies zu mildern, indem Modelle darauf trainiert werden, nicht-halluzinierte Antworten gegenüber hallucinierten zu bevorzugen, haben jüngste Bemühungen, die Präferenzdaten mit relevantem Kontext (z. B. Hilfskapitionen) anzureichern, unklare Ergebnisse hinsichtlich der tatsächlichen Nutzung dieses Kontexts durch das Modell geliefert.

Die Autoren identifizieren eine grundlegende Einschränkung bestehender Präferenzoptimierungsziele: Diese sind kontextblind. Standard-DPO optimiert die Präferenzmarge für einen festen Input $x$ , belohnt das Modell jedoch nicht explizit dafür, seine Präferenz zu verstärken, wenn reichhaltigere kontextuelle Informationen bereitgestellt werden. Infolgedessen versäumen es Modelle oft, trotz des Trainings mit Daten, die hilfreichen Kontext enthalten, diesen Kontext zu nutzen, um ihre Antworten zu erden, was zu persistierenden Halluzinationen führt.

2. Methodik

2.1 Diagnostische Metrik: Contextual Preference Gain (CPG)

Um zu untersuchen, ob Modelle Kontext tatsächlich nutzen, führen die Autoren den Contextual Preference Gain (CPG) ein. Diese Metrik quantifiziert die Änderung der Präferenzstärke eines Modells, wenn zusätzlicher relevanter Kontext bereitgestellt wird.

Gegeben sei ein vollständiger Kontext-Input $x$ (Bild, Abfrage und Hilfskapition) und ein degradierter Kontext-Input $x'$ (Bild und Abfrage, wobei die Kapition entfernt wurde), ist der Präferenz-Score definiert als die implizite Reward-Marge zwischen der bevorzugten Antwort ( $y_w$ ) und der weniger bevorzugten Antwort ( $y_l$ ):
$\Delta \hat{r}_\theta(x, y_w, y_l) = \hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l)$

CPG wird als die Differenz dieser Scores berechnet:
$\text{CPG}(x, x') = \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l)$

Wichtige Beobachtungen:

Korrelation: Es besteht eine starke negative Korrelation zwischen CPG und Halluzinationsraten; Modelle mit höherem CPG weisen konsistent geringere Halluzinationen auf.
Kontextblindheit: Standard-DPO und dessen Varianten (SimPO, RDPO) zeigen CPG-Verteilungen, die nahe bei Null konzentriert sind. Dies deutet darauf hin, dass das Entfernen des Hilfskontexts die Präferenz des Modells kaum verändert, was offenbart, dass diese Modelle kontextuelle Informationen nicht effektiv zur Erdung nutzen.

2.2 Vorgeschlagene Lösung: Context-Calibrated DPO (C2-DPO)

Um die Kontextblindheit zu adressieren, schlagen die Autoren C2-DPO vor, ein Framework, das explizit den CPG maximiert und gleichzeitig die korrekte Präferenzordnung unter degradierten Bedingungen beibehält. Der Ansatz ist als ein optimiertes Problem mit Nebenbedingungen formuliert:

Ziel: Maximierung der Präferenzmarge unter vollem Kontext ( $x$ ).
Nebenbedingung 1: Die Präferenzmarge unter vollem Kontext muss größer sein als unter degradiertem Kontext ( $x'$ ), um einen positiven CPG zu gewährleisten.
Nebenbedingung 2: Die Präferenzmarge unter degradiertem Kontext muss positiv bleiben, um sicherzustellen, dass das Modell auch ohne Hilfsreize weiterhin die korrekte Antwort bevorzugt.

Diese Nebenbedingungen werden in ein differenzierbares Trainingsziel überführt, das aus drei Termen besteht:
$\mathcal{L}_{\text{C}^2\text{-DPO}}(x, x') = \mathcal{L}_{\text{DPO}}(x) + \lambda_c \mathcal{L}_c(x, x') + \lambda_u \mathcal{L}_{\text{DPO}}(x')$

$\mathcal{L}_{\text{DPO}}(x)$ : Standard-DPO-Loss auf dem vollen Kontext zur Aufrechterhaltung des Alignments.
$\mathcal{L}_c(x, x')$ (Contextual Preference Calibration Loss): Ein kontrastiver Loss, der den vollen Kontext als positiv und den degradierten Kontext als negativ behandelt und explizit die Differenz (CPG) zwischen ihnen maximiert.
$\mathcal{L}_{\text{DPO}}(x')$ : Standard-DPO-Loss auf dem degradierten Kontext, um sicherzustellen, dass das Modell auch bei fehlendem Kontext eine korrekte Präferenzordnung beibehält, wodurch verhindert wird, dass das Modell lediglich den Score der bevorzugten Antwort senkt, um den CPG künstlich aufzublähen.

3. Kernbeiträge

Identifizierung von Kontextblindheit: Die Autoren zeigen auf, dass bestehende Methoden der Präferenzoptimierung keine kontextuellen Informationen nutzen, was durch CPG-Verteilungen nahe Null belegt wird.
Einführung von CPG: Eine diagnostische Metrik, die die Beziehung zwischen Kontextnutzung und Halluzinationsraten quantifiziert und zeigt, dass ein höherer CPG mit reduzierten Halluzinationen korreliert.
C2-DPO Framework: Eine allgemeine Methode zur Präferenzausrichtung, die explizit auf den kontextuellen Präferenzgewinn optimiert. Es ist modellagnostisch konzipiert und kann nahtlos in verschiedene Varianten der Präferenzoptimierung (DPO, SimPO, RDPO) integriert sowie sowohl auf multimodalen als auch auf rein textbasierten Settings angewendet werden.

4. Experimentelle Ergebnisse

Die Autoren evaluierten C2-DPO an zwei MLLMs (LLaVA-v1.5-7B und Qwen2-VL-Instruct-2B) über mehrere Benchmarks hinweg.

Reduktion von Halluzinationen:
- Auf Object HalBench reduzierte C2-DPO die Halluzinationsrate von Qwen2-VL-Instruct-2B um 36 % (Response-Level) und 60 % (Mention-Level) im Vergleich zum Baseline-Modell und übertraf damit State-of-the-Art-Methoden wie C-DPO und HA-DPO.
- Auf AMBER erreichte C2-DPO einen Halluzinationswert von 16,1, was signifikant niedriger ist als bei Vanilla-DPO (39,9) und C-DPO (17,5).
- Die Verbesserungen waren konsistent über verschiedene Modellskalen und Architekturen hinweg.
Erhalt des allgemeinen Denkvermögens:
- C2-DPO behielt eine starke Leistung bei allgemeinen multimodalen Reasoning-Benchmarks (ScienceQA, MM-Vet, TextVQA) bei, was zeigt, dass die Reduktion von Halluzinationen nicht die allgemeinen Instruktionsfolgebarkeits- oder Reasoning-Fähigkeiten beeinträchtigt.
Generalisierbarkeit:
- Varianten: Die Integration des Kalibrierungs-Loss in SimPO und RDPO (resultierend in C2-SimPO und C2-RDPO) lieferte konsistente Verbesserungen, was die Orthogonalität der Methode zum zugrunde liegenden Optimierungsziel bestätigt.
- Text-only: In Text-only LLM-Settings (AlpacaEval 2) verbesserte die Anwendung der Kalibrierungsstrategie die Performance sowohl für DPO als auch für SimPO, was darauf hindeutet, dass das Prinzip der kontextbewussten Präferenzmodellierung über multimodale Domänen hinausgeht.
Robustheit:
- Experimente mit verrauschtem Kontext (zufälliges Maskieren von Kapitionen) zeigten, dass C2-DPO robust bleibt, wobei sich die Performance-Lücke zwischen C2-DPO und den Baselines mit zunehmendem Rauschen vergrößert.
Lernmechanik:
- Die Trainingsanalyse zeigte, dass C2-DPO den CPG während des Trainings stetig erhöht, während Baseline-Methoden (wie C-DPO) nahe bei Null bleiben.
- Es wurde beobachtet, dass der CPG linear mit der Menge des relevanten Kontexts (Satz- und Wortanzahl) ansteigt, was die Sensitivität des Modells gegenüber der Kontextreichhaltigkeit bestätigt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die primäre Einschränkung der aktuellen Präferenzoptimierung in MLLMs nicht die Qualität der Daten ist, sondern die Unfähigkeit des Optimierungsziels, die Kontext-Erdung zu erzwingen. Durch die explizite Modellierung dessen, wie Kontext die Präferenz formt, bietet C2-DPO einen fundierten Ansatz zur Milderung von Objekt-Halluzinationen.

Die Autoren betonen, dass ihre Methode:

Keine komplexen architektonischen Änderungen oder zusätzliche Reward-Modelle erfordert.
Nur auf dem Kontrast zwischen vollem und degradiertem Input basiert, was sie für andere Modalitäten und Aufgaben anwendbar macht, bei denen Kontext definiert werden kann.
Eine einheitliche Strategie zur Verbesserung der Zuverlässigkeit in der Präferenzoptimierung bietet, die Vorteile der multimodalen Erdung auf die textbasierte faktische Ausrichtung ausweitet.

Die Arbeit kommt zu dem Schluss, dass die explizite Kalibrierung von Präferenz-Scores in Bezug auf kontextuelle Informationen ein breit anwendbares Prinzip zur Verbesserung der faktischen Zuverlässigkeit generativer Modelle ist.