💬 NLP

Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization

Dieses Paper schlägt In-Context Visual Contrastive Optimization (IC-VCO) vor, ein mathematisch fundiertes Framework, das durch Visual Contrast Distillation und präzise Hard-Negative-Generierung verstärkt wird, um multimodale Halluzinationen in Vision-Language-Modellen effektiv zu mildern, indem es die Einschränkungen bestehender visueller Präferenzmethoden adressiert.

Ursprüngliche Autoren: Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „tagäumende“ KI

Stellen Sie sich einen sehr klugen Schüler (die KI) vor, der eine Prüfung über ein Bild ablegt. Der Schüler ist gut darin zu lesen und zu sprechen, aber manchmal, wenn er ein Foto betrachtet, lässt er sich ablenken und beginnt zu „tagträumen“. Er beschreibt vielleicht Dinge, die gar nicht da sind, oder ignoriert das, was tatsächlich im Bild zu sehen ist, indem er sich stattdessen auf das verlässt, was er in solchen Situationen normalerweise erwartet. Dies nennt man multimodale Halluzination.

Lange Zeit versuchten Lehrer (Forscher), dies zu beheben, indem sie einfach nur die Worte des Schülers korrigierten. Sie sagten: „Du hast gesagt, da sei eine Katze, aber das Bild zeigt einen Hund. Versuch es noch einmal.“ Aber die Arbeit argumentiert, dass dies nicht ausreicht, weil der Lehrer den Schüler nicht gezwungen hat, das Bild tatsächlich genau anzusehen; er hat nur den Text korrigiert.

Der alte Weg: Die „Austauschen-und-Vergessen“-Methode

Frühere Versuche zur Behebung beinhalteten eine Methode der „visuellen Präferenz“. Stellen Sie sich vor, man zeigt dem Schüler zwei verschiedene Fotos:

Foto A: Ein echtes Foto eines Hundes.
Foto B: Ein völlig anderes Foto einer Katze.

Der Lehrer fragt: „Welches Bild passt zum Satz ‚Da ist ein Hund‘?“

Das Problem 1 (Das Matheproblem): Die alte Methode versuchte, die Antwort des Schülers für Foto A mit der von Foto B zu vergleichen. Da die Fotos jedoch so unterschiedlich waren, wurde die Mathematik hinter dem Training „unordentlich“. Es war, als würde man versuchen, den Preis eines Apfels mit dem Preis eines Autos zu vergleichen, um zu entscheiden, welches eine bessere Frucht ist. Der Vergleich war nicht fair oder mathematisch fundiert.
Das Problem 2 (Der Cheat-Code): Das „schlechte“ Foto (Foto B) war oft so offensichtlich anders (vielleicht ein anderer Stil, eine andere Beleuchtung oder ein anderer Hintergrund), dass der Schüler schummeln konnte. Anstatt zu lernen, einen Hund zu erkennen, lernte der Schüler einfach: „Oh, wenn das Bild komisch aussieht oder einen anderen Hintergrund hat, ist das die falsche Antwort.“ Er nahm eine Abkürzung, anstatt die feinen Details zu lernen.

Die neue Lösung: IC-VCO

Die Autoren schlagen ein neues Framework namens IC-VCO (In-Context Visual Contrastive Optimization) vor. Betrachten Sie dies als ein intelligenteres, strengeres Trainingslager.

1. Der „Nebeneinander“-Vergleich (In-Context Visual Contrast)

Anstatt dem Schüler zwei verschiedene Tests an verschiedenen Tagen zu zeigen, legt IC-VCO beide Fotos gleichzeitig auf denselben Schreibtisch.

Der Aufbau: Der Schüler sieht Foto A (den Hund) und Foto B (die Katze) nebeneinander.
Die Anweisung: Der Lehrer zeigt darauf und sagt: „Für diese spezifische Frage schaue nur auf das erste Foto.“ Dann, für die nächste Frage, sagt er: „Schau nun nur auf das zweite Foto.“
Warum es funktioniert: Da beide Fotos im gleichen „Kontext“ (auf demselben Schreibtisch) liegen, funktioniert die Mathematik perfekt. Der Schüler kann nicht schummeln, indem er auf den Hintergrundstil achtet, da die Hintergründe identisch sind; er muss sich auf das spezifische Objekt konzentrieren, auf das der Lehrer zeigt. Dies löst das Problem der „unordentlichen Mathematik“.

2. Die „chirurgische Bearbeitung“ (Contrastive Sample Editing)

Um den Schüler daran zu hindern, Abkürzungen zu nehmen, haben die Autoren eine neue Art und Weise entwickelt, die „falschen“ Fotos zu erstellen.

Alter Weg: Sie hätten ein völlig neues Bild von Grund auf neu generiert. Es wäre so, als würde man das ganze Klassenzimmer durch ein anderes ersetzen. Der Schüler könnte leicht erkennen: „Das ist nicht das richtige Zimmer.“
Neuer Weg (Chirurgische Bearbeitung): Sie nehmen das Originalfoto und nehmen eine winzige, präzise Änderung vor.
- Beispiel: Wenn das Foto einen roten Apfel zeigt, ändern sie ihn chirurgisch in einen grünen Apfel, lassen aber den Tisch, die Beleuchtung und den Hintergrund exakt gleich.
- Das Ergebnis: Der Schüler kann nicht schummeln, indem er auf den Hintergrund achtet. Er muss genau hinschauen, um zu sehen, dass der Apfel grün ist und nicht rot. Dies zwingt die KI, feingliedrige Details zu lernen, anstatt nach dem allgemeinen „Vibe“ zu raten.

3. Die „Brücke“ (Visual Contrast Distillation)

Es gibt einen Haken: Das Training findet mit zwei Fotos auf dem Schreibtisch statt, aber in der realen Welt sieht die KI meistens nur ein Foto zur Zeit.

Das Problem: Wenn man den Schüler nur mit „Nebeneinander“-Vergleichen trainiert, könnte er verwirrt sein, wenn er allein in einem Raum mit nur einem Foto ist.
**Die Lösung (Distillation): Die Autoren haben einen „Brücken“-Schritt hinzugefügt. Sie nutzen die Leistung des Schülers beim „Nebeneinander“-Test als Leitfaden, um ihm zu helfen, seine Leistung beim „Einzelbild“-Test zu verbessern. Es ist wie ein Trainer, der den Schüler beim Training mit einem Partner beobachtet und ihm dann Tipps gibt, wie er diese Fähigkeiten anwenden kann, wenn er alleine übt.

Die Ergebnisse

Die Autoren haben diese neue Methode in fünf verschiedenen „Prüfungen“ (Benchmarks) getestet, die darauf ausgelegt sind, KI-Halluzinationen zu entlarven.

Das Ergebnis: Die IC-VCO-Methode schnitt besser ab als alle bisherigen Methoden.
Das Geheimrezept: Die „chirurgische Bearbeitung“ (das Vornehmen winziger, präziser Änderungen an den Fotos) war der entscheidende Faktor. Es hat bewiesen, dass, wenn man der KI „schwere“ Beispiele gibt, die fast identisch aussehen, aber einen einzigen kleinen Unterschied aufweisen, die KI viel besser lernt, auf die Details zu achten.

Zusammenfassung

Kurz gesagt: Die Arbeit besagt, dass man die KI nicht nur mit verschiedenen Bildern konfrontieren sollte, um sie daran zu hindern, Dinge über Bilder zu erfinden. Man sollte ihr zwei Bilder nebeneinander zeigen und sie zwingen, sie zu vergleichen. Zudem sollte man das „falsche“ Bild, indem man ein winziges Detail im Originalbild verändert, anstatt das ganze Bild zu ersetzen. Dies zwingt die KI, aufzuhören zu raten und wirklich genau hinzusehen.

Technisches Resümee: In-Context Visual Contrastive Optimization (IC-VCO)

Problemstellung

Multimodale Halluzinationen bleiben eine beständige Herausforderung für Vision-Language-Modelle (VLMs), charakterisiert durch „visuelle Vernachlässigung“ (visual neglect), bei der Modelle sich auf sprachliche Priors verlassen, anstatt ihre Antworten in den visuellen Input einzubetten. Während Direct Preference Optimization (DPO) ein Standardparadigma im Post-Training zur Ausrichtung von Modellen an menschlicher Intention ist, scheitert das standardmäßige textuelle DPO daran, multimodale Halluzinationen zu mildern, da es das Bild lediglich als statische Bedingung behandelt und keine explizite visuelle Supervision bietet.

Bestehende Versuche, visuelle Präferenzen in DPO einzuführen (Visual Preference DPO), konstruieren Paare, indem sie ein Originalbild ( $m$ ) gegen ein negatives Bild ( $m'$ ) kontrastieren, während der Textprompt fix bleibt. Das Paper identifiziert jedoch zwei kritische Einschränkungen dieser Ansätze:

Theoretisch inkonsistentes Zielobjektiv: Durch die Änderung des visuellen Kontextes zwischen den Präferenzpaaren heben sich die Partitionsfunktionen ( $Z(m, x)$ und $Z(m', x)$ ) der Referenzpolicy nicht auf. Dies hinterlässt einen residuellen, intratablen Bias-Term im Zielobjektiv, was die Optimierung theoretisch inkonsistent mit der ursprünglichen DPO-Formulierung macht.
Grobkörnige Negative: Aktuelle Methoden generieren negative Bilder typischerweise mittels Retrieval oder Text-zu-Bild-Synthese. Diese weisen oft deutliche stilistische Unterschiede oder große semantische Lücken zum Originalinput auf. Solche groben Diskrepanzen ermöglichen es Modellen, „Abkürzungen“ (Shortcuts) zu erlernen (z. B. ein Bild aufgrund des globalen Stils abzulehnen, statt feingranulare visuelle Fakten zu prüfen), anstatt eine präzise visuelle Erdung (grounding) zu entwickeln.

Methodik

Die Autoren schlagen In-Context Visual Contrastive Optimization (IC-VCO) vor, ein Framework, das darauf ausgelegt ist, theoretische Inkonsistenzen zu lösen und eine feingranulare visuelle Erdung durch drei Kernkomponenten zu erzwingen:

1. In-Context Visual Contrastive Optimization

Um die Diskrepanz der Partitionsfunktion zu adressieren, strukturiert IC-VCO das Trainingssetup um, indem sowohl das Originalbild ( $m$ ) als auch das kontrastive Bild ( $m'$ ) in einen gemeinsamen Multi-Bild-Kontext $M = [m, m']$ platziert werden.

Anchor Prompt Extension: Da der Kontext mehrere Bilder enthält, wird der Textprompt um eine Anchor-Instruktion erweitert (z. B. „antworte basierend auf dem ersten Bild“), um explizit anzugeben, auf welches Bild das Modell seine Antwort begründen soll.
Theoretische Konsistenz: Durch den Vergleich der Antworten unter demselben gemeinsamen Kontext $M$ und derselben Anchor-Instruktion bleibt die Partitionsfunktion $Z(M, \hat{x})$ für die gewählte (chosen) und die abgelehnte (rejected) Antwort identisch. Dies ermöglicht es, dass die Partitionsfunktion rigoros herausgekürzt wird, wodurch die mathematische Validität des DPO-Zielobjektivs wiederhergestellt wird.

2. Visual Contrast Distillation (VCDist)

Es besteht eine Diskrepanz zwischen dem Trainingssetup (Multi-Bild-Kontext) und dem Standard-Inferenzbetrieb (Single-Bild-Input). Um diese Lücke zu schließen, führen die Autoren VCDist ein, einen Hilfsregularisierer.

Mechanismus: VCDist nutzt die im Multi-Bild-Kontext gelernte Präferenzverteilung als „Lehrer“ (teacher), um die Single-Bild-Policy („Schüler“/student) zu leiten.
Dual-Gating: Um die Zuverlässigkeit zu gewährleisten, filtert ein Dual-Gating-Mechanismus die Destillationssignale:
- Correctness Gate: Stellt sicher, dass das Lehrer-Signal zuverlässig ist (Wahrscheinlichkeit > 0,5).
- Confidence Gate: Aktiviert die Destillation nur, wenn das Vertrauen (confidence) des Schülers niedriger ist als das des Lehrers, um umgekehrte Bestrafungen zu verhindern.
Ziel: Dies ermutigt die Single-Bild-Policy, mit den kontrastiven Trainingssignalen kompatibel zu bleiben, wodurch die Train-Inference-Kontextlücke verringert wird.

3. Contrastive Sample Editing

Um das Erlernen von Abkürzungen durch grobkörnige Negative zu verhindern, führt das Paper eine Strategie namens Contrastive Sample Editing ein.

Chirurgischer Eingriff: Anstatt globaler Synthese oder Retrieval führt die Methode präzise, lokalisierte Modifikationen am Originalbild durch.
Prozess: Ein Expert-VLM generiert eine Editier-Instruktion, um entweder ein halluziniertes Detail zu realisieren (eine falsche Behauptung wahr werden zu lassen) oder einen Widerspruch zu injizieren (eine wahre Behauptung falsch werden zu lassen) in Bezug auf spezifische Attribute, Existenz oder Relationen.
Erhaltung: Die Editing-Pipeline (unter Verwendung von Qwen-Image-Edit) bewahrt das ursprüngliche Seitenverhältnis, die Beleuchtung und den Hintergrundkontext, sodass der einzige Unterschied zwischen dem Original und dem editierten Bild das gezielte semantische Konzept ist. Dies zwingt das Modell, feingranulare visuelle Diskrepanzen zu lernen, anstatt globale Stilverschiebungen auszunutzen.

Kernbeiträge

Theoretisch rigoroses Zielobjektiv: IC-VCO ist das erste Framework, das die visuelle Präferenzoptimierung innerhalb eines gemeinsamen Kontextes formuliert, wodurch die Partitionsfunktionen herausgekürzt werden und der inhärente theoretische Bias früherer multimodaler DPO-Methoden eliminiert wird.
VCDist Regularisierer: Die Einführung der Visual Contrast Distillation kalibriert die Single-Bild-Inferenzpolicy effektiv unter Verwendung von Multi-Bild-Kontrastsignalen und adressiert so den Train-Inference-Verteilungs-Shift.
Feingranulare Hard Negatives: Die vorgeschlagene Contrastive Sample Editing Pipeline generiert hochwertige, „harte“ Negative, die eine strikte stilistische Konsistenz mit den Originaldaten beibehalten und das Modell dazu zwingen, feingranulare visuelle Erdung zu lernen, anstatt grobkörnige Abkürzungen zu nutzen.
Empirische Validierung: Die Methode erreicht State-of-the-Art-Leistung über fünf diverse Benchmarks (HallusionBench, AMBER, CRPE, R-Bench, BLINK) hinweg auf zwei verschiedenen Backbone-Modellen (LLaVA-NeXT-Interelleave und LLaVA-OneVision).

Ergebnisse

Experimente zeigen, dass IC-VCO bestehende Baselines (einschließlich mDPO, V-DPO, S-VCO und SymMPO) sowohl unter synthetischen als auch unter editierten Sample-Settings übertrifft.

Leistungssteigerungen: Auf LLaVA-NeXT-Interleave verbessert IC-VCO den Gesamtwert um 1,19 Punkte (synthetisch) und 1,24 Punkte (editiert) gegenüber der stärksten Baseline. Auf LLaVA-OneVision liegen die Verbesserungen bei 0,26 bzw. 0,48 Punkten.
Generalisierung: Das Ersetzen synthetischer Samples durch die vorgeschlagenen editierten Samples verbessert die Leistung über alle Baseline-Methoden hinweg, was die Nützlichkeit feingranularer harter Negative validiert.
Ablationsstudien: Das Entfernen des Single-Bild-Zweigs, von VCDist oder des Token-Masks verschlechtert die Leistung signifikant, was die Notwendigkeit jeder Komponente bestätigt. Die Studie verifiziert zudem, dass der Multi-Bild-Zweig ein stärkeres Präferenzsignal liefert als der Single-Bild-Zweig, was den Distillationsansatz rechtfertigt.

Bedeutung und Ansprüche

Das Paper behauptet, dass IC-VCO eine mathematisch rigorose Grundlage für die visuelle Präferenz-Ausrichtung bietet und die theoretischen Inkonsistenzen löst, die bisherige multimodale DPO-Ansätze plagten. Durch die Kombination eines kontexttheoretisch konsistenten Zielobjektivs mit einer Strategie zur Generierung feingranularer harter Negatives mildert die Methode multimodale Halluzinationen effektiv, ohne auf grobkörnige Abkürzungen zurückzugreifen.

Die Autoren positionieren diese Arbeit als spezifische Lösung für das Post-Training Preference Alignment in VLMs. Sie betonen explizit, dass diese Methode komplementär zu, und nicht ein Ersatz für, andere Sicherheitsmechanismen (wie etwa Decoding-Zeit-Interventionen oder menschliches Feedback) ist und keine vollständige Lösung für alle multimodalen Halluzinationen darstellt, insbesondere nicht in hochsensiblen Open-World-Szenarien. Der primäre Beitrag ist die Etablierung eines zuverlässigeren Optimierungsframeworks, das Modelle dazu zwingt, feingranulare visuelle Evidenz zu unterscheiden.