🤖 machine learning

Vision-driven Preference Synthesis for Mitigating Hallucinations in VLMs

Das Paper schlägt ViPSy vor, ein zweistufiges Framework, das visuell fundierte und auf Richtlinien ausgerichtete Präferenzdaten synthetisiert, um Halluzinationen in Vision-Language-Modellen signifikant zu mildern, wobei es eine neue State-of-the-Art-Leistung auf Halluzinations-Benchmarks erzielt und gleichzeitig die allgemeinen visuellen Fähigkeiten verbessert.

Ursprüngliche Autoren: Yunhun Nam, Jongheon Jeong

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yunhun Nam, Jongheon Jeong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Vision-Language-Modell (VLM) als einen sehr klugen, belesenen Kunstkritiker vor, der mit verbundenen Augen ist, während ein Freund ihm das Gemälde beschreibt. Das Problem dabei ist, dass dieser Kritiker manchmal so sehr von seinem eigenen Wissen über die Kunstgeschichte mitgerissen wird, dass er anfängt, Dinge zu beschreiben, die gar nicht im Bild sind – wie zum Beispiel die Behauptung, es gäbe einen goldenen Adler in einem Bild eines ruhigen Gartens, nur weil „Gärten normalerweise Adler enthalten“ in seinen Trainingsdaten stehen. Dies nennt man Halluzination.

Das Paper stellt eine neue Methode namens ViPSy (Vision-driven Preference Synthesis) vor, um dies zu beheben. Betrachten Sie ViPSy als ein kluges Trainingslager, das darauf ausgelegt ist, den Kritiker zu lehren, tatsächlich auf das Gemälde zu schauen, anstatt sich auf seine eigene Fantasie zu verlassen.

So funktioniert ViPSy, unterteilt in zwei einfache Phasen:

Phase 1: Der „Realitätscheck“ (Self-Captioned Semantic Synthesis)

Stellen Sie sich vor, Sie möchten genau wissen, was in einem Foto zu sehen ist, aber Sie sind sich nicht sicher, ob Ihr Gedächtnis Ihnen einen Streich spielt.

Die Beschreibung: Zuerst betrachtet die KI das Originalfoto und schreibt eine detaillierte Beschreibung davon (wie eine Bildunterschrift).
Die Neu-Imagination: Dann nimmt sie diese Beschreibung und bittet eine andere KI (einen Text-zu-Bild-Generator), ein neues Bild basierend nur auf diesen Worten zu zeichnen.
Der Vergleich: Dies geschieht mehrmals, wobei einige leicht unterschiedliche „Neu-Imaginationen“ des Originalfotos erstellt werden.
Die Gemeinsamkeiten finden: Das System vergleicht das Originalfoto mit diesen neuen Zeichnungen. Es fragt: „Welche Objekte erscheinen im Originalfoto UND tauchen in fast allen den neuen Zeichnungen auf?“
- Wenn das Originalfoto einen roten LKW zeigt und die neuen Zeichnungen (basierend auf der Beschreibung) ebenfalls einen roten LKW zeigen, ist das eine solide Tatsache.
- Wenn das Originalfoto einen Baum hat, die neuen Zeichnungen den Baum aber immer wieder vergessen oder verändern, weiß das System, dass dieses Detail möglicherweise unsicher ist.

Das Ergebnis dieser Phase ist ein „Visual Cue“ (visueller Hinweis). Betrachten Sie diesen Hinweis als eine vertrauenswürdige Checkliste der unbestreitbarsten, felsfesten Objekte im Bild (z. B. „Roter LKW“, „Baum“, „Blauer Himmel“). Er entfernt das Rätselraten.

Phase 2: Das „Geführte Üben“ (Cue-Conditioned Self-Distillation)

Jetzt, da die KI ihre vertrauenswürdige Checkliste hat, kehrt sie zur Übung zurück, das Foto zu beschreiben.

Die Übungsrunde: Die KI versucht das Foto erneut zu beschreiben, muss sich aber dieses Mal an die „Visual Cue“-Checkliste halten. Es ist, als würde man dem Kritiker sagen: „Du musst den roten LKW und den Baum erwähnen und nichts dazu erfinden.“
Generieren von Optionen: Die KI generiert mehrere verschiedene Beschreibungen basierend auf dieser Anleitung. Einige werden sehr genau sein; andere werden vielleicht immer noch ausbrechen und ein erfundenes Objekt hinzufügen (wie ein „blaues Auto“, das gar nicht da ist).
Der Richter: Eine super-intelligente „Richter“-KI betrachtet all diese Optionen. Sie vergleicht sie mit dem Originalfoto und wählt aus:
- Den Gewinner: Die Beschreibung, die sich perfekt an die Checkliste und das Foto gehalten hat.
- Den Verlierer: Die Beschreibung, die halluziniert (Dinge erfunden) hat.

Die abschließende Lektion (Preference Alignment)

Das System nimmt diese „Gewinner vs. Verlierer“-Paare und lehrt das Haupt-KI-Modell: „Nächstes Mal solltest du so sprechen wie der Gewinner, nicht wie der Verlierer.“

Durch dies lernt die KI, dem visuellen Beweis (der Checkliste) mehr zu vertrauen als ihren eigenen internen Vorurteilen (dem, was sie denkt, dort sein sollte).

Warum ist das besser als alte Methoden?

Das Paper argumentt, dass bisherige Methoden zwei Hauptmängel hatten:

Die „Edit“-Methode: Einige Methoden nahmen einfach eine falsche Antwort und editierten sie manuell zu einer richtigen. Das Paper sagt, das sei so, als würde ein Lehrer den Aufsatz eines Schülers umschreiben; der Schüler lernt dann nicht, wie man ihn selbst schreibt, und das Endergebnis wirkt unnatürlich.
Die „Rate-Methode“: Andere Methoden ließen die KI einfach viele Male raten und wählten dann das Beste aus. Das Paper sagt, dass dies oft scheitert, weil die KI immer noch auf ihre Vorstellungskraft angewiesen ist, anstatt genau auf das Bild zu schauen.

ViPSy ist besonders, weil es die eigene „Vorstellungskraft“ der KI (ihre natürliche Art zu sprechen) nutzt, sie aber mit einer strengen visuellen Checkliste führt. Dies sorgt dafür, dass die KI natürlich klingt, während sie gleichzeitig gezwungen wird, wahrheitsgetreu zu sein.

Die Ergebnisse

Das Paper behauptet, dass die KI durch den Einsatz dieser Methode viel besser darin wurde, keine Dinge zu erfinden.

Sie reduzierte „Halluzinationen“ (das Erfinden von Objekten) um etwa 35 % in einem Test und um 24 % in einem anderen, womit sie alle bisherigen Methoden schlug.
Sie verbesserte sich auch bei allgemeinen Aufgaben, wie dem Verständnis komplexer Szenen und dem Erkennen von Objekten, was beweist, dass das Erzwingen, dass die KI auf das Bild schaut, ihre „Augen“ schärfer machte und nicht nur ihr Maul leiser.

Kurz gesagt: ViPSy lehrt die KI, aufzuhören zu raten und stattdessen hinzuschauen, indem es eine kluge Schleife aus Beschreiben, Neu-Zeichnen und Vergleichen nutzt, um die Wahrheit zu finden.

Technisches Resümee: Visionsgesteuerte Präferenzsynthese zur Milderung von Halluzinationen in VLMs

Problemstellung

Vision-Language Models (VLMs) haben signifikante Fähigkeiten im visuellen Verständnis demonstriert, sind jedoch anfällig für Halluzinationen, bei denen die Modelle Inhalte generieren, die nicht konsistent mit dem Eingabebild sind, indem sie oft nicht existierende Objekte erfinden. Dieses Problem resultiert aus einem Ungleichgewicht zwischen Sprach- und Visuellen Modalitäten, wobei starke Sprach-Priors dazu führen, dass die Modelle sich eher auf Textstatistiken als auf visuelle Evidenz verlassen.

Während Präferenz-Alignment (speziell Direct Preference Optimization oder DPO) als vielversprechende Lösung zur Verbesserung der visuellen Treue hervorgetreten ist, hängt dessen Wirksamkeit stark von der Qualität der konstruierten Präferenzpaare (bevorzugte vs. nicht bevorzugte Antworten) ab. Bestehende Methoden zur Konstruktion dieser Paare leiden unter zwei primären Einschränkungen:

Interventionsbasierte Methoden (z. B. Halluzinations-Injektion oder -Korrektur) führen oft Antworten ein, die signifikant von der natürlichen Policy-Distribution des Modells abweichen, was zu einer Distributions-Mismatch führt.
Sampling-basierte Methoden (z. B. extern bewertetes Sampling oder SFT-gesteuertes Sampling) reduzieren diesen Distributions-Mismatch, unterschätzen jedoch häufig die visuellen Informationen und verlassen sich stattdessen auf Sprach-Priors, um Präferenzen zu bestimmen.

Methodik: ViPSy

Die Autoren schlagen ViPSy (Vision-driven Preference Synthesis) vor, ein zweistufiges Framework, das darauf ausgelegt ist, Präferenzdaten zu konstruieren, die sowohl policy-aligned (nah an der Antwort-Distribution des Modells) als auch visuell fundiert (gestützt auf Bildbeweise) sind.

Stufe 1: Selbst-gecaptionte semantische Synthese zur konsistenten Cue-Extraktion

Um zuverlässige visuelle Cues ohne externe Bias zu extrahieren, nutzt ViPSy die eigenen Fähigkeiten des Policy-Modells:

Self-Captioning: Das Policy-Modell ( $\pi_\theta$ ) generiert $N_c$ Captions für ein Quellbild $m$ unter Verwendung eines Standard-Captioning-Prompts.
Semantische Synthese: Diese Captions dienen als Prompts für ein Text-zu-Bild (T2I) Diffusionsmodell ( $P_\psi$ ), um $N_c$ semantisch ausgerichtete Bildvarianten ( $m'_j$ ) zu synthetisieren.
Cue-Extraktion: Ein Judge-Modell ( $\pi_\phi$ ) vergleicht jede synthetische Variante $m'_j$ mit dem Originalbild $m$ , um paarweise objektbasierte Evidenzen ( $c_j$ ) zu extrahieren, die zwischen ihnen konsistent sind.
Aggregation: Der Judge aggregiert diese paarweisen Cues zu einem einzelnen, konsistenten visuellen Cue ( $c$ ). Die Intuition dahinter ist, dass Objekte, die über diverse, aus demselben Quellbild abgeleitete synthetische Variationen hinweg wiederkehren, höchstwahrscheinlich im Originalbild verankert sind.

Stufe 2: Cue-konditionierte Selbst-Destillation zur Präferenzsynthese

Sobald der visuelle Cue $c$ etabliert ist, generiert das Framework Präferenzpaare:

Cue-konditionierte Rollouts: Das Policy-Modell sampelt $N_s$ Kandidaten-Antworten ( $y^{(s)}$ ), die auf das Originalbild $m$ , den Prompt $x$ und den extrahierten visuellen Cue $c$ konditioniert sind. Dies stellt sicher, dass die Kandidaten nah an der Policy-Distribution bleiben und gleichzeitig explizit durch visuelle Evidenz geleitet werden.
Präferenzselektion: Das Judge-Modell evaluiert die Menge der Kandidaten $\{y^{(s)}\}$ gegenüber dem Originalbild $m$ , um eine bevorzugte Antwort ( $y_w$ ) (am stärksten visuell fundiert) und eine nicht bevorzugte Antwort ( $y_l$ ) (am wenigsten fundiert) auszuwählen.
Optimierung: Der resultierende Datensatz $\mathcal{D}_{pref} = \{(x, m, y_w, y_l)\}$ wird verwendet, um das Modell mittels Direct Preference Optimization (DPO) zu trainieren. Entscheidend ist, dass die visuellen Cues und die synthetischen Bilder nur während der Datakonstruktion verwendet werden; der finale Optimierungsschritt konditioniert die Policy ausschließlich auf das ursprüngliche Prompt-Bild-Paar, wodurch die Fähigkeit zur visuellen Fundierung in das Modell destilliert wird.

Kernbeiträge

ViPSy Framework: Ein neuartiger, visionsgesteuerter Präferenzsynthese-Ansatz, der visuell fundierte Präferenzpaare konstruiert und gleichzeitig die Ausrichtung mit der Response-Distribution der Policy beibehält.
Zweistufige Strategie:
- Self-gecaptionte semantische Synthese: Nutzt die eigenen Captions des Modells, um die T2I-Synthese voranzutreiben und durch die Aggregation wiederkehrender objektbasierter Evidenzen einen konsistenten visuellen Cue zu extrahieren, wodurch die Abhängigkeit von Sprach-Priors reduziert wird.
- Cue-konditionierte Selbst-Destillation: Leitet die eigenen Rollouts der Policy mit diesen Cues, um Kandidaten zu generieren, die in ihrer visuellen Fundierungsqualität variieren, was die Auswahl hochwertiger Präferenzpaare ermöglicht.
State-of-the-Art Performance: Das Framework erzielt neue State-of-the-Art-Ergebnisse bei der Milderung von Halluzinationen und verbessert die allgemeinen visuellen Fundierungsfähigkeiten.

Experimentelle Ergebnisse

Die Autoren evaluierten ViPSy auf LLaVA-1.5 (7B und 13B) sowie verschiedenen anderen Policy-Modellen (Qwen2.5-VL, InternVL3.5, etc.) und verglichen es mit Decoding-Methoden, Unlearning-basierten Ansätzen und bestehenden Präferenz-Alignment-Baselines.

Milderung von Halluzinationen:
- Auf LLaVA-1.5-7B reduzierte ViPSy die Halluzinationsraten auf AMBER um 35,7 % und auf Object HalBench um 24,5 % im Vergleich zum vorherigen State-of-the-Art (SENTINEL).
- Auf LLaVA-1.5-13B übertraf es alle Baselines in allen Halluzinations-Benchmarks und zeigte signifikante Verbesserungen gegenüber den bisher besten Methoden.
Allgemeine visuelle Fundierung:
- Im Gegensatz zu einigen Baselines, die die allgemeine Leistung verschlechtern, verbesserte ViPSy die Scores auf allgemeinen Benchmarks, die visuelle Fundierung erfordern: MMStar (+6,0 %), MMVP (+31,3 %) und CV-Bench (+4,0 %) beim 7B-Modell.
Verbesserungen des Vision Encoders:
- Linear Probing und Segmentierungs-Evaluierungen auf ImageNet-1k, ImageNet-O und MS COCO zeigten Gewinne in Genauigkeit und Recall. Dies deutet darauf hin, dass ViPSy die zugrunde liegenden visuellen Repräsentationen verbessert, nicht nur die Generierung auf Antwortebene.
Generalisierung:
- Die Methode zeigte konsistente Verbesserungen über diverse Policy-Modelle hinweg (Qwen, InternVL, mPLUG-Owl, Kimi), was darauf hindeutet, dass sie nicht auf eine einzelne Architektur beschränkt ist.
Ablationsstudien:
- Self-rollouts erwiesen sich als überlegen gegenüber externen VLM-Rollouts, was die Bedeutung der Nähe zur Policy-Distribution bestätigt.
- Diffusion-basierte Synthese schnitt besser ab als einfache Bildtransformationen (Resize, Crop) und videobasierte Variationen, was die Notwendigkeit einer reichen semantischen Diversität für die Cue-Extraktion unterstreicht.
- Die Methode blieb robust gegenüber verschiedenen Judge-Modellen (Qwen3-VL, GPT-5 mini).

Bedeutung und Behauptungen

Das Paper behauptet, dass ViPSy den grundlegenden Trade-off in der Präferenzkonstruktion löst: die Balance zwischen Policy-Alignment und visueller Fundierung. Durch die Ableitung visueller Cues aus dem Schnittpunkt des eigenen semantischen Verständnisses der Policy und synthetischer Bildvariationen vermeidet ViPSy den Distributions-Shift von Interventionsmethoden sowie die visuelle Vernachlässigung von Standard-Sampling-Methoden.

Die Autoren betonen, dass ihr Ansatz nicht nur einen neuen Stand der Technik in der Reduzierung von Halluzinationen setzt, sondern auch die allgemeinen visuellen Fähigkeiten des Modells sowie die Qualität der visuellen Encoder-Repräsentationen verbessert. Sie heben hervor, dass das Framework effektiv die visuelle Fundierung in die Policy destilliert, ohne komplexe Reward-Modellierung oder Online-Reinforcement-Learning zu erfordern, was es zu einer praktischen und effektiven Lösung zur Verbesserung der Zuverlässigkeit von VLMs in realen Anwendungen macht.