💬 NLP

The Mirage of Performance Gains: Why Contrastive Decoding Fails to Mitigate Object Hallucinations in MLLMs?

Dieses Paper argumentiert, dass kontrastives Dekodieren fehlschlägt, Objekt-Halluzinationen in multimodalen großen Sprachmodellen wahrhaftig zu mildern, indem es aufzeigt, dass dessen scheinbarer Erfolg auf Benchmarks wie POPE lediglich eine Illusion ist, die durch grobe Verteilungsanpassungen und eine Reduktion auf Greedy Search verursacht wird, anstatt durch echte Halluzinationsunterdrückung.

Ursprüngliche Autoren: Hao Yin, Guangzong Si, Zilei Wang

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Yin, Guangzong Si, Zilei Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Der „Zaubertrick“, der gar keine Magie war

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber etwas verwirrten Roboter-Assistenten (ein Multimodales Großes Sprachmodell oder MLLM), der Bilder betrachtet und Fragen dazu beantwortet. Manchmal macht dieser Roboter Fehler – er könnte zum Beispiel in einem Bild einer gelben Banane eine „blaue Banane“ sehen. Das nennt man eine Halluzination.

Seit einer Weile nutzen Forscher eine Technik namens Contrastive Decoding, um dies zu beheben. Sie behaupteten, es handele sich dabei um einen „Halluzinationsfilter“, der die Lügen des Roboters erkennen und stoppen könne.

Dieses Paper argumentiert, dass dieser „Filter“ eigentlich gar nicht funktioniert. Stattdessen sind die verbesserten Testergebnisse des Roboters das Ergebnis von zwei cleveren Tricks, die ihn lediglich schlauer aussehen lassen, ohne ihn tatsächlich wahrhaftiger zu machen.

Analogie 1: Der „Ja-Sager“-Trick (Unidirektionale Anpassung)

Das Szenario:
Stellen Sie sich eine Quizshow vor, in der der Moderator fragt: „Ist ein Stuhl auf diesem Bild zu sehen?“

Das Problem: Der Roboter ist von Natur aus schüchtern und neigt dazu, zu oft „Nein“ zu sagen, selbst wenn tatsächlich ein Stuhl vorhanden ist.
Die „Lösung“: Die Methode des Contrastive Decoding wirkt wie ein Coach, der dem Roboter zuflüstert: „Hey, wenn du dir nicht 100 % sicher bist, rate einfach ‚Ja‘!“

Was tatsächlich passiert:

Bei dem spezifischen Test (POPE-Benchmark) sind die Fragen zu gleichen Teilen (50/50) in „Ja“- und „Nein“-Fragen unterteilt.
Da der Roboter ursprünglich zu oft „Nein“ gesagt hat, bewirkt das Erzwingen von mehr „Ja“-Antworten eine zufällige Balance der Punktzahl. Es sieht so aus, als würde der Roboter seinen Job besser machen.
Der Haken: Der Roboter schaut nicht wirklich besser auf das Bild. Er rät nur häufiger „Ja“. Wenn man ihn mit einem anderen Satz von Fragen testen würde, bei denen „Ja“ bereits die häufige Antwort ist, würde dieser Trick den Roboter schlechter machen, weil er anfängt, zu allem „Ja“ zu sagen, selbst wenn es falsch ist.

Der Beweis des Papers:
Die Autoren probierten eine „falsche“ Lösung aus. Sie fügten der Anweisung des Roboters einfach den Hinweis hinzu: „Bitte versuche, wann immer möglich ‚Ja‘ zu antworten.“

Ergebnis: Diese „falsche“ Lösung verbesserte die Testergebnisse genauso stark wie die komplexe Methode des „Contrastive Decoding“.
Schlussfolgerung: Die Verbesserung lag nicht daran, dass der Roboter besser sehen lernte; es lag nur daran, dass man dem Roboter sagte, öfter „Ja“ zu sagen.

Analogie 2: Das Sicherheitsnetz, das zum Korsett wird (Adaptive Plausibilitätsbeschränkung)

Das Szenario:
Wenn der Roboter antwortet, wählt er normalerweise ein Wort aus einer Liste von Möglichkeiten aus. Manchmal nutzt er eine „Sampling“-Meth Methode, was so ähnlich ist wie das Würfelspiel, um ein Wort von der Spitze der Liste auszuwählen. Dies sorgt für Abwechslung, kann aber zu Fehlern führen.

Die „Lösung“:
Die Methode des Contrastive Decoding enthält eine Regel namens „Adaptive Plausibility Constraint“. Sie soll als ein Sicherheitsnetz fungieren, das den Roboter davor bewahrt, seltsame, unmögliche Wörter zu wählen.

Was tatsächlich passiert:

Die Autoren entdeckten, dass dieses „Sicherheitsnetz“ so streng ist, dass es fast alle Optionen auf der Liste abschneidet.
Es zwingt den Roboter dazu, aufzuhören zu würfeln und stattdessen jedes Mal die einzige, offensichtlichste Antwort zu wählen.
In der Fachsprache bedeutet dies, dass es eine flexible Sampling-Strategie in eine starre Greedy Search (immer die Top-Wahl treffen) verwandelt.
Der Haken: Bei diesem speziellen Test funktioniert es besser, die Top-Wahl zu nehmen (Greedy Search), als zu würfeln. Also verbesserte der „Fix“ das Ergebnis nicht, indem er Halluzinationen stoppte, sondern indem er den Roboter dazu zwang, weniger kreativ und stattdessen einfach nur vorhersehbar und langweilig zu sein.

Der Beweis des Papers:
Die Autoren nahmen die „Sicherheitsnetz“-Regel und wandten sie auf einen Standard-Roboter an, oh\ne die ausgeklügelten „Contrastive Decoding“-Tricks.

Ergebnis: Die Punktzahl des Roboters sprang signifikant nach oben und erreichte fast die Werte der ausgeklügelten Methoden.
Schlussfolgerung: Die ausgeklügelte Methode hat nicht die Hauptarbeit geleistet; es war die einfache „Sicherheitsnetz“-Regel. Und da diese Regel den Roboter lediglich dazu bringt, vorhersehbar zu sein, löst sie das eigentliche Problem der Halluzinationen nicht.

Das abschließende Urteil

Das Paper kommt zu dem Schluss, dass die beobachteten „Leistungssteigerungen“ dieser Modelle eine Illusion sind.

Es geht nicht um Wahrheit: Die Methoden führen nicht dazu, dass die Modelle Bilder besser verstehen.
Es geht um Bias (Voreingenommenheit): Sie verschieben lediglich die Antworten des Roboters, um sie an die spezifische Verteilung des Tests anzupassen (öfter „Ja“ zu sagen).
Es geht um Starrheit: Sie zwingen den Roboter, auf das Raten zu verzichten und einfach die offensichtlichste Antwort zu wählen, was bei diesem speziellen Test zwar funktioniert, aber das grundlegende Problem des Lügens nicht löst.

Kurz gesagt: Das Paper sagt: „Hört auf, diese Methoden als Heilmittel gegen Halluzinationen zu feiern. Sie spielen nur ein Spiel mit den Testergebnissen, anstatt das Gehirn des Roboters zu reparieren.“

Die Autoren schlagen vor, dass wir Methoden benötigen, die dem Roboter tatsächlich helfen, das Bild korrekt zu sehen, anstatt Methoden, die nur den Test austricksen, um eine höhere Punktzahl zu erzielen.

Technisches Resümee: Die Illusion von Leistungssteigerungen durch kontrastives Dekodieren in MLLMs

Problemstellung

Multimodale Large Language Models (MLLMs) leiden unter „Objekt-Halluzinationen“, bei denen die Modelle faktisch falsche Ausgaben generieren, die nicht mit den visuellen Eingaben übereinstimmen. Dieses Problem birgt erhebliche Risiken in kritischen Bereichen wie dem autonomen Fahren und dem Gesundheitswesen. Während Strategien des kontrastiven Dekodierens (z. B. Visual Contrastive Decoding [VCD], Instruction Contrastive Decoding [ICD] und Self-Introspective Decoding [SID]) weit verbreitet eingesetzt werden, um diese Halluzinationen zu mildern, argumentiert dieses Paper, dass deren berichteter Erfolg auf dem POPE-Benchmark weitgehend illusorisch ist. Die Autoren vertreten die Auffassung, dass diese Methoden Halluzinationen nicht wirklich reduzieren, sondern Leistungssteigerungen durch irreführende Mechanismen erzielen, die die eigentliche Ursache des Problems nicht angehen.

Methodik und Analyse

Das Paper verwendet einen rigorosen analytischen Rahmen, um die Leistungssteigerungen des kontrastiven Dekodierens zu dekonstruieren und zwei primäre irreführende Faktoren zu identifizieren:

Unidirektionale Anpassung der Ausgabeverteilung:
Die Autoren analysieren, wie das kontrastive Dekodieren die Ausgabeverteilung des Modells modifiziert. Sie zeigen auf, dass diese Methoden Halluzinationen nicht effektiv filtern, sondern stattdend eine grobe, unidirektionale Verzerrung hin zur Generierung von „Yes“-Antworten anwenden.
- Mechanismus: Kontrastive Stichproben (z. B. verzerrte Bilder oder perturbierte Instruktionen) sollen darauf abzielen, Halluzinationen zu induzieren, damit diese unterdrückt werden können. Die Autoren zeigen jedoch, dass diese kontrastiven Eingaben tatsächlich eine starke Tendenz zu „No“-Antworten induzieren. Wenn die Formel des kontrastiven Dekodierens diese „No“-verzerrten Logits von der ursprünglichen Verteilung subtrahiert, drängt sie die endgültige Ausgabe effektiv in Richtung „Yes“.
- Konsequenz: Auf Datensätzen, bei denen das Basismodell zu „No“ tendiert (z. B. MSCOCO-Random), gleicht dieser Shift die Verteilung künstlich aus und verbessert so die Genauigkeit. Im Gegenzug führt derselbe Mechanismus auf Datensätzen, die bereits zu „Yes“ tendieren (z. B. GQA-Adversarial), zu einer Verschlechterung der Leistung.
Degradation der Sampling-Strategie durch adaptive Plausibilitätsbeschränkungen:
Das Paper untersucht die Rolle der Adaptiven Plausibilitätsbeschränkung (Adaptive Plausibility Constraint), einer Komponente, die in VCD, ICD und SID verwendet wird, um die Generierung von Tokens mit geringer Wahrscheinlichkeit zu verhindern.
- Mechanismus: Diese Beschränkung beschneidet den Pool der Kandidaten-Tokens basierend auf einem Konfidenzschwellenwert ( $\beta$ ). Die Autoren demonstrieren, dass diese Beschränkung unter einer Sampling-Dekodierungsstrategie die Optionen mit geringer Wahrscheinlichkeit aggressiv eliminiert und damit den stochastischen Sampling-Prozess effektiv in eine deterministische Greedy Search (gierige Suche) umwandelt.
- Konsequenz: Da die Greedy Search bei binären Klassifikationsaufgaben wie POPE (die „Yes/No“-Fragen stellen) von Natur aus besser abschneidet als Sampling, wird der beobachtete Leistungszuwachs der Änderung der Dekodierungsstrategie zugeschrieben und nicht der Milderung von Halluzinationen.

Zentrale Beiträge

Das Paper leistet drei wesentliche Beiträge zum Feld der MLLM-Evaluierung und Halluzinationsminderung:

Identifizierung der unidirektionalen Verzerrung: Die Autoren enthüllen, dass die Leistungsverbesserungen des kontrastiven Dekodierens auf einer stumpfen, unidirektionalen Anpassung der Ausgabeverteilung beruhen. Diese Anpassung gleicht die Verteilung auf spezifischen Datensätzen (wo das Basismodell zu „No“ tendiert) zufällig aus, versäumt es jedoch, den zugrunde liegenden Halluzinationsmechanismus zu adressieren.
Entdeckung der Degradation der Dekodierungsstrategie: Das Paper identifiziert, dass die Adaptive Plausibilitätsbeschränkung der primäre Treiber für Leistungssteigerungen ist, wenn Sampling verwendet wird. Indem sie die Sampling-Strategie zu einer Annäherung an die Greedy Search vereinfacht, erzeugt die Beschränkung eine täuschende Verbesserung, die nichts mit der Milderung von Halluzinationen zu tun hat.
Validierung durch Methoden mit scheinbarem Nutzen (Spurious Improvement Methods): Um zu beweisen, dass diese Gewinne nicht exklusiv für das kontrastive Dekodieren sind, haben die Autoren „Methoden mit scheinbarem Nutzen“ entwickelt und evaluiert:
- Prompt-Based Adjustment (PBA): Hinzufügen von Prompts wie „Antworte mit Ja, wenn möglich.“
- Output Layer Modification (OLM): Erzwingen von „Yes“-Ausgaben, wenn die Wahrscheinlichkeiten für „Yes“ und „No“ eng beieinander liegen.
- Standalone Constraint Application: Anwendung der adaptiven Plausibilitätsbeschränkung ohne kontrastives Dekodieren.
- Ergebnis: Diese Methoden, die über keine theoretische Grundlage zur Milderung von Halluzinationen verfügen, erzielten Leistungssteigerungen, die mit denen von VCD und SID vergleichbar oder sogar höher waren, was bestätigt, dass die Gewinne Artefakte der Verteilungsverschiebung und der Änderung der Dekodierungsstrategie sind.

Experimentelle Ergebnisse

Die Autoren führten umfangreiche Experimente auf dem POPE-Benchmark (Subsets: Random, Popular, Adversarial) und anderen Benchmarks (MME, CHAIR, NoCaps, LLaVA-Bench) unter Verwendung von Modellen wie LLaVA-v1.5 und Qwen-VL durch.

POPE-Benchmark: Methoden des kontrastiven Dekodierens zeigten signifikante Genauigkeitsverbesserungen im „Random“-Subset (wo Baselines zu „No“ tendieren), verschlechterten jedoch häufig die Leistung im „Adversarial“-Subset (wo Baselines zu „Yes“ tendieren).
Scheinbare Methoden: PBA und OLM replizierten diese Trends, indem sie ähnliche Genauigkeitssteigerungen im Random-Subset und ähnliche Rückgänge im Adversarial-Subset erzielten, obwohl sie keine Logik zur Halluzinationsminderung besitzen.
Andere Benchmarks: Bei diskriminativen Aufgaben (MME) und generativen Aufgaben (CHAIR, NoCaps), bei denen die Ausgabeverteilung nicht zu „No“ verzerrt ist, konnten die Methoden des kontrastiven Dekodierens keine Verbesserungen zeigen und führten oft zu Leistungsabfällen.
Isolation der Beschränkung: Die Anwendung der adaptiven Plausibilitätsbeschränkung allein auf eine Sampling-Strategie lieferte nahezu identische Leistungssteigerungen wie die vollen kontrastiven Dekodierungsmethoden, was die Beschränkung als die wahre Quelle der „Verbesserung“ isoliert.

Bedeutung und Behauptungen

Das Paper kommt zu dem Schluss, dass die wahrgenommene Wirksamkeit von Strategien des kontrastiven Dekodierens zur Milderung von Objekt-Halluzinationen eine Illusion ist. Die beobachteten Leistungssteigerungen im POPE-Benchmark sind kein Beweis für reduzierte Halluzinationen, sondern vielmehr Artefakte von:

Der künstlichen Ausbalancierung von Ausgabeverteilungen auf spezifischen Datensätzen.
Der Umwandlung von stochastischem Sampling in deterministische Greedy Search.

Bedeutung:

Kritische Evaluierung: Die Arbeit stellt die Abhängigkeit der Fachwelt vom POPE-Benchmark und aktuellen kontrastiven Dekodierungsmethoden als definitive Lösungen für Halluzinationen in Frage.
Zukünftige Ausrichtung: Sie fordert neue Evaluationskriterien, die zwischen echter Halluzinationsminderung und bloßer Verteilungsverschiebung oder Änderung der Dekodierungsstrategie unterscheiden können. Die Autoren plädieren für Methoden, die die Korrektur falscher Antworten mit der Bewahrung korrekter Antworten in Einklang bringen, anstatt Ausgaben unidirektional zu verzerren.
Auswirkung: Durch die Aufdeckung dieser irreführenden Faktoren zielt das Paper darauf ab, die zukünftige Forschung auf die Entwicklung wahrhaft effektiver Lösungen für Halluzinationen in MLLMs zu lenken, um transparentere und verantwortlichere KI-Systeme in kritischen Anwendungen zu gewährleisten.