🤖 AI

When Language Overwrites Vision: Over-Alignment and Geometric Debiasing in Vision-Language Models

Dieser Artikel identifiziert eine geometrische Überanpassung zwischen visuellen Embeddings und dem Text-Manifold als die Ursache für Halluzinationen in decoder-basierten Vision-Language-Modellen und schlägt trainingsfreie sowie feinabstimmungsbasierte Abhilfemaßnahmen vor, die diese linguistische Verzerrung projizieren, um die Leistung über mehrere Benchmarks hinweg ohne zusätzlichen Rechenaufwand signifikant zu verbessern.

Ursprüngliche Autoren: Harshvardhan Saini, Samyak Jha, Yiming Tang, Dianbo Liu

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Harshvardhan Saini, Samyak Jha, Yiming Tang, Dianbo Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Wenn das „Skript" die „Szene" überschreibt

Stellen Sie sich vor, Sie schauen einem Live-Theaterstück bei. Die Schauspieler sind auf der Bühne (das Bild), und ein Erzähler liest aus einem Skript vor (das Sprachmodell).

In einer perfekten Welt beschreibt der Erzähler genau das, was er auf der Bühne sieht. Doch in aktuellen KI-Systemen (sogenannte Vision-Language-Modelle) hat der Erzähler eine schlechte Angewohnheit: Er ist so sehr an das Skript gewöhnt, dass er Dinge beschreibt, die nicht da sind.

Wenn Sie der KI beispielsweise ein Bild eines leeren Esstisches zeigen, könnte die KI selbstbewusst sagen: „Da sitzt eine Person am Tisch mit einer Tasse und einer Flasche." Obwohl der Tisch leer ist, „halluziniert" die KI diese Gegenstände, weil in ihren Trainingsdaten Menschen, Tassen und Flaschen fast immer mit Esstischen auftauchen. Die KI priorisiert ihre statistische Vermutung (was normalerweise passiert) gegenüber der visuellen Realität (was tatsächlich passiert).

Die Ursache: Die Falle der „Über-Ausrichtung"

Das Papier argumentiert, dass dies aufgrund des Aufbaus der KI geschieht. Um die KI funktionsfähig zu machen, zwingen Ingenieure den „visuellen" Teil (die Augen) und den „sprachlichen" Teil (das Gehirn), dieselbe Sprache zu sprechen. Sie quetschen die visuellen Daten in denselben mathematischen Raum wie den Text.

Die Autoren nennen dies „Über-Ausrichtung" (Over-Alignment).

Die Analogie:
Stellen Sie sich vor, Sie versuchen, ein leises, zartes Violinsolo (die visuellen Details) zu hören. Um die Musik jedoch einfacher aufzunehmen, zwingen Sie die Geige, durch einen riesigen, dröhnenden Lautsprecher zu spielen, der auf laute, generische Trommelbeats abgestimmt ist (die Textmuster).

Die Trommelbeats sind so laut, dass sie die Geige übertönen.
Der Recorder (die KI) glaubt, überall Trommeln zu hören, selbst wenn die Geige eine stille Note spielt.
Die KI wird „über-ausgerichtet" mit den Trommeln und hört auf, der Geige zuzuhören.

Das Papier behauptet, dass die KI durch das zwingende Passen der visuellen Daten perfekt in den Textraum eine „sprachliche Verzerrung" in die Bilddaten injiziert. Die KI hört auf, das Bild anzusehen, und beginnt stattdessen nur noch basierend auf Wortassoziationen zu raten.

Die Entdeckung: Das „Rauschen" finden

Die Forscher nutzten ein mathematisches Werkzeug namens Hauptkomponentenanalyse (PCA), um in das Gehirn der KI zu schauen. Stellen Sie sich PCA als eine Methode vor, um die „lauten Trommeln" von der „leisen Geige" zu trennen.

Sie stellten fest:

Das „Rauschen" (die Verzerrung zugunsten von Textmustern) konzentriert sich in nur wenigen spezifischen Richtungen im mathematischen Raum der KI. Dies sind die Hauptkomponenten.
Die tatsächlichen visuellen Details (die Geige) verstecken sich in den anderen Richtungen, werden aber vom Rauschen überschattet.
Dieses „Rauschen" ist universell; es erscheint in fast allen Datensätzen, was bedeutet, dass es ein struktureller Fehler im Training der KI ist und nicht nur ein Fehler bei einem bestimmten Bild.

Die Lösung: Die Trommeln stummschalten

Die Autoren schlagen zwei Wege vor, um dies zu beheben, die beide das „Lauterstellen" dieser lauten Trommelbeats (der Hauptkomponenten) beinhalten, damit die Geige wieder gehört werden kann.

1. Die „Training-freie" Lösung (Die Nachbearbeitung)

Diese Methode funktioniert, nachdem die KI bereits trainiert wurde. Es ist, als würde man eine Aufnahme des Theaterstücks nehmen und einen Audiofilter verwenden, um die Trommelspuren zu stummschalten, bevor man sie anhört.

Funktionsweise: Wenn die KI ein Bild betrachtet, projizieren die Forscher die Bilddaten mathematisch weg von den Richtungen des „Text-Rauschens".
Das Ergebnis: Die KI wird gezwungen, sich auf die tatsächlichen visuellen Beweise zu verlassen, da die „Raterei"-Abkürzungen blockiert sind.
Bonus: Dies kostet keine zusätzliche Rechenleistung und erfordert kein erneutes Training der KI.

2. Das „verzerrungsbewusste" Training (Die Probenänderung)

Diese Methode verändert, wie die KI überhaupt lernt.

Funktionsweise: Während des Trainings verhindern die Forscher, dass die KI jemals lernt, diese „Trommelbeat"-Abkürzungen zu nutzen. Sie zwingen die KI, die Verbindung zwischen Bild und Text zu lernen, ohne die Krücke der statistischen Vermutung.
Das Ergebnis: Die KI lernt, ihre Antworten ab Tag eins auf den visuellen Beweisen zu „verankern", was sie viel besser darin macht, lange, komplexe Szenen zu beschreiben, ohne Dinge zu erfinden.

Die Ergebnisse: Klarerer Blick

Das Papier testete diese Methoden an mehreren Benchmarks (Tests, die entwickelt wurden, um KI-Halluzinationen zu erkennen).

Weniger Halluzinationen: Die KI hörte auf, Objekte zu erfinden, die nicht da waren (wie das Beispiel mit dem leeren Esstisch).
Bessere Genauigkeit: Die KI wurde viel besser darin, genau zu beschreiben, was auf dem Bild war, insbesondere bei langen Beschreibungen.
Kein Kompromiss: Die KI wurde bei anderen Aufgaben nicht „dümmer"; sie wurde einfach ehrlicher darüber, was sie sah.

Zusammenfassung

Das Papier kommt zu dem Schluss, dass die derzeitige Art, diese KI-Modelle zu bauen, sie dazu zwingt, die visuellen Details zugunsten von Sprachmustern zu „vergessen". Indem wir mathematisch die spezifischen Richtungen entfernen, in denen diese Sprachverzerrung existiert, können wir das wahre visuelle Signal „enthüllen" und der KI ermöglichen, die Welt so zu sehen, wie sie tatsächlich ist, und nicht so, wie sie erwartet, dass sie ist.

Technische Zusammenfassung: Wenn Sprache die Vision überschreibt

1. Problemstellung

Vision-Language-Modelle (VLMs), insbesondere solche auf Decoder-Architekturen basierend, treiben zunehmend hochriskante Anwendungen voran, leiden jedoch unter einem kritischen Fehlermodus: Objekt-Halluzinationen. Diese Modelle beschreiben selbstbewusst visuellen Inhalt, der im Eingabebild nicht vorhanden ist.

Die Arbeit identifiziert die Ursache nicht lediglich als mangelnde Ausrichtung, sondern als geometrische Überausrichtung.

Die Modalitätslücke: Visuelle und linguistische Repräsentationen belegen in einem gemeinsamen latenten Raum natürlicherweise disjunkte Mannigfaltigkeiten.
Der Überausrichtungsmechanismus: Um die Anforderungen von cross-modaler Aufmerksamkeitsmechanismen in decoder-basierten VLMs zu erfüllen, zwingen Modelle visuelle Embeddings aggressiv dazu, mit der Text-Mannigfaltigkeit zu überlappen.
Die Konsequenz: Dieser erzwungene Kollaps injiziert einen statistischen linguistischen Bias in die visuellen Repräsentationen. Das Modell nutzt einen „strukturellen Shortcut", bei dem die wichtigsten Hauptkomponenten (PCs) des visuellen Embedding-Raums gekapert werden, um als Modalitätsanker für Text zu dienen. Folglich wird feinkörniger visueller Beweis durch hochwahrscheinliche textuelle Muster überschattet, was dazu führt, dass das Modell auf linguistische Priors zurückgreift, anstatt das tatsächliche Bild zu betrachten.

Vorherige Arbeiten haben entweder versucht, die Modalitätslücke aggressiv zu schließen (was die Überausrichtung potenziell verschlimmern könnte) oder Halluzinationen durch kostspielige Black-Box-Decodierungsstrategien (z. B. kontrastives Decodieren) unterdrückt, ohne die zugrundeliegende geometrische Ursache zu adressieren.

2. Methodik

Die Autoren schlagen einen geometrischen Debiasing-Rahmen vor, der den linguistischen Bias als linear isolierbaren Unterraum innerhalb der visuellen Embeddings behandelt.

A. Mechanistische Analyse

Definition der Text-Mannigfaltigkeit: Die Autoren definieren ein Koordinatensystem für die Text-Mannigfaltigkeit, indem sie eine Hauptkomponentenanalyse (PCA) auf Token-Embeddings durchführen, die aus Vortrainings-Beschreibungen abgeleitet wurden. Sie zeigen, dass die wichtigsten PCs eine universelle, datensatzunabhängige Mannigfaltigkeit bilden, die statistischen linguistischen Bias repräsentiert.
Schichtweise Ausrichtung: Die Analyse zeigt, dass sich in Standard-VLMs visuelle Tokens in frühen bis mittleren Decoder-Schichten aggressiv mit dieser Text-Mannigfaltigkeit ausrichten.
Visuelles Überschreiben: Lineares Probing zeigt, dass die Dekodierbarkeit visueller Tokens mit ihrer Propagation durch das Netzwerk abnimmt, da die wichtigsten PCs als „strukturelle Maske" wirken und echte visuelle Signale durch textuelle Syntax und Priors überschreiben.

B. Vorgeschlagene Abhilfemaßnahmen

Die Arbeit stellt zwei komplementäre Methoden vor, um diesen Bias zu entfernen:

Trainingsfreie Inferenzstrategie (Post-hoc):
- Zum Zeitpunkt der Inferenz projiziert die Methode visuelle Embeddings orthogonal zu den top- $k$ Hauptkomponenten der Text-Mannigfaltigkeit.
- Formel: $\vec{v}_{debiased} = \vec{v} - \sum_{i=1}^{k} ((\vec{v} - \vec{m}) \cdot \vec{k}_i)\vec{k}_i$ , wobei $\vec{v}$ das visuelle Embedding, $\vec{m}$ der Mittelwert der Text-Mannigfaltigkeit und $\vec{k}_i$ die wichtigsten PCs sind.
- Dieser Vorgang entfernt den „textuellen Anker", ohne zusätzliches Modelltraining oder Rechenoverhead zu erfordern.
Bias-bewusstes Fine-Tuning-Paradigma:
- Während des Fine-Tuning-Prozesses wird dieselbe Entfernung der top- $k$ PCs auf den Ausgang des cross-modalen Projektors angewendet, bevor er in den LLM-Decoder gelangt.
- Dies beraubt das Netzwerk strukturell statistischer linguistischer Shortcuts während der Parameteraktualisierung und zwingt das Modell, visuelle Beweise für die Verankerung nativ zu kodieren.

3. Hauptbeiträge

Quantitative Charakterisierung der Überausrichtung: Die Arbeit liefert die erste explizite Analyse, die zeigt, dass linguistischer Bias in decoder-basierten VLMs sich in den wichtigsten Hauptkomponenten des visuellen Embedding-Raums konzentriert und die visuelle Dekodierbarkeit aktiv verschlechtert.
Neuartiger geometrischer Rahmen: Eine aufgabenunabhängige Methode zur Isolierung und Messung des Eindringens linguistischen Bias, die identifiziert, dass dieser Bias stark in den wichtigsten PCs des latenten Raums konzentriert ist.
Trainingsfreies Debiasing: Eine prinzipielle, post-hoc-Intervention, die die visuelle Verankerung auf diversen Benchmarks signifikant verbessert, mit null zusätzlichen Rechenkosten gegenüber dem Basismodell.
Bias-bewusstes Fine-Tuning: Ein spezialisiertes Trainingsframework, das das Modell zwingt, sich auf visuelle Beweise zu verlassen, indem statistische linguistische Shortcuts während des Trainingsloops entfernt werden.

4. Experimentelle Ergebnisse

Die Methoden wurden an mehreren Architekturen (Qwen2.5-VL-7B, LLaVA-1.5-7B) und Benchmarks evaluiert.

Reduktion von Halluzinationen:
- POPE: Verbesserung von 87,3 auf 88,4 (Qwen) und von 82,8 auf 83,8 (LLaVA).
- CHAIR: Signifikante Reduktion der Halluzinationsraten. Für Qwen2.5-VL-7B sank CHAIR von 5,14 auf 4,23 (-17,7 %); für LLaVA-1.5-7B sank sie von 9,20 auf 6,74 (-26,7 %).
- AMBER: Deutliche Verbesserungen sowohl bei Instanz- als auch bei Satzmetriken.
- Vergleich: Die trainingsfreie Methode übertraf oder entsprach rechenintensiven Black-Box-Baselines wie VCD, SID und DMAS.
Langform-Beschreibung (CLAIR-Score):
- Evaluiert auf VRSBench und TextCaps unter Verwendung des CLAIR-Scores (der halluzinierten Inhalt bestraft).
- Das bias-bewusste Fine-Tuning-Paradigma übertraf konsistent sowohl Zero-Shot- als auch Standard-Supervised-Fine-Tuning (SFT)-Baselines.
- Beispiel: Auf VRSBench mit Qwen2.5-VL-7B verbesserte sich der Score von 72,30 (Standard-SFT) auf 74,70.
Logit-Lens-Analyse:
- Die Verfolgung latenter Repräsentationen zeigte, dass Baseline-Modelle visuelle Patches als hochwahrscheinliche Syntaxmarker (z. B. Interpunktion, Präpositionen) dekodierten.
- Nach geometrischem Debiasing dekodierten die Modelle erfolgreich feinkörnige visuelle Semantik (z. B. „Bank", „Kühlschrank", „Deck"), was die Entfernung des syntaktischen Protokolls bestätigte.

5. Bedeutung und Behauptungen

Die Arbeit argumentiert, dass die vorherrschende Annahme – dass das Schließen der Modalitätslücke die richtige Strategie sei – fehlerhaft ist. Stattdessen sollte eine bewusste Modalitätslücke bestehen, um die geometrische Integrität visueller Repräsentationen zu bewahren.

Kern-Erkenntnis: Das Erzwingen einer vollständigen Überlappung von visuellen und Texträumen kontaminiert visuelle Repräsentationen mit falschen statistischen Regularitäten der Sprache.
Implikation: Durch das explizite Herausprojizieren der wichtigsten textuellen PCs wird das Modell gezwungen, auf tatsächliche visuelle Beweise zu achten, anstatt sich auf linguistische Priors zu verlassen.
Eingeschränkte Gültigkeit: Die Autoren stellen fest, dass die aktuelle decoder-basierte Architektur, die eine Komprimierung des feinkörnigen visuellen Raums in eine Text-Mannigfaltigkeit erfordert, möglicherweise fundamental fehlerhaft ist. Sie schlagen vor, dass zukünftige Architekturen separate, modality-spezifische Encoder benötigen könnten. Zudem verlässt sich die Methode auf die Annahme, dass linguistischer Bias perfekt in einen linearen Unterraum isoliert werden kann, was bei stark out-of-distribution-Domänen Schwierigkeiten bereiten könnte.

Zusammenfassend demonstriert die Arbeit, dass Halluzinationen in VLMs nicht nur ein Decodierungsproblem, sondern ein Repräsentationsproblem sind, das durch geometrische Überausrichtung verursacht wird, und dass dies durch prinzipielles geometrisches Debiasing gemildert werden kann.