Technisches Resümee: MLLMs Get It Right, Then Get It Wrong: Verfolgung und Korrektur von textuellem Bias in späten Schichten

1. Problemstellung

Multimodale Large Language Models (MLLMs) zeigen eine konsistente Voreingenommenheit gegenüber textuellen Informationen, wenn diese im Widerspruch zu visuellen Belegen stehen. Selbst wenn ein Bild einen klaren Beweis für eine Tatsache liefert (z. B. ein rotes Auto), geben MLLMs oft die Antwort aus, die durch den widersprüchlichen Text suggeriert wird (z. B. „blaues Auto“). Dieses „textuelle Überschreiben“ (Textual Override) birgt erhebliche Risiken für sicherheitskritische Anwendungen wie die medizinische Diagnose oder das autonome Fahren, bei denen das Vertrauen auf fehlerhafte Texte statt auf die visuelle Wahrnehmung zu schwerwiegenden Fehlern führen kann.

Vorherige Arbeiten haben dieses Phänomen dokumentiert, aber den zugrunde liegenden Mechanismus nicht geklärt. Es bleibt unklar, ob das Versagen auf eine schlechte initiale visuelle Kodierung, den Verlust von Informationen während der Cross-Modal-Fusion oder auf die korrekte Verarbeitung visueller Daten zurückzuführen ist, die anschließend durch textuelle Priors in tieferen Schichten überschrieben werden.

2. Methodik und Analyse

2.1 Schichtweise Verfolgung und Modal Dominance Ratio (MDR)

Um den Fehlmechanismus zu untersuchen, verfolgen die Autoren die Vorhersage-Trajektorien über die Schichten des Modells hinweg. Sie projizieren die verborgenen Zustände (Hidden States) jeder Schicht $l$ mittels des Sprachmodell-Heads auf Ausgabewahrscheinlichkeiten. Sie führen das Modal Dominance Ratio (MDR) ein, um die Präferenz für die visuelle ($w_{vis}$) gegenüber der textuellen ($w_{text}$) Antwort in jeder Schicht zu quantifizieren:
$$\text{MDR}^{(l)} = \log \frac{P^{(l)}_t(w_{vis})}{P^{(l)}_t(w_{text})}$$

• Positives MDR: Präferenz für die visuelle Antwort.
• Negatives MDR: Präferenz für die textuelle Antwort.

2.2 Das Phänomen des „Late-Layer Textual Override“

Die Analyse von Conflict-Incorrect Proben (bei denen das Modell scheitert) offenbart ein überraschendes Muster:

1. Initiale Korrektheit: In den mittleren Schichten weist das Modell eine höhere Wahrscheinlichkeit für die korrekte visuelle Antwort zu (positives MDR).
2. Das Überschreiben: In den späteren Schichten kippt das MDR ins Negative, und das Modell verschiebt seine Präferenz zur falschen textuellen Antwort.
3. Schlussfolgerung: Die visuellen Informationen werden erfolgreich kodiert, aber sie überleben den vollständigen Forward-Pass nicht aufgrund der Verarbeitung in den späten Schichten.

2.3 Richtungsgebundene Signatur der Korrektheit

Die Autoren beobachten, dass Vorhersageschwankungen sowohl in erfolgreichen als auch in gescheiterten Fällen auftreten. Jedoch unterscheidet die Richtung der Verschiebung zwischen ihnen:

• Fehlschläge (Conflict-Incorrect): 85 % der Übergänge verschieben sich hin zum Text ($\Delta \text{MDR} < 0$).
• Erfolge (Conflict-Correct & Non-Conflict): 89–91 % der Übergänge verschieben sich hin zur Vision oder bleiben stabil ($\Delta \text{MDR} > 0$).

Diese richtungsgebundene Asymmetrie deutet darauf hin, dass späte Schichten Vorhersagen manchmal verfeinern (vorteilhaft), aber manchmal visuelle Belege unterdrücken (schädlich).

2.4 Conflict-Aware Layer Reference Decoding (CALRD)

Basierend auf diesen Erkenntnissen schlagen die Autoren CALRD vor, eine trainingsfreie Interventionsmethode zur Inferenzzeit. Sie erfordert kein externes Wissen oder Retraining.

Detektionsmechanismus:
CALRD identifiziert „schädliche Überschreibungen“ mithilfe von zwei Signalen, die von der Übergangsschicht ($L_{trans}$) abgeleitet werden – definiert als die Schicht mit der stärksten Verteilungsverschiebung (erkannt via Jensen-Shannon-Divergenz):

1. Anchor Confidence ($D_{conf}$): Die Wahrscheinlichkeit der Top-Vorhersage in der Übergangsschicht. Eine hohe Konfidenz indiziert eine starke intermediäre Präferenz.
2. Prediction Retention ($\rho$): Das Verhältnis der Wahrscheinlichkeit der finalen Schicht zur Wahrscheinlichkeit der Übergangsschicht für dasselbe Token. Eine niedrige Retention zeigt an, dass die Vorhersage unterdrückt wurde.

Interventionslogik:
Eine Korrekturstärke $\lambda$ wird berechnet als:
$$\lambda = D_{conf} \cdot (1 - \rho)$$

• Wenn eine konfidente Vorhersage existiert ($D_{conf}$ hoch), aber unterdrückt wurde ($\rho$ niedrig), wird $\lambda$ groß.
• Wenn die Vorhersage stabil oder unsicher ist, bleibt $\lambda$ nahe bei Null.

Decoding-Strategie:
Die finalen Output-Logits werden angepasst, indem die Logits der Übergangsschicht mit den Logits der finalen Schicht gemischt werden:
$$\phi'_t = (1 - \lambda) \cdot \phi^{(N)}_t + \lambda \cdot \phi^{(L_{trans})}_t$$
Dies stellt die visionsbasierte Antwort wieder her, die in den intermediären Schichten präsent war, aber in der finalen Ausgabe überschrieben wurde.

3. Kernbeiträge

1. Mechanistische Entdeckung: Die Arbeit identifiziert den „Late-Layer Textual Override“ als Hauptursache für Fehler bei visuellen-textuellen Konflikten und zeigt auf, dass Modelle oft zunächst „es richtig machen“, bevor sie ihre Meinung ändern.
2. Direktionaler Prädiktor: Die Autoren zeigen, dass die Richtung der Vorhersageschwankungen (hin zu Text vs. hin zu Vision) ein zuverlässiger Prädiktor für die Korrektheit ist, der schädliche Überschreibungen von vorteilhaften Verfeinerungen unterscheidet.
3. CALRD-Methode: Eine trainingsfreie Decoding-Strategie, die überschriebene Vorhersagen selektiv unter Verwendung interner Modellsignale wiederherstellt und dabei die Standardleistung bewahrt, während Konflikte korrigiert werden.
4. Conflict-VQA Benchmark: Konstruktion eines neuen diagnostischen Benchmarks (5.969 Samples) mit expliziten visuellen-textuellen Annotationen zur Erleichterung der mechanistischen Analyse der Konfliktlösung.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CALRD auf fünf MLLMs (InstructBLIP, LLaVA-1.5/1.6, Qwen2.5-VL, Qwen3-VL) über verschiedene Architekturen hinweg.

• Konflikt-Benchmarks: CALRD erreichte bis zu 9,4 % absolute Verbesserung bei Konfliktaufgaben (z. B. PhD-icc und Conflict-VQA).
  • Bei PhD-icc verbesserte sich LLaVA-1.5 von 27,72 % auf 36,35 % (+8,63 %).
  • Die Verbesserungen waren generell größer bei schwächeren Modellen, da stärkere Modelle bereits mehr Konflikte korrekt in ihren späten Schichten lösen.
• Standard-Benchmarks (Non-Conflict): CALRD bewahrte weitgehend die Leistung oder verbesserte sie leicht auf Standard-Halluzinations-Benchmarks (POPE und CHAIR), was zeigt, dass die Methode die Leistung bei Nicht-Konflikt-Aufgaben nicht wahllos verschlechtert.
• Vergleich: CALRD übertraf bestehende schichtbasierte Methoden wie DoLa und DeCo, die oft uniforme Korrekturen anwenden und die Leistung verschlechtern können, wenn die Verarbeitung in späten Schichten tatsächlich vorteilhaft ist.
• Effizienz: CALRD verursacht minimalen Overhead (~1,5 ms/Token und 80 MB Speicher) im Vergleich zum Vanilla-Decoding, was die praktische Anwendung ermöglicht.

5. Bedeutung und Ansprüche

Die Arbeit beansprucht einen Perspektivwechsel zur Verbesserung der Zuverlässigkeit von MLLMs: Anstatt sich ausschließlich darauf zu konzentrieren, Modellen beizubringen, „besser zu sehen“ (bessere visuelle Kodierung), kann die Zuverlässigkeit verbessert werden, indem man den Modellen hilft, das, was sie bereits gesehen haben, zu bewahren.

Die Autoren betonen, dass ihr Ansatz modest (bescheiden) in seinem Umfang ist:

• Er adressiert einen spezifischen Fehlermodus (Late-Layer Override) und nicht alle Halluzinationen.
• Er stützt sich auf die eigenen internen Repräsentationen des Modells und benötigt keine externen Wissensdatenbanken oder zusätzliche Trainingsdaten.
• Die Intervention ist adaptiv; sie wird nur aktiviert, wenn die spezifische Signatur einer schädlichen Überschreibung (hohe Konfidenz + niedrige Retention) erkannt wird, wodurch sichergestellt wird, dass die vorteilhafte Verarbeitung in den späten Schichten nicht gestört wird.

Die Arbeit legt nahe, dass das beobachtete „blinde Vertrauen in Text“ bei MLLMs nicht notwendigerweise ein Mangel an visuellem Verständnis ist, sondern ein Versagen der Informationserhaltung durch die Netzwerktiefe. CALRD bietet einen Mechanismus, um diese verlorenen Informationen wiederherzustellen.