Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding

1. Problemstellung

Vision-Language Encoders (VLEs) wie CLIP oder SigLIP sind die Standard-Backbones für Zero-Shot Referencing Image Segmentation (RIS). Bei dieser Aufgabe soll ein Modell basierend auf einem freien Textausdruck (z. B. „der rote Ball links") eine spezifische Bildregion segmentieren, ohne dass das Modell für diese Aufgabe trainiert wurde.

Die Autoren identifizieren jedoch zwei fundamentale Schwächen in den aktuellen Ansätzen, die auf der Verwendung der Final-Layer-Embeddings (den Ausgaben der letzten Schicht) beruhen:

1. Positionale Blindheit: Die finalen visuellen Embeddings sind stark auf globale semantische Ausrichtung optimiert und verlieren dabei feingranulare räumliche Informationen. Das Modell ist „blind" für die genaue Position von Objekten innerhalb des Bildes.
2. Sprachliche Verzerrung (Bias): In multilingualen Szenarien führen Übersetzungen desselben Ausdrucks in verschiedenen Sprachen zu systematischen geometrischen Verschiebungen im gemeinsamen Embedding-Raum. Obwohl die Semantik gleich bleibt, liegen die Vektoren für verschiedene Sprachen in unterschiedlichen Regionen, was die Kreuzmodalität (Bild-Text-Vergleich) bei nicht-englischen Sprachen stark verschlechtert.

Bestehende training-freie Methoden nutzen diese finalen Schichten und scheitern daher oft bei räumlich präzisen Aufgaben oder multilingualen Anfragen.

2. Methodik: B2G (Biased to Grounded)

Die Autoren schlagen B2G vor, ein training-freies Framework, das die latenten Informationen in den mittleren Schichten (Mid-Layers) der VLEs nutzt, um diese Verzerrungen zu korrigieren. Der Ansatz folgt einem Paradigma aus Proben → Selektion → Grounding.

A. Räumliche Bias-Probe und P-Map (Spatial Map)

• Beobachtung: Mittlere Schichten des visuellen Encoders sind empfindlicher gegenüber räumlichen Anordnungen als die letzte Schicht.
• Technik: Um die räumliche Sensitivität zu nutzen, extrahiert B2G Patch-Embeddings aus einer mittleren Schicht.
• Negations-Operation: Die Autoren stellen fest, dass die Roh-Similarität zwischen Text und Bild-Patches in mittleren Schichten oft invertiert ist (Foreground-Patches haben negative Korrelation). Durch eine deterministische Vorzeichen-Inversion (Negation) der Patch-Embeddings vor der Normalisierung wird dies korrigiert.
• P-Map: Es wird eine dichte Ähnlichkeitskarte (P-Map) erstellt, die räumliche Cluster bildet. Diese Karte dient als räumlicher Leitfaden, um die Kandidaten-Masken neu zu bewerten (Reranking).

B. Sprachliche Bias-Probe und Multilingualer Centroid

• Beobachtung: Auch im Text-Encoder sind mittlere Schichten sprachstabiler als die finale Schicht.
• Technik: Für einen Eingabetext werden semantisch äquivalente Übersetzungen in $N$ Sprachen generiert.
• Centroid-Injektion: Anstatt die finalen Embeddings zu mischen, identifiziert B2G die Schicht mit der höchsten sprachlichen Konsistenz (kleinste geometrische Distanz zwischen den Übersetzungen). In dieser Schicht wird ein multilingualer Centroid (Durchschnitt aller Sprach-Embeddings) berechnet und in den Embedding-Vektor der Anker-Sprache injiziert.
• Ziel: Dies stabilisiert die geometrische Darstellung, bevor die sprachspezifischen Verzerrungen in den späteren Schichten verstärkt werden.

C. Der Reranking-Prozess

Das Framework bleibt vollständig „frozen" (keine Gradienten, kein Fine-Tuning).

1. Ein off-the-shelf Segmentierer (z. B. Mask2Former) generiert Kandidaten-Masken.
2. Die Baseline-Score (globale Bild-Text-Ähnlichkeit) wird berechnet.
3. Die Kandidaten werden basierend auf der Überlappung (IoU) mit der generierten P-Map neu sortiert.
4. Der finale Masken-Auswahl erfolgt durch Kombination von Baseline-Score und räumlichem Overlap-Score.

3. Wichtige Beiträge

1. Analyse der Schicht-Verzerrung: Der Nachweis, dass die finale Schicht von VLEs für räumlich präzise Aufgaben suboptimal ist und dass mittlere Schichten sowohl räumliche Struktur als auch sprachliche Stabilität bewahren.
2. Training-Freie Lösung: B2G ist ein Plug-in, das keine neuen Daten, kein Fine-Tuning und keine Architekturänderungen erfordert. Es funktioniert mit beliebigen frozen VLEs (CLIP, SigLIP, DFN, etc.).
3. P-Map Mechanismus: Die Entdeckung und Nutzung der invertierten Ähnlichkeit in mittleren Schichten zur Erstellung einer hochpräzisen räumlichen Karte ohne aufwändige Gradientenberechnung (im Gegensatz zu Grad-CAM).
4. Multilinguale Stabilisierung: Die Einführung einer Injektionsmethode für multilinguale Centroids in mittleren Schichten, die die „geometrische Drift" bei Übersetzungen effektiv korrigiert.

4. Ergebnisse

Die Methode wurde auf neun RefCOCO-Benchmarks (RefCOCO, RefCOCO+, RefCOCOg) sowie auf PhraseCut und multilingualen Text-zu-Bild-Retrieval-Aufgaben getestet.

• Zero-Shot RIS (Englisch): B2G verbessert die Leistung konsistent gegenüber den besten bisherigen training-freien Baselines.
  • Auf RefCOCO+: +5,47 mIoU.
  • Auf RefCOCOg: +5,75 mIoU (mit CLIP ViT-B/16).
  • Besonders starke Verbesserungen bei komplexen räumlichen Ausdrücken.
• Multilinguale RIS:
  • Durchschnittliche Steigerung von IoU@50 von 45,13 auf 53,41 über neun Sprachen.
  • Steigerung von mIoU von 42,42 auf 49,62.
  • Die Methode rettet insbesondere Sprachen, die im Baseline-Modell stark versagen (z. B. Deutsch, Chinesisch), ohne die Leistung für Englisch zu opfern.
• Text-zu-Bild-Retrieval: Auch bei der multilingualen Suche zeigt sich eine signifikante Verbesserung (Recall@1), was die allgemeine Sprachunabhängigkeit der Methode unterstreicht.
• Effizienz: Die Methode ist rechnerisch effizienter als gradientenbasierte Alternativen (wie Grad-CAM) und benötigt keine erneute Berechnung von Attention-Maps.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Einblick in die innere Arbeitsweise von Vision-Language-Modellen. Es widerlegt die Annahme, dass die finale Schicht die beste Repräsentation für alle Aufgaben ist. Stattdessen zeigt es, dass strukturelle Informationen (Räumlichkeit) und sprachliche Stabilität in den mittleren Schichten erhalten bleiben, aber durch die finale Abstraktionsschicht unterdrückt werden.

B2G demonstriert, dass man durch gezieltes „Probing" und die Nutzung dieser latenten Informationen in den mittleren Schichten die Leistung von frozen VLEs erheblich steigern kann, ohne das Modell neu zu trainieren. Dies eröffnet neue Wege für robuste, mehrsprachige und räumlich präzise multimodale Systeme in Anwendungen wie robotischer Manipulation, medizinischer Bildanalyse oder assistiven Technologien, wo präzises räumliches Verständnis und Sprachunabhängigkeit kritisch sind.