Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding

1. Probleemstelling

Vision-Language Encoders (VLE's), zoals CLIP en SigLIP, worden breed ingezet voor Zero-Shot Referring Image Segmentation (RIS). Hierbij moet een model een specifiek gebied in een afbeelding lokaliseren op basis van een tekstuele beschrijving, zonder dat het model specifiek voor die taak is getraind.

De auteurs identificeren twee fundamentele beperkingen in de huidige aanpak, die voornamelijk de laagste (final) laag van de VLE's gebruikt:

1. Positieblindheid (Spatial Blindness): De eindlaag-embeddings zijn geoptimaliseerd voor globale semantische uitlijning. Hierdoor verliezen ze de fijne ruimtelijke structuur. Visuele features in de eindlaag zijn weinig gevoelig voor positie-informatie, wat leidt tot fouten bij het lokaliseren van objecten op basis van ruimtelijke termen (bijv. "links", "dichtstbij").
2. Taalbias (Language Bias): In multilinguale settings vertonen tekst-embeddings in de eindlaag systematische, taalafhankelijke geometrische verschuivingen. Hoewel semantisch equivalente zinnen in verschillende talen hetzelfde object moeten aanduiden, liggen hun vectorrepresentaties in de gedeelde ruimte niet op dezelfde plek. Dit veroorzaakt instabiliteit bij het vertalen van queries.

De kernhypothese is dat deze informatie (ruimtelijke structuur en taal-neutrale geometrie) wel aanwezig is in de intermediaire lagen van het model, maar wordt onderdrukt of vervormd door de eindlaag-uitlijning.

2. Methodologie: B2G (Biased to Grounded)

De auteurs stellen B2G voor, een trainingsvrij (training-free) framework dat bestaande zero-shot RIS-pipelines verbetert door gebruik te maken van intermediaire representaties. Het framework volgt een Probe → Select → Ground paradigma:

A. Ruimtelijke Bias Probing (Visuele Kant)

• Probleem: Directe cosine-gebruik van patch-embeddings in tussenlagen leidt vaak tot een "omgekeerde visualisatie" (foreground patches hebben lage scores).
• Oplossing: De auteurs introduceren een negatie-operatie op de patch-embeddings voordat ze worden genormaliseerd. Dit corrigeert de anti-correlatie en herstelt de voorgrond-activaties.
• Ruimtelijke Map (P-Map): Er wordt een dichte patch-level similariteitskaart gegenereerd. Gebieden met hoge respons vormen ruimtelijke clusters die als leidraad dienen voor het herschikken van maskers.
• Laagselectie: Om de meest ruimtelijk gevoelige laag te vinden, gebruiken ze een tile-permutatie probe. Ze schudden de afbeelding in tegels en meten de equivalentie-scores. Lagen met lage equivalentie (sterke afhankelijkheid van positie) worden geselecteerd.

B. Taalbias Probing (Tekst Kant)

• Probleem: Vertaalde zinnen leiden tot verschillende vectorposities in de eindlaag.
• Oplossing: Voor een gegeven query worden semantisch equivalente vertalingen gegenereerd in meerdere talen.
• Centroid Injectie: De auteurs analyseren de cross-taal consistentie per laag. Ze selecteren de laag waar de embeddings van verschillende talen het meest consistent zijn (minimale geometrische drift). Op deze laag wordt een multilinguale centroid (het gemiddelde van de embeddings van alle vertalingen) berekend en geïnjecteerd in de anchor-query (de originele taal). Dit stabiliseert de representatie voordat deze de eindlaag bereikt.

C. Masker Reranking

Het framework combineert de originele tekst-afbeelding similariteitsscore met een overlap-score tussen de voorgestelde maskers en de gegenereerde P-Map. Maskers die beter overeenkomen met de ruimtelijke kaart krijgen een hogere score, wat leidt tot een betere selectie van het juiste masker.

3. Belangrijkste Bijdragen

1. Analyse van Intermediaire Lagen: Het paper biedt het eerste gedetailleerde bewijs dat intermediaire lagen van VLE's rijk zijn aan ruimtelijke en taal-neutrale informatie die verloren gaat in de eindlaag.
2. B2G Framework: Een plug-in methode die geen fine-tuning vereist en werkt op bestaande, bevroren VLE's (zoals CLIP, SigLIP, DFN).
3. Dualiteit van Bias: Het onthult dat zowel ruimtelijke als taal-biasen voortkomen uit dezelfde architecturale bottleneck (de eindlaag) en dat beide gelijktijdig kunnen worden opgelost door intermediaire representaties te benutten.
4. Multilinguale Stabilisatie: Een nieuwe techniek om taalafhankelijke drift te corrigeren via centroid-injectie in een stabiele tussenlaag, zonder extra training.

4. Resultaten

De methode is getest op diverse benchmarks en presteert overtuigend:

• Zero-Shot RIS (Engels):
  • Op RefCOCO verbetering van +2.15 mIoU.
  • Op RefCOCO+ verbetering van +5.47 mIoU.
  • Op RefCOCOg verbetering van +5.75 mIoU (gebruikmakend van CLIP ViT-B/16).
  • B2G presteert beter dan state-of-the-art trainingsvrije baselines zoals Global-Local en HybridGL.
• Multilinguale Zero-Shot RIS:
  • Op negen vertaalde benchmarks (RefCOCO familie in 10 talen) stijgt de gemiddelde IoU@50 van 45.13 naar 53.41.
  • De gemiddelde mIoU stijgt van 42.42 naar 49.62.
  • De methode lost ernstige localisatiefouten op bij niet-Engelse queries (bijv. Duitse en Chinese queries die eerder faalden).
• Zero-Shot Text-to-Image Retrieval:
  • Significant verbetering in Recall@1 voor niet-Engelse talen (bijv. +12.15% voor Duits, +6.22% voor Chinees) zonder de prestaties voor Engels te verlagen.
• Efficiëntie:
  • De methode vereist geen backpropagation of herberekening van attention-maps (zoals bij Grad-CAM), wat de inferentie-tijd laag houdt, hoewel er een kleine overhead is door het verwerken van meerdere talen.

5. Betekenis en Impact

Dit werk heeft een belangrijke impact op het veld van Vision-Language Modellen:

• Paradigmaverschuiving: Het daagt de conventionele wijsheid uit dat alleen de eindlaag van een VLE relevant is voor cross-modale taken. Het toont aan dat "ruimtelijke blindheid" een artefact is van de eindlaag-uitlijning, niet een fundamenteel gebrek aan het model.
• Efficiënte Multilinguale AI: Het biedt een kostenefficiënte manier om multilinguale robuustheid te bereiken zonder dure pre-training of het trainen van nieuwe encoders.
• Toepassingsbereik: De inzichten zijn relevant voor elke taak die fijnmazige ruimtelijke redenering vereist, zoals robotica, navigatie en medische beeldanalyse, waar precieze lokalisatie cruciaal is.

Samenvattend demonstreert B2G dat door slim gebruik te maken van de interne structuur van bestaande modellen, we aanzienlijke verbeteringen kunnen boeken in ruimtelijk begrip en taalneutraliteit, puur door de juiste lagen te selecteren en te combineren.