Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

Technische Samenvatting: Voorbij de Vision Encoder: Identificatie en Mitigatie van Spatiale Bias in Large Vision-Language Models

1. Probleemstelling

Large Vision-Language Models (LVLMs) hebben aanzienlijk succes behaald in multimodale taken, maar vertonen onvoldoende robuustheid met betrekking tot spatiale variaties. Specifiek produceren huidige LVLMs vaak inconsistente of tegenstrijdige outputs wanneer identieke visuele informatie op verschillende locaties binnen een afbeelding wordt geplaatst. Dit fenomeen, getermd spatiale bias, suggereert dat de semantische begrijpingscapaciteit van de modellen niet positie-invariant is, maar gebiased naar specifieke spatiale voorkeuren.

Hoewel eerder onderzoek spatiale bias heeft gekoppeld aan objecthallucinaties of het langetermijndecay-effect van Rotary Position Embedding (RoPE), stelt dit werk dat dergelijke verklaringen een gebrek aan generaliseerbaarheid vertonen of de kernoorzaak in fundamenteel semantisch begrip niet adresseren. Het artikel stelt dat de bias niet voortkomt uit het perceptie- of encoding-vermogen van de vision encoder, maar uit een mismatch in de aandachtmechanismen tussen de vision encoder en de Large Language Model (LLM) backbone.

2. Methodologie en Analyse

A. Systematische Probing van Spatiale Robuustheid
Om de spatiale bias te kwantificeren, hebben de auteurs een gecontroleerde probing-dataset geconstrueerd op basis van beeld-tekst-matching.

• Dataset Constructie: 10.000 beeld-capatie-paren werden gesampled uit LAION. Voor elke sleutelafbeelding werden 8 distractor-afbeeldingen opgehaald. De sleutelafbeelding en de distractoren werden gerangschikt in een $3 \times 3$ raster om een samengestelde afbeelding te vormen.
• Experimentele Opzet: De sleutelafbeelding werd systematisch naar elke van de 9 rasterposities verplaatst ($n=0$ tot $8$), terwijl de caption en de distractoren constant bleven. Het model kreeg een binaire vraag om te bepalen of de samengestelde afbeelding de doelafbeelding bevatte.
• Bevindingen: Experimenten op zes representatieve LVLMs (waaronder Qwen2.5-VL, LLaVA-v1.6 en InternVL3) toonden significante fluctuaties in nauwkeurigheid over verschillende rasterposities. Opvallend genoeg correleerde de prestatie niet sterk met de token-afstand, wat suggereert dat de bias niet primair wordt veroorzaakt door het langetermijndecay van RoPE.

B. Analyse van de Kernoorzaak
De auteurs ontleedden de visuele verwerkingspipeline in twee stadia om de bron van de bias te isoleren:

1. Perceptiefase (Eraser Search): Middels masking-experimenten bevestigde de studie dat LVLMs consistent kritieke regio's identificeren, ongeacht hun spatiale locatie. Perceptie is spatiaal robuust.
2. Semantische Begrijpfase (Vision Encoder): Door de cosinus-gelijkenis tussen visuele features en tekst-embeddings over verschillende posities te meten, vond de studie dat de vision encoder stabiele, semantisch uitgelijnde representaties produceert die onafhankelijk zijn van de locatie.
3. De LLM Bottleneck: Omdat zowel perceptie als visuele encoding robuust zijn, vindt de bias plaats in de cross-modale redenering van de LLM. De auteurs hypothetiseren dat het causale zelf-aandachtmechanisme (causal self-attention) in LLMs (dat tokens beperkt tot het letten op alleen voorgaande tokens) de bidirectionale globale informatiestroom die door de Vision Transformer (ViT) encoder is gevestigd, verstoort. Deze verstoring zorgt ervoor dat beeld-tokens de toegang tot de holistische globale context verliezen terwijl ze door de LLM-lagen propageren, waardoor hun bijdrage overmatig afhankelijk wordt van hun positie.

C. Voorgestelde Oplossing: Adaptive Global Context Injection (AGCI)
Om dit te mitigeren zonder architecturale wijzigingen, stellen de auteurs AGCI voor, een lichtgewicht mechanisme dat dynamisch gedeelde globale visuele context injecteert in elk beeld-token.

• Mechanisme:
  1. Bereken de globale beeldcontext $\tilde{g}$ als de gemiddelde representatie van alle beeld-tokens.
  2. Bereken de semantische gelijkenis $w_i$ tussen elk beeld-token $\tilde{v}_i$ en de globale context.
  3. Injecteer de globale context in elk token met een adaptieve sterkte proportioneel aan $(1 - w_i)$:
     $$\tilde{v}'_i = \tilde{v}_i + \lambda(1 - w_i)\tilde{g}$$
  4. Hierbij fungeert $\lambda$ als een hyperparameter die dient als een veiligheidsventiel om fijnmazige details te behouden. Tokens met een lagere globale semantische relevantie ontvangen een sterkere supplementatie.

3. Belangrijkste Resultaten

A. Spatiale Robuustheid (Probing Taak)

• AGCI verminderde de nauwkeurigheidsvariantie ($\Delta$) over rasterposities aanzienlijk voor alle geteste modellen.
• Voor modellen met een hoge initiële bias (bijv. LLaVA-v1.6), verminderde AGCI de variantie van 14,93 naar 8,05 en verbeterde de gemiddelde nauwkeurigheid van 70,82 naar 80,75.
• Voor grotere modellen (bijv. Qwen2.5-VL-72B), verbeterde AGCI de gemiddelde nauwkeurigheid van 70,12 naar 86,11, terwijl een lage variantie behouden bleef.

B. Downstream Taak Prestaties
AGCI werd geëvalueerd op zes downstream benchmarks met lichtgewicht LoRA fine-tuning:

• Complexe Redenering (MMMU-Pro, ScienceQA): AGCI verbeterde de prestaties, met name in 10-optie settings, wat duidt op een betere integratie van visuele cues en globaal begrip.
• Hallucinatie Benchmarks (CRPE, HallusionBench, POPE): AGCI verminderde over het algemeen de hallucinatie-tendensen en verbeterde de voorspellingsbetrouwbaarheid. Bijvoorbeeld, op POPE verbeterde de gemiddelde nauwkeurigheid van Qwen3-VL van 84,51 naar 86,96.
• OCR Taken (TextVQA): AGCI toonde sterke winsten (bijv. +4,93 voor LLaVA-v1.6), wat suggereert dat globale context helpt bij het aggregeren van verspreide tekstuele regio's.

C. Visualisatie van Informatiestroom
Visualisaties van attention maps toonden aan dat baseline-modellen vaak focusten op irrelevante spatiale regio's (bijv. de linkerbovenhoek) vanwege positionele bias. Na toepassing van AGCI werd de aandacht meer geconcentreerd op taak-relevante regio's (bijv. specifieke OCR-tekst), wat bevestigt dat AGCI een gebalanceerde contextuele representatie herstelt.

4. Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Systematische Investigatie: Het levert empirisch bewijs dat de voorspellingen van LVLMs significant variëren met de spatiale locatie van identieke visuele inhoud, wat een kritieke zwakte in het huidige spatiale begrip benadrukt.
2. Identificatie van de Kernoorzaak: Het wijst de bron van de spatiale bias toe aan het verlies van globale beeldcontext veroorzaakt door het causale aandachtmechanisme in LLM's, waarbij het expliciet de vision encoder en RoPE-decay als primaire boosdoeners uitsluit.
3. Effectieve Mitigatie: Het introduceert AGCI, een eenvoudige, architectuur-agnostische methode die de spatiale robuustheid en downstream prestaties verbetert zonder de intrinsieke capaciteiten op te offeren.

De auteurs benadrukken dat AGCI werkt door het herstellen van de stabiele toegang tot de globale context tijdens cross-modale redenering, waardoor de inconsistentie wordt verlicht die wordt veroorzaakt door de mismatch tussen bidirectionale visuele encoding en causale taalmodellering. Het werk suggereert dat het expliciet versterken van globale visuele semantiek cruciaal is voor het bereiken van een robuust, positie-invariant multimodaal begrip.