Tinted Frames: Question Framing Blinds Vision-Language Models

Titel: Tinted Frames: Vraagformulering verblindt Vision-Language Models

1. Het Probleem: Selectieve Blinde Vlekken

Hoewel Vision-Language Models (VLMs) indrukwekkende prestaties leveren op benchmarks, is er groeiend bewijs dat deze modellen vaak "blind" zijn voor visuele input en in plaats daarvan vertrouwen op taalkundige priors (voorafgaande kennis). Het paper introduceert het concept van selectieve blindheid: VLMs zijn niet inherent blind, maar passen hun aandacht voor visuele input dynamisch aan op basis van de vraagformulering (question framing).

De auteurs tonen aan dat modellen, zelfs wanneer ze dezelfde visuele redenering nodig hebben, drastisch verschillende aandachtspatronen vertonen afhankelijk van of de vraag open-ended is, een Ja/Nee-vraag is, of een Meerkeuzevraag (MCQ).

• Open-ended vragen: Modellen tonen een robuuste, visueel onderbouwde aandacht voor het relevante object.
• Beperkte formuleringen (Ja/Nee, MCQ): Modellen vertonen een significante afname in visuele aandacht, verplaatsen hun focus van taak-relevante gebieden naar oninformatieve tokens (zoals "sink tokens" of achtergrond), en vertonen een grotere spreiding van aandacht.

Dit leidt tot cross-framing inconsistentie: een model kan een vraag correct beantwoorden in open-ended vorm, maar faalt wanneer dezelfde vraag wordt omgezet naar een Ja/Nee- of MCQ-formaat, ondanks dat de visuele informatie identiek is.

2. Methodologie

De auteurs hanteren een mechanistische aanpak om dit fenomeen te analyseren en op te lossen:

A. Analyse van Aandacht (Mechanistic Analysis)

• Attention Rollout: In plaats van simpele gemiddelden, gebruiken ze attention rollout om de propagatie van visuele informatie van de invoerlagen naar de output-embeddings te traceren. Dit houdt rekening met residu-verbindingen en causale masking.
• Datasets: Ze creëren gecontroleerde datasets (GQAF en V*F) waarbij elk semantisch voorbeeld wordt omgezet in drie varianten: Open-ended, Ja/Nee, en MCQ. Dit zorgt ervoor dat alleen het formaat verandert, niet de onderliggende visuele redenering.
• Metingen: Ze kwantificeren:
  • Visuele Energie (Visual Energy): De totale hoeveelheid aandacht die naar visuele tokens wordt gericht.
  • Box Aandacht: De aandacht die specifiek naar de ground-truth bounding box (het relevante object) gaat.
  • Entropy: De spreiding van de aandacht.

B. Interventie: Aandachtsturing (Attention Steering)
Om te bewijzen dat de aandachtverschuiving de oorzaak is van de fouten (en niet slechts een correlatie), voeren ze een directe interventie uit:

• Ze "sturen" de aandachtsgewichten van een beperkte formulering (Ja/Nee/MCQ) naar het niveau van de open-ended formulering.
• Ze testen twee interventies: het verhogen van de totale visuele energie en het herverdelen van de aandacht naar de juiste ruimtelijke regio's (bounding box).

C. Oplossing: Prompt Tuning
Gebaseerd op de bevindingen ontwikkelen ze een lichtgewicht prompt-tuning methode:

• Ze voegen een kleine set leerbare tokens (soft tokens) toe aan de inputsequentie van beperkte vragen.
• Trainingsdoel: Een gezamenlijke loss-functie die bestaat uit:
  1. Standaard cross-entropy loss voor antwoordnauwkeurigheid.
  2. Attention Alignment Loss: Deze straft afwijkingen van de open-ended aandachtspatronen af. Het bevat een L2-loss voor visuele energie en een KL-divergentie voor ruimtelijke verdeling.
• De VLM zelf blijft bevroren (frozen); alleen de leerbare tokens worden bijgesteld.

3. Belangrijkste Bevindingen en Resultaten

Bevinding 1: Cross-Framing Inconsistentie
Modellen vertonen hoge inconsistentiepercentages (tot 26% op GQA en 38% op SeedBench). Taken die visuele grounding vereisen (zoals tellen of ruimtelijke relaties) zijn het meest gevoelig.

Bevinding 2: Aandachtverschuiving (F→A)
Beperkte formuleringen veroorzaken een fundamentele verandering in hoe het model kijkt:

• Visuele Energie daalt: Er wordt minder aandacht besteed aan het beeld als geheel.
• Ruimtelijke Verschuiving: De aandacht verschuift van het doelobject (bijv. de stoel) naar irrelevante gebieden of "sink tokens".
• Entropy stijgt: De aandacht wordt diffuser en minder gefocust.
• Deze verschuiving is het sterkst in de middenlagen van het model, waar visuele en tekstuele representaties samenkomen.

Bevinding 3: Oorzaak van Fouten (A→Y)
De interventie-experimenten bevestigen dat het herstellen van de aandacht direct de nauwkeurigheid verbetert.

• Het herverdelen van aandacht naar de juiste ruimtelijke regio's (Box Attention) levert universele winst op.
• Het verhogen van de totale visuele energie helpt vooral bij taken die fijne grounding vereisen.

Resultaten van de Prompt-Tuning Oplossing
De voorgestelde methode (met leerbare tokens) levert consistente verbeteringen op zonder de modelgewichten aan te passen:

• Grounding: Significante verbetering op benchmarks zoals V* en HRBench8k (bijv. +2.5% op Qwen2.5-VL-7B op V*).
• Consistentie: De cross-framing inconsistentie daalt aanzienlijk; modellen worden robuuster tegen veranderingen in vraagformulering.
• Generalisatie: De methode werkt effectief over verschillende modelarchitecturen (Qwen, Gemma, LLaVA, GLM) en groottes (7B tot 12B parameters).

4. Betekenis en Impact

Dit paper biedt een paradigmaverschuiving in het begrijpen van VLM-fouten:

1. Dynamisch vs. Statisch: Visuele blindheid is geen statisch architecturaal defect, maar een dynamisch gedrag dat wordt geactiveerd door de vraagformulering. Modellen "beslissen" om niet te kijken op basis van de promptstructuur.
2. Diagnostisch Instrument: Cross-framing inconsistentie wordt voorgesteld als een nieuwe diagnostische maatstaf om de echte visuele begripskracht van een model te testen, los van taalkundige priors.
3. Efficiënte Mitigatie: Het toont aan dat complexe visuele problemen kunnen worden opgelost met zeer lichte prompt-tuning (slechts ~60K leerbare parameters), zonder de noodzaak van dure hertraining van het volledige model.

Kortom, de auteurs bewijzen dat de manier waarop we vragen stellen, de visuele waarneming van AI-modellen fundamenteel kan veranderen, en bieden een praktische oplossing om deze "gekleurde brillen" te verwijderen.