CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models

Technische Samenvatting: CounterCount: Een Diagnostisch Kader voor Telbias in Vision Language Models

Probleemstelling
Vision-Language Models (VLM's) hebben sterke capaciteiten aangetoond in multimodaal redeneren, grotendeels door Large Language Models (LLM's) als tekstuele ruggengraat te benutten. Er blijft echter een kritieke ambiguïteit bestaan: wanneer een VLM een visuele vraag beantwoordt, is de voorspelling dan geworteld in het specifieke visuele bewijs, of wordt deze gedreven door statistische regulariteiten en "canonieke priors" die uit tekstcorpora zijn geleerd? Deze kwestie is bijzonder acuut bij telopdrachten. Hoewel tellen eenvoudig lijkt, vereist het dat modellen entiteiten identificeren, ze onderscheiden van afleiders en visueel bewijs aggregeren. Huidige VLM's worstelen vaak met tellen, en eerdere analyses suggereren dat zelfs wanneer relevante objecten aandacht krijgen, modellen dit bewijs mogelijk niet correct benutten, en in plaats daarvan terugvallen op prototypische kennis (bijvoorbeeld ervan uitgaande dat een konijn twee oren heeft, ongeacht de inhoud van de afbeelding). Bestaande benchmarks verwarren telfouten vaak met andere factoren zoals promptbias of semantische ambiguïteit, waardoor het moeilijk is om fouten die specifiek worden gedreven door het conflict tussen visueel bewijs en taal-priors te isoleren.

Methodologie
Om dit aan te pakken, introduceren de auteurs CounterCount, een diagnostisch kader dat is ontworpen om conflicten tussen visueel bewijs en priors op objectniveau te isoleren.

1. Datasetconstructie:

   • Contravente Paren: De dataset bestaat uit 168 gepaarde afbeeldingen (336 in totaal) die 10 semantische categorieën bestrijken (bijvoorbeeld zoogdieren, vervoer, valuta). Elk paar omvat een "feitelijk" beeld met canonieke objectattributen en een "contravente" (CF) afbeelding waarbij een telrelevante attribuut (bijvoorbeeld het aantal oren, wielen of bladen) systematisch wordt gewijzigd met behulp van beeldbewerkingsmodellen (Nano-Banana Pro).
   • Lokalisatie: In tegenstelling tot standaard benchmarks biedt CounterCount annotaties op regioniveau. Voor elke CF-afbeelding genereren de auteurs segmentatiemaskers en omhullende rechthoeken (BB's) voor de gewijzigde attributen. Deze worden gekoppeld aan het visuele tokenrooster van de visuele encoder om "Mask-BB"-regio's te creëren, waarmee de specifieke visuele tokens die voor de telopdracht vereist zijn, worden geïsoleerd.
   • Evaluatieformaten: Elke instantie wordt geëvalueerd met Open-Ended (OE) prompts en Meerkeuzevragen (MCQ) met gebalanceerde afleiders om onderscheid te maken tussen generieke telfouten en door priors gedreven fouten.

2. Diagnostische Analyse:

   • De auteurs evalueren recente open-weight VLM's (Qwen3-VL, Gemma3) en een gesloten bronmodel (Claude-haiku-4.5).
   • Ze analyseren aandachtsmechanismen om te bepalen of fouten voortkomen uit een gebrek aan lokalisatie of uit het niet correct wegen van gelokaliseerd bewijs. Resultaten geven aan dat modellen, hoewel ze vaak aandacht schenken aan de relevante regio's, deze tokens tijdens het redeneren onderwegen ten opzichte van de achtergrond of irrelevante context.

3. Interventiestrategie:

   • Het artikel stelt een Unificatie van Inference-Time Aandachtsmodulatie strategie voor. Deze methode werkt op de ruwe aandachtslogits van de LLM-ruggengraat voordat de softmax-laag wordt bereikt.
   • Het staat toe om specifieke sets visuele tokens (Doel) te versterken ($\alpha > 1$), te onderdrukken ($0 < \beta < 1$) of te maskeren ($\beta = 0$), terwijl gelijktijdig achtergrondtokens worden gedempt.
   • Deze formulering verenigt verschillende interventies (versterking, onderdrukking, masking) in één continue logit-modulatieruimte, waardoor gerichte herverdeling van modale bijdragen mogelijk is zonder hertraining.

Belangrijkste Bijdragen

• CounterCount Dataset: Een gecontroleerde diagnostische dataset met gepaarde feitelijke en contravente afbeeldingen met gelokaliseerde annotaties (maskers en omhullende rechthoeken), specifiek ontworpen om visuele grounding te testen tegenover canonieke priors.
• Diagnostisch Inzicht: Empirisch bewijs dat VLM's sterke prestaties vertonen op feitelijke afbeeldingen, maar een consistente afname in nauwkeurigheid ondergaan op contravente afbeeldingen. Dit bevestigt een afhankelijkheid van priors op objectniveau, zelfs wanneer er tegenstrijdig visueel bewijs aanwezig is.
• Aandachtsanalyse: Aantonen dat telfouten niet uitsluitend te wijten zijn aan ontbrekend visueel bewijs of slechte lokalisatie; modellen besteden aandacht aan relevante regio's, maar slagen er niet in deze voldoende te wegen tegen taal-priors en achtergrondruis.
• Training-vrije Interventie: Een unificatie van aandachtsmodulatiestrategie die de nauwkeurigheid van contravente telling tot 8% verbetert over meerdere VLM's door telrelevante visuele tokens tijdens inference te herwegen.

Resultaten

• Prestatieverval: Op feitelijke afbeeldingen bereiken modellen hoge nauwkeurigheid (bijvoorbeeld Qwen3-VL-32B: ~87%, Gemma3: ~66–81%). Op contravente afbeeldingen daalt de nauwkeurigheid echter aanzienlijk (bijvoorbeeld Qwen3-VL-32B: ~48%, Gemma3: ~34–38%), met hoge rates van bias naar het canonieke aantal.
• Efficiëntie van Modulatie: Het toepassen van aandachtsmodulatie (specifiek het versterken van doeltokens en het dempen/maskeren van achtergrondtokens) verbetert de nauwkeurigheid op contravente afbeeldingen. Zo zag Qwen3-VL-32B een verbetering van 8,26% in Open-Ended nauwkeurigheid.
• Biasreductie: De interventie verschuift voorspellingen succesvol weg van canonieke priors naar visueel bewijs, waardoor de biasrate in verschillende configuraties wordt verminderd.
• Generalisatie: De bevindingen gelden voor verschillende modelgroottes (4B tot 32B) en zowel open-weight als gesloten-bronarchitecturen, wat wijst op een systemisch probleem in het huidige redeneren van VLM's.
• Feitelijke Stabiliteit: De modulatiestrategieën degraderen over het algemeen de prestaties op feitelijke afbeeldingen niet en verbeteren deze in sommige gevallen, wat aangeeft dat de methode de focus op semantisch relevante tokens versterkt zonder het algemene begrip te schaden.

Betekenis
Het artikel stelt dat CounterCount een aanhoudende redeneringsfout blootlegt in huidige VLM's waarbij telvoorspellingen worden gedreven door voorkennis in plaats van visueel bewijs, zelfs wanneer het visuele bewijs expliciet en gelokaliseerd is. De betekenis ligt in:

1. Isoleren van de Foutmodus: Het bieden van een gecontroleerde setting om onderscheid te maken tussen perceptuele beperkingen en modale onbalans (het onderbenutten van visueel bewijs ten gunste van linguïstische priors).
2. Mechanistisch Inzicht: Aantonen dat fouten optreden niet omdat modellen het aantal niet kunnen "zien", maar omdat ze er niet in slagen de visuele tokens die geassocieerd zijn met het aantal te prioriteren tijdens het redeneerproces.
3. Ontwerprichtlijnen: Het bieden van een training-vrije, inference-time mechanisme om deze biases te onderzoeken en te mitigeren, wat een pad biedt voor het ontwerpen van toekomstige VLM's met sterkere visuele grounding. De auteurs merken op dat hoewel de interventie de nauwkeurigheid verbetert, het de bias niet volledig elimineert, wat suggereert dat diepere architecturale veranderingen nodig kunnen zijn voor robuuste visuele grounding.