ConFoThinking: Consolidated Focused Attention Driven Thinking for Visual Question Answering

ConFoThinking is een nieuw raamwerk voor visuele vraagbeantwoording dat de prestaties van multimodale taalmodellen verbetert door gefragmenteerde aandachtssignalen te consolideren en saliente beeldgebieden te extraheren op basis van beknopte semantische aanwijzingen, waardoor de afhankelijkheid van onbetrouwbare groundings- en vraaggebaseerde methoden wordt verminderd.

De kern

ConFoThinking: De Slimme Zoektocht van een AI

Stel je voor dat je een gigantische, zeer gedetailleerde foto van een drukke markt moet bekijken om een heel klein vraagje te beantwoorden. Bijvoorbeeld: "Wat is de kleur van het logo op de appel die in de hoek ligt?"

Een slimme computer (een 'Multimodal Large Language Model' of MLLM) kijkt naar de foto. Maar hier zit het probleem: de computer is soms net als een mens die door een wazige bril kijkt. Hij weet dat hij naar de appel moet kijken, maar hij kan de exacte plek niet goed aanwijzen.

Dit artikel introduceert een nieuwe methode genaamd ConFoThinking. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

Het Probleem: De Verkeerde Wegwijzer

Tot nu toe hadden computers twee manieren om te proberen het antwoord te vinden, en beide hadden grote gebreken:

1. De "Koördinaten-Generator" (De Slechte GPS):
   De computer probeert direct de coördinaten (bijv. "x=0.5, y=0.2") te typen om de foto in te zoomen.

   • Het probleem: Het is alsof iemand die net een kaart heeft gelezen, probeert te vertellen waar de bakker zit door cijfers te roepen. Soms zegt de computer: "Kijk hier!" (in zijn hoofd), maar typt hij per ongeluk de verkeerde cijfers. Hij denkt dat hij naar de appel kijkt, maar de camera zoomt in op een verkeerde boom. Dit heet in het artikel een "mismatch tussen wat hij ziet en wat hij zegt".

2. De "Aandachts-Kaart" (De Verstrooide Zoektocht):
   Andere methoden kijken naar waar de computer van nature naar kijkt (zijn 'aandacht').

   • Het probleem: De aandachtskaarten van een computer zijn erg onstabiel. Soms kijkt hij in laag 10 van zijn brein naar de appel, en soms in laag 22. Als je probeert te zoomen op basis van één willekeurige laag, mis je de appel vaak. Het is alsof je probeert een speld te vinden in een hooiberg, maar je kijkt elke seconde naar een ander stukje hooi.

De Oplossing: ConFoThinking

ConFoThinking lost dit op door drie slimme stappen te nemen. Het is alsof we de computer een slimme zoekhond geven in plaats van een GPS of een wazige kaart.

Stap 1: De "FOCUS"-Zin (Wat moet je zoeken?)

In plaats van de computer te laten gissen naar coördinaten, laten we hem eerst een korte, duidelijke zin bedenken over wat hij moet zoeken.

• Vergelijking: In plaats van te zeggen "Ga naar punt X", zegt de computer: "Ik moet kijken naar de grote letters bovenaan de pagina."
• Dit wordt een label genoemd. Het is een korte, schone instructie die de computer helpt zich te concentreren op het juiste onderwerp, zonder ruis of onnodige details.

Stap 2: De "Verzamelaar" (Waar moet je kijken?)

Nu we weten wat we zoeken, moeten we weten waar dat is. Het artikel ontdekte dat de computer zijn blik verspreidt over veel lagen. ConFoThinking "stopt" al die verspreide blikken in één vaste laag (een specifiek niveau in het brein van de computer).

• Vergelijking: Stel je voor dat je een team van detectives hebt die allemaal naar een verdachte kijken, maar op verschillende momenten. ConFoThinking zegt: "Stop allemaal! Kijk nu allemaal tegelijk naar laag 22."
• Door dit te doen, wordt de "aandachtskaart" (waar de computer kijkt) scherp en stabiel. Het is alsof je een flitslicht gebruikt op precies het juiste moment om de verdachte te zien.

Stap 3: De "Vertaler" (Van blik naar zoom)

Nu hebben we een scherp beeld van waar de computer kijkt (een warmtekaart), maar we hebben nog steeds geen coördinaten om in te zoomen.

• ConFoThinking gebruikt een extra klein hulpmiddel (een AttnDetector) dat deze scherpere blik vertaalt naar een precies kader.
• Vergelijking: Het is alsof je een schets maakt van waar de verdachte staat, en een vertaler die die schets omzet in exacte GPS-coördinaten voor de politie.

Waarom is dit zo goed?

De auteurs hebben dit getest op vijf verschillende moeilijke tests (zoals het lezen van kleine tekst in hoge resolutie of het beantwoorden van complexe vragen).

• Resultaat: De nieuwe methode werkt veel beter dan de oude methoden.
• Snelheid: Het is ook veel sneller. Andere methoden die proberen alles te "zoeken" door heen en weer te springen, duren lang. ConFoThinking is als een snelle, gerichte zoektocht.
• Betrouwbaarheid: De computer maakt minder fouten. Hij "weet" waar hij moet kijken, en hij "zegt" ook waar hij moet kijken, zonder dat de twee dingen van elkaar afwijken.

Samenvatting in één zin

ConFoThinking leert een computer eerst te zeggen wat hij moet zoeken (met een korte zin), dan te focussen op één specifiek moment in zijn denkproces om precies te zien waar het is, en gebruikt dat om perfect in te zoomen op het antwoord, zonder te gissen naar coördinaten.

Het is de overgang van "Ik denk dat het hier ergens is, laat me maar raden" naar "Ik weet precies wat ik zoek, ik heb het gevonden, en hier is de foto."

Technische samenvatting

1. Het Probleem

Multimodale Grootte Taalmodellen (MLLMs) maken grote vooruitgang in visueel-taalbegrip, maar bij fine-grained Visual Question Answering (VQA), vooral op hoge-resolutie afbeeldingen, falen ze vaak door het missen van het juiste visuele bewijs in plaats van door een gebrek aan redeneervermogen. Bestaande "Thinking with Images"-pipelines proberen dit op te lossen door het beeld in te zoomen of te bijsnijden (croppen), maar twee benaderingen blijken onbetrouwbaar:

1. Tool-gebaseerde coördinaat-output: Modellen worden gevraagd om expliciete bounding-box coördinaten te genereren. Dit is kwetsbaar omdat coördinaten continue geometrische variabelen zijn die als discrete tokens moeten worden gegenereerd. Het paper toont aan dat er een "grounding-perception mismatch" optreedt: het model kan intern de juiste regio "zien" (in de attention-maps van tussenliggende lagen), maar genereert toch onjuiste coördinaten in de latere decodingslagen.
2. Attention-driven cropping: Methoden die attention-maps gebruiken om regio's te vinden, lijden onder twee problemen:
   • Fragmentatie: De "waar-naar-kijken" (where-to-look) attention signalen zijn verspreid over verschillende lagen van het model. Er is geen enkele vaste laag die consistent de beste signalen geeft voor alle samples.
   • Query-gevoeligheid: Het extraheren van attention op basis van de volledige, vaak lange en redundante vraag, introduceert semantische ruis. Dit resulteert in diffuse heatmaps die de juiste regio niet scherp genoeg markeren.

2. Methodologie: ConFoThinking

De auteurs stellen ConFoThinking voor, een framework dat de onbetrouwbaarheid van coördinaatgeneratie en de instabiliteit van attention-extractie oplost door drie kernprincipes toe te passen:

A. Semantisch Geleide Visuele Chain of Thought ()

In plaats van direct coördinaten te genereren, leert het model eerst een concise semantische cue te genereren, ingesloten in een <FOCUS>...</FOCUS>-tag.

• Deze cue beschrijft wat er visueel moet worden onderzocht (bijv. "De grote letters bovenaan"), zonder coördinaten of het uiteindelijke antwoord te noemen.
• Dit wordt getraind via Next-Token Prediction (NTP) op een dataset die is herschreven van coördinaat-gebaseerde redeneringen naar focus-gebaseerde redeneringen.

B. Geconsolideerde Attention (Attention Condensation)

Om het probleem van de verspreide attention over lagen op te lossen, consolideert ConFoThinking het "waar-naar-kijken" signaal naar één aangewezen tussenliggende laag (bijv. Laag 22 bij Qwen3-VL-8B).

• Het model wordt getraind met een Attention Condensation Loss ($L_{AC}$). Deze loss dwingt de attention-heatmap, gegenereerd op basis van de <FOCUS>-tokens, om zich te concentreren op de ground-truth regio binnen die specifieke vaste laag.
• Dit resulteert in een stabiele, schone heatmap die niet afhankelijk is van de keuze van de laag per sample.

C. AttnDetector (Heatmap-naar-Box Predictor)

Omdat het model geen coördinaten genereert, wordt een aparte module, AttnDetector, getraind om de gegenereerde attention-heatmap om te zetten in bounding-box coördinaten.

• De input is de heatmap van de vaste laag (gequeryd door de <FOOCUS>-span).
• De output is de bounding-box coördinaten.
• Dit scheidt het "wat te zoeken" (de semantische cue) van het "waar te zoeken" (de box), wat de robuustheid verhoogt.

Inference Pipeline:

1. Het model genereert een <FOCUS>-cue.
2. De attention wordt geëxtraheerd in de vaste laag en omgezet naar een heatmap.
3. AttnDetector converteert de heatmap naar een box.
4. Het beeld wordt ingezoomd op deze box.
5. Het basis-MLLM beantwoordt de vraag gebruikmakend van zowel het originele als het ingezoomde beeld.

3. Belangrijkste Bijdragen

• Empirische Analyse: Het paper identificeert drie kritieke failure modes in bestaande methoden: de mismatch tussen perceptie en coördinaat-output, de fragmentatie van attention over lagen, en de gevoeligheid van attention-extractie voor de tekstuele query.
• Novel Framework: ConFoThinking introduceert een nieuwe aanpak die coördinaatgeneratie vervangt door een combinatie van semantische cues, geconsolideerde attention in een vaste laag, en een leerbare detector.
• State-of-the-Art Prestaties: De methode presteert significant beter dan bestaande tools en attention-driven methoden op meerdere benchmarks, zonder de hoge inferentiekosten van iteratieve zoekmethodes.

4. Resultaten

ConFoThinking is geëvalueerd op vijf benchmarks: V*, HR-Bench (4K/8K), InfoVQA en GQA.

• Prestaties: Op de V* benchmark (focussend op fine-grained perceptie) boekte ConFoThinking (gebaseerd op Qwen3-VL-8B) een score van 94.8, wat een stijging is van +8.7 ten opzichte van het basismodel en +12.2 ten opzichte van Qwen2.5-VL-7B. Het overtreft ook gespecialiseerde "Thinking with Images" methoden zoals ZoomEye en Pixel-Reasoner.
• Efficiëntie: In tegenstelling tot methoden zoals ZoomEye die meerdere stappen nodig hebben voor het zoeken van regio's (wat leidt tot een inferentietijd van 50s per sample), is ConFoThinking veel sneller (12s per sample) omdat het direct een stabiele attention-map genereert.
• Ablatie Studies:
  • Het gebruik van de <FOCUS>-span voor attention-extractie presteert aanzienlijk beter dan het gebruik van de volledige vraag of alle gegenereerde tokens.
  • Het consolideren van attention naar één vaste laag werkt beter dan het middelen van attention over een nabijgelegen venster van lagen, wat aantoont dat de training de signalen effectief "samenbrengt" in de gekozen laag.

5. Betekenis en Impact

ConFoThinking biedt een robuust alternatief voor de traditionele, vaak onbetrouwbare coördinaatgeneratie in multimodale modellen. Door de taak te splitsen in het genereren van een semantische focus en het leren van een detector voor de locatie, omzeilt het de beperkingen van autoregressieve coördinaat-output.

De methode demonstreert dat MLLMs vaak wel het juiste visuele bewijs "zien" in hun interne representaties, maar dat bestaande pipelines dit niet effectief kunnen benutten. ConFoThinking maakt dit interne inzicht bruikbaar voor nauwkeurige fine-grained VQA, wat een belangrijke stap is voor het verbeteren van de perceptiecapaciteiten van AI-systemen in complexe visuele scenario's. De code, checkpoints en datasets worden openbaar gemaakt na acceptatie.