DeepScan: A Training-Free Framework for Visually Grounded Reasoning in Large Vision-Language Models

1. Het Probleem

Grote Visueel-Taalmodellen (LVLMs) presteren vaak suboptimaal bij complexe visuele taken, vooral wanneer het gaat om het lokaliseren van specifieke, fijnmazige bewijsstukken in een ruisende omgeving.

• Aandachtssink en -drift: Bestaande methoden volgen vaak een "top-down" paradigma (coarse-to-fine). Ze proberen eerst een grove regio te vinden en deze vervolgens te verfijnen. Dit maakt ze gevoelig voor "attention sinks" (waar het model vastloopt in irrelevante context) en "attention drift" (waar het model afwijkt naar semantisch vergelijkbare maar verkeerde objecten).
• Eén-shot lokaliseren: Veel huidige benaderingen vertrouwen op één enkele poging om een volledig bewijsgebied te lokaliseren. Als deze poging faalt door ruis of kleine details, leidt dit tot hallucinaties of onjuiste antwoorden.
• Kosten van training: Methoden die proberen dit op te lossen via Reinforcement Learning (RL) of fijnafstemming (fine-tuning) zijn rekenkundig duur en moeilijk te generaliseren naar verschillende modelarchitecturen.

2. Methodologie: DeepScan

DeepScan is een trainingsvrij (training-free) framework dat LVLMs in staat stelt om visueel onderbouwde redenering uit te voeren door een bottom-up aanpak te volgen, geïnspireerd op hoe mensen visuele puzzels oplossen (lokaal scannen voor subtiele verschillen en dan het geheel bevestigen).

Het framework bestaat uit drie kerncomponenten:

A. Hiërarchisch Scannen (Hierarchical Scanning)

In plaats van de hele afbeelding in één keer te scannen, deelt DeepScan de afbeelding op in patches en gebruikt een bottom-up strategie:

1. Lokale Cue Exploratie: Een "zoekexpert" (bijv. BLIP-ITM) analyseert elke patch en genereert een attentiekarte. Potentiële aanwijzingen (cues) worden geïdentificeerd via Otsu's methode.
2. Point-based Proxies: Om onvolledige bewijsstukken te vermijden, worden deze cues vertegenwoordigd door interne punten (gebaseerd op geometrie en attentiescores) in plaats van volledige bounding boxes.
3. Multi-Schaal Bewijsextractie: Een "visuele expert" (bijv. LangSAM) gebruikt deze punten als prompt voor segmentatie om de volledige bewijsmaskers te herstellen.
4. Post-processing: Morfologische operaties (sluiten en dilateren) vullen gaten in de maskers en zorgen voor robuustheid.
5. Versnelling: Alleen de kleinste, minst opvallende regio's worden verwerkt, omdat deze vaak de moeilijkste maar meest cruciale details bevatten die LVLMs over het hoofd zien.

B. Herfocussering (Refocusing)

Nadat bewijs is gevonden, kan de context rondom het bewijs onvolledig of te ruisend zijn.

• Collaboratieve Zoekstrategie: Het framework combineert de LVLM met visuele experts om de beste weergave (view) te vinden.
• Acties: Het systeem voert twee acties uit op de initiële bewijsregio: Zoom-In (verkleinen van de context tot de detecties) en Zoom-Out (vergroten van de context).
• Selectie: Een reward-functie, gebaseerd op de LVLM's beoordeling of de view voldoende bewijs bevat, kiest de optimale weergave. Dit voorkomt dat het model te veel ruis of te weinig context ziet.

C. Bewijs-Versterkte Redenering (Evidence-Enhanced Reasoning)

• Hybride Geheugen: DeepScan slaat zowel de fijnmazige bewijsstukken (van Hiërarchisch Scannen) als de grofmazige contextweergaven (van Refocusing) op in een hybride geheugen.
• Redenering: De LVLM ontvangt deze multi-granulaire informatie als een gesorteerde prompt en genereert een antwoord dat gebaseerd is op concrete visueel bewijs, wat hallucinaties vermindert.

3. Belangrijkste Bijdragen

1. DeepScan Framework: Een trainingsvrij framework dat LVLMs verbetert door expliciete lokaliseren, herschalen en integreren van bewijs voordat een antwoord wordt gegeven.
2. Hiërarchisch Scannen: Een nieuw bottom-up paradigma dat ruisende context mitigeert door lokale cues te exploreren en bewijs stapsgewijs te herstellen.
3. Refocusing: Een collaboratief zoekparadigma dat de context van het bewijs optimaliseert via interactie tussen de LVLM en externe visuele experts.
4. Uitgebreide Validatie: Het framework werkt naadloos over verschillende architecturen en schalen (van 7B tot 72B parameters) zonder aanpassingskosten.

4. Resultaten

DeepScan toont aanzienlijke verbeteringen op diverse benchmarks, met name in fijnmazig visueel begrip:

• V Benchmark:* DeepScan bereikt 90,6% algehele nauwkeurigheid met Qwen2.5-VL-7B, een stijging van 16,3% ten opzichte van het basismodel. Het presteert beter dan geavanceerde RL-methoden (zoals DeepEyes) en andere training-free methoden.
• TreeBench: Het behaalt een verbetering van 5,5% in mIoU ten opzichte van het basismodel, wat de superioriteit in het lokaliseren van subtiele doelen aantoont.
• Schalbaarheid: De prestaties verbeteren consistent bij grotere modellen (bijv. Qwen2.5-VL-72B), waarbij het zelfs de prestaties van gespecialiseerde 70B-modellen op perceptie-taken overtreft.
• Efficiëntie: Hoewel het meer berekening vereist dan een één-shot methode, is het aanzienlijk sneller en efficiënter dan RL-gebaseerde methoden die meerdere iteraties vereisen.

5. Betekenis en Impact

• Paradigmaverschuiving: DeepScan bewijst dat een bottom-up aanpak (lokaal scannen naar bewijs) superieur is aan traditionele top-down benaderingen voor visueel onderbouwde redenering, vooral in ruisende omgevingen.
• Toegankelijkheid: Omdat het trainingsvrij is, kunnen onderzoekers en ontwikkelaars de prestaties van bestaande open-source LVLMs direct verbeteren zonder dure retraining.
• Betrouwbaarheid: Door antwoorden te koppelen aan concreet visueel bewijs, vermindert het framework hallucinaties, wat cruciaal is voor toepassingen zoals autonome driving, robotica en GUI-agenten.
• Toekomstperspectief: Het paper biedt inzicht in de balans tussen prestaties en latentie, en suggereert dat het systematisch verhogen van de "visuele signaal-ruisverhouding" (SNR) via deterministische sampling effectiever is dan heuristische zoekbomen.

Samenvattend biedt DeepScan een robuuste, schaalbare en kostenefficiënte oplossing voor een van de grootste uitdagingen in multimodale AI: het betrouwbaar vinden en redeneren over specifieke visuele details in complexe scènes.