Improving Visual Reasoning with Iterative Evidence Refinement

Probleemstelling

Bestaande Vision-Language Models (VLM's) tonen sterke redeneerprestaties, maar hun redeneerproces is overwegend tekstgeoriënteerd. In een standaard inferentiepijplijn wordt de afbeelding eenmalig gecodeerd in een vaste set visuele tokens die als statische context dienen. Naarmate het model tekst genereert (Chain-of-Thought), verschuift de conditionering naar de gegenereerde tekst, waardoor de invloed van het oorspronkelijke visuele bewijs afneemt.

Recente oplossingen proberen dit op te lossen door externe tools te gebruiken (zoals inzoomen, uitsnijden of zoomen) om tijdens het redeneren nieuwe, gedetailleerde beelden te genereren. Dit heeft echter twee grote nadelen:

1. Onderbreking van de redeneerketen: Externe tools genereren nieuwe beelden die vaak als losse invoer worden toegevoegd in plaats van naadloos in de redeneerflow te worden geïntegreerd.
2. Inefficiëntie: Het vereist herhaaldelijk opnieuw coderen van afbeeldingen en complexe training om tool-gebruik te leren, wat rekenkracht en data-intensief is.

De auteurs stellen de vraag of het echt nodig is om nieuwe beelden te genereren. Hun hypothese is dat de oorspronkelijke visuele embeddings al voldoende informatie bevatten, en dat de beperking ligt in het vermogen van het model om op het juiste moment relevante visuele bewijzen uit deze embeddings te selecteren en opnieuw te gebruiken.

Methodologie: SIEVE

De auteurs introduceren SIEVE (Self-revisit framework for Iterative Evidence Refinement), een end-to-end framework dat VLM's in staat stelt visueel bewijs opnieuw te bezoeken zonder externe tools. In plaats van nieuwe beelden te maken, haalt SIEVE embeddings van relevante beeldregio's uit de interne representaties van het model en injecteert deze direct in de redeneerketen.

Het proces bestaat uit drie hoofdblokken:

1. Zelfgeleide Visuele Bewijsidentificatie (Self-Guided Visual Evidence Discovery):

   • Tekstuele Ankers: Het model analyseert zijn eigen voorspellingen om "salient tokens" (belangrijke woorden) te identificeren die de grootste invloed hebben op de volgende stap in de generatie. Dit gebeurt via gradient saliency (het berekenen van de gevoeligheid van de output voor veranderingen in de token-embeddings).
   • Visuele Locatie: Deze tekstuele ankers worden gekoppeld aan specifieke beeldregio's door cross-modale similariteit te berekenen tussen de token-embeddings en de patch-embeddings van de afbeelding.
   • Selectie: De meest relevante patches worden samengevoegd tot een regionale embedding (een "evidence snapshot") die wordt opgeslagen als herbruikbaar bewijs.

2. Visueel Gegrond Reinforcement Learning (RL):

   • Het model wordt getraind met een RL-beleid dat leert wanneer het bewijs nodig is en welke embedding er moet worden ingevoegd.
   • Tijdens de inferentie (rollouts) beslist het model op elke stap of het doorgaat met tekstgeneratie of dat het een opgeslagen visuele embedding injecteert om de redenering te verfijnen.
   • Beloningssysteem (Reward Function): De beloning bestaat uit vier componenten:
     • Resultaat: Juistheid van het eindantwoord.
     • Formaat: Correcte structuur van de redeneerketen.
     • Embedding: Een bonus als het model correcte antwoorden geeft en actief visueel bewijs heeft gebruikt.
     • Actie: Strafpunten voor te korte redeneringen of beloningen voor het nemen van actie (inzetten van bewijs of antwoorden), om te voorkomen dat het model "leeg" redeneert.

3. Data-efficiëntie:

   • Het systeem vereist slechts een kleine dataset (ongeveer 1.500 voorbeelden) om het vermogen te leren om bewijs te selecteren en in te voegen.

Kernbijdragen

1. SIEVE Framework: Een nieuw paradigma dat VLM's toelaat om fijne visuele details opnieuw te bezoeken door embeddings uit de originele codering opnieuw te gebruiken, zonder externe crop/zoom-tools of hercodering.
2. Saliëntie-gebaseerd Mechanisme: Een automatische methode om kritieke visuele regio's te identificeren op basis van de interne dynamiek van het model (gradient saliency) en deze te koppelen aan tekstuele ankers.
3. Visueel Gegrond RL: Een trainingpijplijn die het model leert wanneer en hoe het visuele embeddings moet ophalen en invoegen, wat leidt tot systematisch bewijsbewust redeneren.
4. Prestaties met weinig data: Demonstreer dat met slechts ~1.5k trainingselementen consistente verbeteringen worden behaald op meerdere benchmarks.

Resultaten

Het model is getest op Qwen3-VL-modellen (4B en 8B parameters) over diverse benchmarks:

• Hoog-resolutie Redeneren: Op de V*Bench en HR-Bench (4K en 8K) presteert SIEVE consistent beter dan baselines die gebruikmaken van tool-augmentatie (zoals ZoomEye, DyFo) en standaard VLM's.
  • De 4B-versie van SIEVE boekte een verbetering van 10,06% ten opzichte van het ruwe model.
  • Gemiddeld over meerdere benchmarks is er een stijging van 8% in prestaties.
• Generalisatie: SIEVE toont verbeteringen op perceptie-taken (MME-Real-Lite), logisch redeneren (LogicVista, MathVista) en hallucinatiemetingen (HallusionBench).
• Ablatie Studies:
  • Het willekeurig invoegen van embeddings leidt tot een prestatiedaling, wat bewijst dat de selectie van semantisch relevante bewijzen cruciaal is.
  • Het gebruik van embeddings uit middelste lagen van de transformer levert de beste resultaten op voor cross-modale uitlijning, in tegenstelling tot vroege (te lokaal/ruis) of late lagen (te taak-specifiek).
  • De "Action Rewards" in het RL-proces zijn essentieel om trainingsstabiliteit te garanderen en te voorkomen dat het model de beloning omzeilt door lege redeneringen te genereren.

Betekenis en Conclusie

SIEVE bewijst dat effectief "visueel opnieuw bezoeken" (visual revisiting) niet noodzakelijk afhankelijk is van externe tool-orchestration of het genereren van nieuwe beelden. Door slim gebruik te maken van de interne multimodale representaties die al in het model aanwezig zijn, kan een model zijn visuele begrip dynamisch verfijnen op een lichte en schaalbare manier.

Dit onderzoek verschuift de focus van het toevoegen van complexe externe systemen naar het optimaliseren van het gebruik van interne signalen, wat leidt tot een efficiëntere, robuustere en beter presterende visuele redenering.