See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection

1. Probleemstelling

Hoewel Vision-Language Models (VLM's) aanzienlijk zijn verbeterd dankzij Reinforcement Learning (RL), staan bestaande methoden voor twee kritieke beperkingen bij complexe visuele redeneertaken:

• Verwaarlozing van Laag-niveau Visuele Informatie: Huidige modellen vertrouwen vaak op hoog-niveau semantisch begrip, waardoor fijne visuele kenmerken (zoals randen, subtiele kleurschommelingen, textuurdetails) worden gemist die cruciaal zijn voor taken zoals anomaliedetectie. Redeneren uitsluitend op basis van tekst leidt tot fouten wanneer visuele details ambigu zijn.
• Gebrek aan Effectieve Visuele Feedback (Open-loop Redenering): De meeste VLM's werken op een open-loop manier waarbij het redeneerproces lineair is ("Redeneren $\to$ Antwoord"). Zodra een antwoord is gegenereerd, controleert het model dit niet opnieuw aan de hand van visueel bewijs. Er ontbreekt een gesloten-lusmechanisme waarbij het model zijn eigen voorspellingen kan verifiëren met visuele feedback om fouten te corrigeren.

2. Methodologie: Het ForeSight Framework

De auteurs stellen ForeSight voor, een unificerend multimodaal verweven redeneerframework dat wordt aangedreven door RL. Het stelt VLM's in staat om "Verder te Kijken" (via laag-niveau hulpmiddelen) en "Dieper te Denken" (via visuele reflectie).

A. Kerncomponenten

1. Laag-niveau Visuele Hulpmiddelen:
   Het framework integreert een toolkit van fundamentele beeldbewerkingshulpmiddelen die het model autonoom kan oproepen tijdens het Chain-of-Thought (CoT)-proces:

   • Canny Tool: Detecteert randen om objectgrenzen en structurele contouren te verduidelijken.
   • Zoom-In (ROI) Tool: Laat het model toe om zich te richten op specifieke gebieden om fijne details te extraheren wanneer de globale context onvoldoende is.
   • Kleur Tool: Versterkt kleurcontrast om objecten te onderscheiden op basis van tint of verzadiging.
   • Mechanisme: Het model beslist dynamisch wanneer en welk hulpmiddel te gebruiken op basis van de huidige redeneertoestand, in plaats van een vaste pijplijn te volgen.

2. Masker-gebaseerde Visuele Reflectie:
   Om redenering om te zetten van open-loop naar gesloten-loop, introduceert ForeSight een reflectiemechanisme:

   • Na het genereren van een conceptantwoord (inclusief een omkadering en karakteromschrijving), maakt het model een masker dat het voorspelde gebied op de originele afbeelding bedekt.
   • Het gemaskerde beeld (dat alleen de ongemaskerde delen toont) wordt teruggevoerd naar het model.
   • Het model analyseert het ongemaskerde gebied om te verifiëren of het voorspelde object echt uniek is in vergelijking met de rest. Als er inconsistenties worden gevonden, verfijnt het model zijn antwoord iteratief.
   • Dit creëert een cyclus: Redeneren $\to$ Conceptantwoord $\to$ Visuele Feedback (Masker) $\to$ Reflectie $\to$ Definitief Antwoord.

B. Trainingsstrategie

Het framework maakt gebruik van een twee-fasen trainingspijplijn gebaseerd op Group Relative Policy Optimization (GRPO):

1. Fase 1: Supervised Fine-Tuning (SFT) & Cold Start:
   • Een nieuwe dataset, CG-SalBench, wordt geconstrueerd op basis van de SalBench-dataset. Deze bevat "Odd-One-Out"-taken die precisie vereisen bij het lokaliseren van omkaderingen en het identificeren van karakters.
   • Data wordt opgedeeld in "tool-vrije" en "tool-afhankelijke" subsets op basis van modelprestaties.
   • Een groter model (Qwen2.5-VL-72B) genereert hoogwaardige CoT-annotaties met tool-gebruik en reflectiesporen, die worden opgeschoond om een cold-start dataset te vormen voor het 7B-model.
2. Fase 2: Reinforcement Learning (RL):
   • Het model wordt geoptimaliseerd met een samengestelde beloningsfunctie die de volgende elementen bevat:
     • Formaatconsistentie: Het waarborgen van gestructureerde output.
     • IoU-beloning: Het maximaliseren van de overlap van de omkadering met de ground truth.
     • F1-beloning: Het verbeteren van de nauwkeurigheid bij karakteridentificatie.
     • Tool-beloning: Het aanmoedigen van correct tool-gebruik en het straffen van overmatig gebruik of ongeldige formaten.
     • Verificatie-beloning: Het afstemmen van de reflectielogica (bijvoorbeeld: als het conceptantwoord verkeerd is, moet de reflectie de fout identificeren).

3. Belangrijkste Bijdragen

• Gesloten-lus Visuele Redenering: Eerste introductie van op visuele feedback gebaseerde reflectie in VLM-redenering, met een verschuiving van open-loop naar een zelfcorrigerend gesloten-lus proces.
• Integratie van Laag-niveau Visuele Informatie: Voorstellen van een RL-gedreven mechanisme voor het autonome oproepen van laag-niveau visuele hulpmiddelen (Canny, Zoom, Kleur), waardoor modellen actief details kunnen "zien" die ze eerder negeerden.
• Nieuwe Benchmark (CG-SalBench): Introductie van een gespecialiseerde dataset voor het evalueren van "Odd-One-Out"-grounding en karakteridentificatie, waarmee de kloof wordt overbrugd tussen synthetische en real-world visuele salientietaken.
• Efficiëntie boven Schaal: Demonstreert dat een model met 7B parameters (ForeSight-7B) veel grotere modellen (bijv. 72B) en gesloten-bron SOTA-modellen kan overtreffen door een superieure redeneerarchitectuur in plaats van alleen parameterverschaling.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de CG-SalBench-benchmark en algemene VQA-taken (MME, MMBench).

• Prestaties op CG-SalBench:
  • ForeSight-7B behaalde een IoU van 62,24% en een F1-score van 84,24%.
  • Het presteerde aanzienlijk beter dan het basis Qwen2.5-VL-7B (IoU +29,68%, F1 +19,27%).
  • Het overtrof Qwen2.5-VL-72B (66,00% IoU) in F1-score en presteerde beter dan het beste gesloten-bron model (Doubao-Seed-1.6) in IoU met meer dan 14%.
  • Het presteerde opmerkelijk beter dan GPT-5, dat een hoge F1 maar een zeer lage IoU had (7,85%), wat de superieure lokaliseringscapaciteiten van ForeSight aangeeft.
• Ablatie-studies:
  • Tools + Reflectie: Het gebruik van beide componenten samen leverde de hoogste prestaties op, wat hun complementaire aard bevestigt (Tools voor perceptie, Reflectie voor verificatie).
  • Trainingsfasen: De combinatie van SFT (cold start) en RL was essentieel; RL alleen was onstabiel, en SFT alleen miste de verfijning van dynamisch tool-gebruik.
• Generalisatie: ForeSight toonde aanzienlijke verbeteringen op grounding-benchmarks (RefCOCO-serie) en de MME VQA-benchmark, wat de robuustheid valideert over verschillende visuele taken.

5. Betekenis

Dit paper daagt het heersende "scaling law"-paradigma in VLM's uit, en suggereert dat architecturale innovatie in redeneerprocessen (specifiek het integreren van laag-niveau aanwijzingen en zelfverificatie) effectiever is dan het simpelweg vergroten van de modelgrootte. Door modellen in staat te stellen om "Verder te Kijken" (actieve perceptie) en "Dieper te Denken" (iteratieve verificatie), biedt ForeSight een blauwdruk voor het bouwen van robuustere, mens-gealigneerde en betrouwbare multimodale agenten die complexe, fijne visuele redeneertaken aankunnen.