Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains

Probleemstelling

Bestaande frameworks voor Visueel Retrieval-Augmented Generation (VRAG) verbeteren Vision-Language Models (VLMs) door externe visuele documenten te gebruiken om vragen te beantwoorden. Echter, de huidige benaderingen hebben twee fundamentele beperkingen:

1. Rigiditeit en Ontkoppeling: Veel systemen vertrouwen op vooraf gedefinieerde, externe tools (zoals API's voor het bijsnijden of inzoomen van afbeeldingen). Dit scheidt het visuele waarnemingsproces expliciet van het redeneringsproces.
2. Verlies van Informatie: Wanneer een model een afbeelding bijsnijdt (cropping) om details te zien, gaat vaak cruciale contextuele informatie verloren (bijvoorbeeld de relatie tussen elementen of de algemene lay-out). Dit kan leiden tot hallucinaties of onjuiste antwoorden, zelfs als het model de juiste informatie zou hebben kunnen vinden in de volledige context.

De kernvraag is hoe VLMs fijnkorrelig visueel waarnemen kunnen combineren met logisch redeneren zonder de globale context te verliezen of afhankelijk te zijn van starre externe operaties.

Methodologie: Lang2Act

Het paper introduceert Lang2Act, een raamwerk dat fijnkorrelig visueel redeneren mogelijk maakt via zelf-emergente linguïstische toolchains. In plaats van externe engines aan te roepen, internaliseert het model visuele operaties als taalgestuurde acties.

Het proces verloopt in twee fasen, beide gebaseerd op Versterkt Leren (Reinforcement Learning - RL):

1. Fase 1: Zelf-ontdekking en Curatie van Linguïstische Tools

• Doel: Het model wordt getraind om hoogwaardige visuele redeneertrajecten te genereren en daaruit effectieve "acties" te destilleren.
• Methode: Met behulp van de DAPO (Decoupled Clip and Dynamic sampling Policy Optimization) algoritme, wordt het VLM gestimuleerd om zelf te exploreren. Het model genereert redeneerpaden die leiden tot het juiste antwoord.
• Tool Curation: Uit deze succesvolle trajecten worden herhaaldelijk voorkomende acties geëxtraheerd en gestandaardiseerd tot een Linguïstische Toolbox ($T_{box}$). Deze tools zijn tekstuele functies (bijv. read_text_element, read_numeric_value, compare_values) die visuele taken beschrijven zonder de afbeelding fysiek te veranderen.
• Resultaat: Een compacte set van tools die de meest effectieve manieren van visuele waarneming vertegenwoordigen.

2. Fase 2: Optimalisatie via Linguïstische Tool-Prompting

• Doel: Het VLM wordt verder geoptimaliseerd om deze toolbox effectief te gebruiken voor visuele waarneming en redenering.
• Methode: Tijdens inferentie en training wordt de toolbox als prompt aan het model gegeven. Het model genereert een gestructureerde linguïstische toolchain ($z$) bestaande uit:
  • Routing: Het selecteren van de relevante pagina's binnen het gedocumenteerde context.
  • Executie: Het uitvoeren van een reeks taalgedreven tool-acties (bijv. "lees de numerieke waarde van X in afbeelding Y").
• Internalisatie: In plaats van een echte crop-actie uit te voeren, "denkt" het model in termen van deze tools. De uitvoering van de tool wordt intern gesimuleerd door het model om zich te richten op specifieke regio's, waardoor de globale context behouden blijft.
• Beloning: Een RL-functie belooont zowel het juiste antwoord als de correcte en gestructureerde gebruik van de tools.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Van starre, externe beeldtools naar zelf-emergente linguïstische tools. Dit elimineert het risico op informatieverlies door bijsnijden en houdt de visuele context intact.
2. Twee-staps RL-framework: Een innovatief trainingsproces dat eerst een toolbox creëert door zelf-ontdekking en deze vervolgens gebruikt om de visuele perceptie van het model te verfijnen.
3. Fijnkorrelige Waarneming zonder Contextverlies: Het systeem kan zich richten op specifieke details (zoals een getal in een tabel) terwijl het de relatie met de rest van de pagina behoudt, wat hallucinaties vermindert.
4. Open Source: Alle code en data zijn beschikbaar gesteld, wat reproduceerbaarheid bevordert.

Resultaten

Het paper presenteert uitgebreide experimenten op drie document-VQA-benchmarks: SlideVQA, ViDoSeek en MMLongBench-Doc.

• Prestatieverbetering: Lang2Act presteert consequent beter dan alle bestaande baselines (inclusief prompting-methoden, VLMs met RL, MRAG-systemen en tool-gebaseerde VLMs zoals VRAG-RL en Pixel-Reasoner).
  • Er wordt een verbetering van meer dan 4% behaald ten opzichte van de beste concurrenten.
  • Tegenover prompting-methoden is de verbetering zelfs groter dan 10%.
• Ablatie-studies:
  • Zowel de "Action RL" (tool-ontdekking) als de "Tool-based RL" (tool-gebruik) zijn essentieel; het verwijderen van een van beide fasen leidt tot een significante daling in prestaties.
  • De methode werkt effectief op verschillende modelgroottes (3B, 7B en 32B parameters).
• Kwalitatieve Analyse:
  • Perceptie vs. Nauwkeurigheid: Er is een sterke correlatie gevonden tussen het vermogen om de "gouden regio's" (de juiste visuele gebieden) te waarnemen en het juiste antwoord te geven. Lang2Act heeft de hoogste perceptie-scores.
  • Case Study: In een voorbeeld waarbij een concurrent (VRAG-RL) door een verkeerde crop cruciale informatie ("43%") verloor en een fout antwoord gaf ("56%"), slaagde Lang2Act erin om de juiste regio te identificeren via taal en het juiste antwoord te geven.
  • Hallucinaties: Lang2Act toont minder hallucinaties en betere feitelijke consistentie, omdat het redeneren stevig verankerd is in de visuele bewijslast via de toolchain.

Betekenis en Impact

Lang2Act biedt een fundamentele oplossing voor het probleem van visuele contextverlies in VRAG-systemen. Door visuele operaties te vertalen naar taal (linguïstische tools), kunnen VLMs:

• Flexibeler redeneren: Ze zijn niet beperkt tot vooraf gedefinieerde mechanische acties.
• Betrouwbarder zijn: Ze vermijden de fouten die ontstaan bij het fysiek manipuleren van afbeeldingen (zoals het onbedoeld wegsnijden van context).
• Efficiënter leren: De toolbox fungeert als een gestructureerd geheugen voor visuele taken, wat de generalisatie over verschillende documenttypes verbetert.

Deze aanpak markeert een verschuiving van "tool-use" als externe afhankelijkheid naar "tool-use" als een intrinsiek onderdeel van het redeneervermogen van het taalmodel, wat een nieuwe richting opent voor de ontwikkeling van robuuste multimodale AI-systemen.