Technische Samenvatting: Stop met Denken, Begin met Kijken

Probleemstelling

Multimodale Document Question Answering (DocQA) vereist niet alleen het genereren van de juiste tekst, maar ook het uitvoeren van Document Visual Grounding (DVG): de precieze lokalisatie van de visuele regio die de beantwoording ondersteunt. Huidige benaderingen kampen met twee primaire beperkingen:

1. Supervised Fine-Tuning (SFT): Hoewel effectief, bereikt SFT vaak een optimalisatieplateau waarbij verdere opschaling van geannoteerde datasets leidt tot afnemende meeropbrengsten wat betreft geometrische precisie.
2. Redeneringsgecentreerde Reinforcement Learning (RL): Recente paradigma's (bijv. DocThinker) stellen dat expliciete tussenliggende redeneersporen (Chain-of-Thought) noodzakelijk zijn om semantisch begrip en ruimtelijke lokalisatie te overbruggen. Deze verbale sporen verhogen echter de inferentie-tokenkosten en introduceren latentie zonder duidelijk empirisch voordeel voor inherent perceptuele taken.

Verder blijft de dynamiek van RL in multimodale settings onderbelicht, met name met betrekking tot de vraag of redeneren werkelijk noodzakelijk is voor grounding of dat het instabiliteit en onnodige computationele overhead introduceert.

Methodologie: Perception-RFT

De auteurs introduceren Perception-RFT, een trainingsframework ontworpen om visuele kenmerken direct af te stemmen op gestructureerde grounding-outputs, waarbij tussenliggende redeneertokens worden overgeslagen.

Kernframework

• Taakformulering: De taak wordt gedefinieerd als een generatief Visual QA-probleem waarbij het beleid $\pi_\theta$ een gestructureerde JSON uitvoert die het antwoord en een genormaliseerde bounding box ($[x_1, y_1, x_2, y_2]$) bevat.
• Directe Perceptie-restrictie: In tegen tegenover standaard RL-benaderingen die uitgebreide redenering aanmoedigen, dwingt Perception-RFT een systeemprompt af die expliciet uitleg of tussenliggende stappen verbiedt ("Inclus de GEEN uitleg... Output ALLEEN de definitieve geldige JSON"). Dit dwingt het model om visuele kenmerken direct te mappen naar coördinatenregressie.
• Optimalisatiealgoritme: Het framework maakt gebruik van Group Relative Policy Optimization (GRPO). In plaats van logische consistentie via redeneerketens te maximaliseren, maximaliseert het doel het voordeel van geldige outputs op basis van een gezamenlijk beloningssignaal, waarbij beleidsdrift wordt beperkt via KL-divergentie.

Gated Dense Reward Mechanisme

Om de training te stabiliseren zonder tussenliggende begeleiding, stellen de auteurs een samengestelde beloningsfunctie voor: $R = R_{format} + R_{sem} + R_{loc}$:

1. Format Consistentie ($R_{format}$): Een binaire schakelaar (0 of 1) die garandeert dat de output een geldige JSON is met het juiste schema.
2. Semantische Precisie ($R_{sem}$): Gebruikt Average Normalized Levenshtein Similarity (ANLS) met kwadratische schaling om bijna-missers agressief te bestraffen.
3. Gated Localization Beloning ($R_{loc}$): Een "cliff-edge" mechanisme.
   • Shaping State: Als de IoU onder een drempelwaarde ($\tau=0.6$) ligt, wordt de beloning afgeschaald ($\lambda \cdot \text{IoU}$) om convergentie op suboptimale gedeeltelijke overlappingen te voorkomen.
   • Success State: Als de IoU $\geq 0.6$ is, springt de beloning naar 1.0, wat een geometische veiligheidsmarge stimuleert.

Experimenteel Ontwerp

De studie gebruikt Qwen3-VL-4B en vergelijkt verschillende configuraties:

• SFT: Standaard supervised fine-tuning op ~23k financiële documentmonsters.
• RFTs (SFT $\to$ RL): Perception-RFT toegepast na SFT-initialisatie.
• RFTb (Cold-Start RL): Perception-RFT toegepast direct op het basismodel zonder SFT.
• Reasoning-RFTb: Een gecontroleerde variant die tussenliggende redeneersporen toestaat onder identieke RL-condities om de rol van redeneren te isoleren.
• Datasets: Training op gecureerde financiële documenten (DocILE, FormNLU) en evaluatie op In-Distribution (ID) sets en twee Out-of-Distribution (OOD) benchmarks: DOGR-Bench (800 monsters) en MMDocBench (4.028 monsters).

Belangrijkste Resultaten

1. Redeneren is Redundant en Nadelig

De meest significante bevinding is dat expliciet redeneren de prestaties niet verbetert in DVG-taken onder RL.

• Prestatiekloof: De redeneringsvrije variant (RFTb) presteert consequent beter dan de redenerings-ingeschakelde variant (Reasoning-RFTb) op zowel ID- als OOD-datasets. Bijvoorbeeld, op OOD-data bereikt RFTb een F1all van 0.600 vergeleken met 0.382 voor Reasoning-RFTb.
• Trace Compressie: Zelfs wanneer redeneren is ingeschakeld, comprimeren modellen redeneersporen progressief en elimineren ze deze tijdens de training. Bij convergentie daalt de gemiddelde lengte van de redeneertokens met 62% (van ~191 naar ~72 tokens), wat effectief convergeert naar een direct perceptiebeleid.
• Stabiliteit: Redenering-ingeschakelde training vertoont een hogere variantie en minder stabiele convergentie vergeleken met de directe perceptie-aanpak.

2. RL Overtreft de SFT-verzadiging

• Het plafond doorbreken: Op In-Distribution data bereikt SFT een prestatieplateau (F1all = 0.668). Het toepassen van Perception-RFT (RFTs) doorbreekt dit plafond en verbetert de F1all naar 0.718, met significante winst in zowel tekstextractie als lokalisatie.
• Belang van Initialisatie: Cold-start RL (RFTb) verbetert ten opzichte van het basismodel, maar blijft aanzienlijk onder RFTs, wat bevestigt dat supervised initialisatie een stabiele basis biedt voor geometrisch leren onder RL.

3. Het Grounding Divergentie Fenomeen

De auteurs identificeren een voorheen onkarakteriseerde afweging, getiteld Grounding Divergence. Onder gezamenlijke RL-optimalisatie op OOD-data:

• Lokalisatie verbetert: Geometrische precisie wordt robuust overgedragen naar onbekende domeinen (bijv. de sprong in DOGR-Bench lokalisatie van 0.416 naar 0.759).
• Semantische Robuustheid verslechtert: Semantische extractiecapaciteiten falen vaak bij transfer of verslechteren vergeleken met de zero-shot basisversie.
• Implicatie: RL induceert asymmetrische generalisatie; het blinkt uit in het leren van overdraagbare geometrische patronen, maar kan overspecialiseren in semantische extractie, wat leidt tot een selectieve afweging tussen geometrische precisie en semantische flexibiliteit.

4. Datagevoeligheid

Een vroege overgang van SFT naar RL (RFTs-Early) bereikt een vergelijkbare precisie als volledige SFT+RL met 65% minder trainingsdata. Dit suggereert dat langdurig supervised leren niet strikt noodzakelijk is voor hoogwaardige grounding als RL vroegtijdig wordt geïntroduceerd.

Betekenis en Claims

Het artikel claimt vast te stellen dat Document Visual Grounding een perceptie-dominante taak is, waarbij directe afstemming tussen visuele kenmerken en ruimtelijke outputs effectiever is dan redenerings-gemedieerde generatie.

• Efficiëntie: Door redeneertokens over te slaan, vermindert de aanpak de per-query inferentie-tokenlengte met meer dan 60%, wat een kosteneffectievere en snellere implementatiestrategie biedt.
• Optimalisatiedynamiek: Het werk breidt de bevindingen van tekstdomein post-training (SFT-verzadiging en cold-start RL-instabiliteit) uit naar het multimodale domein en identificeert de specifieke "Grounding Divergence"-afweging.
• Praktische Richtlijnen: De auteurs beargumenteren dat voor DVG modellen moeten "Stoppen met Denken, Begin met Kijken". Het optimale beleid berust op directe perceptie in plaats van expliciet redeneren, en vroege SFT-naar-RL transities bieden de beste balans tussen datagevoeligheid en prestaties.

De studie is bescheiden in haar reikwijdte en merkt op dat deze bevindingen zijn vastgesteld op de 4B-parameter schaal en dat het schaalgedrag naar grotere modellen een onderwerp is voor toekomstig onderzoek. Daarnaast beperkt het gebrek aan redenering-geannoteerde supervised data de mogelijkheid om een redenering-ingeschakelde SFT $\to$ RL pipeline voor verdere vergelijking op te bouwen.