Technische Samenvatting: Perceive-to-Reason (P2R)

Probleemstelling

Fijnmazig visueel redeneren blijft een significante flessenhals voor Vision-Language Models (VLM's), met name wanneer cruciale visuele aanwijzingen subtiel zijn en begraven liggen in afbeeldingen met een hoge resolutie. Bestaande benaderingen vertrouwen doorgaans op "Thinking with Images" (het afwisselen van regio-exploratie met redeneren) of "Visual Search" (test-time zoekopdrachten naar sleutelregio's). Deze methoden verstrengelen echter vaak perceptie (het lokaliseren van bewijs) met redeneren (het beantwoorden van de vraag) of zijn afhankelijk van complexe, moeilijk te optimaliseren externe pipelines. Een diagnostische studie gepresenteerd in het artikel geeft aan dat een primaire oorzaak van falen niet een gebrek aan redeneervermogen is, maar het onvermogen om de relevante visuele bewijslast correct te lokaliseren. Bovendien is het trainen van ontkoppelde perceptie- en redeneerfasen uitdagend onder standaard supervisie die alleen gericht is op het antwoord, omdat het moeilijk is om fouten toe te schrijven aan ofwel de lokalisatiestap of de redeneerstap.

Methodologie

De auteurs stellen Perceive-to-Reason (P2R) voor, een verenigd framework dat fijnmazig visueel redeneren expliciet ontkoppelt in twee afzonderlijke fasen: Perceptie en Redeneren.

1. Tweefasige Inferentie-pipeline

P2R maakt gebruik van een enkele onderliggende VLM met gedeelde parameters, maar opereert in twee opeenvolgende rollen:

• Perceiver-fase: Gegeven een afbeelding $I$ en een vraag $Q$, fungeert het model als een Perceiver om expliciet de vraag-relevante bewijslast te lokaliseren. Het genereert bounding boxes $B$ die sleutelregio's vertegenwoordigen. Deze boxen worden gebruikt om een geannoteerde afbeelding (met overlay van de boxen) en uitgesneden bewijsafbeeldingen te genereren.
• Reasoner-fase: Het model fungeert vervolgens als een Reasoner, waarbij de originele vraag, de geannoteerde afbeelding en de uitgesneden regio's als input dienen om het uiteindelijke antwoord te genereren.

Deze formulering transformeert fijnmazig redeneren in een gestructureerd proces waarbij het model eerst bepaalt waar het moet kijken en vervolgens bepaalt hoe het moet redeneren op basis van dat bewijs.

2. Perception-Reasoning Alternating GRPO (PRA-GRPO)

Om dit ontkoppelde framework te trainen met enkel supervisie op basis van het uiteindelijke antwoord (zonder grondwaarheid voor bounding box-annotaties), introduceren de auteurs PRA-GRPO, een rol-bewuste reinforcement learning-strategie gebaseerd op Group Relative Policy Optimization (GRPO).

• Alternerende Optimalisatie: Het trainingsproces wisselt af tussen het optimaliseren van de Perceiver en de Reasoner. In de Perceptie-fase wordt de Perceiver bijgewerkt terwijl de Reasoner bevroren is; de beloning wordt afgeleid van de correctheid van het uiteindelijke antwoord gegenereerd door de bevroren Reasoner. Omgekeerd wordt in de Redeneer-fase de Reasoner bijgewerkt terwijl de Perceiver bevroren is.
• Toeschrijfbare Signalen: Deze aanpak zet de binaire beloning van het uiteindelijke antwoord om in een rol-specifiek leersignaal. Het stelt het model in staat om effectieve bewijslokalisatie te leren op basis van downstream redeneeruitkomsten, waardoor het probleem van de credit assignment in een ontkoppelde pipeline effectief wordt opgelost zonder dat dichte supervisie vereist is.
• Gedeelde Parameters: Beide rollen delen dezelfde modelparameters $\theta$, waardoor de capaciteiten binnen één enkele modelinstantie kunnen worden geïntegreerd.

Belangrijkste Bijdragen

1. P2R Framework: Een verenigd framework dat fijnmazig visueel redeneren formuleert als een tweefasig perceive-to-reason proces, waarbij de lokalisatie van bewijs expliciet wordt gescheiden van de antwoordgeneratie.
2. PRA-GRPO: Een nieuwe trainingsstrategie die reinforcement learning afstemt op de ontkoppelde formulering. Het maakt het leren van perceptiecapaciteiten mogelijk met enkel supervisie op basis van het uiteindelijke antwoord, waardoor de noodzaak voor dure, taakspecifieke bounding box-annotaties vervalt.
3. State-of-the-Art Prestaties: De methode vertoont consistente verbeteringen over verschillende modelmaten (2B, 4B, 8B) en benchmarks, waarbij nieuwe state-of-the-art resultaten worden behaald op taken met een hoge resolutie voor fijnmazig visueel redeneren.

Experimentele Resultaten

De auteurs hebben P2R geëvalueerd op verschillende benchmarks, waaronder V-Star, HR-Bench-4K/8K en MME-RealWorld-Lite.

• High-Resolution Benchmarks: P2R presteert consequent beter dan de basismodellen (Qwen3-VL-Instruct) en bestaande visuele zoek- of "Thinking with Images"-methoden.
  • P2R-4B behaalde 93,2% op V-Star, 81,9% op HR-Bench-4K en 80,5% op HR-Bench-8K.
  • Vergeleken met de Qwen3-VL-Instruct-4B backbone, liet P2R-4B winsten zien van +11,5% op V-Star, +8,1% op HR-Bench-4K en +13,5% op HR-Bench-8K.
• Generalisatie: De voordelen van P2R strekken zich uit voorbij high-resolution taken. Op de MME-RealWorld-Lite benchmark verbeterde P2R de prestaties over diverse real-world multimodale redeneertaken (OCR, remote sensing, diagrammen), wat suggereert dat de perceive-to-reason formulering helpt bij breder multimodale begrip.
• Ablatie-studies:
  • Inferentie: Het vervangen van directe Chain-of-Thought (CoT) door de P2R-inferentie-pipeline verbeterde de prestaties aanzienlijk, zelfs op basismodellen.
  • Training: Alternerende updates tussen rollen (P $\to$ R) leverden betere resultaten op dan het trainen van rollen in isolatie of in omgekeerde volgorde, wat het belang van het ontkoppelde trainingsschema valideert.
  • Parameter Sharing: Experimenten toonden aan dat het trainen van een rol (bijv. Perceiver) en het hergebruiken van die gewichten voor de andere rol (Reasoner) voordelen bood, hoewel de volledige alternerende PRA-GRPO training de beste resultaten opleverde.

Betekenis en Claims

Het artikel beweert dat het expliciet ontkoppelen van perceptie van redeneren een effectief framework biedt voor fijnmazig visueel redeneren. Door bewijslokalisatie te behandelen als een expliciete tussenstap in plaats van een impliciet bijproduct van antwoordgeneratie, pakt P2R de primaire flessenhals aan: het vinden van het juiste visuele bewijs.

De betekenis van PRA-GRPO ligt in het vermogen om dit ontkoppelde proces te trainen met enkel supervisie op basis van het uiteindelijke antwoord. Dit neemt de afhankelijkheid van dure, taakspecifieke bounding box-annotaties weg, terwijl het model nog steeds in staat is om precieze lokalisatie te leren. De auteurs concluderen dat hun aanpak een schaalbare en effectieve oplossing biedt voor visueel redeneren met een hoge resolutie, waarbij aanzienlijke winsten worden behaald ten opzichte van bestaande baselines en wordt aangetoond dat de voordelen van deze formulering zich uitstrekken tot bredere multimodale redeneerscenario's.

Beperkingen erkend door de auteurs:

• De tweefasige pipeline introduceert extra inferentie-latentie vergeleken met directe prompting.
• Het volledige schaalgedrag van PRA-GRPO bij grotere trainingsschalen is niet verkend vanwege computationele beperkingen.
• De afhankelijkheid van supervisie op basis van het uiteindelijke antwoord levert een ijl leersignaal op.
• Evaluatie is momenteel gericht op fijnmazig redeneren en gerelateerde benchmarks; generalisatie naar interactieve of langdurige (long-horizon) settings blijft een onderwerp voor toekomstig werk.