Bridging Visual Representation and Reinforcement Learning from Verifiable Rewards in Large Vision-Language Models

Probleemstelling

Hoewel Reinforcement Learning from Verifiable Rewards (RLVR), met name methoden zoals Group Relative Policy Optimization (GRPO), de redeneercapaciteiten van Large Language Models (LLMs) aanzienlijk heeft verbeterd in abstracte, tekstuele taken, stuit de toepassing op Large Vision-Language Models (LVLMs) op een fundamenteel structureel probleem: een representatief knelpunt.

Bestaande benaderingen modelleren visuele informatie vaak impliciet en uniform, wat leidt tot de veronderstelling dat een dichte tokenisatie voldoende is voor een exhaustieve visuele codering. Dit negeert echter de intrinsiek spaarzame ruimtelijke verdeling en de taak-afhankelijke relevantie van visuele scènes (zoals meetkundige diagrammen of grafieken).

• Diagnose: Een analyse van fouten in LVLMs (zoals Qwen2.5-VL) toont aan dat visuele waarnemingsfouten (Visual Perception errors) verantwoordelijk zijn voor bijna 49% van de mislukkingen, wat aanzienlijk hoger is dan rekenfouten of fouten in regeltoepassing.
• Oorzaak: De huidige RLVR-methoden koppelen visuele representaties niet effectief aan het optimalisatieproces. Dit resulteert in een verkeerde toewijzing van aandacht (attention allocation), waarbij het model gevoeligheid mist voor visueel opvallende cues, wat de multimodale redeneerprestaties beperkt.

Methodologie: KAWHI

Om dit knelpunt op te lossen, stellen de auteurs KAWHI (Key-Region Aligned Weighted Harmonic Incentive) voor. Dit is een "plug-and-play" mechanisme voor het herschalen van beloningen (reward reweighting) dat gestructureerde visuele informatie integreert in uniforme beleidsoptimalisatiemethoden (zoals GRPO en GSPO).

De methode bestaat uit drie kerncomponenten:

1. Structure-Guided Union-Find (SGUF) voor Visuele Token Selectie:

   • In tegenstelling tot natuurlijke afbeeldingen hebben gestructureerde visuele inputs (diagrammen, formules) een hoge achtergrond-redundantie en een lage signaaldichtheid.
   • SGUF gebruikt hieraarchische geometrische aggregatie om semantisch belangrijke regio's te lokaliseren. Het analyseert lokale structurele patronen via een structuur-tensor (gebaseerd op gradiënten in de luminantie) en groepeert patches met Union-Find.
   • Dit filtert irrelevante achtergrondtokens en behoudt alleen de "key regions" (bijv. lijnen, symbolen, assen) die essentieel zijn voor het redeneren.

2. Identificatie van Visueel Kritieke Attention Heads:

   • Niet alle attention heads in een transformer dragen evenveel bij aan visuele perceptie.
   • De auteurs voeren een globale ablatie-analyse uit op de MME-benchmark om specifieke attention heads te identificeren die cruciaal zijn voor visuele taken.
   • Alleen deze "vision-critical heads" worden gebruikt om de correlatie tussen de gegenereerde tekst en de visuele input te meten.

3. Semantisch Behoudende Ruimtelijke Gewichtsallocatie (Paragraph-Level):

   • In plaats van beloningen per token of zin toe te wijzen (wat de semantische coherentie kan verstoren), deelt KAWHI het antwoord op in paragrafen (gescheiden door \n\n).
   • Het mechanisme berekent een ruimtelijke salientie-score ($\alpha_t$) voor elke token door de cosine-similariteit te meten tussen de Query-vectoren van de gegenereerde tekst en de Key-vectoren van de geselecteerde visuele tokens (beperkt tot de kritieke heads).
   • Deze scores worden gepoold op paragrafniveau en genormaliseerd tot gewichten ($w_j$).
   • De uiteindelijke voordeelwaarde (advantage) in de RL-functie wordt vermenigvuldigd met deze paragrafgewichten. Paragrafen die sterk gekoppeld zijn aan kritieke visuele regio's krijgen een hogere beloningssignaal, wat de model-update richt op de meest relevante redeneerstappen.

Belangrijkste Bijdragen

1. Identificatie van een Structureel Knelpunt: Het paper identificeert voor het eerst expliciet dat de mismatch tussen spaarzame visuele signalen en dichte tokenrepresentaties de primaire beperking is voor RLVR in LVLMs, en dat visuele waarnemingsfouten de dominante faalmodus zijn.
2. KAWHI Mechanisme: De introductie van een visueel waarneembaar beloningsherweegsysteem dat gestructureerde visuele geometrie en ruimtelijke prioriteiten integreert zonder de modelarchitectuur te hoeven wijzigen.
3. Paragraafniveau Credit Assignment: Een innovatieve aanpak voor credit assignment die de semantische integriteit van redeneerketens behoudt, in plaats van te fragmenteren op token-niveau.

Resultaten

De auteurs hebben KAWHI uitgebreid geëvalueerd op wiskundige redeneerbenchmarks (MathVista, MathVerse, MathVision, WeMath) en grafiekbegrip (ChartQA, ChartXiv).

• Prestatieverbetering: KAWHI leidt tot consistente en aanzienlijke verbeteringen in de redeneeraccuraatheid.
  • Op Qwen2.5-VL-7B met GRPO steeg de gemiddelde score met +3.32% (van 47.68 naar 51.00).
  • Op Qwen3-VL-4B met GSPO steeg de gemiddelde score met +5.01%.
• Grafiekbegrip: Er werden verbeteringen gezien van 0.8% tot 4.9% op diverse grafiek-benchmarks, wat aantoont dat de methode goed generaliseert naar gestructureerde visuele taken.
• Ablatiestudies:
  • Het gebruik van SGUF (in plaats van willekeurige selectie of alle tokens) is cruciaal voor de prestaties.
  • Het beperken van de analyse tot visueel kritieke attention heads verbetert de discriminatie.
  • Paragraafniveau segmentatie bleek superieur aan token- of zin-niveau segmentatie, omdat het de contextuele samenhang behoudt.
• Efficiëntie: De extra rekentijd door KAWHI is minimaal (ongeveer 3.6% overhead), wat de methode zeer efficiënt maakt.

Betekenis en Conclusie

Dit werk markeert een belangrijke stap in het optimaliseren van multimodale modellen via versterkt leren. Het toont aan dat het simpelweg toepassen van tekstuele RL-methoden op visuele taken ontoereikend is zonder expliciete modellering van visuele structuur.

KAWHI bewijst dat het koppelen van ruimtelijke visuele bewijslast aan semantisch beslissende redeneerstappen via een beloningsherweegsysteem de prestaties van LVLMs aanzienlijk kan verbeteren. Dit biedt een robuust kader voor het verminderen van hallucinaties en het verhogen van de redeneerbetrouwbaarheid in complexe visueel-taal taken, zoals wiskundige probleemoplossing en grafiekinterpretatie.