OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks

Probleemstelling

Hoewel Group Relative Policy Optimization (GRPO) de facto standaard is geworden voor het trainen van Multimodale Large Language Models (MLLMs) via Reinforcement Learning (RL), stuit het toepassen van deze methode op open-source generalistische modellen op twee fundamentele uitdagingen:

1. Extreme variatie in beloningslandscappen (Reward Topologies): Visuele taken variëren enorm van aard. Sommige taken (zoals wiskundige VQA) hebben schaarse, binaire beloningen (juist/fout), terwijl andere taken (zoals visual grounding) dichte, continue beloningen (bijv. Intersection-over-Union scores) hebben. Bestaande normalisatiemethoden (zoals standaard GRPO of EMA-GRPO) gebruiken lineaire schaling. Dit leidt tot onbalans in gradient-updates: taken met hoge variantie domineren de updates, terwijl taken met lage variantie worden onderdrukt. Bovendien zijn lineaire methoden kwetsbaar voor "heavy-tail outliers" (extreme waarden) die de training destabiliseren.
2. Balans tussen perceptie en redenering: Het is moeilijk om een model te trainen dat zowel fijne visuele perceptie (bijv. OCR, objectdetectie) als meervoudige redeneerstappen (chain-of-thought) beheerst. Bestaande methoden vereisen vaak dure data-anotaties of extra modules, wat de schaalbaarheid beperkt.

Methodologie

De auteurs introduceren OpenVLThinkerV2, een robuust multimodaal model dat drie kerninnovaties combineert om bovenstaande problemen op te lossen:

1. Gaussian GRPO (G2RPO)

In plaats van lineaire standaardisatie (mean/variance) te gebruiken, introduceert G2RPO een niet-lineaire distributie-matching gebaseerd op Optimal Transport (OT).

• Principe: De empirische beloningsdistributie van elke taak wordt wiskundig gemapt naar een standaardnormale verdeling, $N(0, 1)$.
• Implementatie: Dit wordt gedaan via 1D Optimal Transport met behulp van Cumulatieve Distributiefuncties (CDFs). De rangorde van een beloning wordt omgezet in een quantile, die vervolgens wordt gemapt naar de inverse CDF van de normale verdeling.
• Voordelen:
  • Outlier-resistentie: Extreme waarden worden wiskundig "afgekapt" (capped) op de hoogste quantiles, wat gradient-explosies voorkomt.
  • Symmetrische updates: Positieve en negatieve beloningen worden symmetrisch behandeld.
  • Inter-task gelijkheid: Doordat elke taak naar dezelfde $N(0, 1)$ verdeling wordt getransformeerd, wordt gegarandeerd dat alle taken een eerlijke bijdrage leveren aan de gradient-updates, ongeacht hun oorspronkelijke schaal of vorm.

2. Taak-specifieke Vormgeving (Task-level Shaping)

Om de balans tussen visuele perceptie en redenering te verbeteren, worden twee dynamische mechanismen toegepast:

• Response Length Shaping: Het model wordt gestuurd om de lengte van het antwoord aan te passen aan het type taak.
  • Voor complexe redeneertaken (wiskunde) wordt een langere "reasoning chain" beloond.
  • Voor visuele taken (OCR, grounding) wordt een korte, directe output beloond om hallucinaties te voorkomen en perceptie te versterken.
  • Dit wordt gedaan via een trapeziumvormige beloningsfunctie die een optimale lengterange definieert.
• Entropy Shaping: Om te voorkomen dat het model te vroeg convergeert (entropy collapse) of te chaotisch wordt (entropy explosion), wordt een regularisatieterm toegevoegd.
  • Voor redeneertaken wordt een maximum-entropiedrempel ingesteld om coherentie te behouden.
  • Voor visuele taken wordt een minimum-entropiedrempel ingesteld om te voorkomen dat het model te snel afhankelijk wordt van hoge-kans tokens en necessary exploration mist.

Kernbijdragen

1. G2RPO: Een nieuwe RL-doelfunctie die lineaire schaling vervangt door niet-lineaire, Gaussische distributie-matching. Dit lost het probleem van onbalans in multi-task RL op en biedt theoretische garanties voor gradient-equity.
2. Dynamische Vormgeving: Een schaalbare aanpak om perceptie en redenering te balanceren zonder extra modules of dure annotaties, door simpelweg de responslengte en entropie per taak te sturen.
3. OpenVLThinkerV2: Een algemeen multimodaal model dat state-of-the-art (SOTA) resultaten behaalt op een breed scala aan taken, van wiskunde tot documentbegrip en ruimtelijke redenering.

Resultaten

Het model is geëvalueerd op 18 verschillende benchmarks verdeeld over zes categorieën. De resultaten tonen aan dat OpenVLThinkerV2 superieur presteert ten opzichte van sterke open-source baselines en zelfs leidende propriëtaire modellen (zoals GPT-4o, GPT-5 en Gemini 2.5 Pro).

• Algemene Visuele Redenering:
  • MMMU: 71,6% (versus 70,7% van GPT-4o).
  • MMBench: 88,2%.
  • MathVista: 79,5% (significant hoger dan GPT-4o).
• Documentbegrip:
  • OCRBench: 911 punten (versus 882 van DeepEyesV2 en 866 van Gemini 2.5 Pro).
  • DocVQA: 96,7%.
• Ruimtelijke Redenering:
  • EmbSpatial: 83,1% (versus 82,9% van GPT-5).
  • RoboSpatial: 63,2% (presteert vergelijkbaar met gespecialiseerde expert-modellen).
• Visual Grounding:
  • RefCOCO/+/g: Respectievelijk 93,4%, 88,2% en 90,4%, wat een duidelijke verbetering is ten opzichte van gespecialiseerde modellen zoals Grounding DINO.

Ablatiestudies bevestigen dat G2RPO de grootste prestatieverbetering levert, terwijl de toevoeging van lengte- en entropie-shaping de stabiliteit en convergentie verder optimaliseert.

Betekenis en Impact

Dit paper is significant omdat het een fundamenteel probleem in het trainen van multimodale modellen met RL oplost: de onbalans veroorzaakt door heterogene beloningsstructuren.

• Theoretische Vooruitgang: G2RPO biedt een wiskundig onderbouwde oplossing voor "heavy-tail" en "outlier" problemen in RL, wat de stabiliteit van training op grote schaal verbetert.
• Praktische Toepasbaarheid: De methode is schaalbaar en vereist geen complexe extra modules of dure data-anotaties, waardoor het toegankelijk is voor de open-source community.
• Algemene Capabiliteit: OpenVLThinkerV2 demonstreert dat één enkel model zowel complexe redeneertaken als fijne visuele perceptie-taken met hoge precisie kan uitvoeren, wat een stap is richting echte "generalist" AI-systemen. De techniek is ook toepasbaar op andere domeinen met heterogene beloningen, zoals code-generatie (SWE) en GUI-taken.