All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models

Probleemstelling

Recent onderzoek heeft aangetoond dat Versterkingslering (RL), en met name Group Relative Policy Optimization (GRPO), de redeneercapaciteiten van Vision-Language Models (VLM's) aanzienlijk kan verbeteren. Echter, de onderliggende mechanismen en beperkingen van deze modellen blijven onvoldoende onderzocht.

De auteurs identificeren een fundamenteel gedragsverschil tussen RL-modellen en hun basismodellen (base models):

• RL-modellen (GRPO): Neigen naar dieper, maar narrow (smal) redeneren. Ze convergeren vroeg in het trainingsproces naar een beperkt aantal strategieën en negeren alternatieve paden. Dit leidt tot "diversiteitsinstorting" (diversity collapse), lokale optimalen en slechte schaalbaarheid bij testtijd.
• Basismodellen: Tonen, hoewel minder verfijnd op een enkel pad, divergent denken. Ze verkennen een breder scala aan oplossingsstrategieën, wat overeenkomt met menselijk probleemoplossen waarbij men vanuit verschillende perspectieven naar een probleem kijkt.

Het probleem is dat RL-modellen, ondanks hogere nauwkeurigheid bij één poging, falen bij complexe taken waar meerdere strategieën nodig zijn, omdat ze hun inherente diversiteit verliezen tijdens het trainen.

Methodologie: Multi-Group Policy Optimization (MUPO)

Om dit probleem op te lossen, stellen de auteurs MUPO voor, een eenvoudige maar effectieve vervanging voor GRPO die divergent denken stimuleert.

Kernprincipes van MUPO:

1. Groepering van Antwoorden: In plaats van alle gegenereerde antwoorden in één grote groep te behandelen, partitioneert MUPO de $N$ responsen in $K$ verschillende groepen ($G_1, ..., G_K$) op basis van hun redeneer-embeddings (gelijksoortige trajecten worden gegroepeerd).
2. Lokale Voordeelsschatting: In tegenstelling tot GRPO, dat voordelen (advantages) globaal berekent, berekent MUPO deze lokaal binnen elke groep. Dit zorgt ervoor dat elke groep (en dus elke redeneerstrategie) onafhankelijk wordt verfijnd zonder dat een dominante strategie de andere verdringt.
3. Diversiteitsbeloning (Diversity Reward): Om de groepen gescheiden te houden, introduceert MUPO een extra beloningscomponent. De beloning voor een traject wordt verhoogd op basis van de gemiddelde afstand (cosine-afstand) tot de responsen van de andere groepen.
   • Formule: $R_i^k = R_{acc} + R_{fmt} + \lambda \cdot \mathbb{1}[R_{acc}=1] \cdot R_{div}$
   • Hierbij is $\lambda$ een gewicht dat volgens een cosine-schedule afneemt tijdens de training. Dit stimuleert in het begin veel exploratie (diversiteit) en verschuift later naar exploitatie (nauwkeurigheid).
4. Load Balancing: Een schalingsfactor ($w_k$) zorgt ervoor dat kleinere groepen niet worden genegeerd en dat de optimalisatie niet wordt gedomineerd door de grootste groep.

Belangrijkste Bijdragen

1. Identificatie van Gedragsverschillen: Het paper toont aan dat RL-modellen (via GRPO) neigen naar convergent denken (diepte, maar smalle scope), terwijl basismodellen divergent denken (breedte, diverse paden) behouden.
2. Diversiteitsinstorting (Diversity Collapse): Het paper demonstreert dat GRPO leidt tot een snelle daling van de redeneerdiversiteit in de vroege trainingsfase, waardoor het model vastloopt in lokale optimalen en zijn schaalbaarheid beperkt.
3. MUPO Algoritme: De introductie van een nieuwe policy-optimalisatiealgoritme dat divergent denken activeert door meerdere oplossingsstrategieën gelijktijdig te onderhouden en te optimaliseren.
4. State-of-the-Art Resultaten: Het model MUPO-Thinker-7B bereikt nieuwe staat-van-de-kunst resultaten op diverse benchmarks.

Resultaten

De auteurs evalueren MUPO op negen redeneringsbenchmarks (waaronder MathVerse, MathVista, LogicVista, MMStar, HallusionBench).

• Nauwkeurigheid (Acc@1): MUPO-Thinker-7B verbetert de gemiddelde nauwkeurigheid met 2,5% op wiskundige benchmarks en 2,3% op algemene benchmarks ten opzichte van de beste bestaande methoden.
• Schaalbaarheid bij Testtijd (Acc@4): Waar het echte voordeel ligt, is bij het toestaan van meerdere pogingen (sampling). MUPO-Thinker-7B presteert 6,0% beter op wiskundige benchmarks en 6,2% beter op algemene benchmarks in Acc@4 vergeleken met sterke RL-baselines.
• Schaalbaarheid: Het 3B-parameter model van MUPO presteert vergelijkbaar met of beter dan veel 7B-baselines, wat aantoont dat de methode de effectiviteit van het model drastisch verhoogt zonder de parametergrootte te vergroten.
• Visualisatie: t-SNE-projecties tonen aan dat GRPO-embeddings dicht opeengepakt zijn (convergent), terwijl MUPO-embeddings een multimodale, verspreide structuur hebben die verschillende oplossingsstrategieën dekt.

Betekenis en Impact

Dit paper is significant omdat het een fundamentele beperking van de huidige RL-toepassing in VLM's blootlegt: het verlies van creatieve, divergente denkprocessen ten gunste van snelle convergentie.

• Paradigmaverschuiving: Het stelt dat "meer redeneren" niet alleen betekent "dieper graven op één pad", maar ook "breder zoeken naar alternatieve paden".
• Efficiëntie: Door MUPO te gebruiken, kunnen modellen beter profiteren van testtijd-schaalbaarheid (test-time scaling), wat cruciaal is voor complexe taken waar één strategie vaak onvoldoende is.
• Toekomstige Richting: De methode biedt een blauwdruk voor het ontwerpen van RL-algoritmen die exploratie en exploitatie beter in balans brengen, wat essentieel is voor het bereiken van algemeenere intelligentie in multimodale systemen.

Kortom, MUPO bewijst dat het stimuleren van "divergent denken" in RL-modellen leidt tot robuustere, schaalbaardere en nauwkeurigere Vision-Language Models.