What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis

Titel: Wat verbetert RL voor Visueel Redeneren? Een Frankenstein-stijl Analyse

1. Het Probleem

Recente vooruitgang in Vision-Language Models (VLMs) voor redeneertaken wordt gedomineerd door een twee-staps paradigma: Supervised Fine-Tuning (SFT) als koude start (IN) gevolgd door Reinforcement Learning (RL) met verifieerbare beloningen. Hoewel eind-tot-eind benchmarks (zoals MathVista of MathVerse) aanzienlijke prestatieverbeteringen tonen na RL, blijft het onduidelijk wat precies wordt verbeterd.

• Ambiguïteit: End-to-end benchmarks verwarren verschillende factoren. Een hogere score kan komen door betere visuele waarneming, betere taalgebaseerde redenering, of een betere uitlijning tussen visuele input en redenering.
• De paradox: Eerdere studies suggereren dat visuele vaardigheden niet noodzakelijk verbeteren door langere inferentie of meer tokens, en dat uitgebreid redeneren zelfs visuele fouten kan verergeren door te vertrouwen op taalkundige priors.
• De vraag: Wat is de consistente, causale bijdrage van RL aan visueel redeneren, los van de specifieke trainingsrecepten?

2. Methodologie: Het "Frankenstein"-analysekader

Om de "black box" van VLMs te doorgronden, stellen de auteurs een Frankenstein-stijl analysekader voor. Dit kader disassembleert het model in functionele regio's, intervenieert op deze componenten en assembleert ze opnieuw om de causale bijdrage van RL te isoleren. Het proces bestaat uit drie hoofdfasen:

A. Functionele Lokalisatie via Causale Probing
De auteurs lokaliseren waar in de transformer-architectuur visuele en redeneertaken plaatsvinden door het basismodel te manipuleren:

• Visie: Via "vision-token swapping" (het vervangen van visuele tokens tussen lagen) wordt gemeten welke lagen gevoelig zijn voor visuele veranderingen (OCR, telling, grounding).
  • Resultaat: Eenvoudige visuele verwerking vindt plaats in vroege lagen, terwijl complexere visuele taken (zoals grounding) vroege tot middellate lagen nodig hebben.
• Redeneren: Via "layer skipping" (het overslaan van lagen) wordt de impact op tekstuele redeneertaken gemeten.
  • Resultaat: Redeneercomputatie is geconcentreerd in late lagen.
• Conclusie: Het model kan functioneel worden opgedeeld in Vroege (visie), Middellate (visie-naar-redenering brug) en Late (redenering) regio's.

B. Karakterisering van Updates via Parametervergelijking
De auteurs vergelijken de parameterupdates van het IN-model (SFT) en het RL-model:

• Update Energie: Beide methoden concentreren updates in de middellate lagen, maar RL toont een specifieke herverdeling.
• Update Diversiteit (Singular Value Spectrum): RL-updates in de middellate lagen vertonen een steilere spectrale afname vergeleken met IN. Dit betekent dat RL de optimalisatie concentreert in een kleiner aantal dominante richtingen (gefocusseerde, laag-dimensionale verfijningen) in plaats van diffuse updates.
• Aandachtspatronen: RL veroorzaakt een consistente toename in de aandacht van "redeneer-tokens" naar "visuele tokens", voornamelijk in de middellate tot late lagen.

C. Transferbaarheidstest via Model Merging
Om te testen of de RL-verbeteringen modulair en overdraagbaar zijn, worden hybride modellen gecreëerd door lagen van het IN-model te vervangen door lagen van het RL-model (en vice versa):

• Experiment: Het samenvoegen van het IN-model met de middellate en late lagen van het RL-model (configuratie IN:RL:RL) behoudt consistent de verbeteringen in visie-naar-redenering uitlijning en redeneerprestaties.
• Conclusie: De verbeteringen zijn niet afhankelijk van de volledige end-to-end training, maar zijn gelokaliseerd in specifieke lagen.

D. Noodzaakvalidatie via Model Bevriezing
Tijdens het trainen van RL worden specifieke lagen bevroren:

• Het bevriezen van late lagen tijdens RL-training elimineert bijna alle prestatiewinsten.
• Het bevriezen van vroege lagen heeft een veel zwakker effect.
• Dit bewijst dat de verfijning van de middellate en late lagen noodzakelijk is voor de RL-winst.

3. Belangrijkste Resultaten

1. Geen Monotone Verbetering: Hoewel eind-benchmarks stijgen, verbeteren de afzonderlijke vaardigheden (pure visie, pure taalredenering) niet noodzakelijk monotoon van Base -> IN -> RL.
2. Locatie van RL-effecten: RL introduceert geen uniforme verbetering van visuele waarneming. In plaats daarvan veroorzaakt het een systematische verfijning in de middellate en late transformer-lagen.
3. Mechanisme: Deze verfijning resulteert in:
   • Een toename van de aandacht van redeneer-tokens naar visuele tokens.
   • Een betere uitlijning tussen visie en redenering (vision-to-reasoning alignment).
   • Een verbetering van de redeneerprestaties zelf.
4. Transferabiliteit: De door RL geleerde functies in de middellate/late lagen zijn modulair en kunnen worden overgebracht naar andere modellen zonder de volledige trainingsgeschiedenis.

4. Bijdragen

• Nieuw Analysekader: Introductie van de "Frankenstein-stijl" analyse (lokalisatie, karakterisering, merging, bevriezing) om post-training effecten in multimodale modellen mechanistisch te ontrafelen.
• Empirisch Bewijs: Het aantonen dat RL-winst in visueel redeneren voornamelijk voortkomt uit het verbeteren van de integratie van visuele informatie in het redeneerproces (in de middellate/late lagen), en niet uit het verbeteren van de visuele encoder of pure taalredenering.
• Kritiek op Benchmark-only Evaluatie: Het paper benadrukt dat end-to-end benchmarks misleidend kunnen zijn omdat ze verschillende interne verbeteringen verwarren.

5. Significantie

Deze studie verandert het begrip van hoe RL werkt in Vision-Language Models. Het weerlegt het idee dat RL simpelweg het model "slimmer" maakt in algemene zin. In plaats daarvan fungeert RL als een systematische optimizer die specifiek de brug slaat tussen visuele waarneming en logisch redeneren door de middellate en late lagen van de transformer te verfijnen.

Dit heeft belangrijke implicaties voor:

• Modelontwikkeling: Het suggereert dat toekomstige verbeteringen kunnen worden gezocht in het gericht trainen van deze specifieke lagen, in plaats van het hele model.
• Evaluatie: Het pleit voor gedetailleerde, functionele evaluaties in plaats van alleen het vertrouwen op aggregate benchmark scores.
• Efficiëntie: Het toont aan dat de "magie" van RL vaak zit in specifieke, overdraagbare componenten, wat de weg vrijmaakt voor efficiëntere trainingsstrategieën.