Self-Rewarding Vision-Language Model via Reasoning Decomposition

1. Probleemstelling

Vision-Language Models (VLM's) staan momenteel voor twee kritieke beperkingen in hun redeneervermogen:

• Visuele Hallucinaties: Het genereren van beschrijvingen of antwoorden die niet overeenkomen met de visuele invoer.
• Taalshortcuts: Het volledig omzeilen van visueel begrip en het vertrouwen op taalkundige priors (taalshortcuts) om het juiste antwoord te raden.

Bestaande post-training methoden, met name Reinforcement Learning (RL) benaderingen zoals R1-achtige modellen, verergeren deze problemen vaak. Ze vertrouwen doorgaans uitsluitend op het matchen van het eindantwoord als beloningssignaal. Deze schaarse supervisie faalt in het leiden van het intermediaire visuele redeneerproces, waardoor modellen visuele waarneming verwaarlozen ten gunste van op taal gebaseerd redeneren. Bovendien vertrouwen methoden die proberen visuele supervisie toe te voegen vaak op:

• Menselijke Annotaties: Die arbeidsintensief, duur en moeilijk schaalbaar zijn.
• Externe Beloningmodellen: Die hoge latentie introduceren, extra GPU-resources vereisen en last hebben van distributieve verschuivingen of biases die zijn overgeërfd van de distillatiebron.

2. Methodologie: Vision-SR1

De auteurs stellen Vision-SR1 voor, een zelfbelonend RL-framework in drie fasen dat visueel redeneren verbetert zonder externe supervisie. De kerninnovatie is de decompositie van redenering in afzonderlijke visuele en taalkundige componenten, geverifieerd door het model zelf.

A. Redeneer Decompositie (See-Think Formaat)

Het model wordt geprompt om een gestructureerde output te genereren die drie componenten scheidt:

1. Visueel Redeneren ($c$): Een zelfstandige visuele beschrijving die alle noodzakelijke details uit de afbeelding vastlegt om de taak op te lossen.
2. Taalredeneren ($t$): Chain-of-Thought (CoT) redenering gebaseerd op de visuele beschrijving.
3. Antwoord ($a$): Het uiteindelijke antwoord.

B. Het Driefasen Trainingsproces

De training omvat twee rollout-passen en een specifieke optimalisatiedoelstelling:

1. Eerste Pass (Standaard Rollout):

   • Invoer: Afbeelding ($i$) + Query ($q$).
   • Output: Gestructureerd antwoord ($c, t, a$).
   • Beloning: Een Antwoordbeloning ($r_{ans}$) wordt berekend op basis van de juistheid van het eindantwoord ten opzichte van de ground truth.

2. Tweede Pass (Zelfbelonende Rollout):

   • Invoer: Query ($q$) + Gegenereerde Visuele Redenering ($c$) alleen. De originele afbeelding wordt uitgesloten.
   • Proces: Het model probeert het juiste antwoord af te leiden met alleen de tekstbeschrijving die in de eerste pass is gegenereerd.
   • Beloning: Een Visuele Beloning ($r_{visual}$) wordt toegewezen. Als het model de vraag correct kan beantwoorden met alleen de gegenereerde beschrijving, wordt de beschrijving geacht "zelfstandig" en "trouw" te zijn. Dit fungeert als een intrinsieke beloning voor accurate visuele waarneming.

3. Multi-Reward Policy Optimization:

   • In plaats van beloningen simpelweg op te tellen (wat signalen verweeft), gebruikt Vision-SR1 een Multi-Reward Policy Optimization strategie gebaseerd op Group Relative Policy Optimization (GRPO).
   • Gekoppelde Voordelen: Het voordeel ($\hat{A}$) en de log-kansen worden apart berekend voor de gegenereerde antwoorden en de gegenereerde visuele redenering.
   • Verliesfunctie: De totale loss combineert de policy gradients voor beide beloningen ($L_{actor}$) en aparte KL-divergentie straffen ($L_{KL}$) voor elke component. Dit zorgt voor duidelijke gradient-toewijzing, waardoor het model visuele waarneming en taalredenering onafhankelijk kan optimaliseren.

C. Rekenkundige Efficiëntie

• Geen Externe Modellen: Vision-SR1 vereist geen externe beloningmodellen of menselijke annotatoren.
• Geen Extra GPU's: Het zelfbelonende mechanisme hergebruikt het policy-model zelf, waardoor de overhead van het hosten van aparte beoordelaarsmodellen wordt vermeden.
• Overhead: De twee-staps rollout voegt slechts ongeveer 10-15% rekenkundige overhead toe in vergelijking met standaard single-stage GRPO, wat het zeer schaalbaar maakt.

3. Belangrijkste Bijdragen

1. Zelfbelonend Framework: Introduceert een methode waarbij de VLM zijn eigen visuele grounding valideert door zichzelf opnieuw te prompten met de gegenereerde beschrijving, waardoor de behoefte aan externe visuele supervisie wordt geëlimineerd.
2. Redeneer Decompositie: Isolateert visuele waarneming expliciet van taalredenering, waardoor het model gedwongen wordt zelfstandige visuele beschrijvingen te produceren voordat het redeneert.
3. Multi-Reward Policy Optimization: Stelt een gekoppelde verliesfunctie voor die voordelen en KL-straffen apart berekent voor visuele en taalkundige componenten, waardoor beloningverweving wordt voorkomen en fijnmazige optimalisatie mogelijk wordt.
4. Language Shortcut Rate (LSR) Metriek: Introduceert een nieuwe metriek om te kwantificeren hoe vaak een model correct antwoordt ondanks onjuiste of niet-zelfstandige visuele redenering, waardoor een manier wordt geboden om de afhankelijkheid van taalshortcuts te meten.

4. Experimentele Resultaten

De methode werd geëvalueerd op diverse benchmarks met Qwen2.5-VL (3B en 7B) en Mimo-VL-7B backbones.

• Prestatiewinst: Vision-SR1 presteerde beter dan baselines (waaronder Vision-R1 en Perception-R1) op algemeen visueel begrip (MMMU, RealWorldQA), wiskundig redeneren (MathVerse, MATH-Vision) en hallucinatie-detectie (HallusionBench).
  • Voorbeeld: Op de 7B backbone behaalde Vision-SR1 een gemiddelde score van 52,2, vergeleken met 44,5 voor Vision-R1.
• Mitigatie van Hallucinaties: Het model verminderde visuele hallucinaties aanzienlijk en verbeterde de robuustheid tegen taalshortcuts.
• LSR-reductie: Vision-SR1 toonde een lagere Language Shortcut Rate (LSR) in vergelijking met baselines, wat wijst op een sterkere afhankelijkheid van echte visuele waarneming in plaats van taalkundige priors.
• Ablatie Studies:
  • Het verwijderen van het zelfbelonende mechanisme leidde tot een daling in prestaties, wat de noodzaak van het visuele beloningssignaal bevestigt.
  • De methode verbeterde ruimtelijk redeneren (MMSI-Bench, OmniSpatial) en algemene kennisopdrachten zonder de tekst-only capaciteiten even ernstig te degraderen als andere RL-methoden.
• Attention Analyse: Laag-voor-laag analyse toonde aan dat post-training de aandacht voor visuele tokens in vroege feature-extractie- en late integratielagen verhoogde, wat bevestigt dat het model leerde visuele informatie beter te verwerken.

5. Betekenis en Impact

• Schaalbaarheid: Door de afhankelijkheid van externe beloningmodellen en menselijke annotaties te verwijderen, biedt Vision-SR1 een schaalbare weg voor het verbeteren van VLM's zonder de verbodsdure kosten van data-labeling of inferentie-infrastructuur.
• Aanpak van "Denken boven Zien": Het framework gaat direct in op de trend in RL-training waarbij modellen leren te "denken" (redeneren via taal) zonder te "zien" (de afbeelding waarnemen). Het dwingt het model om te bewijzen dat het de afbeelding heeft gezien door een toereikende beschrijving te genereren.
• Efficiëntie: De benadering bereikt state-of-the-art resultaten met minimale rekenkundige overhead, waardoor geavanceerd visueel redeneren toegankelijk wordt voor modellen met beperkte resources.
• Toekomstige Richting: Het artikel benadrukt dat nauwkeurigheidswinsten in RL soms schijnbaar kunnen zijn (shortcuts uitbuitend); Vision-SR1 biedt een mechanisme om echte visuele grounding te ontkoppelen van taalshortcut-learning, waarmee een nieuwe standaard wordt gesteld voor het evalueren van VLM-redenering.