NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

Probleemstelling

Reinforcement Learning (RL), en specifiek methoden zoals Group Relative Policy Optimization (GRPO), heeft bewezen effectief te zijn voor het verbeteren van het Chain-of-Thought (CoT) redeneren in Multimodale Large Language Models (MLLM's). Echter, wanneer deze methoden worden toegepast om algemeen CoT-redeneren te verbeteren, ondervinden ze twee belangrijke beperkingen die de generalisatie buiten de trainingsverdeling belemmeren:

1. Beperkte Policy-Exploratie: Bestaande RL-methoden gebruiken vaak temperatuur-sampling om meerdere rollouts (antwoordtrajecten) te genereren. In de praktijk convergeren deze rollouts echter vaak naar bijna identieke outputs, wat leidt tot onvoldoende exploratie en een te vroege deterministische policy.
2. Ontbrekende Proces-supervisie: Rule-based beloningen beoordelen meestal alleen het eindantwoord. De tussenliggende redeneerstappen blijven ongesuperviseerd, waardoor het model shortcuts en visuele hallucinaties leert die niet generaliseren naar nieuwe scenario's.

Daarnaast introduceert het injecteren van ruis om exploratie te stimuleren een off-policy scenario: het gedrag dat data verzamelt (met ruis) verschilt van de doelpolicy (op schone data). Dit veroorzaakt een verschuiving in de verdeling die de schatting van het voordeel (advantage estimation) bevooroordeelt en de policy-gradiënt corrumpeert.

Methodologie: NoisyGRPO

NoisyGRPO is een systematisch multimodaal RL-framework dat GRPO verbetert door twee kerncomponenten te introduceren, zonder extra computationele overhead:

1. Noise-Injected Exploration Policy (Ruisgeïnjecteerde Exploratie)

Om de diversiteit van de rollouts te vergroten, injecteert NoisyGRPO gecontroleerde ruis in de visuele invoer tijdens het verzamelen van rollouts.

• Implementatie: In plaats van ruis in het hele model te injecteren, wordt er multi-stap Gaussische ruis toegepast op de invoerafbeelding, gebaseerd op een diffuus-achtig proces.
• Mechanisme: Voor elke rollout wordt een ruisniveau $n_i$ gesampled uit een uniforme verdeling $U(0, 1)$. Een waarde van 0 betekent een schone afbeelding, terwijl 1 overeenkomt met pure Gaussische ruis.
• Doel: Dit dwingt het model om te redeneren over een bredere reeks visuele scenario's, wat de exploratie stimuleert en hallucinaties vermindert door het model te dwingen visueel gefundeerd te redeneren. Schone invoer wordt echter wel gebruikt tijdens de policy-update om stabiel leren te garanderen.

2. Bayesian Advantage Estimation (Bayesiaanse Schatting van Voordeel)

Om de negatieve effecten van de ruisinjectie (de off-policy bias) op te lossen, wordt de schatting van het voordeel gemodelleerd als een Bayesiaans inferentieprobleem.

• Prior: Het geïnjecteerde ruisniveau fungeert als een prior voor de kwaliteit van het traject. De aanname is dat een lagere ruis (dichterbij de schone afbeelding) een hogere verwachte kwaliteit impliceert.
• Likelihood: De waargenomen semantische beloning (gebaseerd op de juistheid van het antwoord) fungeert als de likelihood.
• Posterior: De uiteindelijke schatting van het voordeel is een posterior die zowel de prior (ruisniveau) als de likelihood (beloning) combineert.
  • De onzekerheid van de prior ($\sigma^2_n$) wordt dynamisch aangepast op basis van de variantie van de beloningen binnen een groep. Als de beloningen zeer variëren ondanks verschillende ruisniveaus, is de prior onzekerder.
  • De formule voor de posterior mean ($\hat{r}_i$) weegt de observatie en de prior af op basis van hun respectievelijke varianties:
    $$\hat{r}_i = \hat{r}^s_i + \frac{\sigma^2_s}{\sigma^2_n + \sigma^2_s}(\hat{r}^n_i - \hat{r}^s_i)$$
  • Hierbij is $\hat{r}^s_i$ de genormaliseerde semantische beloning en $\hat{r}^n_i$ de genormaliseerde prior (gebaseerd op ruis).

Belangrijkste Bijdragen

1. NoisyGRPO Framework: Een unificatie van ruisinjectie en Bayesiaanse schatting om multimodale CoT-redenering te verbeteren op algemene taken.
2. Verbeterde Exploratie: Een strategie die visuele ruis gebruikt om de diversiteit van generaties te vergroten, wat leidt tot een robuustere policy.
3. Robuuste Voordeel-schatting: Een Bayesiaanse methode die de bias veroorzaakt door ruisinjectie corrigeert, waardoor de policy-gradiënten nauwkeuriger en betrouwbaarder worden.
4. Efficiëntie: Het framework voegt geen significante computationele kosten toe en werkt effectief zelfs met kleine MLLM's (zoals Qwen2.5-VL 3B).

Resultaten

De auteurs evalueren NoisyGRPO op drie dimensies: CoT-kwaliteit, algemene capaciteit en hallucinatie, met gebruik van benchmarks zoals MME-CoT, MMStar en AMBER.

• CoT Kwaliteit (MME-CoT): NoisyGRPO presteert consistent beter dan standaard GRPO. Voor het kleine model Qwen2.5-VL 3B werd een verbetering van +4.4 punten in CoT-kwaliteit behaald.
• Algemene Capaciteit (MMStar): Er werd een gemiddelde verbetering van +3.7 punten behaald voor het 3B-model en +2.8 voor het 7B-model ten opzichte van de basis. NoisyGRPO overtrof zelfs sommige grotere modellen en gespecialiseerde reasoning-modellen in robuustheid.
• Hallucinatie (AMBER): Het model toonde een significante reductie in hallucinaties, hoewel er een lichte daling was in de "Coverage" (dekking), wat suggereert dat het model beknopter en meer gefocust antwoorden geeft.
• Training Dynamics: Analyse toont aan dat NoisyGRPO kortere, efficiëntere CoT-reeksen produceert dan GRPO. De "importance weight" verschuift tijdens het trainen van de prior (ruis) naar de observatie (juistheid), wat aantoont dat het model leert om de ruis als prior te gebruiken en zich vervolgens te baseren op feitelijke correctheid.
• Ablatie Studies: Het verwijderen van de dynamische Bayesiaanse fusie (Naive NoisyGRPO) leidde tot slechtere prestaties, wat aantoont dat de Bayesiaanse correctie essentieel is. Ook bleek uniforme ruis beter te werken dan Gaussische of vaste ruis.

Significantie

NoisyGRPO biedt een nieuwe richting voor het trainen van multimodale modellen door het probleem van beperkte exploratie en off-policy bias systematisch aan te pakken. De belangrijkste implicaties zijn:

• Generalisatie: Het framework verbetert de generalisatie van MLLM's naar onbekende verdelingen, wat cruciaal is voor real-world toepassingen.
• Kleine Modellen: Het is bijzonder effectief voor kleinere modellen (bijv. 3B parameters), wat betekent dat krachtige redeneercapaciteiten ook haalbaar zijn zonder enorme rekenkracht.
• Visueel Gefundeerd Redeneren: Door ruis te injecteren, wordt het model gedwongen om zich te baseren op visuele feiten in plaats van te vertrouwen op tekstuele shortcuts of hallucinaties.
• Efficiëntie: De methode vereist geen extra value-model of significante extra trainingstijd, wat het een praktische oplossing maakt voor de huidige generatie MLLM's.

Kortom, NoisyGRPO demonstreert dat het combineren van gestructureerde ruis met een principieel Bayesiaans raamwerk een krachtige manier is om de redeneercapaciteiten van multimodale AI-systemen te verbeteren.