NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

1. Problématique

Les modèles de langage multimodaux (MLLM) bénéficient grandement de l'apprentissage par renforcement (RL) pour améliorer leurs capacités de raisonnement en chaîne de pensée (Chain-of-Thought ou CoT). Cependant, l'application des méthodes RL existantes, telles que GRPO (Group Relative Policy Optimization), aux MLLM présente deux limitations majeures qui entravent leur généralisation hors de la distribution d'entraînement :

1. Exploration de politique limitée : Dans les modèles génératifs, l'exploration repose souvent sur l'échantillonnage par température. Les travaux récents (comme DAPO) montrent que ces échantillons tendent à converger vers des sorties quasi identiques, limitant la diversité des trajectoires explorées et conduisant à une politique déterministe prématurée.
2. Absence de supervision du processus : Les récompenses basées sur des règles évaluent uniquement la réponse finale. Cela incite le modèle à apprendre des raccourcis et des hallucinations visuelles qui ne se généralisent pas, car les étapes intermédiaires de raisonnement ne sont pas supervisées.

De plus, l'injection de bruit pour forcer l'exploration crée un scénario hors politique (off-policy) : la politique de comportement collecte des données avec des images bruitées, tandis que la politique cible doit opérer sur des images propres. Ce décalage de distribution biaise l'estimation de l'avantage et corrompt le gradient de la politique.

2. Méthodologie : NoisyGRPO

Pour surmonter ces défis, les auteurs proposent NoisyGRPO, un cadre RL multimodal unifié qui combine une stratégie d'exploration par injection de bruit et une estimation de l'avantage bayésienne.

A. Stratégie d'Exploration par Injection de Bruit (Noise-Injected Exploration Policy)

Au lieu d'ajouter du bruit aléatoire au modèle entier, NoisyGRPO perturbe les entrées visuelles (les images) durant la phase de collecte des trajectoires (rollouts).

• Mécanisme : Pour chaque échantillon, un niveau de bruit $n_i$ est échantillonné à partir d'une distribution uniforme $U(0, 1)$. Ce bruit est appliqué à l'image via un processus de diffusion (similaire au bruitage en avant), créant une image bruitée $I_{n_i}$.
• Objectif : Cela force le modèle à générer des réponses variées face à des conditions visuelles dégradées, encourageant une exploration plus large et favorisant un raisonnement ancré visuellement (visually grounded) plutôt que des hallucinations.
• Note : Le bruit n'est utilisé que pour la collecte ; la mise à jour de la politique se fait sur des entrées propres pour assurer la stabilité.

B. Estimation de l'Avantage Bayésienne (Bayesian Advantage Estimation)

Pour corriger le biais introduit par le décalage de distribution (off-policy), les auteurs modélisent l'estimation de l'avantage comme un problème d'inférence bayésienne.

• Formulation :
  • A priori (Prior) : Le niveau de bruit injecté ($1 - n_i$) sert de prior sur la qualité de la trajectoire. L'idée est que si un modèle répond correctement malgré un bruit élevé, la qualité est intrinsèquement élevée.
  • Vraisemblance (Likelihood) : La récompense sémantique observée (basée sur la similarité de l'embedding du texte) sert de vraisemblance.
  • Postérieur : La qualité réelle de la trajectoire est estimée en fusionnant le prior et la vraisemblance via une mise à jour bayésienne.
• Gestion de l'incertitude : La variance du prior ($\sigma_n^2$) est dynamique : elle est inversement proportionnelle à la variance des récompenses au sein du groupe. Si les récompenses sont très variables, l'incertitude du prior diminue, et vice-versa.
• Résultat : Cette approche produit une estimation de l'avantage robuste qui pondère adaptativement la confiance dans le bruit (prior) et la réponse correcte (observation), guidant le modèle vers des trajectoires visuellement fondées.

3. Contributions Clés

1. Cadre NoisyGRPO : Une nouvelle architecture RL conçue spécifiquement pour améliorer le raisonnement CoT multimodal général, sans coût computationnel supplémentaire significatif.
2. Innovation Algorithmique :
   • Introduction d'une politique d'exploration par injection de bruit sur les images pour briser la convergence prématurée des trajectoires.
   • Développement d'une estimation de l'avantage bayésienne qui traite le bruit comme un prior et la récompense comme une observation, résolvant le problème du biais hors politique.
3. Performance sur les petits modèles : La méthode démontre une efficacité particulière sur les MLLM à petite échelle (ex: Qwen2.5-VL 3B), où les gains de généralisation sont critiques.

4. Résultats Expérimentaux

Les auteurs ont évalué NoisyGRPO sur trois axes : qualité du CoT, capacités générales et hallucinations, en utilisant des benchmarks standards (MME-CoT, MMStar, AMBER, MME-RealWorld).

• Amélioration de la Qualité du CoT : Sur le benchmark MME-CoT, NoisyGRPO surpasse systématiquement GRPO. Avec le modèle Qwen2.5-VL 3B, il obtient une amélioration de +4,4 points sur la qualité CoT et +3,7 sur la performance moyenne MMStar.
• Robustesse et Généralisation : Le modèle montre une meilleure robustesse aux variations et une réduction des hallucinations par rapport aux méthodes de base (SFT et GRPO standard).
• Efficacité :
  • Les trajectoires générées sont plus courtes et plus concises, indiquant un raisonnement plus efficace.
  • L'analyse des poids d'importance montre que le modèle commence par s'appuyer sur le prior (bruit) et glisse progressivement vers les signaux de récompense de correction au fil de l'entraînement.
• Limitations observées : Une légère baisse de performance est notée sur les tâches de "perception grossière" (Coarse Perception) et sur la couverture (Coverage) des descriptions, probablement due à la tendance du modèle à être plus concis et ancré visuellement.

5. Signification et Impact

Ce travail est significatif car il adresse le problème fondamental de la généralisation des MLLM dans des tâches de raisonnement complexes.

• Théorique : Il propose une solution élégante au problème de l'estimation de l'avantage dans les scénarios off-policy induits par l'augmentation de données (bruit), en utilisant un cadre bayésien rigoureux.
• Pratique : Il démontre que l'on peut améliorer considérablement les capacités de raisonnement de modèles multimodaux de taille modeste (3B-7B) sans nécessiter de modèles de valeur coûteux ou de données massives de haute qualité, rendant l'entraînement RL plus accessible et efficace.
• Futur : La méthode ouvre la voie à des approches de RL plus robustes pour les tâches visuelles exigeant une analyse profonde et un raisonnement multi-étapes, au-delà de la simple reconnaissance de motifs.

En résumé, NoisyGRPO transforme le bruit, souvent considéré comme un obstacle, en un outil d'exploration structuré, tout en utilisant l'inférence bayésienne pour garantir que l'apprentissage reste stable et orienté vers un véritable raisonnement visuel.