Résumé Technique : MARS – Normalisation de l'Avantage Mono-Ancré pour le Raisonnement Visuel Multi-Sources

Énoncé du Problème

Bien que l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) ait fait progresser le raisonnement visuel, les méthodes existantes peinent à traiter les entrées multi-sources (par exemple, RGB, infrarouge, profondeur, multi-vues). Les approches actuelles traitent généralement les données multi-sources comme une simple accumulation d'informations, opérant sous l'hypothèse que « voir plus signifie savoir plus ». Cependant, cet article identifie une limitation critique : lorsque les sources diffèrent considérablement par leurs propriétés physiques et leurs sémantiques, une intégration naïve peut introduire des interférences ou du bruit plutôt qu'un gain d'information.

Dans des scénarios où une source détient un signal dominant et fiable (par exemple, l'infrarouge dans des conditions de faible luminosité) tandis que d'autres sont dégradées ou non pertinentes, les cadres RLVR standards échouent souvent à distinguer entre une fusion bénéfique et un conflit préjudiciable. Par conséquent, les performances du raisonnement multi-sources peuvent se dégrader en dessous du niveau d'un raisonnement mono-source fort. Les cadres existants manquent de mécanismes explicites pour modéliser l'interaction dynamique entre les sources ou pour quantifier si l'intégration d'une source supplémentaire produit un gain d'information positif par rapport à une base mono-source.

Méthodologie : MARS

Pour répondre à ces défis, les auteurs proposent MARS (Normalisation de l'Avantage Mono-Ancré pour le Raisonnement Multi-Sources). Ce cadre traite chaque modalité visuelle comme une source d'information indépendante et modélise explicitement le gain d'information introduit par la fusion multi-sources.

Mécanisme Central

L'innovation centrale de MARS réside dans l'utilisation de récompenses mono-source comme ancres dynamiques pour normaliser les avantages des trajectoires multi-sources lors de l'entraînement RLVR.

1. Génération de Trajectoires Doubles : Pour une instance d'entraînement donnée (question $q$ et plusieurs images $i$), le modèle de politique $\pi_\theta$ génère deux types de trajectoires :

   • Trajectoires multi-sources ($G_{multi}$) : Le modèle traite toutes les images disponibles conjointement.
   • Trajectoires mono-source ($G_{mono}$) : Le modèle traite chaque image individuellement, appariée à l'entrée textuelle.

2. Normalisation Hybride des Avantages : Au lieu de calculer les statistiques d'avantage uniquement à partir des trajectoires multi-sources, MARS calcule une moyenne et un écart-type hybrides en utilisant l'union des récompenses mono-source et multi-sources ($G_{multi} \cup G_{mono}$). L'avantage $A_j$ pour une trajectoire multi-source est calculé comme suit :
   $$A_j^{hy} = \frac{r(q, i, o_j^{multi}) - \text{moyenne}(G_{multi} \cup G_{mono})}{\text{écart-type}(G_{multi} \cup G_{mono})}$$

3. Régulation Adaptative :

   • Suppression du Conflit : Si une source spécifique est dominante et que la fusion multi-sources introduit du bruit (entraînant des récompenses inférieures à l'ancre mono-source), les statistiques de normalisation se décalent pour supprimer le signal multi-source conflictuel, guidant le modèle vers le comportement mono-source fiable.
   • Accent sur la Promotion : Si la fusion multi-sources produit une récompense supérieure à la base mono-source (indiquant un gain d'information réel), l'algorithme encourage l'exploration au-delà des indices mono-source, quantifiant efficacement le « gain d'information multi-source ».

Fondement Théorique

Les auteurs fournissent une analyse théorique pour soutenir la méthode :

• Non-Biais : L'algorithme proposé garantit que l'espérance de l'estimation du gradient reste équivalente à l'optimisation on-policy standard, assurant qu'aucun biais n'est introduit.
• Décomposition du Gradient : La mise à jour du gradient est montrée comme équivalente à la maximisation de la récompense multi-source standard plus un terme de régularisation basé sur le Gain d'Information Multi-Sources ($\Delta IG$). Ce terme représente la différence entre les récompenses attendues des trajectoires multi-sources et mono-sources. Un $\Delta IG$ négatif indique un conflit de modalité, tandis qu'une valeur positive indique une promotion mutuelle.

Contributions Clés

1. Identification d'une Limite Centrale : L'article révèle que le raisonnement visuel multi-sources existant peut systématiquement dégrader les performances en raison d'interférences de modalités non modélisées, remettant en cause l'hypothèse selon laquelle plus d'entrées équivaut toujours à une meilleure connaissance.
2. Nouveau Cadre (MARS) : Les auteurs conçoivent une méthode qui introduit les récompenses mono-source comme ancres pour mesurer quantitativement le gain d'information lors de la normalisation des avantages. Cela permet une régulation adaptative des différentes sources sans nécessiter de refonte architecturale ni de correction off-policy.
3. Validation Empirique : Des expériences extensives sur divers jeux de données (profondeur, infrarouge, multi-vues, riches en texte) et algorithmes RL (GRPO, DAPO) démontrent des améliorations de performance constantes.

Résultats Expérimentaux

Les auteurs ont évalué MARS sur quatre tâches multi-sources en utilisant les modèles Qwen2.5-VL-3B et 7B. Les principales conclusions incluent :

• Gains de Performance : MARS a obtenu des améliorations significatives par rapport aux méthodes RLVR de base. Spécifiquement, il a produit des gains de performance moyens de 3,2 % et 4,9 % respectivement sur les cadres GRPO et DAPO, selon la métrique de raisonnement multi-sources.
• Améliorations Spécifiques aux Tâches : Des gains notables ont été observés sur les jeux de données infrarouge (3,8 %) et multi-vues (7,0 %).
• Robustesse : La méthode a démontré une robustesse supérieure face aux dégradations visuelles (bruit gaussien, flou de mouvement, occlusion), maintenant une haute précision là où les bases subissaient des baisses de performance.
• Efficacité : L'approche ne nécessite qu'un seul modèle de politique et génère des échantillons mono-source en modifiant les entrées, évitant ainsi la surcharge de stockage liée à la mémoire de replay ou à la correction off-policy. La surcharge computationnelle est modérée, le bénéfice clé découlant du mécanisme d'ancre plutôt que d'un volume accru de trajectoires.
• Analyse Qualitative : Des études de cas ont montré que MARS priorise avec succès les sources informatives (par exemple, l'infrarouge en faible luminosité) et supprime les sources non pertinentes ou bruyantes (par exemple, images de profondeur blanchies), conduisant à un raisonnement et une ancrage plus précis par rapport au GRPO standard.

Signification et Revendications

L'article revendique que MARS offre une solution générale et efficace pour améliorer les performances de raisonnement visuel dans les scénarios multi-sources. En modélisant explicitement l'interaction dynamique entre les sources et en quantifiant le gain d'information, la méthode résout le conflit entre « voir plus » et « savoir plus ».

Les auteurs soulignent que leur approche :

• Ne repose pas sur des cadres d'entraînement spécifiques (compatible avec GRPO et DAPO).
• Ne nécessite pas de modifications architecturales du modèle sous-jacent.
• Fournit une manière principielle de gérer les conflits et les promotions de modalités, conduisant à des trajectoires d'optimisation plus stables et interprétables.
• Valide que l'exploitation dynamique des récompenses mono-source comme ancres guide efficacement les modèles à se concentrer sur les sources informatives tout en supprimant le bruit, confirmant que le raisonnement multi-sources efficace nécessite de distinguer entre gain d'information et interférence.