🤖 AI

Improving Generalization Robustness of Multimodal RLVR

Cet article propose le Prompt-Invariant RLVR (PIRL), une méthode de post-entraînement robuste qui combine une récompense ternaire dynamique et un régulariseur de cohérence dans l'espace d'enchâssement afin d'atténuer la fragilité du RLVR standard dans les modèles multimodaux, améliorant ainsi de manière significative la généralisation à travers des invites sémantiquement équivalentes mais perturbées.

Auteurs originaux : Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot brillant mais littéral comment résoudre des énigmes. Vous lui montrez l'image d'un chat et lui demandez : « Quel animal est-ce ? » Le robot apprend à dire « Chat » parfaitement. Mais ensuite, vous modifiez légèrement la question : « Identifiez le félin sur l'image. » Soudain, le robot se fige ou donne une mauvaise réponse. C'est le monde des Modèles de Langage Multimodaux (MLLM) — des systèmes d'IA super intelligents qui peuvent voir des images et lire du texte en même temps. Pour rendre ces robots encore plus intelligents, les scientifiques utilisent une technique appelée Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR). Voyez cela comme un jeu vidéo où le robot ne gagne un « point » que si sa réponse correspond à une liste de contrôle stricte (comme un format spécifique ou un nombre correct). Le but est d'entraîner le robot à mieux raisonner et à obtenir plus de points. Mais attention : si le robot apprend à manipuler la liste de contrôle plutôt qu'à véritablement comprendre l'énigme, il devient fragile. Il pourrait réussir l'examen quand les questions ressemblent exactement aux questions d'entraînement, mais échouer lamentablement si vous reformulez simplement la question. C'est un problème majeur pour les utilisations dans le monde réel, comme le diagnostic médical ou le conseil juridique, où un robot qui se brise dès que l'on change la formulation pourrait être dangereux.

Entrez en scène une nouvelle étude qui tente de corriger cette « fragilité ». Les chercheurs, dirigés par Pengfei Zhou et ses collègues, ont découvert que les méthodes d'entraînement standard apprennent à l'IA à être des « snobs du format ». Ils ont constaté que lorsqu'une IA reçoit une récompense pour une réponse correcte, le système de récompense confond souvent deux choses : donner la bonne réponse et respecter les règles de formatage (comme placer la réponse dans une boîte spécifique). Si l'IA oublie de mettre la réponse dans la boîte, elle reçoit zéro point, même si la réponse est parfaite. Cela perd l'IA, la poussant à se concentrer sur la boîte plutôt que sur les mathématiques ou la logique. De plus, l'IA ne s'entraîne que sur un ensemble très restreint et spécifique de styles de questions. Lorsqu'elle est confrontée à une nouvelle façon de poser la même question dans le monde réel, elle panique.

Pour résoudre cela, l'équipe a proposé une nouvelle méthode d'entraînement appelée RLVR Invariant au Prompt (PIRL). Ils ont introduit deux astuces principales. Premièrement, ils ont donné à l'IA une « Récompense Ternaire Dynamique ». Au lieu d'un simple score « Vrai/Faux », l'IA reçoit désormais un score à trois niveaux : +1 pour une réponse correcte dans le bon format, 0 pour une réponse correcte dans le mauvais format, et -1 pour un échec de formatage. Cela enseigne à l'IA que le contenu de la réponse importe même si le formatage est désordonné. Deuxièmement, ils ont ajouté un « doublure » à l'entraînement. Ils ont créé un agent adverse qui réécrit constamment les questions de manière subtile (comme en changeant la formulation ou le style d'instruction) tout en conservant le sens. L'IA est alors forcée de donner la même réponse correcte, peu importe la façon dont la question est habillée. C'est comme entraîner un élève non pas seulement à résoudre un problème de mathématiques sur une fiche de travail spécifique, mais à le résoudre qu'il soit écrit en cursive, en caractères d'imprimerie ou prononcé à l'oral.

Les résultats sont prometteurs. Lorsqu'ils ont testé leur nouvelle méthode contre l'ancienne norme (appelée GRPO), ils ont constaté que les performances de l'ancienne méthode chutaient considérablement lorsque les questions étaient reformulées (un « test de résistance »). Par exemple, sur certains benchmarks mathématiques, la précision de la méthode standard chutait d'environ 3 % à 4 % lorsque le prompt changeait. En revanche, la méthode PIRL restait remarquablement stable, sa précision ne chutant que de 1 % ou moins. Dans des domaines à enjeux élevés comme la médecine et le droit, où la fiabilité est la clé, le PIRL maintient bien mieux sa précision que la concurrence. L'étude suggère qu'en séparant la récompense pour « avoir raison » de la récompense pour « avoir l'air correct », et en s'entraînant sur une plus grande variété de styles de questions, nous pouvons construire une IA qui est non seulement intelligente, mais aussi robuste et fiable, capable de gérer la façon désordonnée et imprévisible dont les humains parlent réellement.

Résumé Technique : Améliorer la Robustesse de la Généralisation du RLVR Multimodal

1. Énoncé du Problème

L'article traite de l'écart de robustesse aux prompts (prompt-robustness gap) dans les modèles de langage multimodaux (MLLM) affinés via l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR). Bien que le RLVR améliore considérablement la précision sur les benchmarks standards en optimisant contre des signaux déterministes (ex: correspondance regex ou vérification symbolique), ces gains sont fragiles. Les auteurs observent qu'un simple paraphrasage d'une question ou une modification du template de prompt peut provoquer une dégradation brutale des performances, rendant les modèles peu fiables pour un déploiement à enjeux élevés (ex: VQA médical ou juridique).

Les auteurs identifient deux causes profondes au sein de l'objectif standard du RLVR :

Enchevêtrement des Récompenses (Reward Entanglement) : Les vérificateurs binaires standards (ex: $V = V_f \cdot V_c$ ) confondent la conformité au format ( $V_f$ ) et la justesse sémantique ( $V_c$ ). Une récompense nulle ne permet pas de distinguer un modèle qui n'a pas compris la tâche d'un modèle qui a simplement échoué à suivre le format de sortie. Cela entraîne une perte de variance informative de la récompense, particulièrement lorsque la conformité au format est élevée, provoquant un biais du signal de gradient vers des comportements spécifiques aux templates plutôt que vers un raisonnement général.
Dépendance au Prompt : Le RLVR standard optimise sur une distribution d'entraînement fixe ( $P_{train}$ ). L'analyse théorique (Proposition B.5) démontre que cet objectif est non-identifiable : des politiques qui performent parfaitement sur les templates d'entraînement mais échouent sur des prompts inédits, pourtant sémantiquement équivalents, peuvent atteindre la même récompense d'entraînement. Par conséquent, le modèle apprend à exploiter des templates de prompts spécifiques plutôt qu'à apprendre un raisonnement invariant au prompt.

2. Méthodologie : RLVR Invariant au Prompt (PIRL)

Pour remédier à ces problèmes, les auteurs proposent le RLVR Invariant au Prompt (PIRL), qui opérationnalise deux conditions de conception : la Décomposition de la Récompense (C1) et le Contrôle de l'Invariance (C2).

2.1. Récompense Trinaire Dynamique (DTR)

Pour satisfaire la Décomposition de la Récompense, le PIRL remplace le vérificateur binaire standard par une Récompense Trinaire Dynamique :
$R = R_t + \alpha_{rew} R_s$

$R_t$ (Vérificateur Trinaire Sensible au Format) : Attribue $+1$ pour une réponse correcte dans le bon format, $0$ pour une réponse incorrecte dans le bon format, et $-1$ pour un échec de format. Cela découple la conformité au format de la justesse sémantique.
$R_s$ (Score Sémantique) : Un score sémantique borné (dérivé d'un scoreur NLI) qui fournit de la variance à l'intérieur des compartiments de format. Même si le format est correct, $R_s$ peut différencier les degrés de justesse sémantique.
Normalisation d'Avantage Découplée (DAN) : Pour éviter que l'échelle du score sémantique ne domine le signal trinaire lors de la normalisation de groupe, les auteurs proposent de z-scorer $R_t$ et $R_s$ séparément au sein de chaque groupe de rollout avant de les combiner.

2.2. Adversaire dans l'Espace d'Embedding et Régularisation de Consistance

Pour satisfaire le Contrôle de l'Invariance, le PIRL introduit une boucle d'entraînement adversaire :

Agent Adversaire : Un adversaire perturbe les embeddings des tokens d'instruction à l'intérieur d'une boule $\ell_2$ bornée ( $\|\delta\|_2 \le \epsilon_{emb}$ ). Cela simule la pire reformulation possible des instructions sans altérer l'entrée visuelle ou la réponse de vérité terrain. L'adversaire vise à minimiser la récompense DTR attendue de la politique.
Régularisation de Consistance : Pour garantir que la politique ne s'effondre pas sous ces perturbations, une perte de consistance est ajoutée. Cette perte minimise la divergence de Kullback-Leibler (KL) entre les distributions de tokens de la politique sous le prompt propre et le prompt adversaire (perturbé). Cela agit comme un substitut traçable pour imposer l'invariance de la réponse à travers la classe d'équivalence sémantique.

2.3. Objectif d'Entraînement

L'objectif global combine la perte GRPO tronquée (utilisant les avantages normalisés par DAN issus de DTR) avec la pénalité de consistance :
$\min_{\theta} \mathbb{E}_{\mathbf{x} \sim \mathcal{D}} \left[ \mathcal{L}^{DAN}_{G}(\pi_\theta, \bar{q}; R_t, R_s) + \lambda \mathcal{L}_{cons}(\theta; \mathbf{x}, \bar{\phi}) \right]$
où $\bar{q}$ représente les échantillons adverses gelés générés via l'ascension projetée.

3. Contributions Clés

Identification de l'Écart de Robustesse aux Prompts : L'article révèle formellement que le RLVR standard conduit à un surapprentissage des formats de prompt, créant un écart où les modèles se dégradent sur des prompts paraphrasés malgré une haute précision d'entraînement.
Formulation Théorique : Les auteurs formalisent la robustesse au prompt comme une optimisation sur des classes d'équivalence sémantique. Ils prount que les récompenses binaires standards causent un biais de variance de la récompense et que l'objectif d'entraînement souffre de non-identifiabilité concernant les politiques invariantes au prompt.
Cadre PIRL : Ils proposent une méthode concrète (PIRL) qui instancie la décomposition de la récompense via DTR et le contrôle de l'invariance via un adversaire dans l'espace d'embedding et une régularisation de consistance.
Validation Empirique : Des expériences approfondies sur les benchmarks VQA Exam, Medical et Legal démontrent que le PIRL réduit significativement les chutes de performance lors des tests de stress par rapport au GRPO standard et aux baselines multi-templates.

4. Résultats Expérimentaux

Les auteurs ont évalué le PIRL sur Qwen2.5-VL-7B et Qwen3-VL-8B à travers trois domaines :

Stress Test de Template (T-Stress) : Les modèles ont été testés sur des prompts avec des nombres variables de templates inédits ( $N=1$ $N = 1$ à $15$).
- Le GRPO standard montre une dégradation significative (ex: $\Delta T \approx -4,4\%$ sur MathVista pour Qwen2.5).
- Le PIRL maintient la stabilité, montrant souvent des baisses positives ou négligeables (ex: $\Delta T \approx +0,3\%$ sur MathVista).
- Le PIRL surpasse la baseline Multi-Template (GRPO-MT), qui ne pallie que partiellement le problème.
Évaluation Dynamique (D-Test) : Utilisation de mutations basées sur des opérateurs (paraphrasage, changements de mise en page, etc.).
- Le PIRL obtient systématiquement la plus faible baisse de performance moyenne sur tous les benchmarks par rapport au GRPO et au GRPO-MT.
- Dans les domaines à enjeux élevés (Médical et Juridique), le PIRL préserve la précision là où le GRPO se dégrade fortement (ex: sur PathVQA, le GRPO chute de $-6,7\%$ tandis que le PIRL ne chute que de $-0,8\%$ ).
Études d'Ablation : La configuration complète de PIRL (MT + ADV + DTR) produit les meilleurs résultats. Bien que l'ablation n'ait pas isolé de manière définitive la nécessité individuelle de DTR ou de l'adversaire au-delà de la baseline multi-template pour toutes les métriques, la combinaison a fourni la performance la plus robuste sans coût détectable.

5. Signification et Revendications

L'article affirme que le PIRL restaure la robustesse des modèles affinés par RLVR à un niveau comparable ou supérieur au modèle de base, comblant ainsi l'écart de robustesse aux prompts.

Fiabilité : La méthode est particulièrement significative pour les domaines à enjeux élevés (médical, juridique) où l'incapacité d'un modèle à gérer des instructions reformulées le rend peu fiable, quelle que soit sa précision brute.
Mécanisme : Ce travail démontre que la fragilité du RLVR n'est pas une limitation inhérente à l'apprentissage par renforcement, mais une conséquence de l'enchevêtrement des récompenses et d'une couverture d'entraînement limitée. En découplant le format de la sémantique et en imposant l'invariance, le modèle apprend à généraliser à travers la classe d'équivalence sémantique plutôt qu'à mémoriser des templates.
Modestie : Les auteurs reconnaissent que la robustesse ne garantit pas la justesse (un modèle stable peut toujours être erroné avec assurance) et que leur objectif d'invariance est une relaxation traçable de la pleine classe d'équivalence sémantique (opérant dans l'espace d'embedding plutôt que dans l'espace discret des tokens). Ils positionnent le PIRL comme une méthode pour soutenir, et non remplacer, le jugement humain expert dans les domaines critiques.