💻 computer science

SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

SIVA-RL est un nouveau cadre d'apprentissage par renforcement multimodal qui améliore l'ancrage visuel en remplaçant la supervision conditionnée par l'opérateur par un alignement échantillon par échantillon conditionné par le résultat, utilisant une politique d'audit gelée pour router dynamiquement les interventions basées sur les baisses de récompense observées pour une meilleure performance de raisonnement à travers divers benchmarks.

Auteurs originaux : Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

Publié 2026-07-16

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à résoudre un mystère. Vous lui montrez la photo d'une scène de crime et lui demandez : « Qui l'a fait ? » Si le robot trouve la bonne réponse, vous lui donnez une étoile d'or. C'est ainsi que fonctionne l'« Apprentissage par Renforcement » moderne pour l'IA : il apprend en essayant, en échouant et en recevant des récompenses pour les bonnes réponses. Mais voici le piège : le robot pourrait obtenir l'étoile d'or pour de mauvaises raisons. Il pourrait avoir mémorisé que les « majordomes » sont généralement les coupables dans les histoires, ou il pourrait avoir deviné uniquement grâce au texte, en ignorant complètement les indices de l'image. C'est comme un élève qui obtient un « A » à un test de mathématiques en devinant le schéma du corrigé plutôt qu'en comprenant réellement les nombres.

Pour corriger cela, les scientifiques ont essayé de « piquer » le cerveau du robot. Ils montrent la même image, mais avec une partie recouverte ou brouillée. Si le robot trouve toujours la bonne réponse, ils supposent qu'il ne regarde pas du tout l'image. S'il se trompe, ils supposent qu'il regardait. C'est ce qu'on appelle la « l'intervention visuelle ». L'idée est qu'en perturbant l'image, on peut forcer le robot à prêter attention aux preuves visuelles. Cependant, cet article suggère que cette ancienne méthode de « piqûre » est un peu maladroite, comme essayer d'apprendre à quelqu'un à nager en le jetant dans une piscine et en supposant qu'il coule ou flotte selon un seul éclat d'eau.

Entrez en scène SIVA-RL, une nouvelle méthode qui agit plus comme un entraîneur intelligent que comme des piqûres maladroites. Les chercheurs ont découvert que l'ancienne méthode de la « piqûre » commet une grosse erreur : elle suppose que chaque fois que vous couvrez une partie d'une image, la réaction du robot sera la même. Mais en réalité, parfois, couvrir une partie de l'image fait échouer lamentablement le robot (parce que cette partie était cruciale), et parfois cela ne change pas la réponse (parce que le robot devinait de toute façon, ou que la partie couverte n'avait pas d'importance). SIVA-RL cesse de deviner comment le robot devrait réagir et observe plutôt comment il réagit réellement. Il traite chaque image comme son propre cas unique, décidant exactement comment coacher le robot en fonction du résultat spécifique de la « piqûre ».

Le problème des piqûres « taille unique »

Imaginez que vous êtes un enseignant essayant d'aider un élève à identifier différents fruits. Vous avez la photo d'une pomme. Pour tester si l'élève regarde vraiment la pomme, vous couvrez la tige.

L'ancienne méthode : Vous décidez que chaque fois que vous couvrez la tige, l'élève doit se tromper pour prouver qu'il regardait. S'il répond quand même « pomme », vous pensez qu'il triche.
La réalité : Parfois, couvrir la tige fait que l'élève dit : « Je ne sais pas ! » (Super ! Il regardait la tige). Mais d'autres fois, il dit quand même « pomme » parce que la couleur rouge et la forme ronde suffisaient pour deviner. Ou peut-être qu'il devinait simplement « pomme » parce que c'est un fruit commun, et que couvrir la tige n'a pas changé sa devinette paresseuse.

Les auteurs de l'article ont découvert que l'ancienne méthode traite toutes ces réactions différentes de la même manière. Ils appellent cela la « supervision conditionnée par l'opérateur », une façon sophistiquée de dire « nous disons au robot quoi faire en fonction de ce que nous avons fait à l'image, et non de ce que le robot a fait avec elle ».

Les chercheurs ont mené un test où ils ont pris 906 exemples où le robot avait trouvé la bonne réponse sur l'image propre. Ils ont ensuite couvert des parties de l'image de trois manières différentes : en rendant toute l'image noire, en plaçant un masque aléatoire dessus, ou en échangeant de petits fragments de l'image (comme une version numérique consistant à découper un morceau d'un puzzle et à le coller ailleurs).

Les résultats ont été surprenants. Même s'ils utilisaient le même outil de « couverture », la réaction du robot était très variable :

Avec l'image noire, le score a chuté de 67,8 % du temps, mais est resté identique 32,2 % du temps.
Avec les masques aléatoires, il a chuté de 62,9 % du temps, mais est resté identique 37,1 % du temps.
Avec les échanges de fragments (patch swaps), il a chuté de 61,8 % du temps, mais est resté identique 38,2 % du temps.

Cela signifie que la même « piqûre » peut être un événement majeur pour une image et une perte de temps totale pour une autre. L'ancienne méthode ne faisait pas la différence. Elle supposait simplement que si vous couvriez l'image, le robot devrait y être sensible.

La solution SIVA-RL : Un coach intelligent

L'équipe a proposé SIVA-RL (Alignement Visuel de Sensibilité-Invariance). Voyez cela comme un coach qui observe la réaction de l'élève à la « piqûre » avant de décider de ce qu'il dira ensuite.

Voici comment fonctionne le coach SIVA-RL en trois étapes simples :

1. La piqûre « PatchSwap »
Au lieu de simplement flouter toute l'image ou de la couvrir d'une boîte noire, SIVA-RL utilise une technique appelée PatchSwap. Imaginez que vous avez la photo d'une forme géométrique. Le coach prend un petit carré d'une partie de la photo (disons, un coin d'un triangle) et l'échange avec un carré d'une partie éloignée de la même photo. Cela modifie les détails locaux mais garde le reste de l'image d'apparence normale. C'est comme réorganiser les meubles dans une pièce ; la pièce est toujours là, mais la disposition est légèrement différente.

2. L'« Audit » (Vérifier la réaction)
Avant que le robot n'apprenne quoi que ce soit, une version « audit figé » du robot (un instantané de ce qu'il savait avant le début de l'entraînement) regarde l'image originale et l'image échangée. Il essaie de répondre à la question pour les deux.

Si le score du robot chute fortement (par exemple, de 100 % à 20 %), cela signifie que le robot s'appuyait réellement sur cette partie spécifique de l'image. C'est un signal de Sensibilité.
Si le score du robot reste le même (par exemple, de 100 % à 98 %), cela signifie que le robot n'avait pas besoin de cette partie, ou qu'il était simplement en train de deviner. C'est un signal d'Invariance.
Si le score change un peu, c'est ambigu, et le coach peut décider de l'ignorer pour l'instant.

3. La leçon sur mesure
C'est là que la magie opère. Le coach n'utilise pas la même leçon pour tout le monde.

Pour les cas « Sensibles » (Grande chute) : Le coach dit : « Hé, tu as fait une erreur quand nous avons déplacé cette pièce ! Cela signifie que tu regardais vraiment, mais peut-être pas assez attentivement. Entraînons-nous à distinguer ce détail spécifique. » Le but ici est de rendre le robot plus sensible aux preuves visuelles.
Pour les cas « Invariants » (Petite chute) : Le coach dit : « Tu as eu raison même quand nous avons déplacé cette pièce. C'est bien ! Mais assurons-nous que tu ne fais pas que deviner. Entraînons-nous à rester cohérent. » Le but ici est de rendre le robot stable et constant, en veissant qu'il ne repose pas simplement sur une chance ou un raccourci textuel.
Pour les cas « Ambigus » : Le coach dit : « Je ne suis pas sûr de ce qui se passe ici, alors sautons cette étape pour le moment. »

Les résultats : Est-ce que ça marche ?

Les chercheurs ont testé cette nouvelle méthode sur neuf benchmarks différents, qui sont comme des tests standardisés pour l'IA. Ces tests comprenaient des problèmes mathématiques avec des diagrammes, des énigmes logiques avec des images et des tâches de comptage. Ils ont utilisé deux « backbones » (les moteurs sous-jacents qui pilotent l'apprentissage) appelés GRPO et DAPO, et ils ont testé des modèles de deux tailles : 3 milliards de paramètres (3B) et 7 milliards de paramètres (7B).

Les résultats sont très solides.

Amélioration globale : SIVA-RL a amélioré les performances des modèles dans chaque test. Pour les modèles 7B utilisant le moteur DAPO, l'amélioration globale est de 14,98 % par rapport à la ligne de base.
Tâches dépendantes de la vision : Les plus grands gains ont été obtenus sur les tâches qui nécessitent réellement de regarder l'image. Par exemple, sur les tâches de raisonnement dépendantes de la vision, le modèle GRPO-7B a obtenu un gain de 8,79 points de pourcentage. Cela suggère que SIVA-RL est particulièrement efficace pour forcer le robot à réellement regarder les indices visuels plutôt que de simplement deviner.
Comparaison avec les autres : Les modèles SIVA-RL 7B ont mieux performé que de nombreux autres modèles célèbres, y compris certains beaucoup plus grands (comme des modèles de 72 milliards de paramètres) et même certains modèles propriétaires de grandes entreprises technologiques.

Pourquoi cela importe

L'article soutient que nous devons cesser de traiter toutes les « piqûres » de la même manière. Ce n'est pas parce que vous couvrez une partie d'une image que le robot doit échouer. Parfois, il échoue parce qu'il était attentif ; parfois, il échoue parce qu'il était confus ; parfois, il n'échoue pas parce qu'il était en train de deviner.

SIVA-RL suggère que la clé d'un meilleur raisonnement de l'IA est la supervision conditionnée par le résultat. Au lieu de dire, « Parce que j'ai couvert l'image, tu dois être sensible », le système dit, « Parce que ton score a réellement chuté quand j'ai couvert l'image, apprenons de cette chute spécifique ».

Les auteurs précisent toutefois que cela ne prouve pas que le robot « pense » désormais comme un humain ou qu'il possède une ancrage visuel parfait. Cela signifie simplement que le robot utilise mieux les preuves visuelles dont il dispose. La méthode fonctionne en séparant l'acte de créer la « piqûre » (l'intervention) de l'acte de décider quoi enseigner en fonction du résultat (la supervision).

En fin de compte, SIVA-RL est comme un coach qui arrête de crier des instructions génériques pour commencer à observer les erreurs spécifiques du joueur. Si le joueur trébuche sur un rocher précis, le coach l'aide à enjamber ce rocher. S'il trébuche parce qu'il était distrait, le coach l'aide à se concentrer. En traitant chaque erreur comme une histoire unique, le robot apprend à se fier davantage à l'image devant lui, plutôt qu'à simplement deviner la réponse.

Résumé Technique : SIVA-RL

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) a fait progresser le raisonnement multimodal en optimisant la correction des tâches sans nécessiter de trajectoires de raisonnement denses. Cependant, une limitation critique subsiste : une réponse finale correcte ne garantit pas qu'un modèle de langage-vision (VLM) a fondé sa prédiction sur des preuves visuelles. Les modèles peuvent s'appuyer sur des priors linguistiques, des biais de fréquence de réponses ou des modèles mémorisés pour obtenir des récompenses élevées, particulièrement dans les tâches dépendantes de la vision comme le comptage ou la géométrie.

Les méthodes existantes tentent d'imposer une dépendance visuelle en contrastant le comportement du modèle sur des images originales par rapport à des images modifiées (intervenues). Ces approches emploient généralement une régularisation conditionnée par l'opérateur, où l'objectif d'optimisation est prédéterminé par le type d'intervention (par exemple, les interventions destructives imposent la séparation, tandis que les transformations légères encouragent la cohérence). L'article soutient que cette hypothèse est erronée : un opérateur visuel identique produit des résultats hétérogènes selon les échantillons. Un seul type d'intervention peut simultanément provoquer une chute de récompense (indiquant une sensibilité aux preuves visuelles) dans certains échantillons, tout en laissant le résultat stable (indiquant une dépendance aux priors ou à des preuves redondantes) dans d'autres. Par conséquent, l'attribution d'une direction de supervision uniforme basée uniquement sur le type d'intervention est sous-optimale.

Méthodologie : SIVA-RL

Les auteurs proposent SIVA-RL (Sensitivity–Invariance Visual Alignment), un cadre qui découple la construction de l'intervention de l'assignation de la supervision. Au lieu d'une régularisation conditionnée par l'opérateur, SIVA-RL emploie une supervision conditionnée par le résultat au niveau de l'échantillon.

1. Construction d'Interventions Localisées

SIVA-RL construit des interventions à l'aide de PatchSwap, un mécanisme d'échange de patchs au sein d'une image, aligné sur les tokens et contraint par la distance.

Mécanisme : L'image est partitionnée en une grille alignée avec les tokens visuels. Des cellules candidates sont échantillonnées, et des cibles de remplacement valides sont sélectionnées parmi des cellules sources distantes (imposant une distance minimale $d_{min}$ ).
Objectif : Cela perturbe les preuves visuelles localisées et les relations spatiales tout en préservant les statistiques et le contexte globaux de l'image, créant des interventions plus difficiles que le masquage global mais moins destructrices qu'un retrait complet.

2. Routage Doux Conditionné par le Résultat

Une politique d'audit gelée (un instantané du modèle actuel sans gradients) évalue chaque paire propre-intervention pour déterminer le signal d'entraînement.

Audit : La politique génère des réponses pour l'image propre ( $x_{cl}$ ) et l'image intervenue ( $x_{ci}$ ). Un vérificateur score ces réponses pour obtenir les récompenses $R_{cl}$ et $R_{ci}$ .
Porte de Validité : Les paires ne sont considérées que si la réponse propre est correcte ( $R_{cl} \ge \tau_c$ ) et analysable.
Poids de Routage : La chute de récompense observée $\Delta_i = R_{cl} - R_{ci}$ $Δ_{i} = R_{c l} - R_{c i}$ détermine la direction de la supervision via des poids de routage doux :
- Alignement de Sensibilité : De grandes chutes de récompense indiquent que le modèle s'est appuyé sur l'évidence modifiée. Ces paires reçoivent un poids pour encourager la séparation (divergence) entre les comportements de la politique propre et de la politique intervenue.
- Alignement d'Invariance : De faibles chutes de récompense (où la réponse reste stable) indiquent que la modification était non pertinente ou que le modèle s'est appuyé sur des priors robustes. Ces paires reçoivent un poids pour encourager la cohérence (alignement borné) avec la réponse propre.
- Abstention : Les paires ambiguës (chutes moyennes) sont pondérées à la baisse ou ignorées.

3. Alignement à Double Direction

Le cadre réutilise les réponses des rollouts propres échantillonnées pour l'objectif de RL de base. Ces réponses sont re-scorées sous les deux conditions visuelles en utilisant la politique entraînable.

Mesure Ancrée sur le Propre : La vraisemblance conditionnée par l'image propre agit comme un ancrage de type stop-gradient.
Fonctions de Perte :
- $L_{sen}$ : Impose une marge de divergence minimale pour les paires à forte chute.
- $L_{inv}$ : Contraint l'écart en dessous d'une marge maximale pour les paires à faible chute.
Objectif Total : La perte finale combine l'objectif de RL de base (GRPO ou DAPO) avec ces termes d'alignement auxiliaires : $L_{SIVA} = L_{base} + \lambda_{sen}L_{sen} + \lambda_{inv}L_{inv}$ .

Principales Contributions

Diagnostic de l'Ambiguïté d'Intervention : L'article démontre que la même intervention visuelle induit des comportements mixtes de chute de résultat et de stabilité de résultat au sein des exemples corrects. Il établit que les paires à faible chute ne sont pas nécessairement des signaux d'invariance fiables, car elles peuvent provener de perturbations non pertinentes pour la tâche ou de raccourcis linguistiques.
Alignement Sélectif Conditionné par le Résultat : SIVA-RL formule l'apprentissage par renforcement basé sur l'intervention visuelle comme un problème de supervision sélective. Il route les paires vers des objectifs de sensibilité ou d'invariance en fonction de la chute de récompense observée plutôt que du type d'intervention, séparant ainsi la construction de la supervision.
Implémentation Scalable : La méthode est instanciée avec un PatchSwap aligné sur les tokens et est compatible avec les backbones GRPO et DAPO. Elle ne nécessite aucun échantillonnage stochastique supplémentaire au-delà de l'audit apparié utilisé pour l'évaluation.

Résultats Expérimentaux

Les auteurs ont évalué SIVA-RL sur des modèles Qwen2.5-VL de 3B et 7B à travers neuf benchmarks, incluant des tâches mathématiques, logiques, de comptage et de vision.

Gains de Performance : SIVA-RL a systématiquement amélioré tous les baselines de RL correspondants.
- Global : Les améliorations relatives ont varié de 6,83 % à 14,98 % selon les configurations.
- Tâches Dépendantes de la Vision : La méthode a produit un gain de 8,79 points de pourcentage sur les benchmarks de raisonnement dépendant de la vision, surpassant nettement les gains sur le raisonnement multimodal général.
- Comparaison : Les modèles SIVA-RL 7B ont obtenu les moyennes de suite complète les plus fortes parmi les systèmes 7B rapportés, surpassant plusieurs VLM propriétaires et généralistes plus larges sur des tâches spécifiques de mathématiques et de vision.
Études d'Ablation :
- Construction de l'Intervention : Le PatchSwap contraint par la distance a surpassé le masquage aléatoire et le PatchSwap non contraint.
- Stratégie de Routage : Le routage doux conditionné par le résultat a surpassé le routage binaire strict, confirmant que l'ampleur de la chute de récompense fournit un signal de supervision plus fluide et plus fiable.
- Double Direction : Les deux branches, sensibilité et invariance, ont contribué à la performance ; la branche d'invariance a apporté un gain de 1,85 point sur les sous-ensembles dépendant de la vision, prouvant que les paires à faible chute offrent des contraintes de cohérence utiles.
Diagnostics d'Entraînement : L'analyse a montré que le routage de sensibilité et d'invariance est resté actif tout au long de l'entraînement, le modèle ne s'effondrant pas pour ignorer les interventions.

Signification et Revendications

L'article affirme que SIVA-RL déplace le RL multimodal de la régularisation conditionnée par l'opérateur vers une supervision sélective par échantillon et conditionnée par le résultat. En reconnaissant l'hétérogénéité des effets d'intervention au niveau de l'échantillon, le cadre garantit que la supervision est assignée en fonction de l'impact comportemental réel de la modification visuelle. Cette approche force efficacement les modèles à fonder leurs prédictions sur les preuves visuelles pour les tâches où cela est requis, tout en maintenant la robustesse pour les tâches où les preuves visuelles sont redondantes ou lorsque les priors sont suffisants. Les résultats suggèrent que cette évaluation par échantillon est une alternative plus efficace aux définitions d'interventions fixes pour améliorer le raisonnement visuel dans les contextes de RLVR.