💻 computer science

Boosting Reasoning in Large Multimodal Models via Activation Replay

Cet article propose l'« Activation Replay », une méthode sans entraînement qui améliore les capacités de raisonnement des grands modèles multimodaux entraînés par apprentissage par renforcement avec récompenses vérifiables (RLVR) en manipulant les jetons visuels pour rejouer les activations à faible entropie des modèles de base, améliorant ainsi les performances à travers diverses tâches sans nécessiter d'optimisation de politique coûteuse.

Auteurs originaux : Yun Xing, Xiaobin Hu, Qingdong He, Jiangning Zhang, Shuicheng Yan, Shijian Lu, Yu-Gang Jiang

Publié 2026-08-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yun Xing, Xiaobin Hu, Qingdong He, Jiangning Zhang, Shuicheng Yan, Shijian Lu, Yu-Gang Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde en évolution rapide de l'intelligence artificielle, une nouvelle génération de systèmes informatiques est apparue, capable de voir et de comprendre le monde de manière très similaire aux humains. Ces grands modèles multimodaux peuvent regarder une photographie, visionner une vidéo ou lire un diagramme, puis répondre à des questions ou résoudre des problèmes basés sur ce qu'ils voient. Pendant des années, des chercheurs ont tenté d'apprendre à ces systèmes à réfléchir plus profondément, en allant au-delà de la simple reconnaissance de formes pour atteindre un raisonnement véritable. Une méthode populaire pour y parvenir implique une technique d'entraînement où l'ordinateur n'est récompensé que lorsqu'il peut prouver que sa réponse est correcte par le biais d'une longue explication étape par étape. Cette approche a réussi à encourager ces modèles à marquer une pause et à réfléchir avant de parler, menant à des résultats impressionnants en mathématiques et dans les énigmes logiques. Cependant, bien que les résultats soient visibles, les mécanismes internes de la façon dont cet entraînement modifie le « cerveau » du modèle restent un mystère. Les scientifiques n'ont pas encore pleinement compris comment l'entraînement altère la manière dont le modèle traite l'information, particulièrement lorsqu'il regarde une image pour la première fois.

Une équipe de chercheurs s'est donné pour mission de découvrir ces changements cachés en observant l'intérieur des couches de traitement du modèle pendant qu'il résolvait des problèmes. Ils ont découvert que la méthode d'entraînement, bien qu'efficace, déplace par inadvertance la focalisation interne du modèle d'une manière spécifique et inattendue. Lorsque le modèle est entraîné à vérifier ses propres réponses, les parties de son système interne qui sont habituellement très confiantes et claires deviennent légèrement confuses ou altérées. En revanche, les parties du système qui sont naturellement incertaines ou qui explorent différentes possibilités restent largement intactes. Les chercheurs ont constaté que ce changement spécifique dans les parties confiantes du modèle entravait en réalité sa capacité à raisonner correctement. C'était comme si l'entraînement avait accidentellement brouillé les signaux les plus fiables que le modèle utilisait pour comprendre le monde visuel, le forçant à s'appuyer sur des chemins moins certains pour parvenir à une conclusion.

Pour corriger cela, l'équipe a développé une nouvelle méthode simple appelée « Activation Replay » (Rejeu d'activation). Au lieu de réentraîner l'intégralité du modèle, ce qui serait incroyablement coûteux et chronophage, ils ont trouvé un moyen de ramener doucement le modèle vers son état original, plus clair, au moment où il résout un problème. Lorsqu'un modèle est présenté avec une image, les chercheurs ajustent temporairement les signaux internes provenant des parties visuelles du système. Ils y parviennent en empruntant les signaux clairs et confiants de la version originale et non entraînée du modèle, et en les rejouant dans la version entraînée. Ce processus agit comme un mécanisme de correction, garantissant que la compréhension initiale de l'image par le modèle reste nette et fiable avant qu'il ne commence sa longue chaîne de raisonnement. Les chercheurs ont testé cette approche sur diverses tâches complexes, notamment la résolution de problèmes de géométrie, la navigation dans des images haute résolution pour trouver des objets spécifiques, et le raisonnement à travers des séquences d'événements dans des vidéos.

Les résultats ont montré que cet ajustement simple améliorait systématiquement les performances du modèle dans tous ces différents scénarios. En restaurant la clarté des signaux visuels initiaux, le modèle a pu résoudre des problèmes qu'il avait précédemment manqués et éviter des erreurs dans sa logique étape par étape. Dans un test spécifique impliquant un problème mathématique concernant un fil formé en cercle puis en trapèze, le modèle entraîné a initialement commis une erreur dans ses étapes intermédiaires, menant à une mauvaise réponse. Avec la nouvelle méthode, le modèle a corrigé son chemin de raisonnement interne et est arrivé à la bonne solution. Les chercheurs ont également constaté que cette approche aidait le modèle à générer une plus grande variété de réponses correctes lorsqu'on lui donnait plusieurs tentatives, suggérant qu'il ne se contentait pas de mémoriser un seul chemin, mais comprenait réellement mieux le problème. Ce travail suggère que la clé d'un meilleur raisonnement dans ces systèmes avancés ne réside pas toujours dans un entraînement plus complexe, mais plutôt dans la préservation de la clarté de la perception initiale du monde par le modèle.

Résumé Technique : Booster le Raisonnement des Grands Modèles Multimodaux via le Rejeu d'Activations

1. Énoncé du Problème

L'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu un paradigme de post-entraînement dominant pour améliorer les capacités de raisonnement des Grands Modèles Multimodaux (LMM). Bien qu'efficace, les mécanismes sous-jacents par lesquels le RLVR modifie le comportement du modèle restent mal compris. Plus précisément, il n'est pas clair comment le RLVR modifie les activations d'entrée internes des LMM et si ces modifications entravent par inadvertance le raisonnement dans certains contextes.

Les auteurs émettent l'hypothèse que le RLVR induit des décalages inattendus dans les activations d'entrée, affectant particulièrement les activations à faible entropie, ce qui peut dégrader les performances de raisonnement. De plus, les approches de RLVR existantes souffrent souvent d'une « couverture de raisonnement plus étroite », où les modèles améliorent l'efficacité de l'échantillonnage mais ne parviennent pas à susciter de nouvelles capacités de raisonnement au-delà de leurs modèles de base, comme en témoignent des métriques telles que le Pass@K.

2. Méthodologie : Rejeu d'Activations (Activation Replay)

Pour répondre à ces problèmes, les auteurs proposent le Rejeu d'Activations, une nouvelle approche sans entraînement qui booste le raisonnement multimodal au moment de l'inférence (test time) sans nécessiter d'optimisation de politique coûteuse ou de changements architecturaux.

2.1. Mécanisme Central

La méthode opère en manipulant les jetons visuels lors du test pour réguler les activations à faible entropie d'un LMM post-entraîné par RLVR, les forçant à imiter les distributions d'un LMM de base apparié.

Jetons Apprenables : L'approche introduit une série de jetons apprenables initialisés à zéro $\{x_1, x_2, ..., x_n\}$ qui sont ajoutés aux jetons d'entrée visuelle du modèle RLVR.
Sélection Basée sur l'Entropie : La méthode distingue les activations à faible entropie et à haute entropie. En utilisant un seuil dynamique $\tau$ basé sur l'entropie maximale du LMM de base, elle identifie les activations à faible entropie ( $M_{l,i} = 1$ si $e^b_{l,i} < \max(h^b_l) * \tau$ ).
Minimisation de la Divergence KL : Les jetons apprenables sont optimisés pour minimiser la divergence de Kullback-Leibler (KL) entre les activations à faible entropie du modèle de base et celles du modèle RLVR. La règle de mise à jour est :
$x_i \leftarrow x_i - \alpha \nabla_{x_i} (D_{KL}(P_{base} \| P_{rlvr}) \cdot M_i)$
où $\alpha$ contrôle la force de guidage.
Application au Moment du Test : Une fois optimisés, ces jetons sont ajoutés à l'entrée avant tout décodage (greedy ou échantillonnage), « rejouant » ainsi les motifs d'activation à faible entropie du modèle de base au sein de la passe avant du modèle RLVR.

2.2. Base Théorique

La conception est fondée sur deux observations empiriques :

Analyse Logit Lens : Le RLVR déplace les prédictions de premier rang et les distributions par jeton, les activations à faible entropie subissant des décalages nettement plus importants que celles à haute entropie.
Études de Perturbation et d'Intervention :
- Perturbation : Des décalages de divergence KL plus faibles sur les activations à faible entropie sont corrélés à une perplexité plus basse pour les chemins de raisonnement corrects.
- Intervention : L'injection directe d'activations à faible entropie du modèle de base dans le modèle RLVR améliore les performances, tandis que l'injection d'activations à haute entropie les dégrade. Cela suggère que les activations à faible entropie jouent un rôle stabilisateur dans le raisonnement que le RLVR pourrait perturber.

3. Principales Contributions

Investigation Systématique des Effets du RLVR : Les auteurs fournissent une analyse détaillée de la manière dont le RLVR modifie les activations d'entrée des LMM, révélant que les activations à faible entropie sont déproportionnellement déplacées par rapport à celles à haute entropie.
Rejeu d'Activations : Une méthode simple, sans entraînement, qui manipule les jetons visuels au moment du test pour réguler les activations à faible entropie du RLVR en rejouant celles des LMM de base.
Validation Empirique Large : La méthode est validée à travers divers scénarios de raisonnement, incluant le raisonnement mathématique, la recherche visuelle agentique de type o3 et le raisonnement vidéo.
Atténuation du Raisonnement Étroit : L'approche démontre qu'elle booste le score Pass@K, traitant la limitation des modèles RLVR qui possèdent une couverture de raisonnement plus étroite.

4. Résultats Expérimentaux

Les auteurs ont évalué le Rejeu d'Activations sur plusieurs LMM post-entraînés par RLVR (ex: MMR1-Math, MM-Eureka, VL-Rethinker, DeepEyes, Video-R1) à travers divers benchmarks.

Raisonnement Mathématique : Des gains de performance constants ont été observés sur des jeux de données incluant MathVerse, MathVision, WeMath et LogicVista. Par exemple, VL-Rethinker-7B a vu des améliorations de +2.2 sur MathVerse et +2.9 sur MathVision.
Raisonnement Agentique : Sur HRBench (recherche visuelle haute résolution), la méthode a amélioré les scores de DeepEyes-7B de 53.7 à 56.3 sur le benchmark H4.
Raisonnement Vidéo : Pour Video-R1-7B, l'approche a produit des gains sur VideoMMMU (+4.0), MLVU (+1.7) et VideoHolmes (+4.4).
Pass@K : La méthode a considérablement amélioré les scores Pass@K (ex: marges importantes sur Pass@16), indiquant une expansion de la frontière de raisonnement du modèle plutôt qu'une simple efficacité d'échantillonnage.
Études d'Ablation :
- Seuil ( $\tau$ ) : Des seuils plus bas (sélectionnant moins d'activations, strictement à faible entropie) ont généralement donné de meilleurs résultats, confirmant que le rejeu d'activations à haute entropie peut être préjudiciable.
- Force ( $\alpha$ ) : Des forces de guidage plus élevées ont généralement amélioré les performances, validant l'hypothèse centrale.

5. Signification et Revendications

L'article affirme que le Rejeu d'Activations offre une solution pratique et efficace pour améliorer les capacités de raisonnement des LMM post-entraînés sans le coût computationnel d'un réentraînement. En identifiant que le RLVR perturbe par inadvertance les activations à faible entropie cruciales pour le raisonnement, les auteurs démontrent que le « rejeu » des représentations stables des modèles de base peut corriger ces déviations.

Les auteurs soulignent que leur approche :

Découple l'Amélioration du Raisonnement de l'Entraînement : Elle fonctionne comme une intervention post-hoc, au moment du test.
Se Généralise à travers les Modalités : Elle est efficace pour les images statiques, les tâches agentiques multi-tours et le raisonnement vidéo temporel.
Améliore la Robustesse : Elle atténue l'« overthinking » ou les échecs de raisonnement observés dans certains modèles RLVR en stabilisant le traitement du contexte initial.

Ce travail suggère que les « rouages internes » des modèles RLVR peuvent être régulés via la manipulation des activations, offrant une nouvelle direction pour optimiser le raisonnement multimodal au-delà de l'optimisation de politique traditionnelle.