💻 computer science

Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning

Remember-R1 est un cadre d'apprentissage par renforcement qui atténue l'oubli visuel en contexte long dans les modèles de langage multimodaux de grande taille en appliquant une supervision au niveau du processus pour encourager l'utilisation soutenue des preuves visuelles tout au long des trajectoires de raisonnement complexes.

Auteurs originaux : Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent comment résoudre un mystère en regardant une seule image complexe. Vous dites au robot : « Regarde cette image et dis-moi ce qui se passe. » Au début, le robot est un détective en état d'alerte, observant intensément chaque détail de la photo. Mais au fur et à mesure que le robot commence à parler, à rédiger ses longues pensées étape par étape, quelque chose d'étrange se produit. Plus il parle longtemps, plus il semble oublier l'image entière. Il commence à se fier à ses propres mots précédents, devinant ce qui pourrait se trouver dans l'image en se basant sur la façon dont les histoires se déroulent habituellement, plutôt que sur ce qui s'y trouve réellement. C'est un problème pour une nouvelle génération de « Modèles de Langage de Grande Taille Multimodaux » (MLLM) — des systèmes d'IA qui peuvent voir et lire. Ils deviennent meilleurs dans le raisonnement complexe, mais ils présentent un bug : à mesure que leur « chaîne de pensée » s'allonge, ils souffrent d'un « oubli visuel ». Ils s'éloignent des preuves visuelles, menant à des réponses erronées même lorsque l'image détient la vérité. Les scientifiques se sentent concernés car si ces modèles d'IA ne peuvent pas garder les yeux sur l'objectif pendant qu'ils réfléchissent, ils ne peuvent pas être dignes de confiance pour des tâches sérieuses comme la résolution de problèmes mathématiques avec des diagrammes ou la compréhension de scanners médicaux.

Entrez en scène Remember-R1, une nouvelle méthode d'entraînement ingénieuse conçue pour garder les yeux du robot rivés sur l'image, peu importe la longueur de l'histoire. Pensez au processus de raisonnement de l'IA comme à un long voyage en voiture. Par le passé, les chercheurs ont essayé de régler le problème de l'oubli en arrêtant constamment la voiture pour montrer à nouveau la carte au conducteur (réintroduire l'image), ce qui était lent et maladroit. D'autres ont essayé de demander au conducteur de rédiger une liste de choses qu'il pensait avoir vues et de vérifier cette liste plus tard, mais c'était comme vérifier une note de synthèse au lieu de regarder la route réelle. Remember-R1 adopète une approche différente. Au lieu de modifier le voyage ou d'ajouter des arrêts, il agit comme un entraîneur strict mais utile assis sur la banquette arrière, murmurant des récompenses au conducteur pendant qu'il conduit.

Le document propose un système appelé Remember-R1 qui utilise une technique d'Apprentissage par Renforcement pour entraîner ces modèles. L'idée centrale est de superviser directement le « processus de pensée » du modèle, plutôt que de simplement noter la réponse finale. Les chercheurs ont conçu trois « récompenses » spécifiques pour encourager le modèle à rester ancré dans l'image :

La récompense du « Chasseur de Mots-Clés » : Le modèle reçoit des points pour mentionner explicitement des détails annotés qu'il a trouvés dans l'image (comme « sphère bleue » ou « petit cube ») tout au long de son raisonnement. C'est comme un jeu où le conducteur reçoit un bonus pour repérer et nommer chaque point de repère spécifique qu'il dépasse, garantant qu'il ne fait pas que inventer des choses.
La récompense du « Gardien de la Mémoire » : Cette récompense punit le modèle s'il commence à accorder moins d'attention à l'image à mesure que la conversation s'allonge. L'objectif est de maintenir une « attention visuelle » constante du premier au dernier pas, empêant le modèle de sombrer dans une rêverie où il ne se fie qu'à son propre texte.
La récompense du « Projecteur » : Cela garantit que le modèle ne regarde pas l'image de manière aléatoire ; il doit focaliser son attention sur les parties spécifiques de l'image qui répondent réellement à la question. Si la question porte sur une voiture rouge, le modèle est récompensé pour maintenir son « projecteur » sur la voiture rouge, et non sur les arbres en arrière-plan.

Les auteurs ont testé Remember-R1 sur deux tailles différentes de modèles d'IA (3 milliards et 7 milliards de paramètres) à travers sept benchmarks différents, incluant les mathématiques, la logique et la compréhension visuelle générale. Les résultats suggèrent que cette méthode fonctionne. Les modèles entraînés avec Remember-R1 sont systématiquement plus performants que leurs homologues non entraînés et les autres méthodes existantes. Par exemple, sur le benchmark MathVista, le modèle 3B a amélioré son score de 51,90 à 65,50, et le modèle 7B est passé de 62,30 à 69,80.

Crucialement, le document montre que cette amélioration ne concerne pas seulement l'obtention de la bonne réponse à la fin ; il s'agit de la manière dont le modèle y parvient. En analysant l'« attention » des modèles, les chercheurs ont découvert que Remember-R1 ralentit le taux auquel le modèle oublie l'image. Alors que les modèles standards ont tendance à perdre tout intérêt pour l'image à la moitié de leur raisonnement, les modèles Remember-R1 maintiennent leur regard fixé sur les preuves visuelles beaucoup plus longtemps. Le document écarte explicitement l'idée que le simple fait de remontrer l'image au modèle pendant le processus soit la meilleure solution, notant que c'est trop coûteux et brise le flux du raisonnement. Au lieu de cela, ils soutiennent que entraîner le modèle à maintenir son propre focus visuel grâce à ces récompenses spécifiques est la voie la plus efficace.

En résumé, Remember-R1 suggère qu'en récompensant les modèles d'IA pour être de bons « détectives visuels » tout au long de leur processus de pensée — en repérant des mots-clés, en gardant leur mémoire fraîche et en se concentrant sur les bons endroits — nous pouvons les empêcher d'oublier ce qu'ils sont en train de regarder. Cela ne les rend pas seulement plus intelligents en mathématiques ou en logique ; cela les rend des observateurs plus fiables du monde, garantissant que leurs récits longs et complexes sont toujours ancrés dans la vérité de l'image qu'ils voient.

Résumé Technique : Remember-R1

Énoncé du Problème

Les modèles de langage multimodaux à grande échelle (MLLM) utilisent de plus en plus un raisonnement par chaîne de pensée (CoT) longue pour des tâches complexes. Cependant, une faiblesse critique identifiée dans les modèles actuels est l'oubli visuel lié au contexte long. À mesure que les séquences de raisonnement s'allongent, les modèles ont tendance à dépendre moins des preuves visuelles et davantage du contexte textuel accumulé généré lors des étapes précédentes. Cela conduit à une dérive où la chaîne de raisonnement diverge des faits visuels, particulièrement dans les tâches de raisonnement mathématique, logique et spatiale multi-étapes.

Les stratégies d'atténuation existantes se répartissent en deux catégories, présentant toutes deux des limites :

Réintroduction Visuelle : Réinsérer l'image ou des régions dans le contexte pendant l'inférence. Bien qu'efficace, cela augmente les coûts d'inférence (calcul et mémoire) et peut fragmenter le processus de raisonnement.
Proxys de Revendications Visuelles : Insérer des revendications visuelles intermédiaires pendant l'entraînement. Cela introduit un « écart de tâche proxy », car la supervision est appliquée à des interactions auxiliaires plutôt qu'à la trajectoire de raisonnement originale où l'oubli se produit réellement.

Il manque des méthodes qui fournissent une supervision directe sur la trajectoire de raisonnement originale pour contraindre la manière dont les preuves visuelles sont utilisées et maintenues sans modifier la procédure d'inférence.

Méthodologie : Remember-R1

Les auteurs proposent Remember-R1, un cadre d'apprentissage par renforcement (RL) conçu pour atténuer l'oubli visuel en appliquant une supervision au niveau du processus directement sur la trajectoire de raisonnement cible. Le cadre fonctionne sans modifier la procédure d'inférence.

1. Annotation des Données

Pour permettre une supervision au niveau du processus, les auteurs augmentent le jeu de données ViRL39K avec des annotations de preuves visuelles structurées :

Extraction de Mots-Clés Visuels : En utilisant Qwen-VL-Max, ils extraient un ensemble d'unités lexicales courtes et ancrées (objets, attributs, quantités, expressions spatiales) de l'image.
Annotation de Régions Clés : Ils identifient des régions spécifiques de l'image (boîtes englobantes/bounding boxes) pertinentes pour répondre à la question.
Vérification : Une vérification humaine garantit la qualité des mots-clés et des boîtes. Le jeu de données final contient 38 657 échantillons annotés.

2. Conception de la Récompense

Remember-R1 décompose la « dépendance soutenue aux preuves visuelles » en trois aspects complémentaires, chacun correspondant à une récompense spécifique au niveau du processus :

Récompense de Vocabulaire Visuel ( $r_{voc}$ ) : Encourage la mention explicite des mots-clés visuels annotés tout au long de la trace de raisonnement.
- Mécanisme : Calcule une moyenne découpée (clipped average) des mots-clés appariés pondérés par leur position. Elle récompense non seulement la présence de mots-clés, mais aussi leur apparition dans les étapes ultérieures de la génération, empêchant le modèle de ne mentionner les faits visuels qu'au début.
Récompense de Mémoire Visuelle ( $r_{mem}$ ) : Encourage la persistance de l'attention visuelle dans les étapes de raisonnement ultérieures.
- Mécanisme : Mesure la masse d'attention agrégée assignée aux jetons visuels ( $\Omega(t)$ ) à l'étape de génération $t$ . La récompense est basée sur la différence entre l'attention moyenne dans la fenêtre finale de génération par rapport à la fenêtre initiale. Elle pénalise une dégradation significative de l'attention visuelle à mesure que la réponse s'allonge.
Récompense de Région Clé Visuelle ( $r_{region}$ ) : Encourage une attention soutenue spécifiquement sur les régions de l'image pertinentes pour la question.
- Mécanisme : Calcule le ratio de l'attention assignée aux boîtes des régions clés annotées par rapport à l'attention visuelle totale. Elle utilise une moyenne temporellement pondérée, attribuant un poids plus élevé aux étapes ultérieures pour s'assurer que le modèle reste concentré sur les régions pertinentes tout au long du processus de raisonnement.

3. Optimisation par Apprentissage par Renforcement

La récompense totale combine la récompense standard de correction de la réponse ( $r_{acc}$ ) avec les trois récompenses de processus visuel :
$R(Y, I, Q) = r_{acc}(Y) + r_{voc}(Y) + r_{mem}(Y) + r_{region}(Y)$
La politique est optimisée en utilisant l'Optimisation de Politique Relative de Groupe (GRPO), en échantillonnant des groupes de réponses pour calculer des avantages normalisés.

Principales Contributions

Cadre de Supervision au Niveau du Processus : Le papier propose une nouvelle approche pour étudier l'oubli visuel en supervisant directement la trajectoire de raisonnement originale, évitant ainsi les coûts d'inférence de la réintroduction et les écarts de proxy des méthodes basées sur les revendications.
Conception de Récompense à Trois Aspects : Les auteurs conçoivent trois récompenses spécifiques qui ciblent la couverture des mots-clés visuels, la persistance de l'attention visuelle au fil du temps et la localisation de l'attention sur les régions pertinentes de la question.
Validation Empirique : La méthode est validée sur deux échelles de modèles (3B et 7B) et sept benchmarks diversifiés, démontrant des améliorations constantes du raisonnement, de la capacité multimodale générale et de la perception visuelle.

Résultats Expérimentaux

Les auteurs ont évalué Remember-R1 sur les modèles de base Qwen2.5-VL-3B et Qwen2.5-VL-7B à travers sept benchmarks :

Raisonnement Mathématique et Logique : MathVision, MathVista, LogicVista.
Capacité Multimodale Générale : MMVet, MMMB, MMStar.
Perception Visuelle : RealWorldQA.

Principales Découvertes :

Gains de Performance : Remember-R1 surpasse systématiquement les modèles de base et les récents modèles orientés raisonnement (ex: Ocean-R1, VLAA-Thinking) ainsi que les méthodes antérieures d'atténuation de l'oubli visuel (ex: DeepSketcher, TVC). Des améliorations notables ont été observées sur MathVista (+13,60 pour 3B, +7,50 pour 7B) et MMVet.
Analyse de l'Ancrage Visuel : L'analyse du ratio d'attention montre que bien que tous les modèles présentent un déclin de l'attention visuelle au fil du temps, Remember-R1 démontre un déclin significativement plus lent, particulièrement dans les étapes médianes et finales de la génération.
Études d'Ablation : Le retrait de l'une des trois récompenses de processus a entraîné une dégradation des performances sur les benchmarks.
- Le retrait de $r_{voc}$ a conduit à moins de mentions de mots-clés visuels et à un raisonnement plus faible.
- Le retrait de $r_{mem}$ a entraîné une décroissance plus rapide de l'attention.
- Le retrait de $r_{region}$ a réduit l'attention sur les zones pertinentes, causant des chutes de précision sur tous les types de tâches.
Comparaison avec le RL basé uniquement sur l'Exactitude : Une variante entraînée uniquement avec la correction de la réponse ( $r_{acc}$ ) a montré des améliorations mais est restée inférieure au complet Remember-R1, indiquant que la supervision de la réponse finale seule est insuffisante pour maintenir l'ancrage visuel dans les contextes longs.

Signification et Revendications

Le papier affirme que Remember-R1 atténue efficacement l'oubli visuel dans les contextes longs en supervisant directement l'utilisation des preuves visuelles sur la trajectoire où l'oubli se produit. La signification réside dans la démonstration que :

L'apprentissage par renforcement au niveau du processus peut améliorer les performances de raisonnement sans modifier la procédure d'inférence ni augmenter les coûts d'inférence.
Maintenir la dépendance aux preuves visuelles ne consiste pas seulement à mentionner des mots-clés, mais à maintenir la persistance de l'attention et à se concentrer sur les régions pertinentes tout au long du processus de génération.
Ces améliorations se généralisent à travers différentes échelles de modèles et types de tâches, suggérant que la supervision directe de la trajectoire de raisonnement est une direction prometteuse pour le raisonnement multimodal à long horizon.

Les auteurs concluent que leur approche aide les modèles à mieux maintenir leur dépendance aux preuves visuelles à mesure que la génération se déroule, traitant une limitation fondamentale des MLLM actuels sans la surcharge de calcul des méthodes précédentes.