💬 NLP

ReVision: Scaling Computer-Use Agents via Temporal Visual Redundancy Reduction

Le papier présente ReVision, une méthode qui réduit la redondance des tokens visuels dans les trajectoires d'agents d'utilisation d'ordinateur en supprimant sélectivement les patches redondants entre des captures d'écran consécutives, abaissant ainsi considérablement les coûts en tokens tout en améliorant les taux de réussite et en permettant aux agents d'exploiter efficacement des contextes historiques plus longs.

Auteurs originaux : Amirhossein Abaskohi, Yuhang He, Peter West, Giuseppe Carenini, Pranit Chawla, Vibhav Vineet

Publié 2026-05-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Amirhossein Abaskohi, Yuhang He, Peter West, Giuseppe Carenini, Pranit Chawla, Vibhav Vineet

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un assistant robotique très intelligent, mais légèrement oublieux, comment naviguer sur un écran d'ordinateur pour accomplir une tâche complexe, comme réserver un vol ou nettoyer votre historique de navigation.

À chaque fois que le robot effectue une étape, il prend une photo de l'écran. Pour comprendre la photo, le robot la décompose en milliers de minuscules pièces de puzzle appelées « tokens ». Plus il voit de photos, plus il a de pièces de puzzle à jongler.

Le Problème : La Surcharge de « Post-it »
L'article met en évidence une inefficacité majeure : lorsque vous déplacez une souris ou cliquez sur un bouton, 90 % de l'écran reste généralement exactement le même. Seul un tout petit coin change.

Cependant, les assistants IA actuels sont comme quelqu'un qui, après chaque étape unique, colle un tout nouveau post-it pleine page sur son mur, même si 95 % de ce post-it est identique à celui qu'il vient de coller.

Le Résultat : Leur mur (la mémoire de l'ordinateur) se couvre très vite de post-it. Ils manquent d'espace pour noter de nouvelles informations importantes.
La Conséquence : Parce qu'ils sont si occupés à regarder le même vieux fond encore et encore, ils ne peuvent pas se souvenir assez du passé pour prendre de bonnes décisions sur des tâches longues. Ils atteignent un « mur » où ajouter plus d'historique les fait en réalité performer moins bien car ils se noient dans des données redondantes.

La Solution : ReVision (La « Gomme Intelligente »)
Les auteurs présentent ReVision, une nouvelle méthode qui agit comme une « gomme intelligente » pour ces post-it numériques.

Au lieu de coller une toute nouvelle page à chaque fois, ReVision examine la nouvelle photo et demande : « Qu'est-ce qui a réellement changé depuis la dernière photo ? »

Si le fond, les barres de menu et le texte n'ont pas bougé, ReVision efface ces parties de la nouvelle photo.
Il ne conserve que les minuscules pièces de puzzle qui représentent la nouvelle action (comme l'apparition d'un nouveau bouton ou un changement de texte).
Crucialement, il conserve la forme de l'écran intacte afin que le robot ne se perde pas sur l'emplacement des éléments.

L'Analogie : Le Film vs Le Diaporama
Imaginez un assistant IA standard regardant un film comme s'il s'agissait d'un diaporama de 60 photos identiques par seconde. C'est épuisant et gaspilleur.
ReVision, c'est comme regarder le film en temps réel : il ne prête attention qu'aux acteurs qui bougent et aux décors qui changent, en ignorant le fond statique.

Ce que l'Article a Découvert
Les chercheurs ont testé cela sur trois différents « parcours d'obstacles » pour les agents informatiques (OSWorld, WebTailBench et AgentNetBench). Voici ce qui s'est produit :

Économies Massives : En utilisant ReVision, l'IA a utilisé environ 46 % de « tokens » (pièces de puzzle) en moins pour faire le même travail. C'est comme faire ses valises pour un voyage et réaliser que vous pouvez jeter la moitié de vos vêtements parce que vous ne faites que porter à nouveau la même chemise.
Meilleures Performances : Étonnamment, l'IA n'a pas seulement économisé de l'argent ; elle est devenue plus intelligente. Son taux de réussite a augmenté d'environ 3 %.
- Pourquoi ? Parce qu'elle ne gaspillait pas d'énergie cérébrale sur le fond statique, elle avait plus d'« espace mental » pour se souvenir des étapes importantes qu'elle avait accomplies plus tôt dans la tâche.
Briser le Point de « Saturation » : Habituellement, si vous donnez à une IA trop de photos passées, elle se confond et cesse de s'améliorer. L'article a révélé que ce n'était pas parce que les photos passées étaient inutiles ; c'était parce que l'IA se noyait dans des données redondantes. Une fois que ReVision a nettoyé le bruit, l'IA a pu en fait utiliser plus d'historique pour devenir encore meilleure dans des tâches longues et complexes.

L'Essentiel
ReVision apprend aux agents informatiques à être des observateurs efficaces. Au lieu de mémoriser l'écran entier chaque seconde, ils apprennent à se concentrer uniquement sur ce qui est nouveau. Cela leur permet de se souvenir d'histoires plus longues, de prendre de meilleures décisions et de résoudre des problèmes plus difficiles sans avoir besoin de superordinateurs pour gérer la charge de données.

Note : L'article se concentre strictement sur l'amélioration des agents d'utilisation d'ordinateurs (logiciels qui contrôlent une souris et un clavier). Il ne discute pas des applications médicales, des utilisations cliniques ou des implications futures au-delà de rendre ces agents spécifiques plus efficaces.

Résumé Technique : ReVision – Mise à l'échelle des agents d'utilisation d'ordinateur via la réduction de la redondance visuelle temporelle

Énoncé du Problème

Les agents d'utilisation d'ordinateur (CUA) reposent sur des modèles de langage multimodaux de grande taille (MLLM) pour interagir avec des interfaces graphiques utilisateur (GUI) en traitant des séquences de captures d'écran. Un goulot d'étranglement critique dans la mise à l'échelle de ces agents vers des tâches à long horizon est l'augmentation rapide des coûts en tokens visuels. À mesure que les trajectoires d'interaction s'allongent, l'ajout de captures d'écran passées au contexte du modèle introduit des centaines ou des milliers de tokens visuels par image.

Les auteurs identifient que les captures d'écran de GUI consécutives présentent une redondance temporelle substantielle. Dans la plupart des étapes, seules de petites régions de l'interface changent (par exemple, un clic sur un bouton ou une mise à jour de texte), tandis que la majorité de l'écran reste statique. Les MLLM standards traitent chaque image indépendamment, encodant à plusieurs reprises des tokens visuels presque identiques. Cette inefficacité épuise les budgets de contexte, forçant les agents à rejeter des informations historiques utiles ou limitant la longueur des trajectoires qu'ils peuvent traiter. Par conséquent, les performances saturent souvent, voire se dégradent, lors de l'ajout de plus d'historique, non pas parce que l'information passée est inutile, mais parce que la représentation par tokens est inefficace.

Méthodologie : ReVision

Pour y remédier, les auteurs introduisent ReVision, un cadre d'entraînement conscient de la redondance conçu pour réduire les tokens visuels inutiles tout en préservant la structure spatiale et les informations pertinentes pour la tâche requises au raisonnement. L'approche se compose de deux composants principaux :

1. Sélection de Tokens ReVision (RTS)

Au cœur du cadre se trouve un sélecteur de patches léger et appris (un MLP à trois couches) entraîné pour identifier les patches visuels redondants à travers les captures d'écran consécutives.

Mécanisme : Pour une étape de trajectoire $t$ , le module RTS compare les embeddings au niveau des patches de la capture d'écran courante ( $I_t$ ) avec les patches correspondants de la capture d'écran précédente ( $I_{t-1}$ ).
Supervision de l'Entraînement : Le modèle est entraîné en utilisant des étiquettes générées par OmniParserV2, qui segmente les captures d'écran en régions sémantiques. Les patches sont étiquetés comme redondants si leurs régions correspondantes dans les images consécutives présentent une forte Intersection sur Union (IoU), indiquant un contenu inchangé. Cette correspondance au niveau de la région est préférée à la similarité brute des pixels pour gérer les variations mineures comme le bruit de rendu ou le mouvement du curseur.
Sortie : Le RTS produit un masque binaire $m_t$ pour chaque étape, filtrant les patches qui sont visuellement redondants par rapport au cadre précédent.

2. Entraînement avec des Trajectoires Filtrées

Plutôt que de traiter la réduction de tokens comme une étape de post-traitement, ReVision intègre le mécanisme de filtrage directement dans le pipeline d'entraînement.

Construction des Données : Le modèle est affiné sur des trajectoires AgentNet où les patches redondants sont supprimés de toutes les images dans la fenêtre d'historique, à l'exception de la première (qui est conservée intacte pour préserver l'alignement spatial).
Cohérence de l'Inférence : Lors de l'inférence, le même filtrage RTS est appliqué. Le modèle se conditionne sur le contexte textuel complet (raisonnement et actions des étapes précédentes) mais reçoit un ensemble compressé de tokens visuels $\{V'_1, \dots, V'_t\}$ .
Préservation Spatiale : Crucialement, le processus de filtrage préserve les indices de position originaux des tokens conservés. Cela garantit que les mécanismes d'attention du modèle et les encodages de position (par exemple, m-ROPE) restent valides, permettant au modèle de raisonner sur l'historique visuel compact sans perdre la cohérence spatiale.

Contributions Clés

L'article expose trois contributions principales :

Quantification de la Redondance : Les auteurs démontrent qu'une fraction significative des tokens visuels dans les trajectoires de GUI est redondante. Sur plusieurs benchmarks (OSWorld, AgentNetBench, WebTailBench, etc.), en moyenne 45,4 % des patches restent inchangés entre les étapes consécutives, certains environnements affichant plus de 56 % de redondance.
Le Cadre ReVision : Ils introduisent une méthode pour entraîner des MLLM sur des trajectoires où les patches redondants sont supprimés dynamiquement. Cela permet au modèle de raisonner sur des histoires visuelles compactes sans modifier l'architecture sous-jacente, s'appuyant plutôt sur des preuves distribuées temporellement.
Réévaluation de la Mise à l'Échelle de l'Historique : Le travail remet en question l'observation selon laquelle les performances de l'historique visuel saturent tôt. Les auteurs montrent que la saturation est une conséquence de représentations de tokens inefficaces ; lorsque la redondance est supprimée, les performances continuent de s'améliorer à mesure que davantage d'observations passées sont incorporées.

Résultats Expérimentaux

Les auteurs ont évalué ReVision en utilisant Qwen2.5-VL-7B sur trois benchmarks : OSWorld, WebTailBench et AgentNetBench.

Efficacité des Tokens : Lors du traitement de trajectoires avec 5 captures d'écran d'historique, ReVision réduit l'utilisation des tokens d'environ 46 % en moyenne par rapport à une base de référence qui conserve tous les patches.
Gains de Performance : Malgré la réduction du nombre de tokens, ReVision améliore le taux de réussite de 3 % par rapport à la base de référence "no-drop" (sans suppression). Dans des benchmarks spécifiques comme WebTailBench, l'amélioration atteint jusqu'à 14 points de pourcentage.
Comportement de Mise à l'Échelle :
- Base de référence : Les modèles standards montrent des rendements décroissants ou une saturation des performances à mesure que la longueur de l'historique augmente (par exemple, atteignant un pic autour de 7 images) en raison de l'épuisement du budget de contexte.
- ReVision : En supprimant les tokens redondants, le point de saturation est repoussé (jusqu'à 11 images), permettant au modèle d'utiliser efficacement des histoires plus longues dans le même budget de calcul.
Longueur de Trajectoire : Les agents ReVision résolvent les tâches plus efficacement, nécessitant moins d'étapes d'interaction pour les compléter. Par exemple, sur OSWorld, la longueur moyenne de la trajectoire a été réduite de 4 étapes tout en obtenant des taux de réussite plus élevés.
Comparaison avec d'Autres Stratégies : ReVision surpasse les stratégies naïves de suppression de tokens (aléatoire, spirale) et les filtrages basés sur la similarité simple (pixels ou similarité cosinus des embeddings). Bien que les méthodes basées sur les régions utilisant OmniParser au moment de l'inférence produisent des performances légèrement supérieures, elles entraînent une latence prohibitives (>550 ms). ReVision atteint des gains comparables avec une faible latence (~22 ms).
Généralisation : La méthode se généralise à travers différentes familles de modèles (Qwen2.5-VL-7B et Qwen3-VL-8B) et ne dégrade pas les performances dans les configurations à image unique, confirmant que le décalage de distribution d'entraînement ne nuit pas aux capacités d'ancrage standards.

Importance et Revendications

L'article postule que la principale barrière à la mise à l'échelle des agents d'utilisation d'ordinateur n'est pas le manque d'informations historiques, mais l'inefficacité des représentations de tokens visuels. En modélisant explicitement et en supprimant la redondance temporelle, ReVision déplace la frontière de l'efficacité, permettant aux agents de traiter des trajectoires plus longues et plus informatives sans augmenter les coûts computationnels.

Les auteurs concluent que la saturation couramment observée dans les performances de l'historique visuel est un artefact des contraintes de budget de contexte plutôt qu'une limitation de l'utilité de l'information. En libérant le budget de contexte grâce à la réduction de la redondance, les agents peuvent incorporer des histoires plus longues, conduisant à un meilleur raisonnement et à une meilleure prise de décision à long horizon. Le travail suggère que la future mise à l'échelle du raisonnement visuel devrait se concentrer sur la préservation des informations utiles dans des budgets limités plutôt que sur l'accumulation simple de plus de données brutes.