🤖 machine learning

Mem-W: Latent Memory-Native GUI Agents

Mem-W introduit une nouvelle classe d'agents d'interface graphique qui intègrent la mémoire historique et la mémoire de travail directement dans le contexte latent du modèle sous forme de tokens compacts, éliminant ainsi le décalage entre la mémoire symbolique externe et les représentations internes pour améliorer significativement les performances dans des tâches à long horizon sur des benchmarks web et mobiles.

Auteurs originaux : Guibin Zhang, Yaohui Ling, Fanci Meng, Kun Wang, Shuicheng Yan

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guibin Zhang, Yaohui Ling, Fanci Meng, Kun Wang, Shuicheng Yan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le "Cahier" vs Le "Cerveau"

Imaginez que vous essayez d'enseigner à un robot de naviguer dans un monde de jeu vidéo complexe (comme un site web ou une application mobile). Le robot doit se souvenir de choses : « J'ai cliqué sur le mauvais bouton trois écrans plus tôt » ou « J'ai vu un menu qui ressemblait à ceci dans un jeu précédent ».

L'Ancienne Méthode (Le Cahier) :
La plupart des agents IA actuels fonctionnent comme un élève avec un cahier physique. Lorsqu'ils doivent se souvenir de quelque chose, ils s'arrêtent, écrivent un résumé dans le cahier (par exemple : « L'utilisateur voulait acheter des chaussures, mais le panier était vide »), le relisent, puis tentent d'utiliser ce texte pour décider de la prochaine action.

Le Défaut : C'est comme traduire une pensée de l'anglais vers le français, l'écrire, la retraduire en anglais, et ensuite y réfléchir. C'est lent, lourd, et vous risquez de perdre la nuance du sentiment original. Le robot traduit constamment son propre historique en « notes lisibles par un humain » avant de pouvoir les utiliser.

La Solution Mem-W (Le Cerveau) :
Les auteurs de ce papier, Mem-W, disent : « Pourquoi traduire ? »
Au lieu d'écrire des notes, Mem-W transforme l'ensemble de l'historique du robot en signaux électriques bruts et continus (appelés « jetons latents ») qui s'intègrent directement dans le cerveau du robot. C'est comme si le robot n'avait pas besoin de cahier ; il ressent simplement la mémoire comme faisant partie de son processus de pensée actuel.

Comment Mem-W Fonctionne : Le "Tisserand de Mémoire"

Imaginez Mem-W comme un maître tisserand qui prend deux types de fils différents et les tisse en un seul tissu sans couture que le robot peut porter.

1. Les Deux Types de Fils

Le robot a besoin de deux types de mémoire :

Mémoire de Travail (Le Fil du "Maintenant") : C'est ce qui s'est passé dans les dernières secondes de la tâche en cours. (Par exemple : « Je viens de faire défiler vers le bas et j'ai vu un bouton rouge. »)
Mémoire Expérientielle (Le Fil de l'« Expérience Passée ») : C'est ce qui s'est passé dans d'autres tâches que le robot a effectuées auparavant. (Par exemple : « La dernière fois que j'ai vu un bouton rouge, c'était un bouton 'Supprimer', donc je dois faire attention. »)

2. Le Compresseur Magique (La "Roue à Filer")

Dans le passé, ces deux fils étaient conservés dans des boîtes séparées. Mem-W introduit un Compresseur.

Imaginez une machine qui prend une longue vidéo désordonnée d'une tâche et la réduit en une minuscule et dense « puce mémoire ».
Elle ne résume pas la vidéo en texte ; elle transforme la vidéo en un signal compressé que le cerveau du robot peut comprendre instantanément.
Crucialement, elle compresse à la fois le fil du « Maintenant » et le fil de l'« Expérience Passée » en utilisant la même machine. Cela signifie qu'ils parlent la même langue.

3. Le Tissage (Le "Tissu Sans Couture")

Une fois les fils compressés en ces minuscules puces, Mem-W les tisse ensemble avec la vue actuelle du robot sur l'écran.

Résultat : Le robot regarde l'écran et voit un flux unique et continu d'informations. Il ne voit pas « Écran Actuel » + « Anciennes Notes ». Il voit « Écran Actuel + Leçons Passées + Progrès Actuel », le tout mélangé dans une pensée fluide.

Comment Il Apprend : « Apprendre en Faisant »

Le papier décrit un processus d'entraînement en deux étapes pour apprendre à ce tisserand comment travailler :

Étape 1 : Le Maître « Ombre » (Auto-distillation)
- Le robot se voit montrer une longue vidéo parfaite d'un humain effectuant une tâche.
- Le robot tente de copier l'humain en utilisant uniquement les puces mémoire compressées.
- Si le robot fait une erreur, il apprend à ajuster la « compression » afin que les détails les plus importants (comme « ne cliquez pas sur le bouton rouge ») soient préservés dans la minuscule puce. C'est comme un élève qui tente de mémoriser un livre entier en ne se souvenant que des points clés de l'intrigue, puis vérifie s'il a bien compris l'histoire.
Étape 2 : Le Coach « Résultat » (Supervision consciente du résultat)
- Maintenant, le robot tente de résoudre des tâches par lui-même.
- S'il réussit, le système dit : « Super ! Gardez ces puces mémoire exactement telles quelles. »
- S'il échoue, le système dit : « Mauvais ! Ces puces mémoire ne vous ont pas aidé à éviter le piège. Changez-les. »
- Cela apprend au robot à se souvenir spécifiquement de ce qui mène au succès et de ce qui mène à l'échec, en filtrant le bruit.

Les Résultats : Pourquoi Cela Compte

Le papier a testé Mem-W sur quatre « mondes » différents (sites web et applications mobiles). Voici ce qui s'est produit :

C'est Plus Rapide et Plus Intelligent : En sautant l'étape de la « traduction en texte », le robot a fait moins d'erreurs et a terminé les tâches plus souvent.
Cela Fonctionne sur de Petits Cerveaux Aussi : Même lorsqu'ils ont utilisé un modèle d'IA plus petit et moins puissant, l'ajout de Mem-W lui a permis de performer aussi bien que (ou mieux que) des modèles beaucoup plus grands qui ne possédaient pas ce système de mémoire.
Le « Point Doux » : Ils ont découvert que récupérer environ 5 expériences passées et compresser l'historique actuel était le parfait équilibre. Trop de mémoire le ralentissait ; trop peu le rendait oublieux.

La Conclusion

Mem-W est une nouvelle façon pour les agents IA de se souvenir. Au lieu de tenir un journal de ce qu'ils ont fait, ils transforment tout leur historique en une langue native que leur cerveau parle couramment. Cela leur permet d'apprendre des erreurs passées et des progrès actuels simultanément, les rendant bien meilleurs pour naviguer dans des mondes numériques complexes comme Internet et les smartphones.

En bref : Mem-W empêche l'IA d'écrire un journal et commence à lui permettre de rêver dans sa propre langue native.

Résumé Technique : Mem-W : Agents d'Interface Graphique Natifs à Mémoire Latente

Énoncé du Problème

Les agents d'Interface Graphique (GUI) sont de plus en plus chargés d'opérer dans des environnements complexes et à long horizon sur les plateformes web, mobiles et de bureau. Un contrôle réussi dans ces contextes exige que l'agent conserve des preuves visuelles, procédurales et au niveau de la tâche qui s'étendent bien au-delà de l'écran immédiat. Cependant, les approches actuelles traitent la mémoire comme un artefact externe et lisible par l'humain. Les systèmes existants résumant, catégorisant et récupérant les historiques d'interaction sous forme de texte ou d'enregistrements structurés (par exemple, graphes, listes ou états superposés) avant de les réencoder dans la politique du modèle.

Cela crée un décalage représentationnel fondamental : l'expérience est stockée dans un format symbolique (texte/enregistrements structurés) qui diffère de la séquence d'encodage latente continue sur laquelle les modèles modernes Vision-Langage (VLM) opèrent réellement. Cela nécessite une traduction répétée entre les formats et force les concepteurs à pré-définir des ontologies de mémoire (catégories, formats de représentation et règles d'interface) qui peuvent ne pas correspondre aux besoins structurels spécifiques des tâches en aval. Les auteurs postulent que ce paradigme « ontologie d'abord » limite la capacité de l'agent à apprendre organiquement quelles informations sont pertinentes pour la réussite de la tâche.

Méthodologie : Mem-W

L'article présente Mem-W, une série d'agents d'interface graphique natifs à mémoire latente conçus pour éliminer le fossé entre le stockage de la mémoire et l'exécution de la politique. Au lieu de structures symboliques externes, Mem-W traite la mémoire comme une partie continue du contexte de l'agent, tissée directement dans l'espace d'encodage.

Architecture Principale

Espace Latent Unifié : Mem-W unifie deux échelles de mémoire distinctes dans un seul espace apprenable :
- Mémoire Expérientielle : Trajectoires historiques à long horizon et multi-sessions récupérées d'une banque externe.
- Mémoire de Travail : Historique à court horizon et intra-session (le « préfixe expiré » de l'épisode actuel).
Compresseur Trajectoire-Vers-Latent ( $C_\phi$ ) : Un compresseur partagé et léger (implémenté comme un transformateur basé sur des requêtes suivant la conception Q-Former) mappe des segments d'observation-action de longueur variable en blocs latents de taille fixe ( $K \times d$ $K \times d$ ).
- Il traite à la fois les trajectoires historiques récupérées et le préfixe expiré de l'épisode actuel.
- Il intègre un encodage de résultat ( $\gamma(y)$ ) qui encode si une trajectoire a abouti à un succès ou un échec, permettant à l'agent de distinguer la polarité procédurale sans règles de filtrage explicites.
- Pour la mémoire de travail en ligne où le résultat est inconnu, un marqueur spécial « inconnu » est utilisé.
Tissage Multi-échelle : Lors de l'inférence, les jetons de mémoire compressés sont tissés avec l'observation GUI actuelle et le contexte local en une seule séquence d'encodage continue. La politique d'agent GUI figée ( $\Pi_\theta$ ) porte alors son attention sur cette séquence unifiée en tant que contexte natif, plutôt que comme des notes externes.

Stratégie d'Entraînement

Mem-W emploie une procédure d'entraînement en deux étapes pour optimiser les paramètres du compresseur ( $\phi$ ) tout en maintenant l'agent GUI de base ( $\Pi_\theta$ ) figé :

Étape 1 : Distillation Autonome : Le compresseur apprend à remplacer le contexte historique brut. Un agent « enseignant » observe une fenêtre brute étendue d'historique, tandis qu'un agent « étudiant » observe l'entrée augmentée latente. L'objectif minimise la divergence entre les distributions d'actions de l'enseignant et de l'étudiant, forçant les jetons latents à capturer l'état pertinent pour la décision.
Étape 2 : Supervision Sensible au Résultat : Le système optimise le compresseur en utilisant les retours de l'environnement (récompenses terminales). En utilisant un objectif de gradient de politique (spécifiquement basé sur RLOO), le compresseur apprend à encoder les preuves menant au succès de la tâche et à filtrer les motifs induisant l'échec, guidé par les encodages de résultat.

Contributions Clés

Formulation Unifiée : L'article reformule la hiérarchie complexe de la mémoire GUI comme un problème unique de représentation latente. Il soutient que la mémoire de travail et la mémoire expérientielle peuvent être ancrées de manière compacte dans un seul espace apprenable où la structure pertinente pour la tâche émerge via une optimisation de bout en bout, éliminant le besoin de taxonomies prescrites.
Instantiation Apprenable : Mem-W fournit une implémentation concrète utilisant un compresseur partagé trajectoire-vers-latent. Cela permet de projeter à la fois les données historiques récupérées et les préfixes d'épisodes en ligne dans un espace latent unifié, entraîné par distillation autonome et supervision sensible au résultat.
Preuves Empiriques : Des expériences extensives démontrent que cette approche améliore systématiquement divers modèles de base et surpasse les agents équipés d'architectures de mémoire conçues à la main.

Résultats Expérimentaux

Mem-W a été évalué sur quatre benchmarks : Multimodal-Mind2Web, MMInA (navigation web), GUI-Odyssey et AndroidControl-v2 (navigation mobile).

Gains de Performance : Mem-W a constamment amélioré les performances sur tous les modèles de base testés (y compris UI-TARS, Qwen3-VL et UI-Venus).
- Sur MMInA, Mem-W a réalisé des gains allant jusqu'à +30,0 points de pourcentage par rapport aux modèles de base (par exemple, UI-Venus-1.5-8B est passé de 18,5 % à 48,5 %).
- Sur Multimodal-Mind2Web, les améliorations ont varié de +8,83 à +20,58 points selon le modèle de base et le sous-ensemble de tâches.
- Sur AndroidControl-v2, Mem-W-8B a obtenu un score Pass@4 de 81,16, dépassant des modèles propriétaires comme GPT-5+UGround et des modèles de base open-source plus grands.
Comparaison avec les Agents Augmentés par la Mémoire : Mem-W a surpassé les agents augmentés par la mémoire existants (par exemple, ReasoningBank, AWM, CoMEM, HyMEM). Les auteurs attribuent cela à la capacité de Mem-W à distiller dynamiquement les trajectoires en résumés latents compacts et pertinents pour la décision, ainsi qu'à son utilisation d'une supervision sensible au résultat, tandis que les concurrents s'appuient souvent sur une troncature grossière ou une imitation de trajectoires d'experts sans conditionnement explicite succès/échec.
Efficacité : Malgré l'étape de compression supplémentaire, Mem-W a maintenu un compromis favorable entre précision et efficacité, réduisant souvent le nombre d'étapes nécessaires pour accomplir les tâches et diminuant le taux de dépassement des limites maximales d'étapes par rapport aux modèles de base.
Évolutivité : Les performances ont évolué positivement avec la taille de la banque de mémoire externe (jusqu'à 50 000 trajectoires) et le nombre de trajectoires récupérées, indiquant que le système exploite efficacement de plus grands réservoirs d'expérience.

Importance et Revendications

L'article revendique que la mémoire native au contexte latent sert de fondation évolutive pour l'agence GUI à long horizon. En traitant la mémoire comme un substrat continu plutôt que comme une structure symbolique externe, Mem-W permet à l'agent de « lire » les succès, les échecs et les progrès inachevés à travers la même interface native machine utilisée pour les observations actuelles.

Les auteurs concluent que le goulot d'étranglement dans l'agence GUI à long horizon n'est pas simplement l'échelle du modèle, mais la manière dont l'historique d'interaction et l'expérience antérieure sont représentés et exposés à la politique. Mem-W démontre qu'une interface latente unifiée et apprenable de bout en bout peut remplacer les hiérarchies de mémoire prescrites, permettant aux structures de mémoire pertinentes pour la tâche d'émerger naturellement de l'entraînement. Cette perspective suggère une voie vers des agents multimodaux interactifs dont la compétence est fondée sur des interfaces de contexte latent apprises plutôt que sur des modules de mémoire conçus manuellement.