💻 computer science

AndroTMem: From Interaction Trajectories to Anchored Memory in Long-Horizon GUI Agents

Ce papier présente AndroTMem, un cadre diagnostique et une méthode de mémoire d'état ancrée (ASM) qui améliorent significativement les performances des agents GUI Android à long terme en remplaçant les replays ou résumés d'interactions par une représentation compacte d'états intermédiaires causalement liés.

Auteurs originaux : Yibo Shi, Jungang Li, Linghao Zhang, Zihao Dongfang, Biao Wu, Sicheng Tao, Yibo Yan, Chenxi Qin, Weiting Liu, Zhixin Lin, Hanqian Li, Yu Huang, Song Dai, Yonghua Hei, Yue Ding, Xiang Li, Shikang Wang

Publié 2026-03-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yibo Shi, Jungang Li, Linghao Zhang, Zihao Dongfang, Biao Wu, Sicheng Tao, Yibo Yan, Chenxi Qin, Weiting Liu, Zhixin Lin, Hanqian Li, Yu Huang, Song Dai, Yonghua Hei, Yue Ding, Xiang Li, Shikang Wang, Chengdong Xu, Jingqi Liu, Xueying Ma, Zhiwen Zheng, Xiaofei Zhang, Bincheng Wang, Nichen Yang, Jie Wu, Lihua Tian, Chen Li, Xuming Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

📱 Le Problème : Le "Trou de Mémoire" des Robots sur Smartphone

Imaginez que vous demandez à un robot très intelligent (une IA) de faire une tâche complexe sur votre téléphone : "Compare les prix des AirPods Pro sur deux applications différentes, achète le moins cher, puis envoie le lien à ton ami Alice sur WeChat avec un petit mot."

C'est une tâche en plusieurs étapes qui demande de se souvenir de ce qu'on a vu il y a 10 ou 20 clics plus tôt.

Le problème, c'est que les agents actuels (les robots) ont tendance à oublier.

Si on leur donne tout l'historique de l'écran (toutes les images passées), ils se noient dans le bruit, comme quelqu'un qui essaie de lire un livre en ayant 100 autres livres ouverts autour de lui.
Si on leur donne un résumé trop court, ils perdent les détails cruciaux (comme le prix exact qu'ils ont noté tout à l'heure).

Résultat : Plus la tâche est longue, plus le robot se trompe, non pas parce qu'il est "bête", mais parce qu'il a perdu le fil.

🔍 La Découverte : AndroTMem

Les chercheurs de ce papier (AndroTMem) ont créé un laboratoire de test spécial pour les téléphones Android. Ils ont inventé 1 000 tâches complexes pour voir exactement où les robots échouent.

Leur diagnostic est sans appel :
Le problème n'est pas que le robot ne voit pas bien l'écran actuel. Le problème, c'est qu'il ne garde pas en mémoire les étapes intermédiaires importantes. C'est comme si vous faisiez un puzzle, mais que vous jetiez les pièces que vous avez déjà assemblées dès que vous en prenez une nouvelle.

💡 La Solution : La "Mémoire Ancrée" (Anchored State Memory)

Pour régler ce problème, ils proposent une nouvelle façon de gérer la mémoire, qu'ils appellent ASM (Mémoire d'État Ancrée).

Voici l'analogie pour comprendre la différence :

L'ancienne méthode (Replay complet) : C'est comme essayer de se souvenir de tout un film en regardant les 2 heures de suite, image par image. C'est épuisant et on oublie les détails.
L'ancienne méthode (Résumé) : C'est comme lire un résumé de 3 lignes du film. On sait que le héros a voyagé, mais on a oublié où il a caché la clé.
La nouvelle méthode (ASM - AndroTMem) : C'est comme avoir un journal de bord avec des "points d'ancrage".

Imaginez que le robot ne se souvient pas de chaque seconde de son voyage, mais qu'il note des points de repère essentiels sur une carte :

📌 Point 1 : "J'ai trouvé le prix sur JD : 120 €."
📌 Point 2 : "J'ai trouvé le prix sur Taobao : 130 €."
📌 Point 3 (L'ancrage) : "J'ai décidé que JD est moins cher."
📌 Point 4 : "J'ai ajouté l'article au panier."

Ces "ancres" sont reliées entre elles par des liens logiques (le prix de JD dépend de la recherche faite avant). Quand le robot doit décider quoi faire, il ne relit pas tout le film, il va directement chercher l'ancre qui lui dit "Quel est le prix le moins cher ?".

🚀 Les Résultats

En testant cette méthode sur 12 robots différents (des modèles open-source et des géants comme Gemini ou GPT), les chercheurs ont vu une amélioration spectaculaire :

Les robots réussissent beaucoup plus souvent leurs tâches complètes (jusqu'à 30% de réussite en plus !).
Ils sont plus rapides et utilisent moins d'énergie de calcul.
Ils ne se perdent plus dans les tâches longues.

🏁 En Résumé

Ce papier nous dit que pour que les robots puissent vraiment nous aider dans la vie réelle (faire des courses, réserver des billets, gérer nos emails), ils ne doivent pas juste être de bons "regardeurs d'écran". Ils doivent devenir de bons gestionnaires de mémoire.

Au lieu de tout stocker ou de tout résumer, ils doivent savoir identifier et ancrer les moments clés de leur action, comme des points de repère sur une carte, pour ne jamais perdre le fil de leur mission. C'est la clé pour passer de simples assistants à de véritables collaborateurs autonomes.

Titre : AndroTMem : Des trajectoires d'interaction à la mémoire ancrée dans les agents GUI à long horizon

1. Problématique

Les agents d'interface graphique (GUI) basés sur les grands modèles de langage multimodaux (MLLM) montrent des progrès rapides, mais leur déploiement dans des scénarios réels complexes reste limité. Le défi majeur réside dans l'exécution de tâches à long horizon (long-horizon tasks), souvent composées de dizaines d'étapes et impliquant plusieurs applications (ex: comparer des prix sur JD et Taobao, puis ajouter l'article au panier et le partager sur WeChat).

Les approches actuelles échouent principalement à cause d'un goulot d'étranglement mémoriel :

Redondance et bruit : La réplay de séquences d'interaction complètes (trajectoires brutes) est inefficace et amplifie le bruit, diluant l'attention sur les informations critiques.
Perte d'information : Les résumés textuels (summaries) tendent à effacer les états intermédiaires fins et les dépendances causales essentielles pour les étapes futures.
Dépendance causale : Dans les tâches réelles, les décisions tardives dépendent souvent d'états intermédiaires rares mais critiques (ex: un prix extrait 20 étapes plus tôt). Les benchmarks existants ne mesurent pas correctement cette capacité de préservation et de réutilisation de l'état.

2. Méthodologie

L'équipe propose AndroTMem, un cadre diagnostique complet comprenant un benchmark et une nouvelle architecture de mémoire.

A. AndroTMem-Bench (Le Benchmark)
C'est un ensemble de données conçu spécifiquement pour évaluer la mémoire dans les tâches GUI Android à long horizon.

Statistiques : 1 069 tâches réalistes, 34 473 étapes d'interaction (moyenne de 32,1 étapes/tâche, max 65), couvrant 50 applications.
Conception : Les tâches sont construites avec des dépendances causales fortes entre les étapes. Les états intermédiaires (ex: extraction de prix, sélection d'articles) sont indispensables pour les actions ultérieures.
Annotation : Utilisation d'une pipeline semi-automatique où des experts humains définissent les intentions et valident les "State Anchors" (ancres d'état), assurant la cohérence des dépendances.
Métriques :
- TCR (Task Complete Rate) : Le taux de réussite de la tâche, évalué non seulement sur l'état final, mais sur la préservation correcte des états intermédiaires critiques (ancres).
- AMS (Action Matching Score) : Précision au niveau de l'action individuelle.

B. Diagnostic des échecs
L'analyse des performances sur AndroTMem-Bench révèle que la dégradation des performances avec la longueur de la tâche n'est pas due à des erreurs de perception locale, mais principalement à des échecs de mémoire intra-tâche (perte d'état, mauvaise liaison, dérive contextuelle).

C. Anchored State Memory (ASM)
Pour résoudre ce problème, les auteurs proposent ASM, une représentation structurée de l'historique.

Concept : Au lieu de stocker la trajectoire brute ou un résumé libre, ASM extrait un ensemble compact d'ancres d'état intermédiaires liés causalement.
Structure d'une ancre : Chaque ancre $m_k$ $m_{k}$ contient :
- type : Rôle fonctionnel (ex: sous-objectif atteint, changement d'état, exception).
- content : Information sémantique.
- evidence : Preuve visuelle ou interaction source.
- links : Dépendances causales avec d'autres ancres (ex: "Prix_Taobao" dépend de "Recherche_JD").
Fonctionnement : À chaque étape, l'agent récupère uniquement les ancres pertinentes pour la décision en cours, effectue une action, puis met à jour le banc de mémoire (création de nouvelles ancres, mise à jour des liens).

3. Contributions Clés

AndroTMem-Bench : Le premier benchmark conçu pour isoler et évaluer spécifiquement la capacité de mémoire des agents GUI dans des workflows à long horizon avec des dépendances causales fortes.
Diagnostic Empirique : La démonstration que la principale cause d'échec des agents actuels sur des tâches longues est la perte d'états intermédiaires critiques, et non l'incapacité à percevoir l'interface actuelle.
Anchored State Memory (ASM) : Une nouvelle méthode de représentation de l'historique qui organise les interactions en ancres causales, permettant une récupération ciblée et une prise de décision consciente des attributions.
Analyse des Modes d'Échec : Identification de cinq modes d'échec récurrents liés à l'historique : perte d'état, mauvaise liaison d'état, dérive contextuelle, progression non vérifiée et échec de gestion des interruptions.

4. Résultats Expérimentaux

Les expériences ont été menées sur 12 agents GUI (modèles open-source, closed-source et multi-agents) en comparant trois stratégies d'historique : Trajectoire Brute, Résumé Grossier et ASM.

Performance Globale : ASM surpasse systématiquement les autres méthodes.
- Amélioration du TCR : Gain de 5 % à 30,16 % par rapport aux baselines.
- Amélioration de l'AMS : Gain de 4,93 % à 24,66 %.
- Exemple : Pour le modèle Gemini-2.5-Pro, le TCR passe de 41,11 % (Brut) à 63,40 % avec ASM.
Robustesse à la Longueur : Alors que les performances des méthodes "Brut" et "Résumé" chutent drastiquement lorsque le nombre d'étapes dépasse 30-40, ASM maintient une performance élevée, prouvant sa capacité à gérer des horizons longs.
Efficacité : ASM offre un meilleur compromis efficacité-efficacité. Bien que légèrement plus coûteux en tokens que les résumés, il est beaucoup moins coûteux que la réplay brute et évite les erreurs coûteuses en temps de calcul dues aux échecs de tâche.
Analyse par Type de Tâche : Les gains sont particulièrement marqués pour les tâches nécessitant une coordination inter-applications et une réutilisation d'états non locaux (ex: "Compare & Decide", "Purchase").

5. Signification et Impact

Ce travail marque un tournant dans la recherche sur les agents GUI :

Changement de paradigme : Il déplace le focus de la simple amélioration de la perception visuelle vers la gestion structurée de la mémoire à long terme.
Validation de l'approche "Ancre" : Il prouve que la mémoire ne doit pas être un flux continu d'événements, mais une structure de points de repère causaux (ancres) pour une récupération efficace.
Fondation pour le futur : AndroTMem et ASM fournissent une base solide pour développer des agents capables d'exécuter des workflows professionnels complexes et réalistes sur mobile, un pas essentiel vers le déploiement d'agents autonomes dans le monde réel.

Les ressources (code, benchmark, données) sont publiques sur GitHub, facilitant la reproduction et l'extension de ces travaux.