Résumé Technique : Me-Agent

1. Énoncé du Problème

Les agents mobiles basés sur les modèles de langage de grande taille (LLM) ont progressé de manière significative dans l'exécution de tâches complexes à travers divers scénarios d'application. Cependant, les agents actuels font face à des limitations critiques en matière de personnalisation et de gestion des instructions ambiguës. Les systèmes existants reposent principalement sur des instructions explicites de l'utilisateur, ne tenant pas compte des préférences latentes ou des schémas d'interaction historiques. Cela entraîne trois défis spécifiques :

1. Incapacité à interpréter les instructions ambiguës : Les agents peinent lorsque les utilisateurs omettent le nom des applications (par exemple, « Joue Hey Jude » sans préciser « QQ Music ») ou utilisent des références vagues (par exemple, « Joue ma chanson préférée »).
2. Manque d'apprentissage à partir de l'historique d'interaction : Les agents ne peuvent pas mettre à jour continuellement leur compréhension des schémas comportementaux de l'utilisateur à travers des interactions multi-tours.
3. Échec de la gestion des instructions personnalisées : Les agents actuels manquent de mécanismes pour traiter les configurations de préférences, ce qui entrave les expériences centrées sur l'utilisateur.

De plus, les méthodes de personnalisation existantes pour les LLM sont mal adaptées aux agents mobiles. Les approches de fine-tuning sont peu pratiques en raison des ressources de calcul et de stockage limitées des appareils mobiles, tandis que l'entraînement basé sur le cloud soulève des préoccupations de confidentialité. Inversement, les méthodes basées sur le prompt qui étendent continuellement le contexte sans mécanismes de filtrage dégradent l'efficacité de l'inférence et compliquent la gestion de la mémoire.

2. Méthodologie : Me-Agent

Pour relever ces défis, les auteurs proposent Me-Agent, un cadre d'agent mobile personnalisé, apprenable et mémorisable. Me-Agent fonctionne sans entraînement de modèle supplémentaire (sans paramètres) et utilise une approche d'apprentissage des habitudes de l'utilisateur à deux niveaux :

A. Apprentissage des Préférences Utilisateur (UPL)

Inspiré par l'apprentissage par renforcement sans entraînement, l'UPL est un module sans paramètres conçu pour modéliser les préférences de l'utilisateur via un Modèle de Récompense Personnel. Il opère en quatre étapes :

1. Rollout (Déploiement) : L'agent effectue $G$ déploiements indépendants pour une instruction donnée afin de générer des trajectoires d'exécution diversifiées.
2. Reward (Récompense) : Un modèle vision-langage (VLM) évalue ces trajectoires à partir de séquences de captures d'écran, évaluant l'atteinte de l'objectif, la validité des étapes, la visibilité du résultat et la détection d'erreurs pour génire un signal de récompense continu ($r_g \in [0, 1]$).
3. Advantage (Avantage) : Un LLM analyse les trajectoires réussies et échouées pour extraire des expériences structurées en langage naturel. Cela inclut une phase de Critique Comparative qui identifie des enseignements généralisables à travers six catégories : préférences de l'utilisateur, navigation UI, séquences d'actions, identification d'éléments, conscience du contexte et signaux d'achèvement.
4. Optimization (Optimisation) : Les nouvelles expériences sont intégrées dans un pool d'expérience ($E$) via un mécanisme d'opération ($ADD, UPDATE, DELETE, KEEP$) pour prévenir la redondance et gérer la déchéance de la mémoire.

B. Mémoire de Préférence Hiérarchique (HPM)

Pour remédier au débordement du contexte et à la dilution de l'attention causés par l'injection de toute la mémoire dans les prompts, la HPM stocke les connaissances spécifiques aux applications de manière externe dans une hiérarchie à deux niveaux :

• Mémoire de Niveau 1 ($M_{L1}$) : Organisée par catégories d'intention (ex: Musique, Navigation), associant les catégories à des ensembles d'applications.
• Mémoire de Niveau 2 ($M_{L2}$) : Stocke les données spécifiques à l'application, incluant les workflows (schémas d'exécution d'instructions, positions des éléments UI) et les préférences de contenu (éléments spécifiques à l'utilisateur au sein d'une application).

Mécanisme d'Inférence :
Pendant l'exécution, Me-Agent résout l'ambiguïté en deux étapes :

1. Résolution de l'Application : Si l'instruction manque d'une application explicite, l'agent infère l'application cible ($a^*$) en se basant sur les probabilités de préférence de l'utilisateur dérivées du pool d'expérience.
2. Récupération du Contenu : Pour les références de contenu implicites (ex: « mon habituel »), l'agent récupère les $k$ meilleurs candidats de la mémoire de l'application concernée en fonction de la similarité sémantique et sélectionne le contenu final ($c^*$) via le raisonnement du LLM.
   L'application, le contenu résolus, ainsi que les expériences pertinentes sont ensuite injectés dans le prompt pour guider l'exécution.

3. Principales Contributions

Le document souligne quatre contributions principales :

1. Cadre Me-Agent : Un agent mobile personnalisé qui s'adapte aux préférences de l'utilisateur via une modélisation des habitudes à deux niveaux (niveaux prompt et mémoire) sans nécessiter de mise à jour des paramètres du modèle, ce qui le rend adapté à un déploiement via API.
2. Apprentissage des Préférences Utilisateur (UPL) : Un module sans paramètres qui modélise les préférences de l'utilisateur en utilisant un Modèle de Récompense Personnel et une accumulation d'expérience structurée.
3. Mémoire de Préférence Hiérarchique (HPM) : Une architecture de mémoire qui sépare les préférences générales à long terme des connaissances spécifiques aux applications pour atténuer le débordement du contexte tout en permettant une modélisation comportementale continue.
4. Benchmark User FingerTip : Un nouveau jeu de données conçu pour évaluer les agents mobiles sur le raisonnement de préférence implicite. Il présente deux types d'instructions ambiguës :
   • Type I (Ambiguïté d'App) : Omission du nom de l'application (ex: « Joue Hey Jude »).
   • Type II (Ambiguïté de Contenu) : Remplacement d'un contenu spécifique par des références vagues (ex: « Joue ma chanson préférée »).

4. Résultats Expérimentaux

Les auteurs ont évalué Me-Agent sur le benchmark User FingerTip et sur l'ensemble général E-dataset.

• Performance de Personnalisation (User FingerTip) :
  • Me-Agent a atteint une Précision de Sélection d'Application (ASA) parfaite de 1.000 pour les instructions de Type I et de Type II, surpassant nettement les bases de référence (Mobile-Agent-v2 et Mobile-Agent-E), qui peinaient à inférer les préférences sans modélisation explicite.
  • Sur les instructions de Type II, Me-Agent a montré un BERTScore supérieur (0.725 vs 0.549) et un Score de Préférence (PS) (0.534 vs 0.275), démontrant sa capacité à inférer les préférences de contenu.
• Performance des Tâches Générales (E-dataset) :
  • Me-Agent a atteint un Taux de Complétion de Tâche (TCR) de 89,3 %, une amélioration substantielle par rapport à la base de référence Mobile-Agent-E (63,9 %) et Mobile-Agent-v2 (41,4 %).
  • Il a maintenu une Fidélité d'Action (AF) élevée (0,861) et une Précision de Réflexion (RP) (0,978).
• Études d'Ablation :
  • Les expériences ont confirmé que l'UPL et la HPM sont complémentaires. L'UPL a amélioré la complétion des tâches en déplaçant l'optimisation de la politique vers l'espace contextuel, tandis que la HPM a renforcé la qualité sémantique et l'alignement des préférences grâce à la récupération à la demande.
• Robustesse :
  • Le cadre a démontré une performance stable à travers différents modèles de base (GPT-4o, Claude-3.5-Sonnet, Gemini-2.5-Pro), indiquant que la conception modulaire réduit la dépendance aux capacités spécifiques du modèle de base.

5. Signification et Limites

Signification :
Le papier affirme que Me-Agent représente une étape importante vers des agents mobiles centrés sur l'utilisateur. En découplant la personnalisation du fine-tuning des paramètres, il offre une solution pratique pour les environnements mobiles aux ressources limitées. Le cadre comble efficacement le fossé entre les instructions explicites et l'intention implicite de l'utilisateur, permettant aux agents de gérer l'ambiguïté du monde réel (ex: inférer « QQ Music » pour « Joue Hey Jude » basé sur l'historique) sans nécessiter de réentraînement. L'introduction de User FingerTip fournit un benchmark nécessaire pour évaluer ces capacités de raisonnement implicite, que les jeux de données précédents ne parvenaient pas à évaluer.

Limites :
Les auteurs reconnaissent deux limites principales :

1. Dynamique de l'UI : Le système repose sur les positions UI et les séquences d'actions stockées lors des exécutions réussies. Ces expériences apprises peuvent devenir invalides si l'interface de l'application est mise à jour ou si des fenêtres contextuelles (pop-ups) inattendues apparaissent, ce qui pourrait entraîner des échecs d'exécution.
2. Facteurs Contextuels : L'approche actuelle de personnalisation repose principalement sur les préférences et les schémas comportementaux historiques. Elle n'intègre pas encore de facteurs contextuels dynamiques tels que la position actuelle de l'utilisateur ou son état émotionnel, ce qui pourrait limiter la précision des recommandations dans des situations s'écartant des habitudes habituelles.