🤖 AI

CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

CoAdapt-GUI est un cadre d'adaptation au moment de l'exécution qui améliore la généralisation des agents d'interface graphique mobile aux applications inédites en adaptant conjointement une politique spécifique à une tâche via LoRA et en affinant le contexte de flux de travail transférable à partir des propres interactions de l'agent, atteignant ainsi des gains de performance significatifs par rapport aux méthodes de référence.

Auteurs originaux : Linqiang Guo (Peter), Li Gu (Peter), Zihuan Jiang (Peter), Zhixiang Chi (Peter), Siobhan Reid (Peter), Ziqiang Wang (Peter), Yuanhao Yu (Peter), Wei Liu (Peter), Yang Wang (Peter), Tse-Hsun (Peter)

Publié 2026-08-13

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Linqiang Guo (Peter), Li Gu (Peter), Zihuan Jiang (Peter), Zhixiang Chi (Peter), Siobhan Reid (Peter), Ziqiang Wang (Peter), Yuanhao Yu (Peter), Wei Liu (Peter), Yang Wang (Peter), Tse-Hsun (Peter), Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment naviguer dans le monde numérique. Ce robot est un « agent GUI », un assistant intelligent capable de regarder l'écran d'un téléphone, de lire ce qu'il voit et d'appuyer sur des boutons pour suivre vos instructions, comme « réserver un vol » ou « envoyer un SMS ». Pendant un certain temps, ces robots sont devenus plutôt performants, mais seulement s'ils s'entraînent sur les applications exactes qu'ils utiliseront plus tard. C'est comme un élève qui mémorise les réponses d'un examen de mathématiques spécifique mais qui perd ses moyens face à un nouveau manuel scolaire. Le véritable défi survient lorsque le robot rencontre une application qu'il n'a jamais vue auparavant, avec des boutons et des menus qu'il ne reconnaît pas. C'est le problème de l'« application non vue ». Les scientifiques cherchent comment apprendre à ces robots à apprendre à la volée, en utilisant seulement quelques essais pour comprendre comment fonctionne une nouvelle application, sans avoir besoin qu'un humain leur montre le chemin à chaque fois.

Ce document présente un nouveau système ingénieux appelé CoAdapt-GUI qui aide ces agents robots à s'adapter bien mieux aux nouvelles applications qu'auparavant. Imaginez le cerveau du robot comme ayant deux parties : une « politique », qui est son instinct pour appuyer et balayer, et un « workflow » (flux de travail), qui est une liste de contrôle mentale d'étapes et de règles pour accomplir une tâche. Les tentatives précédentes pour aider les robots à apprendre de nouvelles applications consistaient principalement à ajuster leurs instincts (la politique) tout en ignorant leur liste de contrôle. Les auteurs ont découvert que cela ne suffit pas. Si la liste de contrôle du robot est remplie de détails spécifiques aux anciennes applications (comme « cherchez le bouton bleu sur l'écran d'accueil »), il sera confus lorsque la nouvelle application aura un bouton rouge à un endroit différent.

CoAdapt-GUI résout cela en faisant deux choses à la fois. Premièrement, il agit comme un éditeur strict pour la liste de contrôle du robot. Il prend les règles générales que le robot connaît (comme « si vous êtes bloqué, essayez de revenir en arrière ») mais élimine tout détail spécifique aux anciennes applications (comme « le bouton retour est en haut à gauche de l'écran »). Cela crée un guide « propre » qui peut fonctionner n'importe où. Deuxièmement, il permet au robot de s'entraîner sur la nouvelle application et de mettre à jour ses instincts (la politique) en fonction de ce qui fonctionne et de ce qui échoue. La magie opère parce que ces deux parties s'entraident : la liste de contrôle propre aide le robot à mieux s'entraîner, et les résultats de l'entraînement aident le robot à affiner sa liste de contrôle.

Les chercheurs ont testé ce système dans un terrain de jeu numérique appelé AndroidWorld. Dans un test, où le robot devait gérer de nouvelles versions de tâches familières, CoAdapt-GUI a réussi 45,0 % du temps. Il s'agit d'un bond significatif par rapport à la meilleure méthode précédente, qui n'a réussi que 37,5 % du temps. Dans un test plus difficile, où le robot devait apprendre de nouveaux types de tâches qu'il n'avait jamais vus auparavant, le système a augmenté les taux de réussite de 38,6 % à 52,9 %. Le document suggère qu'en séparant le « quoi faire » (workflow) du « comment le faire » (politique) et en nettoyant les instructions avant de les utiliser, les robots peuvent devenir beaucoup plus flexibles et prêts pour le monde réel, où les applications changent constamment.

Résumé Technique : CoAdapt-GUI

Énoncé du Problème
Les agents d'interface graphique (GUI) mobiles font actuellement preuve de fragilité lorsqu'ils sont déployés sur des applications absentes de leurs données d'entraînement initiales. Bien que les avancées récentes aient amélioré les performances sur des benchmarks établis, ces évaluations supposent souvent une collection prédéfinie d'applications et de flux de travail. En déploiement réel, les agents rencontrent des applications « inédites » où les éléments d'interface et les procédures de tâches sont à la fois nouveaux. Les approches existantes de généralisation, telles que l'apprentissage par renforcement (RL) en ligne sur les interactions cibles, se concentrent souvent uniquement sur l'adaptation de la politique. Cependant, le succès sur de nouvelles tâches au sein d'une interface familière ne garantit pas un comportement efficace dans une application inconnue. Les agents peuvent échouer en raison de problèmes de mise en correspondance (grounding) spécifiques à l'interface ou d'un manque de connaissances procédurales (ex: conditions de complétion, récupération après échec). La mise à jour de la seule politique ou du seul contexte de flux de travail laisse des sources critiques d'échec non résolues, particulièrement sous des décalages inter-applications où l'expérience source peut contenir un transfert négatif (détails spécifiques à l'application) qui entrave l'adaptation.

Méthodologie : CoAdapt-GUI
Le document présente CoAdapt-GUI, un cadre d'adaptation au moment du test (Test-Time Adaptation - TTA) conçu pour adapter conjointement un contexte de flux de travail structuré et une politique en utilisant uniquement les déroulés de l'agent sur l'application cible et les récompenses au niveau de la tâche, sans accès à des démonstrations cibles ou à des signaux d'évaluation mis de côté.

Le cadre opère sur deux états adaptatifs complémentaires :

Contexte de Flux de Travail Contraint par le Transfert ( $M_t$ ) :
- Séparation des Préoccupations : Le système distingue l'état source lié à l'application (écrans, coordonnées, identifiants spécifiques) et la connaissance procédurale transférable (procédures abstraites, modes d'échec, règles de vérification).
- Représentation Ancrée par FSM : Les flux de travail sources sont représentés sous forme de machines à états finis (FSM). Un « synthétiseur gelé » construit un état transférable ( $M_{tr}$ ) en filtrant les détails liés à l'application via des prédicats d'éligibilité et des validateurs de schéma.
- Révision Ancrée sur la Cible : Pendant l'adaptation, l'agent maintient un état distinct ancré sur la cible ( $M_{t}^{tgt}$ ). Un « réflecteur gelé » confronte les traces réussies et échouées des déroulés correspondants pour proposer des révisions au contexte de flux de travail. Ces révisions sont validées par rapport à un schéma typé (excluant les noms d'applications, les ID de packages, etc.) avant d'entrer dans la population.
- Récupération : Pour une tâche cible, le système récupère un contexte de flux de travail source limité et contraint par l'éligibilité ( $M_0$ ) et le combine avec l'état évolutif ancré sur la cible.
Adaptation de la Politique Appariée Tâche–Contexte :
- Architecture : La politique est un modèle de langage-vision (VLM) avec un squelette (backbone) gelé et un adaptateur LoRA entraînable ( $\theta_t$ ).
- Optimisation Relative au Groupe : Pour éviter l'interférence des variations de contexte, les mises à jour de la politique sont calculées uniquement parmi les déroulés partageant la même tâche et la même condition de contexte ( $G(q, \kappa)$ ).
- Objectif : Le cadre utilise un objectif relatif au groupe (Shao et al., 2024) pour mettre à jour les paramètres LoRA sur la base des avantages ( $A_j$ ) calculés au sein de ces groupes appariés. Cela garantit que l'attribution de crédit reflète les améliorations de la politique plutôt que les différences de difficulté de tâche ou de guidage de contexte.
Boucle d'Adaptation Conjointe :
- Le cadre exécute des déroulés appariés sous des conditions de réinitialisation contrôlées.
- Le même flux de déroulés alimente deux canaux :
  - Canal de Contexte : Met à jour les évaluations des variantes de contexte et propose des révisions enfants validées.
  - Canal de Politique : Met à jour l'adaptateur LoRA en utilisant les trajectoires accumulées, mais uniquement lorsqu'il existe des groupes de comparaison tâche–contexte valides.
- Les mises à jour sont couplées par l'interaction mais non conjointement différentiables ; le contexte actuel façonne les trajectoires pour l'apprentissage de la politique, tandis que la politique actuelle génère les signaux de succès/échec utilisés pour réviser le flux de travail.

Contributions Clés

Adaptation Conjointe du Côté Cible : Un cadre TTA qui met à jour des états distincts de contexte de flux de travail et de politique en utilisant uniquement les interactions et les récompenses autonomes de la cible, éliminant ainsi le besoin de démonstrations cibles.
Adaptation Contrainte par le Transfert : Un mécanisme qui sépare la connaissance de flux de travail transférable de l'état source lié à l'application. Il coordonne les mises à jour guidées par la récompense où les révisions de contexte sont validées par des vérifications de schéma, et où le crédit de la politique est strictement calculé au sein de groupes appariés tâche–contexte.
Évaluation Complète : Le cadre est évalué à travers deux niveaux de généralisation :
- Généralisation d'Instance : Nouvelles instances de modèles de tâches connus (AndroidWorld-Generalization).
- Généralisation de Type de Tâche : Modèles de tâches entièrement nouveaux au sein d'applications inédites (AndroidWorld Plus).

Résultats Expérimentaux
Les auteurs ont évalué CoAdapt-GUI par rapport à des lignes de base incluant une Politique de Base, un Transfert de Contexte Statique, une TTA de Politique Uniquement, et une TTA de Contexte Uniquement.

AndroidWorld-Generalization (Nouvelles Instances de Tâches) :
- CoAdapt-GUI a atteint un taux de succès de 45,0 %.
- Cela a surpassé la ligne de base TTA de Politique Uniquement (37,5 %) de 7,5 points de pourcentage et la TTA de Contexte Uniquement (35,0 %) de 10,0 points de pourcentage.
- Le Transfert de Contexte Statique a atteint 28,75 %.
AndroidWorld Plus (Nouveaux Modèles de Tâches) :
- Ce paramètre a testé le transfert vers des types de tâches non vus lors de l'adaptation.
- CoAdapt-GUI a augmenté le taux de succès global d'une Politique de Base de 38,6 % à 52,9 %.
- La TTA de Contexte Uniquement a amélioré la base à 48,1 %, tandis que la TTA de Politique Uniquement n'a atteint que 40,0 %.
- Dans les Applications Partageant une Catégorie (où des flux de travail sources pouvaient être récupérés), CoAdapt-GUI a atteint 70,4 %.
- Dans les Applications Nouvelles pour la Catégorie (aucun flux de travail source disponible), CoAdapt-GUI a tout de même amélioré le succès de 29,4 % (Base) à 34,3 %, démontant l'efficacité de l'adaptation ancrée sur la cible même sans priors sources.

Signification et Revendications
L'article affirme que le contexte de flux de travail contraint par le transfert apporte des gains substantiels pour la généralisation aux nouvelles applications, et que l'adaptation conjointe de la politique améliore davantage la performance sur les données non vues. Les résultats suggèrent que :

L'Adaptation du Flux de Travail est Critique : L'adaptation du seul contexte de flux de travail (TTA de Contexte Uniquement) produit des améliorations significatives par rapport au transfert statique ou aux mises à jour de politique uniquement, particulièrement dans les scénarios de nouveaux types de tâches.
Synergie de l'Adaptation Conjointe : La combinaison de l'adaptation du contexte et de la politique (CoAdapt-GUI) atteint la meilleure performance globale, indiquant que les deux états sont distincts mais complémentaires pour la généralisation.
Robustesse au Décalage de Source : Le cadre gère efficacement les scénarios où les flux de travail sources sont indisponibles (Applications Nouvelles pour la Catégorie) en construisant des connaissances ancrées sur la cible à partir de zéro.

Les auteurs soulignent que leur approche évite la fuite d'informations en utilisant des pools source et cible disjoints, en restreignant les mises à jour à la division d'adaptation, et en gelant les états avant l'évaluation. Ils concluent que CoAdapt-GUI offre une voie viable pour déployer des agents GUI capables de s'adapter de manière autonome à des applications inédites en utilisant des budgets d'interaction limités.

Résumé Technique : CoAdapt-GUI

Articles similaires