Résumé Technique : UI-MOPD

Problématique

L'article traite du défi de l'entraînement d'agents GUI multi-plateformes unifiés capables d'opérer sur des environnements hétérogènes (spécifiquement bureau et mobile) tout en préservant les conventions d'interaction distinctes de chaque plateforme.

Les approches actuelles de l'apprentissage cross-plateforme reposent généralement sur :

1. L'agrégation de données : Mélange de signaux de supervision hétérogènes provenant de différentes plateformes.
2. La fusion de modèles : Moyennage des paramètres de modèles spécialisés.
3. L'entraînement séquentiel : Entraînement sur une plateforme, puis sur l'autre.

Les auteurs soutiennent que ces méthodes échouent souvent car les plateformes de bureau et mobiles, bien qu'elles partagent des capacités fondamentales (compréhension visuelle, planification), possèdent des sémantiques d'action et des conventions d'interaction conflictuelles (par exemple, la navigation "retour" diffère entre les OS). Le mélange de la supervision ou le moyennage des paramètres tend à brouiller les comportements natifs, entraînant une conflation de capacités, un déséquilibre des performances et la dégradation des priors spécifiques à chaque plateforme. De plus, les données d'interaction cross-plateformes de haute qualité et exécutables sont rares, ce qui entrave le développement d'agents unifiés robustes.

Méthodologie : UI-MOPD

Pour répondre à ces défis, les auteurs proposent UI-MOPD (Multi-Platform On-Policy Distillation), un cadre qui intègre les connaissances spécialisées sans moyenner les distinctes conventions d'interaction. L'approche se compose de deux étapes principales :

1. Construction de données : Uni-GUI

Les auteurs ont d'abord construit Uni-GUI, un ensemble de données de haute qualité contenant près de 10 000 trajectoires d'interaction cross-plateformes exécutables.

• Collecte : Construit à l'aide d'un harnais unifié bureau-mobile, collectant environ 110K étapes d'interaction informatique et 50K étapes mobiles.
• Traitement : Un filtrage rigoureux, une validation de trajectoire et un contrôle de qualité ont été appliqués pour garantir des actions exécutables et un alignement état-action précis.

2. Cadre d'entraînement : Multi-Teacher On-Policy Distillation (MOPD)

Le pipeline d'entraînement comprend deux étapes :

• Étape 1 (Entraînement des enseignants) : Fine-tuning supervisé (SFT) d'un modèle de fondation vision-langage (Qwen3-VL-32B) sur les partitions spécifiques aux plateformes de Uni-GUI pour créer deux enseignants experts : un Enseignant Bureau ($\pi^d_{ref}$) et un Enseignant Mobile ($\pi^m_{ref}$).
• Étape 2 (Entraînement de l'étudiant) : Une politique étudiante partagée ($\pi_\theta$, initialisée à partir d'un modèle 8B) est entraînée via la Multi-Teacher On-Policy Distillation.
  • Rollouts On-Policy : L'étudiant échantillonne des rollouts à partir de sa politique actuelle dans des environnements de plateformes mixtes.
  • Routage Conditionné par la Plateforme : Chaque rollout est routé vers l'enseignant spécialisé de la plateforme correspondante en fonction de son étiquette d'environnement.
  • Ancrage Comportemental : L'enseignant fournit une guidance uniquement aux états réellement visités par l'étudiant. Cela agit comme un ancrage comportemental conditionné par la plateforme, empêchant l'étudiant d'écraser les schémas d'interaction natifs par des signaux provenant de l'autre plateforme.
  • Fonction de Perte : L'objectif d'entraînement combine l'optimisation de politique tronquée (de type PPO) avec une pénalité de divergence KL inverse. Le terme KL est calculé entre l'étudiant et l'enseignant routé, et non un enseignant unifié.
  • Masquage KL Adaptatif : Un masque de groupe ($\mu$) est appliqué pour supprimer les pénalités de l'enseignant lorsque le feedback de la tâche (récompense) est déjà suffisant, évitant ainsi de restreindre inutilement l'exploration sur les rollouts performants.

Contributions Clés

1. Jeu de données Uni-GUI : L'introduction d'un jeu de données de haute qualité de ~10K trajectoires d'interaction cross-plateformes, répondant à la rareté des données multi-plateformes exécutables.
2. Cadre UI-MOPD : La première application de la Multi-Teacher On-Policy Distillation à l'entraînement d'agents GUI unifiés. Il intègre de manière unique les expertises complémentaires de bureau et mobile en utilisant les enseignants conditionnés par la plateforme comme ancres comportementales plutôt qu'en les moyennant.
3. Évaluation Systématique : Des expériences exhaustives démontrant que UI-MOPD atteint une performance cross-plateforme équilibrée, surpassant les stratégies d'intégration de paramètres appariés (SFT/RL mixte, fusion de modèles, entraînement séquentiel) tout en préservant les capacités de grounding GUI générales.

Résultats Expérimentaux

Les auteurs ont évalué UI-MOPD sur les benchmarks OSWorld (bureau) et MobileWorld (mobile), en utilisant un modèle étudiant de 8B paramètres.

• Performance :
  • OSWorld : A atteint un taux de réussite des tâches de 38,2 % (une amélioration relative de 12,7 % par rapport au modèle de base).
  • MobileWorld : A atteint un taux de réussite des tâches de 12,0 % (une amélioration relative de 55,8 % par rapport au modèle de base).
  • Équilibre : UI-MOPD a obtenu la Moyenne Harmonique (H-Mean) la plus élevée de 18,3 % parmi toutes les stratégies d'intégration 8B, égalant la performance d'un modèle beaucoup plus large de 235B paramètres en termes de capacité équilibrée.
• Comparaisons :
  • A surpassé des stratégies telles que le Mixed-SFT, le Mixed-RL, la Fusion de Modèles (Weight Averaging/TIES) et le Sequential-RL.
  • A démontré que l'utilisation d'un seul "Enseignant Unifié" (entraîné sur des données mixtes) ou d'enseignants à plateforme unique était insuffisant par rapport à l'approche multi-enseignants routée.
• Généralisation :
  • La méthode a préservé les capacités de grounding GUI générales, montrant des améliorations ou des dégradations négligeables sur des benchmarks statiques comme AndroidControl, ScreenSpot-Pro et OSWorld-G, là où d'autres stratégies d'intégration provoquaient souvent des dégradations plus larges.

Signification et Revendications

L'article affirme que la Multi-Teacher On-Policy Distillation offre une approche efficace pour construire des agents GUI cross-plateformes unifiés. La signification centrale réside dans le constat suivant :

• Intégration des Connaissances Spécialisées : Les enseignants spécifiques à chaque plateforme fournissent une supervision complémentaire, et non redondante. Ils agissent comme des ancres stables qui permettent à une politique partagée d'améliorer la complétion des tâches sans effacer les priors de comportement spécifiques à la plateforme.
• Résolution des Conflits : En routant les rollouts vers des enseignants spécifiques, la méthode résout le conflit entre les capacités partagées et les conventions d'interaction divergentes, évitant l'effet de "moyennage" qui affecte les autres méthodes d'intégration.
• Efficacité : L'approche permet à un seul modèle 8B d'atteindre une performance équilibrée sur plusieurs plateformes, ce qui nécessite normalement soit des modèles beaucoup plus grands, soit des agents spécialisés distincts, sans sacrifier la compréhension GUI générale.

Les auteurs concluent que ce cadre établit un nouveau paradigme pour l'entraînement d'agents unifiés dans des environnements hétérogènes, passant d'un simple mélange de données à une intégration de connaissances structurée et sensible aux conditions.