Résumé Technique : LiteGUI - Distillation d'Agents GUI Compacts par Apprentissage par Renforcement

Énoncé du Problème

Le développement d'agents vision-langage GUI légers et exécutés localement est crucial pour une interaction automatisée efficace et multiplateforme. Cependant, les agents locaux actuels (généralement à l'échelle de 2 à 3 milliards de paramètres) font face à des goulots d'étranglement de performance significatifs. Le réglage fin supervisé (SFT) traditionnel sur des modèles à petite échelle conduit souvent à un surajustement, à un oubli catastrophique des capacités fondamentales et à une rigidité des politiques, en particulier dans des environnements d'interface utilisateur dynamiques nécessitant une planification à long horizon. De plus, les approches d'apprentissage par renforcement (RL) existantes reposent souvent sur des récompenses à solution unique et un matching naïf de coordonnées, qui souffrent de sparsité, de faux négatifs et d'une incapacité à gérer la nature multi-solution des tâches GUI. Bien que les modèles à grande échelle (par exemple, GPT-4o, Claude 3.5) démontrent de fortes performances, leur surcharge computationnelle interdit leur déploiement localisé.

Méthodologie

Les auteurs proposent LiteGUI, un paradigme d'entraînement sans SFT novateur qui combine la Distillation Guidée On-Policy (Guided-OPD) et le GRPO Dual-Niveau Multi-Solution (MD-GRPO). Le cadre fonctionne en deux étapes :

1. Distillation Guidée On-Policy (Guided-OPD)

Pour résoudre l'instabilité de la distillation à partir de modèles enseignants dans des contextes GUI complexes, les auteurs introduisent un mécanisme qui conditionne le modèle enseignant sur des ensembles d'actions valides vérifiées par l'homme ($A^*_t$) durant l'entraînement.

• Guidage Privilégié : Le modèle enseignant reçoit la sortie actuelle de l'élève ainsi qu'un signal de « guidage » dérivé des actions valides de référence (ground-truth), tandis que le modèle élève ne reçoit que l'entrée standard. Cela suit le paradigme de « l'apprentissage utilisant des informations privilégiées ».
• Récupération Dynamique : Reconnaissant que les tâches GUI ont souvent plusieurs solutions valides, la méthode emploie une stratégie Most-Matched-GT. Au lieu de sélectionner aléatoirement une seule vérité terrain ou de fournir toutes les actions valides (ce qui pourrait diluer le signal), le système récupère dynamiquement l'action valide du pool qui correspond le mieux au comportement on-policy actuel de l'élève en utilisant une fonction de matching unifiée ($\phi_{gui}$). Cela réduit les hallucinations et le désalignement cognitif.
• Objectif : L'élève est optimisé en utilisant un objectif de divergence KL inverse pour s'aligner sur la distribution de l'enseignant dans ce contexte privilégié.

2. GRPO Dual-Niveau Multi-Solution (MD-GRPO)

Pour surmonter les limites des récompenses à solution unique dans les tâches à long horizon, les auteurs proposent un cadre de récompense à deux niveaux intégré à l'Optimisation de Politique Relative par Groupe (GRPO) :

• Récompense d'Action Multi-Solution ($R_{ms}$) : Au lieu de pénaliser les écarts par rapport à une seule action annotée, la récompense est calculée comme le score de matching maximal entre la sortie du modèle et n'importe quelle action valide dans l'ensemble de vérité terrain ($A^*_t$). Cela atténue les pénalités de « faux négatifs » pour les chemins alternatifs valides.
• Récompense de Planification à Long Horizon ($R_{sub}$) : Une récompense de planification de sous-tâches évalue la qualité de la planification intermédiaire de l'agent. Un juge VLM puissant (Qwen3-VL-32B) évalue la liste de sous-tâches générée en fonction de la pertinence de la tâche, de l'ancrage visuel, de la granularité de la décomposition et de la cohérence de l'état. Crucialement, si l'agent est bloqué ou dans un état d'erreur, le plan doit proposer explicitement une étape corrective pour obtenir un score élevé.
• Optimisation : La récompense totale combine ces deux signaux, normalisés au sein d'un groupe de trajectoires échantillonnées pour calculer les avantages relatifs nécessaires aux mises à jour de la politique.

Infrastructure de Données

Pour soutenir cet entraînement, les auteurs ont construit :

• Lite-Dataset : Un ensemble de données GUI uniquement visuel contenant 30 000 trajectoires et 11 000 annotations multi-solutions vérifiées par l'homme couvrant divers scénarios (Système de fichiers, Web, Terminal).
• Lite-Bench : Un nouveau benchmark avec 160 tâches diversifiées conçues pour évaluer la planification à long horizon et la récupération d'erreurs dans des environnements réalistes, interdisant strictement l'utilisation du terminal pour les tâches de fichiers afin d'imposer une interaction GUI.
• Pipeline Automatisé : Une boucle « génération-vérification-correction » utilisant un modèle enseignant puissant pour synthétiser des trajectoires, suivie d'un audit humain pour créer les annotations multi-solutions.

Contributions Clés

1. Nouveau Paradigme d'Entraînement : L'article propose la première approche d'entraînement sans SFT pour les agents GUI légers, démontrant que la combinaison de la distillation on-policy avec le RL peut débloquer le plein potentiel des modèles à l'échelle de 2 à 3 milliards de paramètres.
2. Distillation Guidée On-Policy : L'introduction de références guidées par oracle et de récupération dynamique de trajectoires pour réduire les hallucinations et s'aligner sur la nature multi-solution des tâches GUI.
3. GRPO Dual-Niveau Multi-Solution : Un cadre RL novateur qui optimise conjointement la planification de sous-tâches au niveau macro et le matching d'exécution au niveau micro, adressant efficacement les goulots d'étranglement d'exploration dans les tâches à long horizon.
4. Ressources : La publication du Lite-Dataset (30 000 trajectoires, 11 000 annotations multi-solutions) et du Lite-Bench (160 instances d'évaluation) pour pallier la rareté des données GUI de haute qualité et multi-solutions.

Résultats Expérimentaux

Des évaluations approfondies ont été menées sur ScreenSpot-Pro, OS-World et le nouveau Lite-Bench.

• Performance : Le modèle Lite-GUI-2B a atteint une nouvelle précision moyenne état-de-l'art (SOTA) de 46,86 % sur ScreenSpot-Pro, surpassant des modèles spécialisés nettement plus grands comme UI-TARS-72B (35,7 %) et JEDI-7B (39,5 %).
• Évolutivité : Le modèle Lite-GUI-30B-A3B a atteint 58,95 % sur ScreenSpot-Pro, surpassant le modèle enseignant Qwen3-VL-32B (58,57 %) et d'autres modèles spécialisés à grande échelle.
• Tâches à Long Horizon : Sur OS-World, Lite-GUI-2B a atteint un taux de réussite de 13,24 %, plus que doublant la performance de son socle de base (vanilla) (6,04 %). Sur Lite-Bench, il a atteint un taux de réussite de 61,76 %, presque le double de la ligne de base.
• Efficacité des Données : Notamment, Lite-GUI-2B a obtenu ces résultats en utilisant uniquement 8 000 échantillons de ShowUI-Desktop pour ScreenSpot-Pro, soulignant l'efficacité des données du cadre proposé.

Importance et Revendications

L'article revendique que la méthode proposée surmonte avec succès les limites du SFT traditionnel et du RL naïf pour les modèles à petite échelle. En contournant entièrement le SFT et en utilisant une distillation on-policy structurée combinée à une exploration dual-niveau multi-solution, LiteGUI permet aux agents locaux d'atteindre des performances compétitives avec des modèles beaucoup plus grands. Les auteurs affirment que leur approche débloque pleinement les capacités des agents à l'échelle de 2 à 3 milliards de paramètres, dépassant les limites de performance de l'apprentissage par imitation conventionnel et offrant une voie viable pour l'automatisation GUI efficace et localisée. Le travail souligne que la combinaison de la distillation guidée et du RL à deux niveaux est essentielle pour gérer la complexité, la nature multi-solution et les exigences à long horizon des tâches GUI réelles.