UI-Venus-1.5 Technical Report

Ce rapport présente UI-Venus-1.5, une nouvelle famille d'agents GUI unifiés et performants (2B, 8B et 30B-A3B) qui, grâce à un pré-entraînement étendu, un apprentissage par renforcement en ligne et une fusion de modèles, établit un nouvel état de l'art sur plusieurs benchmarks tout en démontrant une grande robustesse dans des applications mobiles réelles.

L'essentiel

🌟 Le Super-Héros de votre Écran : UI-Venus-1.5

Imaginez que vous avez un assistant personnel très intelligent, capable de prendre votre téléphone ou votre ordinateur et de faire tout ce que vous lui demandez : réserver un billet de train, acheter des chaussures, ou trouver une recette de cuisine. Le problème, c'est que la plupart des assistants actuels sont comme des enfants qui apprennent à marcher : ils tombent souvent, confondent les boutons, ou ne comprennent pas le contexte.

UI-Venus-1.5, développé par l'équipe de Venus (Ant Group), est ce super-héros qui vient de faire un bond géant en avant. C'est un "Agent d'Interface Graphique" (GUI Agent) conçu pour naviguer dans le monde numérique aussi naturellement qu'un humain.

Voici comment ils ont construit ce génie, expliqué avec des analogies simples :

1. La "Grande École" (Mid-Training) : Avant de courir, il faut apprendre à marcher

Avant de pouvoir résoudre des problèmes complexes, l'IA a dû aller à l'école.

• L'analogie : Imaginez un étudiant qui n'a jamais vu de téléphone de sa vie. Si on lui donne un examen de navigation mobile, il sera perdu.
• Ce que fait UI-Venus-1.5 : Les chercheurs lui ont fait lire 10 milliards de pages (des données) provenant de plus de 30 sources différentes. C'est comme si l'IA avait passé des années à observer des milliers d'humains utiliser des applications, à comprendre la logique des boutons, des menus et des formulaires.
• Le résultat : Avant même d'apprendre à "réfléchir" aux tâches, l'IA comprend déjà parfaitement à quoi ressemble une interface. Elle a acquis une "culture visuelle" solide.

2. L'Entraînement sur le Terrain (Reinforcement Learning) : Apprendre par l'essai et l'erreur

Une fois l'école terminée, il faut pratiquer.

• L'analogie : C'est comme un joueur de football qui s'entraîne d'abord sur un terrain calme (entraînement hors ligne), puis qui joue de vrais matchs contre des équipes adverses dynamiques (entraînement en ligne).
• Ce que fait UI-Venus-1.5 :
  • Phase 1 (Hors ligne) : L'IA s'entraîne sur des milliers d'exemples de tâches réussies pour apprendre les bases.
  • Phase 2 (En ligne - Le vrai déclic) : C'est ici que la magie opère. L'IA a été connectée à une "ferme" de milliers de vrais téléphones et ordinateurs virtuels. Elle a pu essayer de faire des tâches réelles, échouer, voir ce qui ne marchait pas, et réessayer immédiatement.
  • Le secret : Contrairement aux anciennes versions qui apprenaient seulement étape par étape, UI-Venus-1.5 apprend à voir l'histoire complète. Si elle fait une erreur au début d'une tâche, elle apprend à se rattraper plus tard, exactement comme un humain qui se dit : "Oups, j'ai cliqué sur le mauvais bouton, je vais revenir en arrière et corriger".

3. Le "Fusionneur de Talents" (Model Merging) : Un seul cerveau, trois expertises

Avant, pour être bon en navigation mobile, il fallait un modèle. Pour être bon sur le web, un autre. Pour être bon pour cliquer sur un bouton précis, un troisième. C'était lourd et compliqué à gérer.

• L'analogie : Imaginez un super-héros qui a trois costumes séparés : un pour voler, un pour la force, et un pour l'intelligence. Il doit changer de costume à chaque mission.
• Ce que fait UI-Venus-1.5 : Les chercheurs ont pris trois experts (un expert mobile, un expert web, un expert pour cliquer précisément) et ont fusionné leurs cerveaux en un seul modèle unique.
• Le résultat : Vous n'avez plus besoin de changer d'outil. Que ce soit sur un site web, une application mobile chinoise ou un logiciel de bureau, c'est le même agent qui gère tout, sans perdre en performance. C'est comme avoir un couteau suisse qui est aussi tranchant qu'un couteau de chef, aussi solide qu'une hache et aussi précis qu'un scalpel.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Pour tester ce nouveau modèle, ils l'ont mis face à des défis très difficiles, comme des examens blancs :

• Navigation Mobile : Sur Android, il réussit 77,6 % des tâches (contre environ 73 % pour les meilleurs concurrents). C'est comme si un humain réussissait presque tous les défis qu'on lui lance sur son téléphone.
• Navigation Web : Il peut naviguer sur des sites complexes pour acheter des billets ou réserver des hôtels avec 76 % de réussite.
• Précision : Il sait même dire "Je ne vois pas ce bouton" s'il n'est pas là, au lieu d'inventer une réponse (ce qu'on appelle une "hallucination").

🇨🇳 Le Petit Plus : L'Expertise Locale

Ce qui rend ce modèle vraiment spécial, c'est qu'il a été entraîné spécifiquement sur plus de 40 applications mobiles chinoises (comme WeChat, Alipay, etc.).

• L'analogie : La plupart des IA sont comme des touristes qui visitent la Chine avec un guide basique. UI-Venus-1.5 est comme un local qui connaît les ruelles, les menus des restaurants et les astuces pour acheter un billet de train à 3 heures du matin. Il comprend les nuances culturelles et les interfaces complexes spécifiques à ce marché.

En Résumé

UI-Venus-1.5 n'est pas juste une amélioration technique ; c'est un changement de paradigme.

1. Il a lu des millions de livres pour comprendre le monde numérique (Mid-Training).
2. Il a joué des milliers de matchs réels pour apprendre à ne pas paniquer quand les choses tournent mal (Online RL).
3. Il a fusionné toutes ses compétences en un seul cerveau polyvalent (Model Merging).

Le but final ? Transformer votre téléphone en un assistant personnel qui fait le travail à votre place, de manière fiable, rapide et intelligente, que ce soit pour acheter un café ou gérer vos finances. C'est un pas de géant vers un futur où l'ordinateur travaille vraiment pour nous, et non l'inverse.

Résumé technique

1. Problématique et Contexte

Les agents d'interface graphique (GUI) ont émergé comme un paradigme puissant pour automatiser les interactions dans les environnements numériques. Cependant, le domaine fait face à deux défis majeurs :

• Le compromis entre généralité et performance : Créer un agent capable de gérer une large variété de tâches tout en maintenant des performances élevées reste difficile.
• L'écart entre la précision par étape et la précision de la trajectoire : Les méthodes d'apprentissage actuelles (SFT, RL hors ligne) optimisent souvent les actions individuelles, ce qui conduit à une dégradation des performances lors de la composition de trajectoires complètes pour des tâches complexes à long horizon.
• La complexité du déploiement : La nécessité d'avoir des modèles spécialisés séparés pour la localisation (grounding), le web et le mobile complique l'intégration et le déploiement dans des applications réelles.

L'objectif de ce rapport est de présenter UI-Venus-1.5, une famille de modèles d'agents GUI unifiés, de bout en bout, conçue pour surmonter ces limitations et offrir une solution robuste pour des applications mondiales.

2. Méthodologie

UI-Venus-1.5 repose sur une architecture unifiée et un pipeline d'entraînement en quatre étapes distinctes, basé sur la famille de modèles Qwen3-VL.

A. Architecture et Espaces d'Action

Le modèle est conçu comme un agent multimodal de bout en bout. Il interprète les instructions en langage naturel, perçoit l'état de l'interface via des captures d'écran et exécute des actions interactives.

• Espace d'action étendu : Au-delà des actions mobiles classiques, le modèle intègre des primitives spécifiques au web telles que le survol (Hover), le double-clic (DoubleClick) et les raccourcis clavier (Hotkey), unifiant ainsi les interactions mobiles et web.

B. Pipeline d'Entraînement

Le processus d'entraînement se déroule en quatre phases clés :

1. Phase de Mid-Training (Entraînement Intermédiaire) :

   • Objectif : Combler le fossé sémantique entre la perception visuelle générale et la compréhension fine des structures GUI.
   • Données : Utilisation d'un corpus massif de 10 milliards de tokens provenant de plus de 30 ensembles de données (incluant Mind2Web, ShowUI, AITW, etc.).
   • Raffinement itératif : Un pipeline de qualité utilise un "enseignant" (Qwen3-VL-235B) pour noter, réécrire et filtrer les trajectoires, augmentant la proportion d'échantillons haute fidélité de 69,7 % à 89,7 %.
   • Génération de données DaaS : Un boucle de génération sur des appareils réels (Device-as-a-Service) permet de collecter des trajectoires d'interaction réelles, améliorant le taux de succès de génération de trajectoires de 17,9 % à plus de 70 %.

2. Apprentissage par Renforcement Hors Ligne (Offline-RL) :

   • Entraînement spécifique pour trois domaines : localisation (grounding), mobile et web.
   • Récompenses : Combinaison de récompenses de format (respect du schéma XML) et d'actions (précision des coordonnées, correspondance du type d'action).
   • Capacité de refus : Introduction d'une capacité à rejeter les instructions impossibles (retour de coordonnées [-1, -1]) pour réduire les hallucinations.

3. Apprentissage par Renforcement En Ligne (Online-RL) :

   • Infrastructure DaaS : Utilisation d'une couche "Device-as-a-Service" unifiée (GCGW + SDK) permettant de gérer des milliers d'appareils hétérogènes (Android, Chrome, Linux) avec une haute concurrence et une faible latence.
   • Objectif : Résoudre le problème de l'écart entre la précision par étape et la précision de la trajectoire. L'agent apprend par interaction directe avec l'environnement dynamique.
   • Algorithme : Utilisation de GRPO (Group Relative Policy Optimization) avec une estimation d'avantage au niveau de la trajectoire complète, évitant ainsi le besoin d'un réseau de valeur séparé. Des mécanismes de régularisation (contrainte KL adaptative et régularisation d'entropie) assurent la stabilité.

4. Fusion de Modèles (Model Merging) :

   • Pour obtenir un agent unique, les modèles spécialisés (Grounding, Web, Mobile) sont fusionnés.
   • Stratégie : Comparaison entre la fusion linéaire et TIES-Merge. Les résultats montrent que TIES-Merge est supérieur, réduisant les interférences de paramètres et maintenant des performances élevées sans perte significative par rapport aux modèles spécialisés.

3. Contributions Clés

1. Phase de Mid-Training à grande échelle : L'intégration de 10 milliards de tokens de données GUI spécifiques avant le RL permet d'établir des fondations sémantiques solides, rendant l'agent capable de résoudre des tâches de base même avant le RL.
2. Apprentissage par Renforcement En Ligne à grande échelle : L'utilisation de l'Online-RL avec des trajectoires complètes et des récompenses basées sur la réussite de la tâche permet de surmonter les limitations des données statiques et d'améliorer la navigation dans des environnements dynamiques.
3. Agent Unifié par Fusion de Modèles : Contrairement aux approches précédentes nécessitant plusieurs modèles, UI-Venus-1.5 est un modèle unique (2B, 8B, et 30B-A3B) capable de gérer le grounding, le web et le mobile, simplifiant considérablement le déploiement.
4. Optimisation pour l'écosystème chinois : Le modèle est spécifiquement optimisé pour plus de 40 applications mobiles chinoises tierces, démontrant une utilité pratique immédiate (réservation de billets, achats, gestion de conversations).

4. Résultats Expérimentaux

Les évaluations montrent que UI-Venus-1.5 établit de nouveaux records (SOTA) sur de multiples benchmarks :

• Localisation (Grounding) :

  • ScreenSpot-Pro : 69,6 % (vs 67,9 % pour le précédent leader MAI-UI-32B).
  • VenusBench-GD : 75,0 %.
  • OSWorld-G-R : 76,4 %.
  • Le modèle surpasse les VLMs généraux et les agents GUI spécialisés, avec des gains d'échelle constants (de 2B à 30B-A3B).

• Navigation :

  • AndroidWorld : 77,6 % de taux de succès, surpassant Mobile-Agent-v3 et MAI-UI.
  • AndroidLab : Jusqu'à 68,1 % (version vérifiée manuellement), surpassant les modèles de 72B de la génération précédente.
  • WebVoyager : 76,0 %, se positionnant parmi les meilleurs agents web.
  • VenusBench-Mobile : 21,5 %, un nouveau record sur ce benchmark difficile.

• Analyse Ablative :

  • La phase de Mid-Training améliore la séparabilité des clusters dans l'espace latent (+34 %).
  • L'Online-RL apporte le gain le plus significatif pour la navigation complexe (+14,5 % sur AndroidWorld pour le modèle 2B).
  • La fusion de modèles (TIES-Merge) permet de conserver la performance tout en unifiant les capacités.

5. Signification et Impact

UI-Venus-1.5 représente une avancée majeure vers des assistants numériques véritablement autonomes et centrés sur l'utilisateur.

• Efficacité et Déploiement : En unifiant les capacités de grounding et de navigation dans un seul modèle end-to-end, le rapport élimine la complexité des architectures multi-agents et réduit la latence.
• Robustesse Réelle : La capacité du modèle à naviguer avec succès dans des applications mobiles chinoises complexes et à gérer des tâches à long horizon démontre sa maturité pour des déploiements industriels.
• Nouveau Paradigme d'Entraînement : L'approche combinant Mid-Training massif, Offline-RL, Online-RL et fusion de modèles offre une feuille de route reproductible pour le développement d'agents GUI de prochaine génération.

En résumé, UI-Venus-1.5 ne se contente pas d'améliorer les métriques académiques ; il résout des problèmes pratiques de déploiement, offrant un agent robuste, efficace et capable de gérer la complexité du monde numérique réel.