CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks

Le papier présente CRAFT-GUI, un cadre d'apprentissage par renforcement intégrant un curriculum et une fonction de récompense fine pour surmonter les limites des méthodes actuelles en matière de difficulté variable et de feedback, améliorant ainsi significativement les performances des agents autonomes sur les tâches d'interface graphique.

L'essentiel

🎓 CRAFT-GUI : L'Art d'Enseigner à un Robot Comment Utiliser Votre Téléphone

Imaginez que vous essayez d'enseigner à un enfant comment utiliser un smartphone pour commander un repas, réserver un taxi ou jouer à un jeu.

Si vous lui donnez d'un coup la tâche la plus difficile possible (par exemple : "Trouve le restaurant le plus proche, vérifie les avis, commande un plat spécifique, choisis une option de livraison et paie avec une carte précise"), l'enfant va probablement paniquer, faire des erreurs et abandonner. C'est ce qui arrive actuellement aux intelligences artificielles (IA) lorsqu'on leur demande d'interagir avec des applications mobiles.

Le papier CRAFT-GUI propose une nouvelle méthode pour entraîner ces IA, un peu comme un professeur très patient qui utilise un programme scolaire progressif.

1. Le Problème : "Trop, trop vite !"

Les méthodes actuelles traitent toutes les tâches de la même manière, comme si l'on demandait à un élève de première année de faire des maths universitaires et des additions simples dans le même exercice.

• Le résultat : L'IA se perd, apprend mal et devient instable.
• L'analogie : C'est comme essayer d'apprendre à nager en vous jetant directement dans l'océan avec des vagues de 3 mètres, sans jamais avoir touché une piscine.

2. La Solution : Le "Curriculum" (Le Programme Scolaire)

Les auteurs ont créé CRAFT-GUI (Curriculum-Reinforced Agent for GUI Tasks). Le mot clé ici est "Curriculum". Au lieu de tout mélanger, ils organisent l'apprentissage en trois étapes, comme un jeu vidéo qui commence par des niveaux faciles :

• Niveau 1 (Débutant) : Des tâches simples et courtes. Exemple : "Appuie sur le bouton 'Accueil'." (1 à 3 étapes).
• Niveau 2 (Intermédiaire) : Des tâches un peu plus longues. Exemple : "Ouvre l'appli de livraison, choisis un restaurant." (4 à 8 étapes).
• Niveau 3 (Expert) : Des tâches complexes qui demandent de la logique et de la compréhension visuelle. Exemple : "Regarde l'écran, trouve le prix le plus bas, compare-le avec le menu, puis commande." (Plus de 8 étapes ou besoin de comprendre des images).

L'IA commence par le niveau 1, maîtrise, puis passe au niveau 2, et ainsi de suite. Elle ne saute jamais une marche.

3. Le Système de Récompense : Un Coach Intelligent

Dans l'entraînement des IA, on utilise souvent des "récompenses" (des points) quand l'IA fait bien. Mais les anciennes méthodes donnaient une récompense trop vague : "Bravo, tu as fini !" ou "Non, tu as raté".

CRAFT-GUI utilise un système de récompense fin et précis, comme un coach de sport qui ne dit pas juste "c'est bien", mais qui explique :

• ✅ "Tu as bien cliqué sur le bon bouton !" (Récompense pour l'action).
• ✅ "Tu as bien écrit le texte demandé." (Récompense pour le contenu).
• ⚠️ "Tu as trop parlé avant de faire l'action, sois plus concis." (Pénalité pour la longueur).
• ❌ "Tu as cliqué à côté du bouton." (Pénalité pour la précision).

Ce système permet à l'IA de comprendre exactement où elle s'est trompée et comment s'améliorer, même si la tâche est difficile.

4. Le Résultat : Un Super-Héros du Mobile

Grâce à cette méthode, les chercheurs ont testé leur IA sur deux types de tests :

1. Des tests publics connus (comme AndroidWorld).
2. Leur propre test secret avec 80 000 situations réelles (commander à manger, gérer des assurances, jouer, etc.).

Les résultats sont impressionnants :

• L'IA de CRAFT-GUI a battu les meilleures IA existantes de 7,1 % sur les tests publics.
• Sur leurs propres tests complexes, elle a gagné 10,3 % de plus que les concurrents.

C'est comme si, grâce à ce programme scolaire progressif, l'IA est passée de "l'élève moyen" à "l'élève brillant" capable de gérer n'importe quelle application sur votre téléphone, même les plus compliquées.

En Résumé

CRAFT-GUI, c'est l'idée que pour apprendre à une IA à utiliser un téléphone, il ne faut pas la noyer sous des tâches impossibles dès le début. Il faut lui apprendre petit à petit, du plus simple au plus complexe, avec des conseils précis à chaque étape. C'est ainsi qu'on obtient un agent intelligent, fiable et capable de vraiment nous aider au quotidien.

Résumé technique

, , `) pour améliorer le raisonnement et la stabilité.
* Pénalité de longueur ($P_{length}$) : Une contrainte adaptative pénalise les réponses trop longues pour éviter l'explosion des tokens de réflexion.

• Pour les tâches de compréhension visuelle :
  • Une récompense sémantique ($R_{sem}$) est utilisée, évaluée par un LLM pour vérifier l'alignement entre la réponse du modèle et la vérité terrain, complétée par les récompenses de format et de longueur.

3. Contributions Clés

1. Stratégie RL par Curriculum : Une méthode systématique qui progresse des tâches simples aux complexes basée sur les caractéristiques des trajectoires, améliorant la stabilité et l'efficacité de l'échantillonnage.
2. Mécanisme de Récompense Hybride : Intégration de règles vérifiables et d'évaluations par modèle pour fournir un feedback multidimensionnel (sélection d'outil, précision spatiale, correction sémantique).
3. Entraînement Joint Opération/Compréhension : Combinaison de tâches d'exécution et de compréhension visuelle pour développer simultanément des compétences d'action de bas niveau et une compréhension de haut niveau.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de base Qwen2.5-VL (7B et 32B paramètres) avec une puissance de calcul équivalente à 96 GPU NVIDIA A100.

• Benchmarks Publics (AndroidWorld) : CRAFT-GUI-32B a surpassé les approches de l'état de l'art (SOTA) de 7,1 % en taux de réussite (SR).
• Données Internes (Dataset Privé) : Sur un ensemble de données propriétaire couvrant 6 catégories d'applications (livraison de nourriture, services financiers, jeux, etc.), la méthode a dépassé les meilleurs baselines (y compris Claude-3.7-Sonnet et GPT-4.1) de 10,3 % en moyenne.
• Études d'Abalation :
  • L'ajout du curriculum au RL standard a apporté un gain de 3,8 % par rapport au RL "Vanilla".
  • L'inclusion de données de compréhension visuelle dans l'entraînement a amélioré la réussite des tâches d'opération de 2,5 %, démontrant que la compréhension sémantique renforce l'exécution.

5. Signification et Impact

CRAFT-GUI démontre empiriquement que l'intégration de l'apprentissage par curriculum avec l'apprentissage par renforcement est cruciale pour l'entraînement d'agents GUI. En traitant la difficulté des tâches de manière dynamique et en fournissant un feedback plus riche, le modèle atteint une meilleure généralisation et une plus grande robustesse. Ce travail ouvre la voie vers des agents plus polyvalents capables de raisonner et d'interagir de manière autonome avec des environnements numériques complexes, posant les bases pour de futures extensions vers des tâches informatiques générales et des mécanismes d'essai-erreur avec retour en arrière (rollback).