💻 computer science

Agentic Reward Modeling: Verifying GUI Agent via Progressive Trajectory-Grounded Interaction

Ce document présente VAGEN, un cadre qui emploie un agent vérificateur augmenté d'outils avec un mécanisme de vérification progressif, de la surface vers le latent, afin de surmonter les limites des méthodes existantes de modélisation de récompense passives et de sur-exploration, améliorant ainsi de manière significative l'exactitude et l'efficacité de l'évaluation des agents GUI sur des benchmarks tels qu'OSWorld-Verified et AndroidWorld.

Auteurs originaux : Chaoqun Cui, Jing Huang, Shijing Wang, Liming Zheng, Qingchao Kong, Zhixiong Zeng

Publié 2026-07-28

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chaoqun Cui, Jing Huang, Shijing Wang, Liming Zheng, Qingchao Kong, Zhixiong Zeng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment utiliser un ordinateur. Vous voulez qu'il ouvre des applications, clique sur des boutons et accomplisse des tâches comme acheter un livre ou organiser des fichiers. Pour enseigner au robot, vous avez besoin d'un moyen de lui dire s'il a bien fait son travail ou s'il s'est trompé. C'est le monde de l'Apprentissage par Renforcement (Reinforcement Learning), où une IA apprend en essayant des choses et en recevant des « récompenses » en cas de succès. Mais voici la partie délicate : comment savoir si le robot a réellement terminé la tâche ? A-t-il vraiment acheté le livre, ou a-t-il simplement cliqué sur un bouton qui ressemblait à un bouton d'achat ? C'est le problème de la Modélisation de la Récompense (Reward Modeling). Si le robot pense avoir réussi alors qu'il a échoué, il continuera à commettre la même erreur. S'il pense avoir échoué alors qu'il a réussi, il sera confus et arrêtera d'essayer. Obtenir ce « score » correctement est la différence entre un robot maladroit et un assistant utile.

Pendant longtemps, les scientifiques ont essayé deux méthodes principales pour noter le robot. La première était comparable à un professeur strict avec une liste de contrôle : « Le fichier est-il apparu ? Oui. La fenêtre s'est-elle fermée ? Oui. » Cela fonctionne pour des tâches simples, mais cela s'effondre lorsque la tâche est créative ou ouverte. La seconde méthode consistait à demander à une IA très intelligente (un Grand Modèle de Langage) de regarder une vidéo du travail du robot et de deviner s'il a réussi. C'est évolutif, mais l'IA est passive ; elle ne peut que regarder ce qu'elle voit à l'écran. Elle ne peut pas jeter un coup d'œil à l'intérieur du « cerveau » de l'ordinateur pour voir si un fichier a réellement été sauvegardé en arrière-plan. C'est comme un professeur qui noterait une épreuve de mathématiques en regardant seulement la copie finale de l'élève, sans vérifier si l'élève a réellement fait le travail ou s'il s'agissait d'une réponse chanceuse.

Ce document présente une nouvelle façon plus intelligente de noter ces robots utilisant l'ordinateur. Les auteurs, Chaoqun Cui et ses collègues, proposent un système appelé VAGEN. Au lieu de simplement regarder une vidéo ou de vérifier une liste de contrôle, VAGEN utilise un « Agent Vérificateur » — un second IA détective qui peut enquêter activement. Imaginez un détective qui ne se contente pas de lire l'alibi du suspect (la vidéo du robot), mais qui a aussi le pouvoir d'entrer sur la scène du crime, de vérifier les fichiers cachés et de mener des tests pour voir si l'histoire tient la route. Les auteurs ont découvert que cette approche active et d'investigation est bien meilleure pour déceler la vérité, surtout lorsque les actions du robot laissent des indices qui ne sont pas visibles à l'écran. Ils ont montré que cette méthode est non seulement plus précise, mais aussi plus efficace, prouvant que parfois, il faut se salir les mains pour savoir si un travail est réellement terminé.

Le Détective du Monde Numérique

Alors, comment fonctionne réellement ce nouveau détective, VAGEN ? Les auteurs ont réalisé que vérifier si un robot a terminé une tâche est souvent plus facile que d'accomplir la tâche elle-même. C'est la différence entre cuisiner un gâteau et vérifier si le gâteau est cuit. Le boulanger (le robot « Acteur ») doit mélanger les ingrédients, surveiller le four et décorer le gâteau. Le juge (le « Vérificateur ») doit juste piquer le gâteau avec un cure-dent ou sentir la cuisine pour savoir s'il est prêt. Les auteurs appellent cela la propriété « facile à vérifier, difficile à résoudre ».

Pour réaliser cela, VAGEN utilise un Mécanisme de Vérification Progressive. Imaginez que le vérificateur est un détective résolvant un mystère, et qu'il possède une stratégie spécifique pour éviter de perdre du temps. Il ne commence pas directement par enfoncer les portes ; il commence par les indices les plus faciles et ne devient plus agressif que si nécessaire.

Étape 1 : Le coup d'œil rapide (Évaluation statique)
D'abord, le vérificateur regarde l'image finale de l'écran de l'ordinateur et un résumé de ce que le robot a fait. Il demande : « Est-ce que cela ressemble à une victoire ? » Si l'écran affiche clairement un message « Commande confirmée », le détective dit : « Affaire classée ! » et passe à la suite. C'est rapide et peu coûteux.

Étape 2 : Rembobiner la cassette (Rétrospection visuelle)
Si l'image finale est confuse — peut-être que l'écran est vide, ou que le message est caché — le détective n'abandonne pas. Au lieu de cela, il rembobine la vidéo. Il examine des captures d'écran des étapes précédentes pour trouver des indices. Peut-être que le robot a cliqué sur le bon bouton il y a cinq minutes, même si l'écran final est désordonné. C'est comme consulter les images de la caméra de surveillance pour voir si le suspect est réellement entré dans le bâtiment.

Étape 3 : Entrée fracassante (Sondage proactif)
Parfois, les indices ne sont pas du tout sur l'écran. Peut-être que le robot devait sauvegarder un fichier sur un disque dur, mais l'écran affiche simplement un message générique « Terminé ». L'écran ment, ou du moins, il cache la vérité. C'est là que VAGEN devient vraiment génial. L'agent vérificateur possède des outils spéciaux pour interagir activement avec l'ordinateur. Il peut exécuter du code, vérifier le système de fichiers ou même cliquer sur des boutons lui-même pour tester si le fichier est réellement là. C'est comme si le détective obtenait enfin un mandat pour perquisitionner la maison du suspect. Il ne se contente pas de croire l'histoire ; il va vérifier dans le sous-sol.

Le document montre que cette approche « de la surface vers le latent » (passer de la surface de l'écran aux profondeurs cachées du système) change la donne. Les auteurs ont testé VAGEN sur deux grands ensembles de tâches : OSWorld-Verified (ordinateurs de bureau) et AndroidWorld (téléphones mobiles).

Les Résultats : Plus Intelligent et Plus Rapide

Lorsque les auteurs ont analysé les chiffres, VAGEN ne s'est pas contenté de bien s'en sortir ; il a écrasé la concurrence. Sur le benchmark de bureau, alors que d'autres méthodes peinaient à dépasser les 80 % de précision, VAGEN a atteint 92,9 % de précision selon l'évaluation d'experts humains. Plus impressionnant encore, il l'a fait sans avoir besoin de vérifier chaque capture d'écran ou de lancer des tests interminables. Il était assez intelligent pour s'arrêter tôt lorsqu'il trouvait la réponse.

Le document souligne également une découverte cruciale : l'interaction active est nécessaire, mais n'est pas toujours la première étape. Les méthodes précédentes qui reposaient lourdement sur le « sondage » (la vérification du système) étaient souvent lentes et inefficaces car elles ne regardaient pas d'abord les preuves vidéo. Elles étaient comme des détectives qui enfoncent immédiatement la porte sans même regarder la porte d'entrée d'abord. VAGEN, cependant, utilise les preuves vidéo pour guider son enquête. Il ne pénètre dans le système que lorsque la vidéo ne suffit plus. Cet équilibre l'a rendu beaucoup plus efficace, utilisant moins de ressources informatiques (comme des « étapes » ou des « tokens ») pour obtenir une meilleure réponse.

Les auteurs ont également testé si l'on pouvait rendre le vérificateur encore meilleur en lui demandant de vérifier la même tâche plusieurs fois (une stratégie appelée « mise à l'échelle » ou scaling). Ils ont découvert que même en limitant le vérificateur à la seule « lecture » des données et sans rien modifier, celui-ci devenait encore plus intelligent. Cela suggère que le travail principal du vérificateur est d'enquêter, et non de manipuler l'ordinateur.

Pourquoi cela importe

La grande conclusion est que nous n'avons pas à choisir entre un observateur paresseux et un détective indiscret. Nous pouvons avoir les deux. En combinant l'observation passive de la vidéo du robot avec le pouvoir actif de vérifier les états cachés de l'ordinateur, VAGEN crée un système de récompense qui est à la fois fiable et efficace.

Les auteurs soutiennent que c'est l'avenir de l'entraînement des agents d'IA. Si nous voulons des robots qui puissent réellement nous aider avec nos ordinateurs et nos téléphones, nous avons besoin d'un moyen de les noter qui ne soit pas trompé par une jolie image. VAGEN suggère qu'en donnant à nos évaluateurs d'IA les outils pour creuser plus profondément, nous pouvons apprendre à nos robots à être beaucoup plus compétents. Le document ne prétend pas avoir résolu tous les problèmes du monde, mais il montre une voie claire à suivre : arrêtez de simplement regarder le spectacle, et commencez à vérifier les coulisses.

Résumé Technique : Modélisation de Récompense Agentique via VAGEN

1. Énoncé du Problème

L'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est un cadre critique pour faire progresser les agents d'Interface Graphique Utilisateur (GUI) : Cependant, les paradigmes actuels de modélisation de récompense font face à des limitations complémentaires qui entravent un entraînement évolutif et précis :

Méthodes Fondées sur des Règles : Bien qu'elles soient précises pour des tâches spécifiques, elles reposent sur des scripts conçus manuellement (ex: tests unitaires) qui manquent de scalabilité. Elles ne parviennent pas à gérer des tâches ouvertes ou des tâches avec de multiples solutions valides, et nécessitent un effort humain prohibitif.
LLM-as-a-Judge (Vérification Passive) : Ces méthodes exploitent des Grands Modèles de Langage (LLM) pour analyser les trajectoires de tâches (captures d'écran et raisonnement textuel). Bien que scalables, elles sont intrinsèquement passives, incapables de revisiter de manière autonome des états intermédiaires spécifiques. Plus crucial encore, elles souffrent d'une observabilité partielle de l'état ; elles dépendent de preuves visuelles qui peuvent omettre des états système latents (ex: changements dans le système de fichiers, processus en arrière-plan) cruciaux pour déterminer le succès de la tâche.
Interaction Active avec l'Environnement : Des approches récentes introduisent un agent vérificateur pour sonder l'environnement, atténuant les problèmes d'observabilité. Cependant, ces méthodes sur-reposent sur le sondage, ignorant les preuves directes déjà présentes dans la trajectoire. Cela mène à une inefficacité, car le vérificateur peut effectuer des interactions redondantes même lorsque la trajectoire contient des indices suffisants.

Le défi central est d'unifier l'efficacité de l'analyse de trajectoire avec la rigueur de l'interaction active avec l'environnement sans engendrer de coûts computationnels excessifs.

2. Méthodologie : Le Cadre VAGEN

Les auteurs proposent VAGEN (Verification via Agentic Trajectory-Grounded Environment Interaction), un cadre qui emploie un agent vérificateur augmenté d'outils et régi par un Mécanisme de Vérification Progressive.

2.1 Philosophie Centrale

VAGEN opère selon une philosophie de conception « de la surface vers le latent » et du « peu coûteux vers l'onéreux ». Il donne la priorité à l'extraction de preuves directes à partir de la trajectoire enregistrée avant de recourir à des interactions environnementales coûteuses. Cela s'appuie sur l'observation que les tâches GUI suivent souvent une propriété « facile à vérifier, difficile à résoudre » : un agent vérificateur peut souvent confirmer l'achèvement d'une tâche avec moins d'étapes et un taux de réussite plus élevé que l'agent acteur requis pour résoudre la tâche.

2.2 Composants Clés

Agent Vérificateur Augmenté d'Outils ( $\pi_e$ ) :
Le vérificateur est équipé de quatre outils essentiels :
- Check Screenshot (Vérifier la capture d'écran) : Récupère des captures d'écran spécifiques de la trajectoire de l'acteur pour inspection visuelle.
- Execute Shell (Exécuter un Shell) : Exécute des commandes shell pour vérifier les états système latents (ex: attributs de fichiers).
- Execute Python (Exécuter Python) : Exécute du code Python pour des vérifications logiques complexes.
- Computer Use (Utilisation de l'ordinateur) : Interagit directement avec l'environnement GUI (partageant l'espace d'action de l'acteur) pour sonder des signaux.
- Note : Dans les environnements mobiles (AndroidWorld), les outils shell et Python sont exclus en raison des limitations d'interface.
Consolidation de la Mémoire de Trajectoire :
Pour réduire le bruit, un LLM résume la trajectoire de l'acteur, filtrant le raisonnement subjectif (qui peut contenir des hallucinations) et ne conservant que les observations d'état factuelles et les actions atomiques. Cela crée un historique d'opérations concis $H$ pour le vérificateur.
Mécanisme de Vérification Progressive :
Le processus de vérification se déroule en trois étapes séquentielles, permettant un arrêt précoce si des preuves suffisantes sont trouvées :
- Étape 1 : Évaluation Statique : L'agent évalue la capture d'écran terminale et le résumé des opérations sans outils. Si des preuves claires existent, il produit immédiatement une récompense et un niveau de confiance.
- Étape 2 : Rétrospection Visuelle : Si l'état terminal est ambigu, l'agent invoque l'outil Check Screenshot pour inspecter des captures d'écran intermédiaires historiques, construisant ainsi un ensemble de preuves visuelles indirectes.
- Étape 3 : Sondage Proactif : Si les preuves visuelles sont insuffisantes (ex: pour des changements système non visuels), l'agent passe à une interaction active en utilisant Execute Shell, Execute Python ou Computer Use pour interroger les états latents.

2.3 Stratégies de Mise à l'Échelle au Moment de l'Inférence (Test-Time Scaling)

Mise à l'échelle en Lecture Seule (Vérificateur) : Pour mettre à l'échelle la vérification sans le coût élevé de la restauration de l'état de l'environnement, le vérificateur est restreint à un espace d'action en lecture seule. Cela permet à plusieurs échantillons de vérification d'être exécutés sériellement sur une seule instance d'environnement sans réinitialisation.
Mise à l'échelle Guidée par la Récompense (Acteur) : VAGEN guide l'agent acteur via l'échantillonnage de rejet Best-of-N. Le vérificateur évalue $N$ trajectoires échantillonnées, et celle qui possède la plus haute confiance parmi les prédictions réussies est sélectionnée.

3. Principales Contributions

Changement de Paradigme : L'article identifie et préconise un paradigme de vérification interactive ancrée dans la trajectoire, unifiant l'analyse de trajectoire passive et l'interaction active avec l'environnement pour remédier aux limitations des méthodes existantes.
Cadre VAGEN : L'introduction d'un agent vérificateur augmenté d'outils utilisant un Mécanisme de Vérification Progressive qui équilibre efficacité et rigueur en privilégiant les preuves de la trajectoire avant le sondage environnemental.
Validation Empirique : Des expériences approfondies démontrant que VAGEN surpasse les bases de référence passives (LLM-as-a-Judge) et actives (ProRe) en termes de précision et d'efficacité, tout en guidant efficacement l'apprentissage par renforcement et la mise à l'échelle au moment de l'inférence.

4. Résultats Expérimentaux

Le cadre a été évalué sur les benchmarks OSWorld-Verified (desktop) et AndroidWorld (mobile).

Précision de la Vérification : VAGEN a atteint des performances de pointe, surpassant les bases de référence comme ProRe et ZeroGUI. Sur OSWorld-Verified avec une vérité de terrain par évaluation humaine, VAGEN a atteint 92,9 % de précision (contre 87,3 % pour ProRe) avec une configuration équilibrée des classes, et 93,4 % avec une configuration déséquilibrée.
Efficacité : VAGEN a démontré un compromis performance-efficacité favorable. Il nécessite moins d'images d'entrée et de tokens de sortie que ProRe et atteint la vérification avec moins d'étapes moyennes (17,4 contre 25,2 pour ProRe sur OSWorld).
Apprentissage par Renforcement : Utilisé comme signal de récompense pour l'entraînement RL en ligne (GRPO) avec UI-TARS-1.5-7B, VAGEN a amélioré le taux de réussite de l'acteur à 34,3 %, surpassant la base de référence la plus forte (ProRe) de 3,8 points.
Mise à l'échelle au moment de l'inférence (Test-Time Scaling) : VAGen a montré une efficacité d'échantillonnage supérieure dans le Best-of-N scaling, égalant les performances des autres méthodes à $N=8$ avec seulement $N=5$ échantillons. La mise à l'échelle en lecture seule a également amélioré la précision du vérificateur sans réinitialisation de l'environnement.

5. Signification et Revendications

L'article affirme que VAGEN fournit une solution robuste au problème de l'« observabilité partielle de l'état » dans la modélisation de récompense des agents GUI. En ancrant la vérification dans la trajectoire d'abord et en passant à l'interaction avec l'environnement uniquement si nécessaire, VAGEN évite l'inefficacité des méthodes de pur sondage tout en surmontant l'aveuglement des juges LLM passifs.

Les auteurs soulignent que cette approche permet d'obtenir des signaux de récompense binaires fiables, essentiels pour le RLVR, qui sont actuellement difficiles à obtenir à grande échelle. Le cadre est présenté comme un vérificateur "plug-in" capable d'améliorer à la fois l'entraînement des agents GUI et leurs performances lors de l'inférence grâce à un meilleur guidage de la récompense et un échantillonnage de rejet. Les résultats suggèrent que la propriété « facile à vérifier, difficile à résoudre » est un fondement viable pour la vérification d'agents scalable dans des environnements numériques complexes.