WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions

L'article présente WARC-Bench, un nouveau benchmark utilisant des fichiers Web ARChive pour évaluer des agents d'IA multimodaux sur des sous-tâches d'interface graphique complexes, démontrant que, si les modèles de pointe actuels peinent, les modèles open-source s'améliorent considérablement grâce à un affinage supervisé et à l'apprentissage par renforcement avec des récompenses vérifiables pour atteindre des performances compétitives.

L'essentiel

Imaginez que vous enseigniez à un robot comment utiliser un ordinateur. La plupart des tests précédents demandaient au robot de faire l'une des deux choses suivantes : soit pointer un seul bouton sur un écran (« Cliquez sur le bouton rouge »), soit planifier un voyage massif et complexe (« Réservez des vacances pour une famille de quatre personnes, incluant des vols, des hôtels et des locations de voiture, le tout pour moins de 2 000 $ »).

Les auteurs de cet article ont réalisé qu'il existait un énorme vide au milieu. Ils ont remarqué qu'avant de pouvoir réserver ces vacances, un robot doit maîtriser les étapes minuscules et délicates intermédiaires : faire défiler une liste pour trouver une date spécifique, glisser un curseur pour ajuster un budget, ou remplir un formulaire sans effacer accidentellement le texte déjà présent. Ils appellent ces éléments des « sous-tâches d'interface graphique (GUI) ».

Voici une décomposition simple de leur travail, WARC-Bench :

1. Le Problème : Le « Milieu Manquant »

Pensez à une tâche web complexe comme la préparation d'un gâteau.

• Ancrage Visuel : « Prenez l'œuf. » (Trop simple).
• Navigation à Long Terme : « Cuisez un gâteau, glacez-le et livrez-le à une fête. » (Trop complexe, trop de variables).
• Le Milieu Manquant : « Cassez l'œuf dans le bol sans mettre de coquille dedans », ou « Fouettez la pâte jusqu'à ce qu'elle soit lisse ».

Les auteurs soutiennent que les robots IA actuels échouent à ces « étapes intermédiaires ». Ils peuvent savoir ce qu'est un gâteau, mais ils peinent avec les mécanismes spécifiques et minutieux des ustensiles de cuisine.

2. La Solution : Une Cuisine de Test « Voyageant dans le Temps »

Pour tester ces robots, l'équipe a construit WARC-Bench.

Habituellement, tester des robots sur le véritable internet est chaotique. Les sites web changent, des pop-ups apparaissent et les serveurs plantent. Pour résoudre cela, l'équipe a utilisé des fichiers WARC (Archives Web).

• L'Analogie : Imaginez prendre une capture d'écran parfaite et figée d'un site web à un moment précis, incluant tous ses boutons, scripts et images. Vous placez cette capture dans une « capsule temporelle ».
• Comment cela fonctionne : Lorsqu'ils testent un robot, ils ne l'envoient pas sur l'internet en direct. Ils l'envoient dans cette « capsule temporelle ». Le robot interagit avec cette copie figée et parfaite du site web. C'est comme un simulateur de vol pour les navigateurs web : sûr, reproductible et exactement le même à chaque fois.

Ils ont créé 438 « mini-défis » différents dans ce simulateur, comme « Sélectionnez le 21 mars sur le calendrier » ou « Faites défiler vers le bas pour trouver le prix ».

3. Les Résultats : Même les Robots les plus « Intelligents » Peinent

Ils ont testé les modèles d'IA les plus avancés au monde (comme Claude 4.0 et GPT-5) sur ces mini-défis.

• Le Réveil : Même les robots les plus intelligents n'ont réussi qu'environ 65 % de ces tâches simples.
• L'Analogie : C'est comme donner un test à un humain brillant où il doit nouer un nœud spécifique ou remplir un formulaire fiscal. Même les personnes intelligentes font des erreurs si les instructions sont délicates ou si l'interface est confuse. Les robots échouent à « lire l'ambiance » du site web.

4. La Correction : L'Entraînement par des « Jeux Vidéo »

Les auteurs voulaient voir s'ils pouvaient apprendre aux robots open-source (généralement plus faibles) à s'améliorer. Ils ont utilisé deux méthodes d'entraînement :

1. Affinement Supervisé (SFT) : Montrer au robot des milliers d'exemples d'humains réussissant ces tâches, comme montrer à un élève un problème de mathématiques résolu.
2. Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) : C'est comme un jeu vidéo. Ils laissent le robot essayer la tâche. S'il réussit, il gagne un « point » (récompense). S'il échoue, il obtient zéro point. Le robot apprend en jouant à des milliers de jeux, réalisant : « Oh, j'ai cliqué sur le mauvais bouton la dernière fois, je ne devrais plus le faire. »

Le Résultat :
En utilisant cette méthode d'entraînement par « jeu vidéo » sur des sites web synthétiques (faux mais réalistes), leur modèle open-source a bondi d'un score faible à 52,3 %. C'est impressionnant car cela a battu de nombreux « super-cerveaux » coûteux et propriétaires sur ces tâches spécifiques.

5. Pourquoi Cela Compte

L'article conclut que si vous voulez qu'un robot soit bon dans les grands emplois complexes (comme réserver ces vacances), vous devez d'abord vous assurer qu'il est bon dans les petits emplois ennuyeux (comme cliquer sur la bonne date).

Ils ont découvert que la capacité d'un robot à gérer ces sous-tâches minuscules et spécifiques est un prédicteur très fort de la façon dont il gérera les grandes tâches complexes. Si un robot ne peut pas naviguer dans un menu déroulant, il ne pourra probablement pas planifier un voyage.

En bref : Les auteurs ont construit un terrain de jeu sûr et figé dans le temps pour tester la capacité des robots à gérer les détails minuscules et délicats de l'utilisation d'un site web. Ils ont constaté que même les meilleurs robots sont mauvais dans ces détails, mais qu'ils peuvent être entraînés à s'améliorer considérablement en jouant à des « jeux vidéo » où ils gagnent des points pour bien faire.

Résumé technique

Résumé Technique : WARC-Bench

Définition du Problème

L'article identifie une lacune critique dans l'évaluation des agents web autonomes. Les benchmarks existants se concentrent généralement sur deux extrêmes : l'ancrage visuel en une seule étape (la mise en correspondance du texte avec des coordonnées de pixels) ou des tâches complexes de navigation web à long horizon (par exemple, l'achat d'un article sur Amazon). Le niveau de complexité intermédiaire — les sous-tâches d'interface graphique (GUI) — reste largement inexploré. Ces sous-tâches sont des flux de travail à court horizon composés de multiples actions primitives d'interface utilisateur (par exemple, sélectionner une date spécifique dans un sélecteur de dates, faire défiler un conteneur pour extraire des données, ou interagir avec une liste déroulante) qui constituent une instruction fonctionnelle unique au sein d'une session de navigation plus large.

Les auteurs soutiennent que la maîtrise de ces sous-tâches est essentielle pour une planification et une navigation web robustes, pourtant les benchmarks actuels échouent à évaluer efficacement cette capacité. De plus, les benchmarks existants à long horizon manquent souvent de la diversité et des capacités de test de résistance nécessaires pour isoler et diagnostiquer les défaillances dans des composants d'interaction spécifiques.

Méthodologie

Construction de WARC-Bench

Les auteurs présentent WARC-Bench (Web Archive Benchmark), un nouveau benchmark conçu pour évaluer les agents IA multimodaux sur l'exécution de sous-tâches.

• Environnement : Le benchmark utilise des fichiers Web ARChive (WARC) pour créer des environnements web interactifs en bac à sable. Ces fichiers capturent l'état complet d'un site web (HTML, CSS, JavaScript, images, en-têtes HTTP), permettant une relecture haute fidélité dans un navigateur basé sur Chromium (via Playwright). Cette approche assure l'isolation des tâches, empêche les opérations d'écriture dans le monde réel et permet une évaluation rapide et évolutive.
• Composition du Jeu de Données : Le benchmark comprend 438 tâches divisées en :
  • Jeu de Test : 200 tâches dérivées exclusivement de sites web réels (par exemple, GitHub, Zoho Desk, Kaiser Permanente).
  • Jeu de Développement : 238 tâches (60 réelles, 178 synthétiques).
  • Jeu d'Entraînement : 1 059 tâches synthétiques générées via un pipeline basé sur un LLM pour créer divers widgets d'interface utilisateur et objectifs de tâches.
• Catégories de Tâches : Les tâches couvrent 15 catégories incluant les sélecteurs de dates, le remplissage de formulaires, la manipulation de tableaux, le glisser-déposer et l'extraction de données.
• Évaluation : Chaque tâche inclut une fonction de récompense déterministe et programmatique (correspondances JS, URL, Chaîne ou JSON) pour vérifier l'achèvement de la tâche indépendamment de la trajectoire spécifique de l'agent.

Conception et Entraînement de l'Agent

Les auteurs proposent l'Agent Vision Sous-tâche (SVA), une conception d'agent généraliste qui repose uniquement sur des captures d'écran pour l'observation, évitant ainsi de dépendre des arbres d'accessibilité ou du DOM HTML qui peuvent être redondants ou dépasser les limites de contexte.

• Espace d'Action : L'agent opère sur une API minimale de huit actions : cliquer, compléter, glisser_et_relâcher, survoler, appuyer_sur_touche, faire_defiler, taper, et attendre.
• Stratégie d'Entraînement : Pour améliorer les modèles open-source (spécifiquement la famille Qwen2.5-VL), les auteurs emploient un pipeline d'entraînement en deux étapes :
  1. Affinement Supervisé (SFT) : Distillation à partir de trajectoires générées par de puissants modèles « enseignants » (incluant des modèles de pointe) sur un jeu de données d'environ 12 000 trajectoires uniques.
  2. Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) : Application de l'Optimisation de Politique Proximale (PPO) au-dessus des points de contrôle SFT en utilisant le jeu de données d'entraînement synthétique WARC-Bench. L'agent reçoit une récompense de 10 pour les trajectoires réussies et 0 pour les échecs ou les dépassements de temps.

Résultats Clés

Performance du Benchmark

WARC-Bench s'avère difficile même pour les modèles de pointe les plus avancés :

• Claude-4.0-Sonnet d'Anthropic a obtenu le taux de réussite le plus élevé parmi les modèles évalués, avec 64,8 % sur le jeu de test.
• GPT-5 d'OpenAI a obtenu 51,3 %.
• Les modèles open-source (par exemple, Qwen2.5-VL-72B) ont initialement considérablement pris du retard avec 37,3 %.

Impact des Techniques d'Entraînement

Le pipeline d'entraînement proposé a considérablement réduit l'écart entre les modèles open-source et les modèles propriétaires :

• SFT : A amélioré le modèle Qwen2.5-VL-72B de 37,3 % à 48,3 %.
• RLVR : A amélioré davantage le modèle Qwen2.5-VL-72B à 52,3 %, surpassant de nombreux modèles propriétaires de pointe et établissant un nouvel état de l'art pour les agents open-source sur ce benchmark.
• Efficacité : Les modèles entraînés par RLVR ont démontré une meilleure exploration (augmentation du défilement), une réduction des clics redondants et des longueurs de trajectoire plus courtes (environ 0,94 étape en moins par tâche) par rapport aux bases de référence utilisant uniquement le SFT.

Analyse Comparative

• Corrélation avec les Tâches à Long Horizon : Contrairement à des benchmarks comme ScreenSpot V2 ou MiniWoB++, la performance sur WARC-Bench corrèle plus fortement avec les capacités de navigation à long horizon (mesurées sur WebArena).
• Agents Hiérarchiques : L'article démontre que la décomposition des tâches à long horizon en sous-tâches utilisant un Planificateur (par exemple, Claude-4.0-Sonnet) et un Exécuteur (par exemple, le Qwen2.5-VL-72B-RLVR entraîné) améliore considérablement la performance sur WebArena-Lite (passant de 16,17 % à 24,63 % pour les agents basés sur Qwen), validant ainsi l'utilité des modèles de sous-tâches spécialisés.

Signification et Revendications

L'article affirme que WARC-Bench comble une lacune critique dans le paysage de la recherche sur les agents GUI en fournissant un environnement haute fidélité, évolutif et en bac à sable pour évaluer les sous-tâches à court horizon. Les auteurs affirment que :

1. La Maîtrise des Sous-tâches est un Prérequis : L'exécution réussie de sous-tâches est une capacité fondamentale requise pour une navigation web robuste à long horizon, une capacité non évaluée de manière extensive par les benchmarks existants.
2. Efficacité de l'Entraînement : Les données synthétiques combinées au SFT et au RLVR peuvent permettre aux modèles open-source d'atteindre des performances compétitives, et dans certains cas supérieures, aux modèles propriétaires de pointe sur des interactions web réalistes.
3. Valeur Diagnostique : Le benchmark sert de test de résistance pour des capacités spécifiques de l'agent (par exemple, l'ancrage visuel sur des widgets complexes, la gestion d'interfaces utilisateur dynamiques comme les sélecteurs de dates) qui provoquent souvent des défaillances dans les systèmes plus larges.

L'ouvrage conclut que WARC-Bench offre une voie unique pour faire progresser les agents généralistes d'utilisation d'ordinateur en améliorant systématiquement la couche d'exécution des sous-tâches intermédiaires.