Résumé technique : VISUALSKILL

Énoncé du problème

Les agents d'utilisation de l'ordinateur (Computer-Use Agents ou CUAs) ont atteint des performances proches de l'humain sur les benchmarks de bureau standardisés, mais continuent de lutter face aux tâches à long horizon et aux logiciels inconnus. Cette limitation découle largement d'un manque de connaissances procédurales persistantes et spécifiques aux applications (par exemple, l'emplacement spécifique des menus, les séquences de boîtes de dialogue et les états de flux de travail multi-étapes) que le pré-entraînement ne fournit pas. Bien que les bibliothèques de compétences existantes tentent de remédier à cela en fournissant des connaissances réutilisables, elles représentent principalement les compétences sous forme d'artefacts textuels uniquement. Cette modalité est mal adaptée à l'interaction avec les interfaces graphiques (GUI) pour deux raisons principales :

1. Perte d'information : De nombreux éléments d'interface (icônes, mises en page, relations spatiales) sont trop verbeux ou ambigus pour être décrits textuellement. La verbalisation de ces éléments provoque une perte d'informations présentes dans les captures d'écran originales.
2. Difficulté de vérification : Dans les flux de travail multi-étapes, les agents doivent vérifier les états intermédiaires de l'interface après chaque action. Les descriptions textuelles ne fournissent qu'un ancrage indirect, ce qui rend difficile la distinction entre l'état souhaité et des états visuellement similaires mais incorrects.

Méthodologie : VISUALSKILL

Les auteurs proposent VISUALSKILL, un artefact de compétence multimodal hiérarchique conçu pour conserver les figures visuelles aux côtés des procédures textuelles.

Structure de la compétence

Un VISUALSKILL est organisé selon une hiérarchie à deux niveaux par application cible :

• Index central (skill.md) : Liste tous les sujets avec une courte description de "quand utiliser".
• Guides par sujet : Chaque guide $g_t$ associe un corps de texte $p_t$ à un ensemble de figures d'interface $F_t$.
• Mécanisme de chargement : L'agent ne charge pas l'intégralité de la compétence au départ. Au lieu de cela, il consulte l'index et invoque un outil du protocole MCP (Model Context Protocol) load_topic(t) pour récupérer le texte et les figures spécifiques à un sujet à la demande. Cela garantit que les figures sont livrées de manière intégrée à leur texte de référence, empêchant qu'elles ne soient ignorées ou séparées du contexte.

Pipeline de construction

VISUALSKILL est construit via un pipeline en deux étapes qui génère à la fois la compétence multimodale ($S_{mm}$) et un contrôle textuel apparié ($S_{txt}$) à partir du même contenu source afin d'isoler l'effet de la modalité :

1. Étape 1 : Extraction de la documentation :

   • Analyse le guide utilisateur officiel de l'application (PDF/HTML).
   • Réutilise la table des matières du document comme hiérarchie de sujets.
   • Extrait les figures dessinées par le fournisseur de manière verbatim et génère des corps de texte pour les deux modalités via un appel conjoint à un LLM.

2. Étape 2 : Exploration de l'interface en direct :

   • Augmente la compétence de l'étape 1 en pilotant l'application en direct avec un explorateur contrôlé par un LLM pour capturer les connaissances manquantes de la documentation (par exemple, les boîtes de dialogue à faible fréquence, les affordances visuelles).
   • Explorateur libre : Un planificateur partitionne la fenêtre de l'application inactive en régions ; des agents de travail interagissent avec chaque région pour capturer des captures d'écran et résumer les affordances.
   • Explorateur ciblé par trajectoire : Un réviseur analyse les échecs de trajectoires d'entraînement pour identifier les régions de l'interface où la compétence de l'étape 1 a sous-performé. Des travailleurs sont déployés vers ces régions spécifiques pour capturer les états dynamiques manquants.
   • Les captures d'écran et les notes capturées sont fusionnées dans les guides par sujet.

Contributions clés

1. Artefacts multimodaux hiérarchiques : La conception de VISUALSKILL comme une structure indexée par sujet où les figures visuelles sont conservées aux côtés du texte, accédées via un outil MCP à la demande.
2. Pipeline de construction en deux étapes : Une méthode combinant l'extraction de documentation d'auteur et l'exploration de l'interface d'application en direct (à la fois libre et ciblée par trajectoire) pour créer des ensembles de compétences complets.
3. Évaluation contrôlée : La création d'un contrôle textuel apparié généré à partir du même matériel source et des mêmes étapes procédurales, ne différant que par la modalité. Cela isole le gain de performance attribuable spécifiquement à la présence de figures visuelles.

Résultats expérimentaux

Les auteurs ont évalué VISUALSKILL en utilisant un agent Claude Code CLI soutenu par Claude Opus 4.6 à travers 177 tâches de CUA-World et OSExpert-Eval.

• Amélioration de la ligne de base : L'agent a obtenu un score moyen de 0,303 sans compétences.

• Impact de l'étape 1 : En utilisant le VISUALSKILL dérivé de la documentation, le score est passé à 0,363 (+6,0 % absolu).

• Impact de l'étape 2 : L'ajout de l'exploration de l'interface (étape 2) a encore augmenté le score à 0,456 (+15,3 % absolu par rapport à la ligne de base).

• Multimodal vs Textuel uniquement :

  • À l'étape 1, la compétence multimodale a surpassé le contrôle textuel de +1,9 % absolu (0,344 contre 0,363).
  • À l'étape 2, la compétence multimodale a surpassé le contrôle textuel de +8,3 % absolu (0,373 contre 0,456).
  • L'avantage multimodal était plus prononcé dans les domaines visuellement intensifs (ex: GIMP, OpenToonz, Tableau) où le succès dépend de la reconnaissance d'icônes, de boîtes de dialogue et de mises en page.

• Ablation sur le mécanisme de chargement : Le remplacement de l'outil MCP load_topic par un mécanisme d'accès aux fichiers Read standard a entraîné une chute significative des performances. L'outil MCP a permis à l'agent de consulter la compétence tout au long de la trajectoire (médiane de la dernière consultation à l'étape 10,4) et de charger environ 7,9 figures par tâche, tandis que l'approche Read a conduit à un abandon précoce (médiane à l'étape 1,5) et au chargement de seulement environ 0,8 figure par tâche.

Signification et affirmations

L'article affirme que le fait de conserver des figures visuelles dans les artefacts de compétence, plutôt que de les verbaliser, fournit une preuve directe qui aide les agents à :

1. Identifier les éléments de l'interface : Localiser précisément les icônes, les mises en page et les relations spatiales qui sont ambiguës dans le texte.
2. Vérifier les états de flux de travail : Faire correspondre directement l'observation actuelle à une capture d'écran de référence pour confirmer les états intermédiaires, particulièrement lors d'échecs silencieux (ex: des champs de formulaire qui semblent acceptés mais sont rejetés lors de la validation).

Les auteurs concluent que pour les agents d'utilisation de l'ordinateur, l'artefact de compétence doit être une référence multimodale à la demande plutôt qu'un document textuel uniquement. Ils soulignent que la combinaison de l'ancrage visuel, du mécanisme de livraison basé sur MCP et de l'exploration ciblée par trajectoire sont individuellement nécessaires pour atteindre les gains de performance rapportés.

Limites : Les auteurs notent que les modèles actuels ont parfois du mal à décider quels chiffres spécifiques au sein d'un sujet chargé sont pertinents, ce qui entraîne une inflation du contexte. Dans les modèles plus faibles, cette granularité grossière peut dégrader les performances en raison de la pression sur la longueur du contexte, suggérant qu'une gestion plus efficace du budget de contexte pour les compétences multimodales reste une question ouverte.