Résumé technique : cotomi Act

Énoncé du problème

Les agents actuels utilisant des ordinateurs (CUA) font face à une double limitation qui les empêche de fonctionner comme des collègues organisationnels fiables. Premièrement, bien que les grands modèles de langage (LLM) aient progressé en matière de raisonnement, ils peinent toujours à atteindre la fiabilité requise pour des tâches web à long horizon et multi-étapes, échouant souvent à égaler les références humaines sur des benchmarks comme WebArena. Deuxièmement, et plus critique encore, les agents existants manquent de connaissances organisationnelles. Ils opèrent sans conscience des préférences tacites, des flux de travail non écrits, du jargon interne ou de l'état actuel des tâches en cours. Cela force les agents soit à poser fréquemment des questions de clarification (réduisant l'efficacité), soit à deviner silencieusement (risquant des erreurs). De plus, une grande partie des connaissances essentielles au travail — la façon dont les gens opèrent réellement — est rarement documentée dans des référentiels statiques, rendant la Génération Augmentée par Récupération (RAG) seule insuffisante.

Méthodologie

L'article présente cotomi Act, un agent basé sur un navigateur qui répond à ces défis grâce à deux composants intégrés : un scaffold d'agent robuste pour l'exécution et un pipeline de comportement vers connaissance pour l'apprentissage.

1. Scaffold d'agent (Exécution)

Le scaffold gère la boucle ReAct (Raison-Agir) de l'agent, optimisant la fenêtre de contexte et l'espace d'action pour gérer des tâches web complexes. Il emploie quatre mécanismes clés :

• Observation paresseuse adaptative : Au lieu de fournir l'arbre d'accessibilité complet à chaque étape, l'agent observe par défaut uniquement les éléments visibles dans la fenêtre d'affichage, ne demandant l'arbre complet que sur demande. Cela réduit considérablement la latence (de 471 s à 184 s par tâche) tout en maintenant la précision.
• Compression d'historique basée sur les différences verbales : Au lieu de conserver les observations brutes passées qui gonflent la fenêtre de contexte, le système remplace l'historique obsolète par des descriptions en langage naturel des changements (différences verbales). Cela réduit les coûts de tokens d'un facteur 3,8 tout en préservant le contexte sémantique mieux que les formats de différences standard.
• Actions à granularité grossière : L'espace d'action est abstrait au niveau le plus élevé couvrant encore les interactions courantes (par exemple, scrollInto(element) au lieu du défilement au niveau des pixels). Cela réduit le nombre d'étapes requises pour une tâche, évitant le débordement du contexte.
• Mise à l'échelle au moment du test : Le système utilise la sélection d'action best-of-N et la décomposition de tâches (création d'agents subordonnés parallèles pour des sous-objectifs indépendants) pour réduire la variance et gérer les tâches à long horizon.

2. Pipeline de comportement vers connaissance (Apprentissage)

Pour acquérir des connaissances organisationnelles, cotomi Act observe passivement le comportement de navigation de l'utilisateur et l'abstrait en artefacts structurés.

• Capture : Un moniteur en arrière-plan enregistre les actions au niveau du site, les transitions d'onglets et les captures d'écran, utilisant une compression basée sur les différences pour réduire le bruit.
• Abstraction : Un pipeline ETL (Extraction-Transformation-Chargement) piloté par un LLM traite ces événements. Il segmente les événements bruts en épisodes au niveau de la tâche, les résume en enregistrements structurés et les agrège en artefacts de connaissances.
• Espace de travail de connaissances partagé : Les artefacts résultants sont stockés dans un espace de travail partagé accessible à la fois à l'utilisateur et à l'agent. Ceux-ci incluent :
  • Chronologies d'activité : Vues basées sur le calendrier de l'activité de l'utilisateur.
  • Tableaux de tâches : Une base de données partagée où l'agent propose des mises à jour de statut et l'utilisateur les approuve.
  • Pages Wiki : Notes procédurales, règles et conventions distillées à partir du comportement.
• Vie privée : Le système est strictement sur opt-in, avec un masquage des informations personnellement identifiables (PII) appliqué avant que les artefacts ne soient écrits dans l'espace de travail.

3. Collaboration humain-agent

L'espace de travail agit comme un « objet frontière ». L'agent consulte ces artefacts via un outil search_workspace lorsque les instructions sont ambiguës ou nécessitent un contexte. Crucialement, la boucle est bidirectionnelle : l'utilisateur peut inspecter, modifier et approuver les connaissances dérivées de l'agent, assurant l'alignement avec la réalité sans synchronisation explicite.

Contributions clés

1. Système cotomi Act : Un agent basé sur un navigateur qui atteint 80,4 % de succès sur le sous-ensemble d'évaluation humaine de 179 tâches de WebArena, dépassant la référence humaine rapportée de 78,2 %. Cela est obtenu grâce à la combinaison spécifique d'observation paresseuse adaptative, d'historique de différences verbales, d'actions à granularité grossière et de mise à l'échelle au moment du test.
2. Pipeline de comportement vers connaissance : Une approche novatrice qui observe passivement la navigation de l'utilisateur pour abstraire progressivement les événements bruts en artefacts de connaissances réutilisables (tableaux de tâches, wikis, chronologies) au sein d'un espace de travail partagé, permettant un apprentissage persistant et un alignement transparent.
3. Validation empirique : Une évaluation par proxy contrôlée démontrant que le succès des tâches en aval s'améliore à mesure que l'agent accumule davantage de connaissances dérivées du comportement, validant l'efficacité de l'apprentissage par l'observation.

Résultats

• Performance d'exécution : Sur le sous-ensemble d'évaluation humaine de WebArena, cotomi Act a atteint un taux de succès de 80,4 %. Le scaffold de base (sans mise à l'échelle au moment du test) a atteint 76,5 %, tandis que l'ajout de la sélection best-of-N et de la décomposition de tâches a fourni un gain supplémentaire de 3,9 %. Cette performance dépasse la référence humaine de 78,2 % et les agents précédents de l'état de l'art comme OpAgent (71,6 %).
• Impact des connaissances : Dans une étude contrôlée utilisant WorkArena-L1, le succès des tâches s'est généralement amélioré à mesure que la couverture de domaine des connaissances comportementales augmentait.
  • Avec 0 % de couverture, le succès de base était d'environ 51 %.
  • Avec 100 % de couverture, le succès s'est amélioré jusqu'à +10 points de pourcentage.
  • L'étude a noté que, bien que les trajectoires brutes puissent dégrader les performances à faible couverture en raison du bruit, les formats abstraits (scripts et insights) sont restés stables.
  • Une étude de cas spécifique dans le domaine du catalogue de services a montré un bond du succès d'environ 75 % à environ 99 % après que l'agent a acquis 48 scripts procéduraux dérivés du comportement de l'utilisateur.

Importance

L'article affirme que cotomi Act démontre une voie pratique vers l'ancrage organisationnel pour les agents d'IA. En combinant un scaffold capable de dépasser les performances humaines sur des benchmarks standardisés avec un mécanisme d'apprentissage des flux de travail tacites et non écrits à partir du comportement quotidien, le système va au-delà d'être un « exécuteur sans état » pour devenir un « collègue situé ». L'importance réside dans la boucle bidirectionnelle : l'agent apprend de l'utilisateur, mais l'utilisateur cuit également la base de connaissances de l'agent via un espace de travail partagé, garantissant que l'automatisation reste alignée sur les réalités organisationnelles évolutives sans nécessiter de documentation manuelle.