Tactile: Giving Computer-Using Agents Hands and Feet
Tactile est une couche d'outils open-source qui améliore les agents utilisant l'ordinateur en convertissant des preuves d'interface utilisateur hétérogènes en objets d'action sémantiques et vérifiables, remplaçant ainsi les interactions fragiles basées sur des coordonnées par une boucle observer-ancrer-agir-vérifier qui améliore considérablement les taux de réussite des tâches à travers de multiples modèles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez à un robot super intelligent comment utiliser un ordinateur. En ce moment, la plupart de ces robots sont comme une personne essayant de conduire une voiture tout en portant des lunettes épaisses et embrumées et un bandeau sur les yeux. Ils ne peuvent voir l'écran que comme une image plate (une capture d'écran). Pour cliquer sur un bouton, ils doivent deviner les coordonnées X et Y exactes, comme s'ils criaient : « Clique à 450, 200 ! » en espérant toucher la bonne cible. Si le bouton se déplace ou si l'écran change légèrement, le robot s'embrouille et plante. C'est l'état actuel des « agents d'utilisation de l'ordinateur » : ils sont intelligents, mais leurs mains sont maladroites parce qu'ils travaillent dans l'obscurité, en se fiant uniquement à ce qu'ils voient sur une photo.
Mais et si l'ordinateur pouvait murmurer ses secrets directement au robot ? Les systèmes d'exploitation modernes possèdent déjà une couche d'informations cachée conçue pour les humains qui ont besoin d'aide, comme les lecteurs d'écran pour les aveugles. Cette couche indique précisément ce qu'est un bouton, ce qu'il fait et s'il est prêt à être pressé. La grande question que les scientifiques se posent est la suivante : pouvons-nous donner à notre robot un accès direct à cette couche secrète pour qu'il n'ait plus à deviner ? Si nous y parvenons, cela pourrait signifier que les robots ne se contenteront pas de « regarder » les écrans, mais qu'ils les « comprendront » réellement, ce qui les rendra bien meilleurs pour accomplir de vrais travaux comme organiser des réunions ou classer des fichiers.
Donner des mains et des pieds aux robots : Le projet TACTILE
Découvrez TACTILE, un nouvel outil open-source qui agit comme un traducteur et un ensemble de mains surpuissantes pour les agents utilisant l'ordinateur. Les chercheurs derrière TACTILE ont remarqué que, bien que les robots deviennent plus intelligents, leur capacité à réellement faire des choses sur un ordinateur est encore un peu précaire. Ils traitent souvent un écran d'ordinateur comme une peinture : ils le regardent, devinent où piquer, et espèrent que ça marche. TACTILE change la donne en donnant au robot une connexion directe avec le système d'« accessibilité » interne de l'ordinateur — le même système qui aide les humains handicapés à naviguer sur les écrans.
Considérez l'ancienne méthode comme le fait de chercher un livre spécifique dans une bibliothèque en regardant une photo floue des étagères. Vous pourriez deviner que le livre est sur la troisième étagère, la deuxième en partant de la gauche, mais si quelqu'un le déplace d'un centimètre, votre supposition est fausse. TACTILE est comme si l'on donnait au robot une liste magique qui dit : « Le livre que vous voulez est "Histoire de l'Espace", il est actuellement sur l'Étagère 3, c'est un livre relié, et vous pouvez le sortir. » Cela transforme le chaos visuel désordonné d'un écran en une liste propre et organisée de choses que le robot peut réellement toucher et utiliser.
Comment fonctionne TACTILE : L'échelle des indices
Le document présente une stratégie astucieuse appelée « échelle opérationnelle ». Au lieu de forcer le robot à choisir entre « voir » (regarder l'écran) et « lire » (utiliser les données internes de l'ordinateur), TACTILE permet au robot de grimper une échelle d'indices pour trouver la meilleure réponse :
- Le barreau supérieur (Accessibilité) : Si l'ordinateur dit : « J'ai un bouton ici appelé "Envoyer" qui est prêt à être pressé », TACTILE saisit immédiatement cette information. C'est l'indice le plus fort et le plus fiable.
- Le barreau du milieu (OCR) : Si l'ordinateur reste silencieux sur une partie spécifique, TACTILE regarde l'écran, lit le texte avec ses yeux (OCR), et dit : « D'accord, je vois le mot "Envoyer" juste ici. » C'est une bonne solution de secours, mais moins précise que les données internes.
- Le barreau inférieur (Repli visuel) : Si l'ordinateur est totalement opaque (comme un jeu vidéo ou un dessin personnalisé), TACTILE revient à la simple observation de l'image et devine les coordonnées, tout comme les anciens robots le faisaient.
La magie réside dans le fait que TACTILE ne choisit pas seulement une option ; il les combine. Il privilégie le « murmure » interne de l'ordinateur, mais sait quand passer au mode « observation » si l'ordinateur se montre obstiné. Il tient également un journal détaillé de chaque étape, de sorte que si quelque chose se passe mal, nous pouvons revenir en arrière pour voir exactement ce que le robot a vu, ce qu'il a deviné et où il s'est bloqué.
Ce qu'ils ont découvert
Les chercheurs ont testé TACTILE sur un ensemble de 96 tâches informatiques différentes, allant de clics simples à des flux de travail complexes, en utilisant quatre types d'agents IA (Codex, Claude Code, OpenCode et Goose). Les résultats sont prometteurs mais ne constituent pas un remède miracle.
Lorsqu'ils ont ajouté TACTILE au processus, les robots sont devenus nettement plus performants pour terminer leurs tâches. Pour l'agent Codex, le taux de réussite est passé de 41,1 % à 50,0 % au total. L'amélioration est encore plus marquée sur les tâches où l'ordinateur est "amical" et partage ses secrets internes (tâches adaptées à l'accessibilité), où le succès est passé de 45,2 % à 55,3 %. Même sur les tâches plus difficiles où l'ordinateur cache ses secrets, les robots se sont améliorés, passant de 27,8 % à 33,3 %.
L'étude suggère que donner aux robots accès à cette couche structurée et « tactile » les rend beaucoup plus fiables. Elle prouve que nous n'avons pas seulement besoin de cerveaux plus intelligents (de meilleurs modèles d'IA) ; nous avons aussi besoin de meilleurs corps (outils d'exécution) qui permettent à ces cerveaux d'interagir avec le monde de manière significative.
Ce que TACTILE N'EST PAS
Il est important de noter ce que TACTILE ne fait pas. Il ne remplace pas la nécessité pour les robots de regarder les écrans ; parfois, les données internes de l'ordinateur sont défectueuses, manquantes ou simplement erronées. Dans ces cas, TACTILE sait revenir aux indices visuels. Il ne s'agit pas non plus d'une politique « apprise » qui enseigne au robot comment penser ; c'est une couche d'outil qui rend les pensées existantes du robot plus faciles à mettre en action. Les chercheurs précisent que ces résultats sont préliminaires et suggèrent que, bien qu'il s'agisse d'une avancée majeure, du travail reste à faire pour rendre ces agents parfaits.
Pourquoi c'est important
L'article se termine sur une idée ludique mais profonde : « Un logiciel prêt pour les agents doit être un logiciel accessible aux humains. » Si nous construisons des ordinateurs faciles à utiliser pour les robots, nous construisons également des ordinateurs plus faciles à utiliser pour les humains en situation de handicap. En traitant les données d'accessibilité comme une infrastructure partagée, TACTILE montre que aider les robots et aider les humains peut être le même objectif. Cela transforme l'écran d'ordinateur, d'une image plate et confuse, en un monde rempli d'objets qui peuvent être touchés, compris et vérifiés.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.