Les ordinateurs sont devenus des outils puissants pour gérer des informations complexes, pourtant, demander à une machine d'accomplir un travail de bureau en plusieurs étapes revient souvent à essayer d'apprendre à un enfant à conduire en ne lui décrivant que la destination. Pendant des années, des chercheurs ont tenté de construire des agents d'intelligence artificielle capables de regarder un écran, de comprendre ce qui doit être fait et de cliquer sur les bons boutons pour y parvenir. Ces systèmes, connus sous le nom d'agents GUI, ont progressé, mais ils se heurtent à deux problèmes persistants. Premièrement, ils manquent de données d'entraînement de haute qualité pour apprendre les règles subtiles et tacites de l'utilisation réelle des logiciels. Deuxièmement, ils sont souvent trop rigides ; si un humain donne une instruction vague, la machine peut réussir une fois par chance, mais échouer la fois suivante car elle ne peut pas s'adapter aux petits changements de l'écran ou aux habitudes spécifiques de l'utilisateur. L'objectif est de créer un travailleur numérique qui ne soit pas seulement assez intelligent pour suivre un script, mais assez fiable pour gérer la réalité désordonnée d'un bureau de travail réel.

Une équipe de Tencent a introduit un nouveau système appelé UI-Mate qui s'attaque à ces problèmes en changeant la manière dont l'agent apprend et dont il reçoit de l'aide. Au lieu de simplement mémoriser une liste de clics, le système est entraîné dans un environnement simulé où il peut pratiquer des milliers de tâches, de l'organisation de feuilles de calcul à la gestion d'e-mails, tandis qu'un moteur spécialisé vérifie son travail en temps réel. Ce processus permet au système d'apprendre non seulement à quoi le résultat final doit ressembler, mais aussi comment se rétablir lorsqu'il commet une erreur. Les chercheurs ont découvert qu'en entraînant l'agent de cette manière rigoureuse en boucle fermée, ils pouvaient créer un modèle qui performe de manière nettement supérieure aux systèmes open-source précédents, égalant même les capacités de modèles propriétaires beaucoup plus vastes.

Le cœur de cette amélioration réside dans une méthode que les chercheurs appellent « entraînement ancré dans l'environnement » (environment-grounded training). Imaginez un étudiant apprenant à cuisiner, non pas seulement en lisant une recette, mais en se tenant réellement dans une cuisine, en coupant des légumes, et en ayant un professeur qui lui indique immédiatement si le couteau a glissé ou si la chaleur était trop élevée. De la même manière, UI-Mate est entraîné dans un environnement numérique où chaque action qu'il entreprend est testée contre un écran d'ordinateur réel et fonctionnel. Si l'agent tente d'enregistrer un fichier au mauvais endroit, le système le sait immédiatement et enregistre cet échec. Ce cycle de tentative, d'échec et de correction se produit des millions de fois à travers différentes applications, permettant à l'agent de construire une compréhension profonde du comportement des logiciels. Les chercheurs ont construit une immense bibliothèque de ces tâches d'entraînement, couvrant tout, de la simple gestion de fichiers à des flux de travail complexes nécessitant le déplacement d'informations entre un calendrier, un client de messagerie et un outil de gestion de projet. En équilibrant soigneusement les types de tâches que l'agent rencontre, ils se sont assurés qu'il apprenne à gérer à la fois des tâches courtes et simples ainsi que des séquences longues et compliquées sans s'embrouiller.

Cependant, même un agent bien entraîné peut éprouver des difficultés lorsqu'un humain donne une instruction vague, telle que « traitez l'offre de ce candidat ». L'agent pourrait ne pas savoir quels fichiers spécifiques ouvrir ou sur quels boutons exacts cliquer parce que l'instruction manque du détail nécessaire. Pour résoudre cela, les chercheurs ont développé une nouvelle façon pour l'agent d'apprendre à partir d'une démonstration. Au lieu de forcer l'agent à copier aveuglément une séquence enregistrée de clics de souris, le système décompose la démonstration en un plan flexible de sous-tâches. Il observe une vidéo d'un humain ou d'une IA plus puissante accomplissant un travail similaire et en extrait les objectifs : « trouver l'offre », « vérifier le salaire », « envoyer l'e-mail ». Lors du travail effectif, l'agent utilise ce plan comme un guide, mais regarde toujours l'écran en direct pour décider exactement comment déplacer la souris ou taper le texte. Cela signifie que si l'écran est légèrement différent de celui de la vidéo, l'agent peut ajuster ses actions plutôt que de rester bloqué.

Les résultats de cette approche sont frappants. Lors de tests sur un ensemble standard de défis liés à l'utilisation de l'ordinateur, le nouveau système, spécifiquement la version à 27 milliards de paramètres, a atteint un taux de réussite de 77,0 %, surpassant les autres modèles open-source et se rapprochant très près des meilleurs systèmes propriétaires disponibles. Plus important encore, les chercheurs ont créé un nouveau test appelé OSWorkerBench, qui simule un travail de bureau réaliste à travers des dizaines d'applications différentes. Sur ce test, le système a amélioré ses performances de près de 18 points de pourcentage par rapport à son modèle de base. La découverte la plus significative, cependant, est survenue lorsqu'ils ont ajouté une seule démonstration aux instructions de l'agent. Pour un ensemble de 33 tâches longues et complexes, le fait de fournir un seul exemple de la manière de faire le travail a fait passer le taux de réussite de l'agent de 17,2 % à 35,4 %. Cela montre que le système ne se contente pas de mémoriser l'exemple ; il comprend la logique sous-jacente et peut l'appliquer à de nouvelles situations, ce qui le rend beaucoup plus fiable pour une utilisation réelle.

Les chercheurs ont également découvert que la capacité de l'agent à gérer des tâches longues ne dépend pas seulement de la puissance de calcul brute. Ils ont testé des modèles de différentes tailles et ont trouvé que, bien que les modèles plus grands soient généralement plus performants, la méthode d'entraînement spécifique importait plus que la taille seule. Un modèle plus petit entraîné avec leur approche rigoureuse ancrée dans l'environnement a surpassé un modèle beaucoup plus grand n'ayant pas reçu le même entraînement. Cela suggère que la qualité des données d'entraînement et la boucle de rétroaction sont plus critiques que le simple agrandissement du « cerveau » de l'agent. Le système a également prouvé sa capacité à gérer des tâches qui nécessitent de se souvenir d'informations du début d'un flux de travail pour les utiliser à la toute fin, un point de défaillance courant pour les agents IA précédents.

Pour s'assurer que ces résultats n'étaient pas un coup de chance, l'équipe a construit un benchmark comprenant 100 tâches de bureau distinctes, allant des ressources humaines à la vente et à l'ingénierie. Ils ont évalué le système sur sa capacité à accomplir ces tâches sans aucune aide, puis à nouveau avec une démonstration. Les données ont montré que l'agent améliorait systématiquement ses performances lorsqu'on lui donnait un guide visuel, mais qu'il ne devenait pas dépendant de celui-ci. Il restait capable de travailler à partir d'instructions seules, prouvant que la démonstration agissait comme une carte utile plutôt que comme un ensemble de règles rigides. Cet équilibre est crucial pour un déploiement pratique, car cela signifie que le système peut être utilisé dans des situations où aucun exemple préalable n'existe, tout en étant capable d'apprendre rapidement lorsqu'un utilisateur en fournit un.

Les implications de ce travail vont au-delà de la simple amélioration des scores de test. En démontrant qu'un agent peut apprendre à naviguer dans des flux de travail multi-applications complexes avec une grande fiabilité, les chercheurs ont franchi une étape importante vers la transformation de l'automatisation numérique en une réalité pratique pour le travail de bureau quotidien. Le système ne nécessite pas qu'un humain micro-gère chaque clic ; au contraire, il peut prendre un objectif de haut niveau et déterminer les étapes nécessaires, corrigeant sa propre trajectoire lorsqu'il rencontre des mises en page d'écran inattendues ou des informations manquantes. La capacité d'apprendre à partir d'une seule démonstration suggère que ces agents pourraient éventuellement être enseignés de nouvelles procédures d'entreprise spécifiques en quelques minutes plutôt qu'en plusieurs mois.

L'étude souligne également l'importance de la manière dont nous évaluons ces systèmes. Les chercheurs ont constaté que le simple fait de compter si une tâche est terminée ou non masque souvent le fait qu'un agent peut avoir accompli des progrès significatifs avant d'échouer à la toute dernière étape. En mesurant le progrès partiel, ils ont pu voir que l'agent était souvent à 80 % d'une tâche complexe, même s'il ne la terminait pas. Cette nuance est importante pour comprendre où se situe la technologie aujourd'hui et où elle doit s'améliorer. L'équipe a identifié que les échecs les plus courants ne se situaient pas dans les premières étapes d'une tâche, mais dans les étapes finales, comme oublier d'envoyer un e-mail de confirmation ou omettre un champ spécifique dans un formulaire.

En fin de compte, ce travail présente une voie claire pour construire des agents informatiques plus capables. Il montre que la combinaison d'un entraînement rigoureux et simulé et de la capacité d'apprendre à partir d'exemples visuels crée un système qui est à la fois puissant et adaptable. Les chercheurs ont mis leurs données d'entraînement et leurs benchmarks à la disposition de la communauté, permettant à d'autres de s'appuyer sur leurs découvertes. À mesure que ces systèmes évoluent, ils se rapprochent d'un futur où l'intelligence artificielle pourra gérer les tâches numériques routinières, répétitives et complexes qui consomment actuellement une grande partie de la journée de travail humaine, laissant les gens libres de se concentrer sur les décisions qui requièrent véritablement le jugement humain.