PreAct: Computer-Using Agents that Get Faster on Repeated Tasks
PreAct est un système qui accélère les agents utilisant l'ordinateur sur des tâches répétées en compilant les exécutions réussies en programmes de machines à états vérifiables, permettant des rejeux 8,5 à 13 fois plus rapides avec des contrôles de sécurité intégrés pour garantir l'exactitude et empêcher l'accumulation de scripts défectueux.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un assistant robotique très intelligent, mais très coûteux. Ce robot peut regarder votre écran d'ordinateur, comprendre quels boutons cliquer et taper du texte pour accomplir des tâches — comme prendre un rendez-vous ou ajouter un contact.
Le problème est que ce robot est gaspilleur. Chaque fois que vous lui demandez de faire la même tâche deux fois, il oublie tout ce qu'il vient de faire. Il doit réexaminer l'écran, réfléchir à chaque étape depuis le début et payer une énorme « taxe de réflexion » (en utilisant la puissance de calcul coûteuse de l'IA) à chaque fois. C'est comme embaucher un guide touristique qui, après vous avoir montré un musée une première fois, vous fait payer une toute nouvelle visite pour vous montrer exactement le même musée le lendemain, alors qu'ils connaissent tous deux parfaitement l'agencement des lieux.
PreAct est un nouveau système qui apprend au robot à être fluide plutôt qu'amnésique. Voici comment cela fonctionne, en utilisant des analogies de la vie quotidienne :
1. Le « Livre de Recettes » vs Le « Chef »
Normalement, le robot agit comme un chef qui goûte chaque ingrédient et réinvente la recette pour chaque repas.
PreAct change la donne. La première fois que le robot accomplit une tâche avec succès (comme ajouter un contact), il ne se contente pas d'oublier. Au lieu de cela, il écrit une recette parfaite, étape par étape (un programme de type « machine à états »).
- La première fois : Le robot utilise son « cerveau pensant » coûteux pour résoudre la tâche et rédiger la recette. Cela prend du temps et de l'argent.
- La deuxième fois : Au lieu d'utiliser son cerveau coûteux, le robot se contente de lire la recette et de suivre les instructions. Il n'a pas besoin de réfléchir ; il agit, c'est tout. Cela le rend 8,5 à 13 fois plus rapide et presque gratuit à exécuter.
2. Le « Contrôle de Sécurité » (Ne pas suivre aveuglément)
Vous pourriez vous inquiéter : « Et si l'écran est différent ? Et si une fenêtre contextuelle apparaît ? »
Si le robot se contentait de suivre aveuglément la recette, il pourrait cliquer sur le mauvais bouton et tout casser.
PreAct est intelligent. Avant d'effectuer chaque étape de la recette, il jette un coup d'œil à l'écran pour vérifier qu'il ressemble exactement à ce que la recette attend.
- Si cela correspond : Il clique sur le bouton instantanément (aucune réflexion requise).
- Si cela ne correspond pas : Il s'arrête immédiatement, dit « Attendez, quelque chose ne va pas », et rappelle le cerveau coûteux du robot pour analyser la nouvelle situation.
C'est comme un conducteur qui suit un itinéraire GPS mais garde les yeux sur la route. Si une route est fermée, il ne conduit pas aveuglément dans un mur ; il s'arrête et demande de nouvelles directions.
3. Le « Port de Contrôle Qualité » (La partie la plus importante)
Voici la partie délicate : et si le robot écrit une recette qui semble complète mais qui échoue en réalité ?
Exemple : La recette dit « Taper le nom, cliquer sur Enregistrer ». Mais peut-être que le robot a oublié de réellement taper le nom, donc lorsqu'il clique sur Enregistrer, rien ne se passe. Si le robot enregistre cette mauvaise recette, il échouera à chaque fois qu'il essaiera de l'utiliser plus tard.
PreAct possède un port de contrôle qualité strict.
Avant de placer une nouvelle recette dans sa bibliothèque, il réinitialise l'ordinateur et exécute la recette de zéro pour voir si elle fonctionne réellement.
- Si la recette fonctionne : Elle est ajoutée à la bibliothèque.
- Si la recette échoue (même si elle est allée jusqu'au bout) : Elle est jetée à la poubelle.
L'étude a révélé que sans ce port de contrôle, la bibliothèque du robot se remplit de « mauvaises recettes » et qu'il devient en réalité moins bon pour accomplir les tâches au fil du temps. Avec ce port de contrôle, le robot devient meilleur chaque fois qu'il répète une tâche.
Les Résultats
Les chercheurs ont testé cela sur des téléphones, des ordinateurs de bureau et des sites web.
- Vitesse : La répétition d'une tâche est devenue 8,5 à 13 fois plus rapide.
- Coût : Le robot a cessé de payer la coûteuse « taxe de réflexion » pour les tâches répétées.
- Fiabilité : En vérifiant l'écran à chaque étape et en filtrant les mauvaises recettes, le système n'a pas seulement été plus rapide ; il est devenu plus précis au fil du temps.
En bref : PreAct transforme un robot qui réinvente la roue à chaque fois en un robot qui apprend une compétence, l'écrit, puis exécute cette compétence parfaitement et instantanément — jusqu'à ce que quelque chose change, moment auquel il apprend à nouveau. C'est la différence entre un étudiant qui mémorise un problème de mathématiques une fois et un étudiant qui l'oublie et doit le réapprendre chaque jour.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.