🤖 AI

InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction

L'article présente InfantAgent-Next, un agent généraliste multimodal hautement modulaire qui intègre des capacités basées sur les outils et purement visuelles pour permettre une interaction collaborative et étape par étape avec l'ordinateur, atteignant des performances de pointe sur divers benchmarks incluant OSWorld, GAIA et SWE-Bench.

Auteurs originaux : Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant personnel très intelligent, mais légèrement maladroit, nommé InfantAgent-Next.

Dans le monde de l'automatisation informatique, la plupart des assistants actuels sont soit des spécialistes qui ne savent faire qu'une seule chose très bien, soit des généralistes qui tentent de tout faire mais se perdent souvent.

Certains assistants sont comme des Bibliothécaires : ils excellent à utiliser une liste spécifique d'outils (comme « rechercher sur le web » ou « ouvrir un fichier »), mais si vous leur demandez de cliquer sur un bouton qu'ils n'ont jamais vu auparavant sur un écran, ils se figent car ils n'ont pas d'outil pour ce bouton spécifique.
D'autres assistants sont comme des Artistes : ils peuvent regarder un écran et « voir » ce qui s'y trouve, mais ils peinent à faire des mathématiques complexes ou à écrire du code car ils tentent de tout faire uniquement avec leurs yeux, sans calculatrice ni éditeur de texte.

InfantAgent-Next est différent. C'est comme engager une Équipe de Couteaux Suisses plutôt qu'une seule personne.

Comment cela fonctionne : l'équipe « Cerveau et Mains »

Au lieu d'un seul cerveau géant tentant de tout faire, InfantAgent-Next décompose chaque tâche en petites étapes et envoie chaque étape à l'expert le mieux adapté.

Le Gestionnaire (Le Planificateur) : Lorsque vous demandez « Enregistrez cette page web dans mes favoris », un modèle de « Gestionnaire » de haut niveau lit votre demande. Il ne tente pas de cliquer lui-même avec la souris. Au lieu de cela, il dit : « D'accord, nous devons ouvrir le navigateur, trouver le bouton des favoris et cliquer dessus. »
Les Spécialistes : Le Gestionnaire fait alors appel à l'expert approprié pour la tâche :
- L'Œil (Ancrage Visuel) : Si la tâche consiste à « cliquer sur le bouton rouge », un modèle de vision spécialisé examine l'écran, trouve les coordonnées exactes en pixels de ce bouton rouge et indique au système où cliquer. C'est comme un observateur aux yeux perçants guidant un archer aveuglé.
- La Calculatrice (Exécution de Code) : Si la tâche est « analysez ce fichier Excel », le Gestionnaire remet le fichier à un expert en code qui écrit un script pour effectuer les calculs instantanément, plutôt que d'essayer de compter les lignes en regardant l'écran.
- L'Oreille (Analyse Audio) : Si vous téléchargez un enregistrement et demandez « quel numéro de page est mentionné ? », un modèle audio spécialisé écoute le fichier et extrait la réponse.
La Mémoire : Le système maintient un cahier partagé. Chaque fois qu'un spécialiste termine une étape, il l'y note. Le spécialiste suivant prend le cahier, lit ce qui s'est passé et poursuit l'histoire. Cela garantit que l'équipe ne perd pas de vue l'objectif.

Pourquoi cela compte (Les tours de « Magie »)

L'article met en évidence deux problèmes principaux que ce système résout :

Le problème du « Clic » : De nombreux agents IA sont mauvais pour cliquer au bon endroit sur un écran. Ils pourraient cliquer à 5 pixels à gauche et manquer le bouton. InfantAgent-Next utilise une technique de « Zoom-In ». S'il doit cliquer sur un bouton, il ne se contente pas de deviner. Il prend une photo de l'écran, trouve la zone générale, recadre cette zone pour l'agrandir, retrouve le bouton, le recadre à nouveau, et ensuite clique. C'est comme utiliser une loupe pour trouver une aiguille dans une botte de foin, garantissant que le clic est précis.
Le problème de « l'Édition » : Lors de l'édition d'un fichier texte, l'IA obtient souvent les numéros de ligne incorrects (par exemple, « Changez la ligne 5 » alors qu'il devrait s'agir de la ligne 6). InfantAgent-Next dispose d'un système de « Double-Vérification ». Il propose une modification, puis examine le texte réel pour vérifier : « La ligne 5 dit-elle vraiment ce que je pense qu'elle dit ? » Si ce n'est pas le cas, il ajuste son plan avant de procéder à l'édition, évitant ainsi des erreurs désordonnées.

Ce qu'il peut faire (La Preuve)

Les chercheurs ont testé cette « Équipe de Spécialistes » contre d'autres agents IA de premier plan sur trois types de défis :

Tâches de Bureau Réelles (OSWorld) : Ils ont demandé à l'agent d'effectuer des tâches telles que « télécharger un fichier », « éditer un document » et « naviguer sur un site web ». InfantAgent-Next a battu le célèbre agent « Claude Computer Use » de 7,27 %. Il était meilleur pour accomplir réellement le travail sans aide humaine.
Codage et Correction de Bugs (SWE-Bench) : Ils ont demandé à l'agent de réparer du code cassé dans de vrais projets logiciels. Il a performé aussi bien, voire mieux, que de nombreux agents commerciaux fermés et coûteux.
Connaissances Générales et Logique (GAIA) : Ils ont posé des questions complexes nécessitant de rechercher sur le web, de lire des fichiers et de raisonner. InfantAgent-Next s'est classé deuxième parmi tous les agents open-source, prouvant qu'il peut gérer une logique complexe et multi-étapes.

La Conclusion

InfantAgent-Next n'est pas simplement un grand modèle d'IA tentant d'être tout. C'est un chef d'orchestre modulaire qui sait exactement quand appeler « l'Œil », « l'Oreille », le « Codeur » ou le « Clic-Souris ». En permettant à chaque spécialiste de faire ce qu'il fait de mieux, l'ensemble du système devient beaucoup plus intelligent, plus précis et capable de gérer les tâches désordonnées et réelles que nous rencontrons sur nos ordinateurs chaque jour.

Les chercheurs ont rendu le code de cette « Équipe de Spécialistes » disponible pour que quiconque puisse l'utiliser et l'étudier, espérant aider à construire de meilleurs assistants informatiques à l'avenir.

1. Énoncé du problème

Les agents automatisés d'IA actuels pour l'interaction avec les ordinateurs font face à un compromis fondamental entre généralité et précision :

Agents basés sur des outils : (par exemple, OpenHands, AutoGPT) s'appuient sur des outils prédéfinis (code, recherche) pour améliorer la précision sur des tâches spécifiques. Cependant, ils nécessitent une intégration manuelle d'outils pour chaque nouveau scénario, ce qui les rend fragiles et limités en portée. Ils échouent souvent lorsqu'ils rencontrent des logiciels non couverts par leur ensemble d'outils.
Agents purement visuels : (par exemple, UI-TARS, Aguvis) utilisent des modèles vision-langage (vLLM) pour contrôler directement les interfaces graphiques (GUI) sans outils. Bien que très généraux, ils peinent avec le raisonnement en haute résolution, localisant souvent mal les éléments de l'interface (cliquant sur les mauvaises coordonnées) ou échouant dans des tâches précises comme l'édition de fichiers et la manipulation de code, où de simples appels d'outils suffiraient.
Le fossé : Les solutions existantes manquent soit de la flexibilité pour gérer des tâches diverses et non structurées, soit de la précision pour exécuter de manière fiable des opérations complexes et lourdes en outils. Il existe un besoin pour un paradigme hybride qui unifie la précision de l'exécution basée sur des outils avec l'adaptabilité du contrôle purement visuel.

2. Méthodologie : Architecture d'InfantAgent-Next

InfantAgent-Next introduit un agent généraliste multimodal hautement modulaire qui intègre les approches basées sur des outils et purement visuelles dans un contexte de dialogue unifié. Au lieu de s'appuyer sur un modèle monolithique unique, il achemine les sous-tâches vers des modèles spécialisés en fonction de leurs forces.

Architecture de base

Le système fonctionne dans une boucle itérative composée de trois rôles distincts, chacun pouvant être alimenté par un modèle différent :

Planificateur : Analyse la demande de l'utilisateur et l'état actuel pour générer un plan de tâche de haut niveau.
Sélecteur d'outils : Sélectionne dynamiquement la boîte à outils la plus appropriée (par exemple, Édition de fichiers, Navigation web, Utilisation de l'ordinateur) dans une bibliothèque sélectionnée.
Exécuteur : Appelle les outils sélectionnés et rassemble les retours d'expérience de l'environnement.

Composants techniques clés :

Flux de travail modulaire et mémoire : L'agent maintient un historique de dialogue unifié mais analyse les réponses en utilisant des balises spéciales (<thought>, <task>, <toolkit>, <execute_bash>, etc.). Cela permet au système de reconstruire le contexte spécifiquement pour la sous-tâche en cours (planification vs exécution), évitant ainsi le gonflement de la fenêtre de contexte et la génération de contenu non pertinent.
Boîte à outils dynamique : Le système catégorise les outils en sept boîtes à outils (Lecture de fichiers, Recherche, Édition, Navigation web, Utilisation de l'ordinateur, Exécution de code, Outils avancés). Il sélectionne dynamiquement un sous-ensemble d'outils pertinents pour chaque étape afin de réduire les coûts d'inférence et la charge cognitive sur le LLM.
Intégration multimodale : L'agent prend en charge le texte, les images, l'audio et la vidéo. Il peut acheminer l'analyse audio vers des modèles audio spécialisés, l'ancrage visuel vers des modèles de vision et le raisonnement logique vers des LLM avancés.

Améliorations novatrices

L'article introduit des algorithmes spécifiques pour résoudre les points de défaillance connus des agents de l'état de l'art (SOTA) :

Recadrage itératif de région pour les clics de souris (Algorithme 1) : Pour résoudre le problème d'"ancrage visuel" où les modèles identifient mal les coordonnées :
1. L'agent prend une capture d'écran de l'écran entier.
2. Un modèle d'ancrage visuel prédit une coordonnée candidate.
3. Le système recadre une région plus petite autour de cette coordonnée.
4. Ce processus se répète $n$ fois (rétrécissant itérativement la zone de recherche).
5. La coordonnée affinée finale est utilisée pour le clic. Cela réduit considérablement la distraction causée par les pixels non pertinents.
Édition de fichiers robuste (Algorithme 2) : Pour gérer les erreurs dans les éditions de fichiers basées sur les numéros de ligne :
1. L'agent génère un plan avec les lignes de début/fin et le contenu attendu.
2. Il vérifie si le contenu réel du fichier correspond aux limites attendues.
3. En cas de mismatch (par exemple, erreur de décalage d'une ligne), il passe à une stratégie de repli : il floutise les chaînes de contenu attendues et recherche dans le fichier la plage de correspondance la plus proche, mettant à jour la demande d'édition dynamiquement avant d'appliquer le changement.

3. Contributions clés

Cadre InfantAgent-Next : Un agent généraliste multimodal open-source qui fait le pont entre les paradigmes basés sur des outils et purement visuels, prenant en charge les entrées texte, image, audio et vidéo.
Modularisation détaillée : Une architecture novatrice qui découple la planification, la sélection d'outils et l'exécution, permettant à différents modèles (raisonnement, ancrage visuel, analyse audio) de collaborer de manière transparente dans un contexte unifié.
Mécanismes d'exécution améliorés : L'introduction du Recadrage itératif de région pour une interaction GUI de haute précision et d'une Stratégie de repli par correspondance floue pour une édition de fichiers fiable, répondant aux deux modes de défaillance principaux des agents actuels.
Boîte à outils open-source : Publication d'une suite d'outils d'agent optimisés et d'un environnement d'exécution isolé (basé sur une machine virtuelle) pour soutenir la recherche future.

4. Résultats expérimentaux

L'agent a été évalué sur trois principaux benchmarks couvrant la vision, la logique et les tâches générales :

OSWorld (Raisonnement visuel) :
- Métrique : Précision sur 369 tâches de bureau à champ ouvert.
- Résultat : InfantAgent-Next a atteint 35,3 % de précision (50 étapes), surpassant Claude-Computer-Use (26,0 %) de 7,27 % et dépassant d'autres frameworks open-source comme Agent-S2. Il a démontré une capacité supérieure à ancrer les instructions en langage naturel dans les éléments de l'interface graphique.
SWE-Bench (Raisonnement logique et Code) :
- Métrique : Résolution de problèmes GitHub réels.
- Résultat : Sur le sous-ensemble SWE-Bench-Verified (50 cas), il a atteint 66 % de précision, surpassant plusieurs agents propriétaires (par exemple, Amazon Q Developer Agent à 54 %). Sur SWE-Bench-Lite, il a atteint 31,67 %, se classant parmi les meilleurs agents open-source.
GAIA (Performance sur les tâches générales) :
- Métrique : Questions à champ ouvert sur trois niveaux de difficulté.
- Résultat : InfantAgent-Next s'est classé deuxième parmi les agents open-source (56,97 % en moyenne), derrière uniquement OWL, et a atteint des performances de pointe sur les questions de difficulté niveau 2 (intermédiaire).
Études d'ablation :
- Le mécanisme de Recadrage itératif de région a montré une convergence de précision dès la 3e itération, avec 2 itérations offrant le meilleur compromis entre performance et coût.
- La logique d'Édition de fichiers a atteint un taux de réussite total de 90,4 % sur les tâches SWE-Bench, réparant avec succès 84,3 % des tentatives échouées (par exemple, en corrigeant les erreurs de décalage de ligne).

5. Signification

InfantAgent-Next représente une avancée significative dans les Agents informatiques généralistes. En s'éloignant des approches "un seul modèle fait tout" ou "chaîne d'outils rigide", il démontre qu'une architecture modulaire multi-modèles peut atteindre à la fois une haute précision d'exécution (via un ancrage et une logique d'édition spécialisés) et une large adaptabilité (via la sélection dynamique d'outils et la compréhension multimodale).

Ce travail prouve que :

L'hybridation est la clé : Combiner la puissance de raisonnement des LLM avec la précision des modules de vision et d'outils spécialisés surpasse les modèles monolithiques.
Le raffinement itératif fonctionne : De simples améliorations algorithmiques (comme le recadrage itératif) peuvent résoudre radicalement le problème des "coordonnées hallucinées" qui affligent les agents visuels.
Évolutivité : Le cadre est suffisamment robuste pour gérer des flux de travail complexes et multi-étapes impliquant du code, la navigation web et la manipulation de fichiers, ce qui en fait un candidat viable pour des tâches d'automatisation réelles.

La mise à disposition open-source du code, des modèles et des scripts d'évaluation fournit une base solide pour que la communauté développe davantage les systèmes d'agents multimodaux.