💬 NLP

StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure

StructAgent introduit un cadre centré sur l'état qui exploite des structures causales unifiées pour gérer des tâches d'agents numériques à long terme, améliorant considérablement les taux de réussite et la généralisabilité à travers divers backbones LLM/VLM et environnements en permettant un suivi de progression et une récupération vérifiables et fondés sur des preuves.

Auteurs originaux : Wenyi Wu, Sibo Zhu, Kun Zhou, Aayush Salvi, Zixuan Song, Biwei Huang

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenyi Wu, Sibo Zhu, Kun Zhou, Aayush Salvi, Zixuan Song, Biwei Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à accomplir une tâche longue et compliquée, comme « Trouve la photo dans mon dernier e-mail, enregistre-la et définis-la comme fond d'écran de ton bureau ». Si vous dites simplement au robot d'« y aller » et que vous le laissez discuter avec lui-même pendant qu'il travaille, les choses deviennent vite chaotiques. Le robot pourrait oublier ce qu'il vient de faire, s'embrouiller face à une tentative ratée, ou penser qu'il a terminé alors qu'il est en réalité toujours bloqué au milieu de la tâche. C'est comme essayer de naviguer dans un labyrinthe avec un bandeau sur les yeux en ne se souvenant que de la dernière étape effectuée.

C'est le problème que le papier StructAgent tente de résoudre. Les auteurs soutiennent qu'au lieu de laisser le robot errer à travers un tas géant et désordonné de ses propres actions passées (ce qu'ils appellent l'« historique d'interaction brut » ou raw interaction history), nous devons lui donner un carnet de notes structuré et organisé pour qu'il puisse suivre exactement où il en est.

L'idée maîtresse : Un carnet de notes « véridique »

Le papier propose une nouvelle façon de faire fonctionner les agents numériques appelée StructAgent. Voyez cela comme le fait de donner au robot un carnet spécial en trois parties qu'il doit mettre à jour avant de pouvoir passer à l'étape suivante. Ce carnet n'est pas seulement un journal intime ; c'est un registre strict et vérifié de la réalité.

Ce qu'il reste à faire : Une liste des exigences actuelles (ex: « Je dois trouver la pièce jointe de l'e-mail »).
Ce que nous savons : Des faits utiles recueillis jusqu'à présent (ex: « Le chemin du fichier est /home/user/pics »).
Preuve de travail : Des preuves vérifiées qu'une étape est réellement accomplie (ex: « J'ai vérifié le dossier, et le fichier image est bel et bien là »).

La magie ne réside pas seulement dans le carnet ; elle réside dans les règles d'utilisation. Dans la plupart des systèmes robotiques, si le robot dit « j'ai fini », c'est fini. Dans StructAgent, le robot ne peut pas simplement revendiquer la victoire. Il doit remettre son travail à un Vérificateur (un arbitre strict). Le Vérificateur vérifie les preuves. Ce n'est que si le Vérificateur dit : « Oui, je vois le fichier, et il correspond aux règles », que le carnet est mis à jour. Si le Vérificateur dit : « Non, ce n'est pas le bon fichier », le carnet reste inchangé, et le robot doit réessayer ou corriger son erreur.

Ce contre quoi ils argumentent

Le papier argumente explicitement contre l'idée que les agents devraient simplement continuer à avancer en se basant sur leur « ressenti » ou sur une longue liste non structurée de tout ce qu'ils ont fait. Ils montrent que lorsque les tâches deviennent longues et complexes, cette approche par « historique brut » fait perdre le nord au robot. Le robot se retrouve enseveli sous les tentatives échouées et les tâches inachevées, rendant impossible de savoir s'il progresse réellement ou s'il tourne simplement en rond. StructAgent dit : « Arrêtez de deviner. Arrêtez de compter sur une mémoire désordonnée. Utilisez un état structuré et vérifié. »

Les résultats : Est-ce que cela fonctionne vraiment ?

Les auteurs n'ont pas seulement imaginé cela ; ils l'ont testé sur des tâches informatiques réelles. Ils ont mené des expériences sur un benchmark appelé OSWorld-Verified, qui teste la capacité des agents à utiliser de vraies applications de bureau (comme l'e-mail, les tableurs et les éditeurs de photos).

Voici ce qu'ils ont trouvé, avec les chiffres exacts de leur étude :

Lorsqu'ils ont utilisé un modèle d'IA plus petit appelé Qwen3.5-9B, le taux de réussite est passé de 27,0 % (sans StructAgent) à 46,9 % (avec StructAgent). C'est une amélioration énorme !
Avec un modèle légèrement plus grand, Qwen3.5-27B, le taux de réussite est passé de 31,6 % à 62,2 %.
Lorsqu'ils ont utilisé leur modèle open-source le plus puissant, MiniMax-M3, StructAgent l'a aidé à atteindre un taux de réussite de 78,9 %. C'est le score le plus élevé qu'ils aient trouvé pour toute méthode open-source sur ce test spécifique.

Ils ont également testé ce système dans un monde complètement différent : le jeu vidéo Minecraft. Au lieu de vérifier des fichiers de bureau, le « Vérificateur » vérifiait l'inventaire du joueur. Même avec cet environnement totalement différent, le système a fonctionné, prouvant que l'idée d'un « carnet vérifié » est flexible.

Les « bémols » et les limites

Le papier précise bien que ce n'est pas une baguette magique qui résout tout.

Ce n'est pas encore parfait : Même avec StructAgent, certaines tâches échouent encore. En examinant les échecs, ils ont constaté qu'environ 33 % étaient dus au fait que le robot (l'« Acteur ») a commis une erreur dans l'action, 30 % parce que le planificateur s'est embrouillé, et un autre 30 % parce que le vérificateur a manqué quelque chose.
Cela dépend de la tâche : Le système fonctionne mieux lorsqu'il existe une preuve claire et vérifiable (comme l'existence d'un fichier sur un ordinateur). Il éprouve un peu plus de difficultés avec les tâches qui reposent fortement sur des détails visuels (comme « rendre le texte esthétique ») où il n'y a pas de fichier simple à vérifier.
C'est un cadre de travail, pas un modèle unique : Le papier montre que cette structure aide de nombreux modèles d'IA différents. Il ne s'agit pas de construire un nouveau super-cerveau, mais de créer une meilleure façon pour n'importe quel cerveau d'organiser son travail.

L'essentiel

Le papier suggère que pour rendre les agents d'IA fiables pour des tâches longues et complexes, nous devons cesser de les traiter comme des chatbots au flux libre et commencer à les traiter comme des chefs de projet méticuleux dotés d'une liste de contrôle stricte et vérifiée. En forçant l'agent à prouver sa progression avant de poursuivre, StructAgent rend ces assistants numériques beaucoup plus fiables, transparents et capables de gérer les tâches longues et désordonnées du monde réel. C'est une étape vers des agents qui ne font pas que tenter de faire les choses, mais qui savent réellement qu'ils les ont faites.

Résumé Technique : StructAgent

Énoncé du Problème

Les progrès récents des grands modèles de langage (LLM) et des modèles langage-vision (VLM) ont permis aux agents numériques d'accomplir des tâches d'utilisation de l'ordinateur. Cependant, les tâches du monde réel sont souvent à longue horizon, impliquant des flux de travail complexes avec des contextes évolutifs. À mesure que les agents exécutent ces tâches, ils accumulent un historique d'interaction brut contenant des informations factuelles, des modifications intermédiaires, des tentatives échouées et des exécutions partiellement complétées.

Le défi central identifié est que les agents existants opèrent généralement sur cet historique brut et non structuré. À mesure que le contexte croît, les informations critiques sont enfouies et l'état actuel de la tâche devient ambigu. Ce manque de structure rend difficile pour les agents de :

Maintenir une compréhension causale claire de la progression de la tâche.
Détecter rapidement les états anormaux ou les erreurs intermédiaires.
Planifier et exécuter avec précision.
Récupérer après des échecs sans rejouer l'intégralité de l'historique.

Par conséquent, l'exécution fiable à long terme est limitée car les agents peinent à distinguer la progression valide du bruit ou des affirmations de complétion auto-rapportées mais non vérifiées.

Méthodologie : StructAgent

Pour répondre à ces défis, les auteurs proposent StructAgent, un cadre centré sur l'état qui structure explicitement l'état de l'agent et le flux de travail autour d'une représentation causale unifiée de la progression de la tâche. Le cadre se compose de deux composants complémentaires :

1. État d'Agent Unifié

Au lieu d'inférer la progression à partir de trajectoires brutes, StructAgent maintient un état compact, typé et auditable $s_t$ qui sert d'interface partagée pour tous les modules. L'état est défini comme :
$s_t = (s_t^{req}, s_t^{val}, s_t^{ver})$

$s_t^{req}$ (Exigences) : Stocke les exigences du sous-objectif actuel, précisant ce qui doit être accompli et ce que le vérificateur doit contrôler.
$s_t^{val}$ (Valeurs Utiles) : Stocke les valeurs persistantes et utiles découvertes lors de l'exécution (ex: chemins de fichiers, URLs, entités sélectionnées).
$s_t^{ver}$ (Évidences Vérifiées) : Stocke les preuves collectées par le vérificateur lors du processus de sondage, permettant l'audit et la réutilisation.

Transitions Orientées vers la Causalité : Les transitions d'état sont strictement contrôlées. Le statut d'une exigence ( $\sigma_{i,t}$ ) ne peut changer en VÉRIFIÉ ou INVALIDÉ qu'en fonction d'une décision appuyée par un vérificateur. Cela garantit que les mises à jour de progression sont fondées sur des preuves vérifiables plutôt que sur l'auto-rapport de l'agent.

2. Flux de Travail Structuré

Le cadre fonctionne sur une boucle d'exécution fixe : Planificateur $\rightarrow$ Acteur $\rightarrow$ Vérificateur $\rightarrow$ Mise à jour de l'état.

Planificateur : Lit l'état actuel pour sélectionner le prochain sous-objectif ( $g_t$ ). Il n'a pas besoin de reconstruire la progression à partir de l'historique brut.
Acteur : Tente d'exécuter le sous-objectif dans l'environnement, produisant une trace d'action ( $\tau_t$ ).
Vérificateur : Vérifie si le sous-objectif tenté a produit une progression valide en utilisant un sondage structuré et agentique (ex: vérification de fichiers, sorties shell, états d'applications). Il produit une décision ( $d_t$ ) pour vérifier, invalider ou laisser l'état inchangé.
Mémoire : Fournit un support conditionné à l'état, suggérant des sous-objectifs ou des modèles d'action basés sur l'expérience réutilisable.

Capacités Clés Activées

Points de Contrôle de Progression : L'historique de l'état sert de instantané (snapshot) autonome et lisible par l'humain, permettant aux agents de reprendre l'exécution sans rejouer l'intégralité de l'historique d'interaction.
Récupération Ciblée des Échecs : Lorsque la progression stagne, le système diagnostique le problème en utilisant les évidences vérifiées (ex: manque d'évidence, exigences conflictuelles) et sélectionne des interventions spécifiques (replanification, nouvel essai ou reprise par l'humain) plutôt que des tentatives génériques.
Exécution Supportée par des Outils : Les modèles récurrents sont résumés en procédures réutilisables. L'acteur peut invoquer ces outils, mais les résultats ne sont validés dans l'état que s'ils sont vérifiés.

Contributions Clés

État Unifié : Introduction d'une représentation d'état compacte, typée et auditable qui fournit au planning, à l'action et à la vérification une vue partagée de la progression de la tâche.
Flux de Travail Structuré : Conception d'une boucle planification-action-vérification où seules les décisions appuyées par le vérificateur peuvent valider, préserver ou invalider la progression.
Validation Empirique Large : Démonstration que le cadre améliore divers backbones LLM et VLM sur des tâches d'utilisation d'ordinateur à long horizon et se généralise à travers différents domaines (bureau, web et Minecraft).

Résultats Expérimentaux

OSWorld-Verified (Bureau)

Le cadre a été évalué sur OSWorld-Verified, un benchmark pour l'utilisation de l'ordinateur à long horizon. StructAgent améliore systématiquement les performances à travers divers backbones :

Qwen3.5-9B : Amélioration du taux de réussite de 27,0 % (modèle unique) à 46,9 %.
Qwen3.5-27B : Amélioration du taux de réussite de 31,6 % à 62,2 %.
MiniMax-M3 : Atteint un nouveau record de l'open-source de 78,9 %, surpassant la base de référence du modèle unique de 75,2 %.
Performance par Domaine : Les gains ont été plus prononcés dans les tâches de type "Bureau" (tableurs, documents) où des états intermédiaires durables et des vérifications basées sur des fichiers sont disponibles. Les tâches multi-applications sont restées difficiles mais ont montré des améliorations avec des backbones plus puissants.

Généralisation

Web (Mind2Web) : StructAgent s'est généralisé aux environnements web, atteignant 47,3 % (Qwen3.5-9B) et 52,3 % (Qwen3.5-27B), surpassant les bases de référence reproduites. Les gains ont été les plus forts dans les tâches de recherche d'informations où la progression peut être suivie via les URLs et les états de page.
Minecraft : Le cadre a été instancié dans Minecraft en remplaçant les sources d'évidences de bureau par une vérification basée sur l'inventaire. Il a atteint un taux de réussite moyen pondéré par tâche de 76 % (contre 59 % pour Optimus-1), démontant que la discipline de mise à jour de l'état est indépendante du domaine.

Analyse

Qualité de la Vérification : La vérification structurée a amélioré le rappel de 0,67 à 0,81 par rapport à la vérification purement visuelle, principalement en récupérant des complétions réelles invisibles dans les captures d'écran finales (ex: existence de fichiers, sorties de commandes).
Modes d'Échec : L'analyse des trajectoires échouées a révélé que les erreurs sont réparties entre le Planificateur (30 %), le Vérificateur (30 %) et l'Acteur (33 %), indiquant que la fiabilité à long terme nécessite des améliorations systémiques plutôt que simplement le passage à l'échelle de l'acteur.

Signification et Revendications

L'article soutient que le but de l'abstraction est de créer un niveau sémantique où l'on peut être « absolument précis » (citant Edsger W. Dijkstra). StructAgent y parvient en s'éloignant de la génération continue sur des historiques bruités vers une structure causale explicite.

Les auteurs affirment que :

Transparence et Contrôle : En imposant des transitions d'état appuyées par le vérificateur, la progression de l'agent devient transparente, auditable et contrôlable.
Robustesse : Le cadre permet une récupération ciblée des échecs et une complétion de tâche basée sur l'évidence, réduisant la dépendance aux affirmations fragiles de type "TERMINE" auto-rapportées.
Généralité : Le paradigme centré sur l'état n'est pas lié à des échelles de modèles spécifiques ou à des environnements de bureau ; il se généralise efficacement aux navigateurs web et aux environnements de jeu (Minecraft) en adaptant la source d'évidence tout en maintenant le même flux de travail structurel.

Ce travail se positionne comme une solution de niveau système pour la fiabilité à long terme, suggérant que la structuration de la progression de la tâche elle-même est aussi cruciale que l'amélioration des modèles de langage sous-jacents.