StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling
Le document présente StateM, un environnement d'exécution natif pour agents qui exploite la mise à l'échelle par harnais grâce à des états durables, des transitions vérifiées et des carnets de bord versionnés pour augmenter considérablement la précision des agents sur de longs horizons sur Terminal-Bench 2.1 à 95,3 % tout en réduisant drastiquement les coûts d'inférence par rapport aux modèles de référence.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le domaine en évolution rapide de l'intelligence artificielle, un casse-tête persistant est apparu : pourquoi des programmes informatiques sophistiqués, capables de résoudre des étapes complexes individuellement, échouent-ils souvent lorsqu'on leur demande d'accomplir un travail de longue haleine comportant de multiples étapes ? Imaginez un architecte brillant qui peut concevoir une pièce parfaite mais oublie de poser les fondations, ou un chirurgien habile qui effectue une incision sans faille mais perd de vue les signes vitaux du patient à mi-chemin. Ces systèmes, connus sous le nom d'agents à long horizon, trébuchent fréquemment non pas par manque d'intelligence, mais parce qu'ils perdent le fil du processus. Ils peuvent oublier ce qu'ils ont déjà fait, sauter une vérification nécessaire ou cesser de travailler avant que l'objectif final ne soit véritablement atteint. Pendant des années, la solution standard a consisté à construire des cerveaux plus gros et plus intelligents, en espérant qu'un modèle plus puissant ne commettrait simplement pas ces erreurs. Cependant, une nouvelle ligne de recherche suggère que le problème ne vient peut-être pas du cerveau lui-même, mais plutôt de l'environnement dans lequel il travaille.
Les chercheurs ont commencé à poser une question différente : quelle part de cet échec est réellement un échec du système qui retient l'attention de l'agent, suit ses progrès et le force à terminer le travail ? Cette approche, que les auteurs appellent « mise à l'échelle du harnais » (harness scaling), propose que nous pouvons rendre un modèle existant et capable bien plus fiable en améliorant les outils et les règles qui l'entourent, sans modifier le modèle lui-même. Au lieu de forcer le modèle à tout mémoriser par lui-même, cette méthode donne à l'agent un carnet de notes externe et partagé que l'agent et un superviseur humain peuvent tous deux lire et mettre à jour. Ce carnet agit comme un registre durable de l'endroit où l'agent en est, de ce qu'il a promis de faire ensuite, et des preuves requises avant qu'il puisse passer à l'étape suivante. En traitant le processus d'exécution comme une série de phases distinctes avec des points de contrôle clairs, le système garantit que l'agent ne s'écarte pas de sa trajectoire ou ne laisse pas une tâche inachevée.
Les chercheurs derrière cette étude, dirigés par Ziheng Qin et ses collègues, ont construit un système léger appelé StateM pour tester cette idée. Ils l'ont conçu pour fonctionner avec des agents informatiques standards qui opèrent via des lignes de commande, de la même manière qu'un humain tape des instructions dans un terminal. Le cœur de leur invention est un document simple et lisible appelé carnet de bord (runbook). Ce document agit comme une carte et un contrat pour l'agent. Il décompose une tâche de grande envergure en étapes spécifiques, ou états, tels que la planification, la construction, la vérification et la passation du travail. Lorsqu'un agent entre dans une nouvelle étape, le système actualise ses instructions et lui montre exactement ce qu'il doit accomplir avant de pouvoir partir. Crucialement, l'agent ne peut pas simplement déclarer une étape terminée ; il doit passer une vérification. Si l'agent tente de sauter une étape ou échoue à une vérification, le système l'arrête et le force à réparer l'erreur avant de poursuivre. Cela crée un espace partagé où l'agent et un humain peuvent inspecter le travail, auditer les décisions et mettre à jour les règles ensemble.
Pour voir si cette approche fonctionnait, l'équipe l'a testée sur un ensemble rigoureux de 89 tâches informatiques complexes connues sous le nom de Terminal-Bench. Ils ont commencé avec un modèle puissant appelé GPT-5.5 et ont appliqué leur nouveau système. Les résultats étaient frappants. Sans changer le code interne du modèle ni l'entraîner sur de nouvelles données, le système a amélioré le taux de réussite du modèle de 83,1 % à 92,1 %. Ce gain était si significatif qu'il a effectivement comblé l'écart entre ce modèle plus ancien et une version plus récente et plus avancée du logiciel. Les chercheurs ont ensuite pris ce même ensemble de règles, ou carnet de bord, et l'ont appliqué à un modèle encore plus récent, GPT-5.6, sans faire aucun ajustement. Le système a performé encore mieux, atteignant une précision brute de 95,3 % sur des centaines d'essais. Il a résolu avec succès la totalité des 89 tâches au moins une fois, démontant que les règles développées pour un modèle pouvaient se transférer sans transition à un nouveau modèle.
L'étude a également exploré si ces avantages pouvaient être obtenus avec des types de modèles d'intelligence artificielle moins coûteux et différents. Lorsqu'ils ont appliqué les mêmes principes à un modèle appelé DeepSeek-V4 Flash, les résultats initiaux ont été mitigés car les règles exactes ne s'adaptaient pas parfaitement. Cependant, en dépensant une petite somme — moins de trente-huit dollars — pour adapter les pratiques spécifiques à ce nouveau modèle, ils ont pu faire passer sa performance de 82,7 % à 88,1 %. Le coût total pour prouver ce résultat, incluant l'adaptation et les tests finaux, était d'environ cinquante-deux dollars. En revanche, la soumission publique la plus coûteuse pour un résultat similaire de haut niveau coûtait près de six cents dollars. Cela suggère qu'investir dans un meilleur système d'exécution peut être bien plus rentable que de simplement acheter le modèle le plus puissant disponible.
Les chercheurs ont également testé leur système sur un autre ensemble de tâches impliquant des flux de travail commerciaux, tels que l'approbation de budgets ou l'utilisation de machines. Ici, les résultats ont montré que les règles fonctionnaient mieux lorsqu'elles correspondaient à la nature spécifique du travail. Pour les tâches exigeant une adhésion stricte aux règles et des passages de relais clairs, le système a apporté des améliorations massives, doublant parfois le taux de réussite. Cependant, pour des tâches ayant des structures très différentes, le système rendait parfois les choses pires si les règles étaient trop rigides ou appliquées à la mauvaise partie du processus. Cela a appris aux chercheurs que la clé n'est pas d'avoir une liste massive de règles pour chaque situation possible, mais d'identifier les limites spécifiques où les erreurs sont les plus susceptibles de se produire et d'imposer des vérifications uniquement là.
En fin de compte, ce travail suggère que la fiabilité de l'intelligence artificielle dépend autant de la manière dont nous gérons son travail que de l'intelligence du modèle lui-même. Les chercheurs ont identifié trois raisons principales pour lesquelles les agents capables échouent : ils manquent de connaissances au moment de la décision, ils oublient les leçons apprises lors de tentatives précédentes, ou ils ne parviennent pas à suivre une procédure qu'ils connaissent déjà. Leur système répond à ces problèmes en conservant un enregistrement frais et clair de la phase actuelle, en stockant les leçons dans un document versionné qui peut être réutilisé, et en forçant l'agent à prouver qu'il a terminé une étape avant de passer à la suite. Les conclusions indiquent que nous n'avons pas nécessairement besoin d'attendre la prochaine génération de modèles super-intelligents pour résoudre des problèmes complexes. Au lieu de cela, en construisant de meilleurs systèmes pour guider les modèles que nous possédons déjà, nous pouvons transformer des agents capables mais peu fiables en machines robustes capables d'achever leur tâche. La voie à suivre n'est pas seulement de rendre le cerveau plus grand, mais de construire un meilleur corps pour l'accompagner à travers le travail.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.