🤖 AI

SETA: Scaling Environments for Terminal Agents

L'article présente SETA, un cadre évolutif pour la génération d'environnements terminaux vérifiables qui produit le plus grand ensemble de données open-source de ce type (SETA-Env), permettant aux modèles entraînés par apprentissage par renforcement comme Qwen3-8B d'atteindre des performances de pointe sur les benchmarks d'agents de terminal.

Auteurs originaux : Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Pi

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Ping Nie, Philip Torr, Bernard Ghanem, Changran Hu, Jonathan Lingjie Li, Urmish Thakker, Guohao Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à utiliser l'interface en ligne de commande d'un ordinateur (cet écran uniquement textuel où l'on tape des commandes comme ls ou cd). C'est un peu comme apprendre à un sorcier à lancer des sorts en ne lui permettant que de chuchoter à un génie très littéral et très strict. Le génie (l'ordinateur) fait exactement ce que vous dites, mais s'il vous manque un minuscule détail, le sort échoue et la pièce s'éteint.

Pendant longtemps, enseigner ces « agents de terminal » a été un cauchemar. Pourquoi ? Parce qu'on ne peut pas demander à un humain d'écrire chaque commande qu'il a déjà tapée. Et si vous demandez à un robot d'inventer ses propres problèmes d'entraînement, il crée souvent des énigmes impossibles à résoudre ou qui n'enseignent rien d'utile. C'est comme essayer d'apprendre à faire du vélo en lisant un livre écrit par quelqu'un qui n'a jamais touché un vélo.

Entrez en scène SETA (Scaling Environments for Terminal Agents). Voyez SETA comme une « salle de sport » magique et auto-actualisée pour ces robots sorciers. Au lieu de simplement leur donner une liste statique d'exercices, SETA construit un monde entier où ils peuvent s'entraîner, échouer et apprendre en temps réel.

Le tour de magie en deux étapes

Les chercheurs ont construit SETA en utilisant deux pipelines ingénieux qui travaillent ensemble comme un chef cuisinier et son sous-chef :

Le « Chef » (SETA-Synth) : Cette partie part à la recherche de vraies recettes dans le monde réel sur Internet. Elle observe les endroits où les humains réels résolvent des problèmes, comme Stack Overflow (où les gens demandent « Comment réparer ce code cassé ? ») ou Kaggle (où les data scientists partagent leurs carnets de travail). Elle prend ces problèmes de la vie réelle et les transforme en un « environnement d'entraînement » standardisé. C'est comme prendre un désastre culinaire réel et chaotique et le transformer en une cuisine d'entraînement propre avec un objectif clair : « Réparez la cuisinière pour que la soupe ne brûle pas. »
- Vérification cruciale : Le système ne fait pas aveuglément confiance au robot chef. Il exécute un test « no-op » (ne fait rien et vérifie si la cuisine est toujours sûre) et un test « oracle » (vérifie si la solution parfaite fonctionne). Si la solution du robot échoue, un « Juge de Trajectoire » spécial intervient. Ce juge est comme un arbitre strict qui examine pourquoi le robot a échoué. Si le robot a échoué parce que l'énigme était défectueuse (un défaut de conception), l'énigme est jetée à la poubelle. Si le robot a échoué parce qu'il a simplement besoin de plus de pratique, l'énigme est conservée.
Le « Sous-Chef » (SETA-Evol) : C'est la partie adaptative. Imaginez que vous entraînez un robot. Si les énigmes sont trop faciles, le robot s'ennuie et n'apprend rien. Si elles sont trop difficiles, le robot abandonne. SETA-Evol surveille les performances du robot.
- Si le robot maîtrise une tâche (la résout 100 % du temps), le système la rend plus difficile en ajoutant des étapes ou des cas limites complexes.
- Si le robot est bloqué et échoue, le système la rend plus facile en supprimant une étape ou en donnant un indice.
- Si le robot s'en sort bien mais a besoin de variété, le système change le contexte. Peut-être qu'il réparait un serveur Linux ; maintenant, il répare un serveur Windows, mais la logique reste la même. Cela permet au robot de rester vif et adaptable.

Les résultats : Un robot qui apprend réellement

L'équipe a mis ce système à l'épreuve. Ils ont pris un modèle appelé Qwen3-8B (un cerveau de robot avec 8 milliards de « neurones ») et l'ont entraîné grâce à cette nouvelle salle de sport.

Le Score : Avant l'entraînement, le robot ne pouvait résoudre que 3,6 % des défis terminaux difficiles d'un test standard appelé Terminal-Bench 2.0. Après l'entraînement avec SETA, il est passé à 12 %. C'est une amélioration de 3,3 fois !
La Comparaison : Ce résultat est le meilleur rapporté par quiconque pour un robot de cette taille (8 milliards de paramètres) utilisant l'apprentissage par renforcement (apprendre par essais et erreurs). Il s'est même approché de modèles beaucoup plus gros et propriétaires.
Le Transfert : Ils ont également testé cela sur un autre robot, plus puissant, nommé DeepSeek-V4-Flash. Même si ce robot était déjà assez bon, l'entraînement SETA lui a tout de même donné un coup de pouce, faisant passer son taux de réussite de 40 % à 43 %. Cela suggère que l'entraînement n'est pas seulement une astuce pour un robot spécifique ; c'est une véritable façon d'enseigner les compétences de terminal.

Ce que SETA n'est pas

Il est important de savoir ce que cet article ne prétend pas. Les auteurs sont très prudents pour ne pas dire qu'ils ont « résolu » les agents de terminal.

Ils n'ont pas dit que cela fonctionne pour chaque robot. Ils ont testé sur quelques modèles spécifiques (Qwen et DeepSeek).
Ils n'ont pas dit que cela fonctionne pour toutes les interfaces informatiques. Ceci concerne spécifiquement la ligne de commande textuelle, pas le clic sur des icônes à l'écran (GUI) ou l'utilisation d'une souris.
Ils n'ont pas prétendu que les données sont parfaites. Ils mentionnent explicitement qu'ils ont dû filtrer les énigmes « cassées » et que le système repose sur la capacité du robot à vérifier son propre travail.

La conclusion

L'article suggère que si vous voulez apprendre à un robot à être un sorcier de l'informatique, vous ne pouvez pas simplement lui donner un manuel. Vous devez lui construire une salle de sport où les exercices deviennent plus difficiles à mesure qu'il devient plus fort, et où chaque exercice est vérifié pour s'assurer qu'il est réellement soluble.

En combinant des problèmes humains réels avec un système qui ajuste constamment la difficulté, SETA a créé un ensemble de plus de 4 500 environnements d'entraînement vérifiés. Ce n'est pas une baguette magique qui rend les robots parfaits du jour au lendemain, mais c'est un nouvel outil puissant qui suggère que nous pouvons augmenter l'échelle de l'apprentissage des robots d'une manière qui fonctionne réellement. Le robot n'a pas seulement mémorisé des réponses ; il a appris à réfléchir face à la réalité complexe et imprévisible d'un terminal informatique.

Résumé technique : SETA : Mise à l'échelle des environnements pour les agents terminaux

Énoncé du problème

Les modèles de langage de grande taille (LLM) sont de plus en plus déployés en tant qu'agents interagissant avec diverses interfaces, notamment le web et les interfaces graphiques (GUI). Parmi celles-ci, la ligne de commande du terminal offre une interface textuelle à usage général couvrant les opérations système, la science des données et les tâches d'apprentissage automatique. Cependant, le passage à l'échelle de l'entraînement des agents terminaux reste un goulot d'étranglement important. Contrairement aux agents d'ingénierie logicielle qui reposent sur des signaux de supervision naturels comme les pull requests de GitHub, les tâches de terminal manquent de supervision ancrée. De plus, les approches existantes peinent à synthétiser simultanément des instructions de tâches diversifiées, des environnements exécutables et une logique de vérification fiable. Crucialement, les méthodes actuelles manquent souvent de contrôle adaptatif de la difficulté, ce qui entraîne des distributions de données biaisées vers la source de synthèse plutôt que vers la « zone de RL productive » où les tâches sont stimulantes mais apprenables pour le modèle spécifique.

Méthodologie

Les auteurs proposent SETA (Scaling Environments for Terminal Agents), un cadre évolutif conçu pour générer des environnements de terminal vérifiables pour l'apprentissage par renforcement (RL). Le cadre fonctionne via deux pipelines consécutifs partageant un mécanisme de vérification unifié :

1. SETA-Synth : Synthèse adaptative aux sources

Ce pipeline convertit diverses sources validées par l'humain en environnements de terminal standardisés et vérifiables.

Sources : Il agrège des données provenant de plateformes de questions-réponses communautaires (Stack Overflow, Unix & Linux StackExchange), de notebooks de science des données (Kaggle) et de jeux de données de commandes curatés (NL2Bash).
Architecture : Il emploie une architecture adaptative à la source utilisant un Agent d'Idée pour convertir les exemples bruts des sources en une spécification de brouillon intermédiaire unifiée. Cet agent utilise des adaptateurs spécifiques à chaque source pour gérer les variations de format tout en maintenant un cadre de conception de tâche commun.
Instanciation : Un Agent de Point de Données instancie ensuite ces brouillons en environnements complets, générant des Dockerfiles, des scripts de solution de vérité terrain (solve.sh), des suites de tests (test_state.py, test.sh) et des instructions de tâche.
Vérification : Le pipeline impose un protocole de vérification de type SWE-bench :
- Test No-op : S'assure que l'environnement échoue sans l'intervention de l'agent.
- Test Oracle : Confirme que la solution de vérité terrain passe tous les tests.
- Vérification Post-Rollout : Un Agent Juge de Trajectoire distinct audite les tâches présentant un taux d'échec de rollout de 100 % afin de distinguer une difficulté réelle d'un défaut de conception systématique (ex: conventions non énoncées dans les tests), écartant ces dernières pour éviter la pollution du jeu de données.

2. SETA-Evol : Évolution adaptative

Ce pipeline étend le jeu de données en remodelant de manière adaptative la difficulté et la distribution des catégories en fonction des performances du modèle d'entraînement.

Sélection de stratégie : Basé sur le taux de réussite ( $r$ $r$ ) du modèle sur une tâche spécifique, SETA-Evol sélectionne un opérateur d'évolution :
- Augmentation de la difficulté ( $d_1$ ) : Pour les tâches faciles ( $r > 0,5$ ), il ajoute des contraintes, des cas limites ou des dépendances multi-étapes pour pousser les tâches vers la frontière productive.
- Changement de contexte ( $b_1$ ) : Pour les tâches de difficulté moyenne ( $r \in (0, 0,5]$ ), il change le domaine ou l'ensemble d'outils (ex: remplacer sklearn par caret, ou systemd par init.d) tout en préservant la difficulté pour accroître la diversité.
- Diminution de la difficulté ( $d_1$ ) : Pour les tâches difficiles ( $r \approx 0$ ), il simplifie la tâche en supprimant des étapes ou des cas limites pour la rendre apprenable.
Processus itératif : Les tâches évoluées subissent le même processus de validation rigoureux que les tâches synthétisées, assurant une mise à l'échelle continue de données de haute qualité.

Contributions clés

Pipeline SETA-Synth : Une méthode de synthèse novatrice qui ancre la génération d'environnements de terminal dans diverses sources validées par l'humain en utilisant des adaptateurs par source et un juge de trajectoire post-rollout pour capturer les défauts manqués par la vérification oracle.
Cadre SETA-Evol : Un système d'évolution adaptatif à la difficulté qui calibre la difficulté des tâches par rapport à la frontière de capacité du modèle d'entraînement, déplaçant les distributions vers la zone de RL productive et élargissant la diversité contextuelle.
Jeu de données SETA-Env : La publication de SETA-Env, le plus grand jeu de données de terminal vérifiable pour le RL en open-source à ce jour, contenant 4 567 environnements répartis sur 14 catégories (ex: administration système, apprentissage automatique, traitement de données).
Résultats de pointe : Démonstration de gains de performance significatifs sur les benchmarks de terminal en utilisant des modèles entraînés par RL.

Résultats expérimentaux

Les auteurs ont évalué le cadre en entraînant Qwen3-8B et DeepSeek-V4-Flash via l'optimisation de politique relative de groupe (GRPO) sur SETA-Env.

Performance sur Terminal-Bench 2.0 :
- Qwen3-8B : Le modèle entraîné par RL a atteint un pass@1 de 12 % sur Terminal-Bench 2.0, soit une amélioration de 3,3x par rapport au modèle de base (3,6 %). Cela représente le meilleur résultat rapporté pour un modèle de l'échelle 8B entraîné par RL, approchant les performances du modèle de l'échelle 120B, GPT-OSS-120B.
- DeepSeek-V4-Flash : L'entraînement sur SETA-Env a amélioré le pass@1 de 40 % à 43 % et le pass@5 de 54 % à 58 %, démontant que le signal d'entraînement se transfère entre différentes familles de modèles.
Généralisation : Le modèle a montré des gains sur des benchmarks de codage adjacents, incluant CompileBench (6,7 % $\to$ 40 %) et CRUST-Bench (15 % $\to$ 24 %), indiquant que les capacités de terminal se généralisent aux tâches de compilation itérative et de traduction de code.
Changement de comportement : L'analyse a révélé que les modèles entraînés par RL présentent un raisonnement structuré et une planification avant l'exécution des commandes, s'adaptant aux erreurs d'exécution concrètes (ex: l'absence de sudo dans Docker) plutôt que de réagir aveuglément.

Signification et affirmations

L'article affirme que SETA fournit un pipeline pratique et évolutif pour générer des environnements d'entraînement et des signaux d'apprentissage pour les agents de terminal. En intégrant la vérification exécutable, le contrôle adaptatif de la difficulté et une ancrage diversifié dans les sources, SETA-Env répond au manque critique de données d'entraînement de haute qualité pour les agents de terminal.

Les auteurs soulignent que leurs résultats démontrent que la synthèse d'environnements évolutive, combinée à une vérification robuste, peut effectivement soutenir l'entraînement par RL pour les systèmes agentiques dans des contextes interactifs. Ils positionnent SETA-Env comme une ressource précieuse pour faire progresser la recherche sur l'apprentissage des agents de terminal, notant que le jeu de données n'est pas encore saturé par des modèles propriétaires puissants, préservant ainsi son utilité pour la recherche future.

Limites : Les auteurs reconnaissent que leur validation est actuellement limitée à deux familles de modèles (Qwen et DeepSeek) et à des échelles spécifiques. Ils notent également que les environnements sont restreints aux interactions de terminal, laissant les extensions GUI et multimodales comme directions pour les travaux futurs. De plus, ils soulignent le potentiel de détournement (accès non autorisé au système) et précisent qu'ils l'atténuent en dérivant les tâches de sources publiques et non sensibles et en mettant l'accent sur des environnements isolés et vérifiables.