🤖 machine learning

CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks

Cet article présente CalibForge, un système autonome qui synthétise des tâches d'entraînement terminales efficaces en utilisant le calibrage de solveur adversaire pour identifier une « zone d'apprentissage » où les tâches sont à la fois solubles et stimulantes, ce qui entraîne des gains de performance significatifs sur plusieurs benchmarks d'agents par rapport aux méthodes traditionnelles de curation de données.

Auteurs originaux : Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Publié 2026-08-07

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment réparer des choses dans un atelier numérique. Vous lui donnez une boîte à outils et une liste de tâches, mais il y a un piège : si la tâche est trop facile, le robot s'ennuie et n'apprend rien ; si elle est trop difficile, le robot abandonne immédiatement et n'apprend rien non plus. Le point idéal pour l'apprentissage est un défi « Goldilocks » (juste milieu) — quelque chose que le robot peut résoudre s'il réfléchit vraiment intensément, mais auquel il échouera s'il est inattentif ou confus. C'est le cœur du puzzle de l'entraînement des agents d'IA : comment créer une immense bibliothèque de tâches parfaitement ajustées à cette zone d'apprentissage ?

Pendant longtemps, les chercheurs ont essayé de construire ces bibliothèques de tâches en s'assurant simplement que les tâches peuvent être accomplies (elles sont « exécutables ») et qu'elles ont une réponse claire, juste ou fausse. Mais le simple fait qu'une tâche puisse être résolue ne signifie pas qu'elle soit un bon enseignant. Une tâche peut être si simple que n'importe quel robot la résout instantanément, ou si défectueuse qu'aucun robot ne peut jamais la résoudre. La grande question est : comment trouver les tâches qui sont juste assez difficiles pour rendre le robot plus intelligent ?

C'est ici qu'intervient un nouveau système appelé CalibForge. Considérez CalibForge non pas comme un générateur de tâches, mais comme un maître de jeu malicieux qui joue des jeux « adverses » avec le robot. Au lieu de simplement vérifier si une tâche fonctionne, CalibForge engage une équipe de différents robots « solveurs » (certains très intelligents, d'autres un peu moins) pour tester la tâche. Si le robot intelligent résout la tâche mais que le robot moins doué échoue, la tâche est parfaite — elle est dans la zone d'apprentissage ! Si tout le monde réussit, la tâche est trop facile, donc CalibForge la rend plus difficile. Si tout le monde échoue, la tâche est défectueuse, donc CalibForge la répare. En ajustant constamment les tâches en fonction de la réaction de ces différents robots, CalibForge construit une immense bibliothèque de 5 431 défis parfaitement calibrés. Lorsque de nouveaux robots sont entraînés sur cette bibliothèque, ils deviennent nettement meilleurs pour résoudre des problèmes informatiques réels, prouvant que la zone « Goldilocks » est la recette secrète pour enseigner à l'IA.

Le Problème : Trop Facile, Trop Difficile ou Juste Ce Qu'il Faut ?

Dans le monde de l'intelligence artificielle, plus précisément pour les « agents terminaux » (des robots qui tapent des commandes dans un terminal informatique pour réparer du code ou gérer des serveurs), les chercheurs ont construit d'immenses bibliothèques de problèmes d'entraînement. L'objectif est d'entraîner ces agents à gérer des tâches d'ingénierie complexes et réelles. Cependant, il existe un défaut dans la manière dont ces problèmes sont généralement créés.

La plupart des systèmes vérifient simplement deux choses :

Est-ce réalisable ? (L'environnement informatique est-il correctement configuré ?)
Y a-t-il une bonne réponse ? (La tâche possède-t-elle un test de réussite ou d'échec clair ?)

Mais cela revient à donner à un étudiant un test de mathématiques où chaque question est soit « Combien font 2+2 ? » (trop facile), soit « Résolvez cette équation qui n'a pas encore été inventée » (impossible). Ni l'un ni l'autre n'aide l'étudiant à apprendre. L'article soutient que nous avons besoin de tâches qui sont apprenables par rapport au solveur (solver-relative learnable). Cela signifie qu'une tâche doit être soluble par un agent capable, mais pas soluble par un agent plus faible. Elle doit se situer juste à la limite de la capacité de l'agent, le forçant à étirer ses capacités pour réussir.

La Solution : Le Maître de Jeu Adversaire

Les auteurs ont créé CalibForge, un système autonome qui agit comme un maître de jeu implacable. Il ne se contente pas d'écrire des tâches ; il les calibre en utilisant un processus appelé Étalonnage de Solveur Adversaire (Adversarial Solver Calibration).

Voici comment la magie opère, étape par étape :

L'Indice : CalibForge part d'une idée vague, comme « réparer une base de données cassée » ou « récupérer des données perdues ».
Le Brouillon : Un « Agent Auteur » (une IA intelligente) rédige une tâche complète, incluant les instructions, un environnement informatique virtuel et un test pour voir si le travail est terminé.
Le Test de Stress : Avant que la tâche ne soit conservée, CalibForge l'envoie à un panel d'« Agents Solveurs » pour tenter de la résoudre.
La Boucle de Calibrage : C'est la recette secrète. CalibForge utilise deux stratégies spécifiques pour décider si une tâche est suffisamment bonne :
- Calibrage Multi-Solveurs : Il envoie la tâche à un groupe de différents modèles d'IA. Si tout le monde résout la tâche, la tâche est trop facile, donc CalibForge la rend plus difficile. Si personne ne la résout, la tâche est défectueuse, donc CalibForge la répare. La tâche n'est conservée que s'il y a un désaccord : au moins un solveur réussit tandis qu'au moins un autre échoue. Cela prouve que la tâche est dans la « zone d'apprentissage ».
- Calibrage Contrastif : Il envoie la tâche à un « Solveur Fort » (une IA très intelligente) et à un « Solveur Faible » (une IA moins capable). La tâche n'est conservée que si le Solveur Fort réussit et que le Solveur Faible échoue. Cela garantit que la tâche est assez difficile pour défier l'intelligent, mais pas si difficile qu'elle en devient impossible.

Si une tâche ne répond pas à ces critères stricts, CalibForge ne se contente pas de la jeter. Il examine pourquoi les solveurs ont échoué ou réussi, puis retourne réécrire les instructions, l'environnement ou les tests. Il répète cette boucle jusqu'à 50 fois jusqu'à ce que la tâche soit parfaitement calibrée.

Les Résultats : Une Bibliothèque de Défis Parfaits

En utilisant cette méthode, CalibForge a construit un ensemble de données de 5 431 tâches de terminal hautement calibrées. Les chercheurs ont ensuite entraîné deux modèles d'IA différents (un modèle de 30 milliards de paramètres et un de 35 milliards de paramètres) sur ces données.

Les résultats ont été impressionnants. Les modèles entraînés sur les tâches de CalibForge ont nettement surpassé les modèles entraînés sur d'autres ensembles de données existants :

Sur Terminal-Bench 2.0 (un test standard pour les agents terminaux), les modèles ont obtenu des scores de 32,58 % et 47,57 %, battant largement les meilleurs résultats précédents.
Les améliorations ne se sont pas limitées aux données d'entraînement. Lors de tests sur des défis de génie logiciel réels et totalement différents (SWE-bench Pro et Doc2Repo), les modèles ont montré des gains massifs, progressant respectivement de 27,68 et 30,04 points de pourcentage par rapport à leurs versions de base.

Pourquoi cela importe

L'article suggère que la clé pour construire de meilleurs agents d'IA n'est pas seulement de leur donner plus de données, mais de leur donner le bon type de données. En utilisant le comportement de différents solveurs comme boucle de rétroaction, CalibForge garantit que chaque tâche de la bibliothèque est une véritable opportunité d'apprentissage.

Les auteurs démontrent explicitement que le simple fait d'ajouter plus de retours de solveurs ou d'utiliser un seul solveur pour vérifier les tâches n'est pas suffisant. L'effet « Goldilocks » — où une tâche est difficile pour certains mais facile pour d'autres — est ce qui stimule l'apprentissage. Cette approche transforme le processus de création de tâches d'une méthode statique de « écrire et espérer » en un système dynamique et autocorrecteur qui traque activement le niveau de difficulté parfait.

En bref, CalibForge prouve que si vous voulez entraîner un robot super intelligent, vous ne devriez pas seulement lui donner une pile de devoirs. Vous devriez lui donner une pile de devoirs parfaitement ajustés pour le faire réfléchir, lutter et, finalement, réussir.

Résumé Technique : CalibForge : Étalonnage Adversaire de Solveur pour le Passage à l'Échelle des Tâches Terminales Apprenables

Problématique

L'entraînement d'agents terminaux nécessite des tâches exécutables et vérifiables qui ne sont pas seulement solubles, mais également suffisamment stimulantes pour l'apprentissage. Bien que les systèmes de synthèse existants aient progressé dans la construction de tâches terminales à grande échelle, la validité exécutoire seule ne révèle pas si une tâche est triviale, effectivement insoluble ou située dans une « zone d'apprentissage » (learnable zone) par rapport à un paramétrage de solveur spécifique. Les méthodes actuelles reposent souvent uniquement sur l'autoration et la validation ou sur le feedback d'un solveur unique, ce qui échoue à capturer les nuances comportementales nécessaires pour guider la construction de tâches vers des données d'entraînement efficaces. Le défi central consiste à déterminer comment le comportement du solveur (succès, échecs et trajectoires) peut être systématiquement utilisé pour réviser les tâches candidates afin de garantir qu'elles ne soient ni trop faciles, ni trop difficiles pour le régime d'apprentissage ciblé.

Méthodologie : CalibForge

Les auteurs présentent CalibForge, un système de synthèse de tâches terminales autonome qui traite la construction de tâches comme une boucle adversaire contrainte entre auteur et solveur. Le système utilise le comportement vérifié du solveur comme feedback lors de la construction pour réviser les tâches candidates via un étalonnage de solveur adversaire.

1. Autoration et Validation de Tâches

Partant d'un « indice » (clue), un agent d'autoration (DeepSeek-V4-Pro) effectue des recherches sur le web pour identifier des problèmes d'ingénierie concrets (ex: bugs liés à des versions spécifiques, conflits de dépendances). Il construit une tâche candidate $\tau$ comprenant :

Instruction : La description de la tâche.
Environnement : Défini par un Dockerfile et des fichiers initiaux.
Vérification : Des tests pour valider la solution.

Avant d'entrer dans la boucle d'étalonnage, les candidats subissent une validation en deux étapes :

Validation Structurelle : Vérifie la présence des fichiers de contexte de construction, l'initialisation de l'environnement, et s'assure que tous les tests échouent dans l'état initial.
Auto-résolution (Self-Solving) : L'agent d'autoration tente de résoudre la tâche dans un bac à sable (sandbox) isolé pour s'assurer que la solution est exécutable et cohérente avec l'instruction et les tests.

2. Étalonnage de Solveur Adversaire

Les candidats valides entrent dans une boucle d'étalonnage multi-tours régie par une spécification $\gamma$ . À chaque tour, les solveurs tentent la tâche, et l'agent d'autoration utilise les résultats et les trajectoires d'interaction complètes pour réviser la tâche. La boucle se termine lorsqu'un critère de rétention $C_\gamma$ est rempli ou après un nombre maximal de tours ( $R_{max}=50$ ). CalibForge emploie deux stratégies d'étalonnage distinctes :

Étalonnage Multi-Solveur : Cible le désaccord au sein d'un pool de solveurs hétérogènes (ex: DeepSeek-V4-Flash, GLM-5, Kimi K2.5).
- Critère : Retenir la tâche si au moins un solveur réussit et au moins un solveur échoue ( $0 < \sum y_i < K$ ).
- Objectif : Capturer une gamme plus large de chemins de résolution et de modes d'échec, réduisant la dépendance aux capacités d'un seul solveur.
Étalonnage de Solveur Contrastif : Cible une relation fort-succès/faible-échec désignée.
- Critère : Retenir la tâche si un solveur plus fort désigné (DeepSeek-V4-Pro) réussit et qu'un solveur plus faible désigné (DeepSeek-V4-Flash) échoue ( $y_s=1 \land y_w=0$ ).
- Objectif : Opérationnaliser une zone d'apprentissage relative au solveur où la tâche est démontrable par sa résolution, mais pas de manière triviale sous les paramètres spécifiés.

Si le critère n'est pas rempli, l'agent d'autoration utilise des résumés de feedback (succès/échec, nombre d'étapes, auto-évaluation, diagnostic d'échec) et les trajectoires complètes pour réviser la tâche (ex: supprimer les indices procéduraux, clarifier les exigences ambiguës, ou généraliser des vérificateurs trop prescriptifs) avant de procéder à un nouveau test.

Contributions Clés

Étalonnage Comportemental au Niveau de l'Environnement : L'article formule un principe de construction où l'apprenabilité de la tâche est traitée comme étant relative au solveur. Il utilise le comportement vérifié du solveur non seulement pour l'évaluation, mais aussi pour déterminer la rétention et guider la révision multi-tours.
Système CalibForge : Un système de synthèse autonome implémentant le principe susmentionné via une boucle adversaire contrainte. Il introduit les stratégies d'étalonnage Multi-Solveur et de Solveur Contrastif pour cibler le désaccord entre solveurs et les relations fort-succès/faible-échec, respectivement.
Jeu de Données Étalonné : La construction de 5 431 tâches terminales étalonnées (1 263 via l'étalonnage multi-solveur, 4 168 via l'étalonnage contrastif). Ces tâches couvrent 16 catégories de domaines, avec un accent sur le génie logiciel, l'administration système et le calcul scientifique, offrant une couverture de domaine plus large que les jeux de données précédents.

Résultats Expérimentaux

Les auteurs ont affiné deux backbones Qwen (Qwen3-30B-A3B-Instruct et Qwen3.5-35B-A3B) sur des trajectoires distillées du jeu de données CalibForge et les ont évalués contre des lignes de base (Endless Terminals, SETA-Env, CLI-Gym, TermiGen, TerminalTraj) en utilisant un protocole de distillation et d'entraînement apparié.

Performance sur les Benchmarks

Terminal-Bench 2.0 :
- CalibForge-30B-A3B a atteint 32,58 % de précision (contre 26,22 % pour la meilleure ligne de base, TerminalTraj).
- CalibForge-35B-A3B a atteint 47,57 % de précision (contre 40,82 % pour TerminalTraj).
- Les améliorations par rapport aux modèles de base ont atteint respectivement 24,71 et 8,47 points de pourcentage.
Transfert Hors-Distribution (OOD) :
- SWE-bench Pro : CalibForge-35B-A3B a atteint 44,32 % (Taux de résolution), soit une amélioration de 3,03 points par rapport à son modèle de base, et le score le plus élevé parmi les sources de données évaluées.
- Doc2Repo : CalibForge-35B-A3B a atteint 48,77 % (Taux de réussite), soit une amélioration de 3,85 points par rapport à son modèle de base.

Études d'Ablation

Feedback de Solveur vs Étalonnage : La version "Sans Solveur" (autoration + validation uniquement) a produit 22,47 % de précision. Le feedback "Solveur Unique" a amélioré ce score à 24,34 %. Cependant, l'étalonnage Multi-Solveur et l'étalonnage de Solveur Contrastif ont atteint respectivement 29,21 % et 31,09 %. Cela indique que les gains sont portés par la stratégie d'étalonnage (localiser la difficulté par rapport aux réglages du solveur) plutôt que par le simple ajout de feedback de solveur ou l'augmentation du volume de trajectoires.
Efficacité de la Révision : Dans l'étalonnage contrastif, seuls 19 % des candidats satisfaisaient initialement la relation cible fort-succès/faible-échec après la validation structurelle. Grâce à la révision pilotée par le feedback et au nouveau test, 96 % des candidats ont finalement été retenus, démontrant que de nombreux écarts initiaux sont corrigeables plutôt qu'étant des défauts intrinsèques.

Signification et Revendications

L'article affirme que la loi de l'apprenabilité relative au solveur est une cible pratique et efficace pour la construction de données d'entraînement pour agents. En traitant la construction de tâches comme une boucle adversaire où le comportement du solveur guide la révision, CalibForge produit des tâches qui sont démontrables tout en étant assez complexes pour stimuler l'apprentissage.

Les auteurs soulignent que :

La validité exécutoire est insuffisante : Une tâche peut être valide mais triviale ou insoluble pour l'agent cible. L'étalonnage rend la « zone d'apprentissage » observable et actionnable.
L'étalonnage favorise le transfert : Les améliorations sur les benchmarks OOD (SWE-bench Pro, Doc2Repo) suggèrent que les capacités apprises à partir des tâches terminales étalonnées par solveur se transfèrent efficacement aux tâches complexes de génie logiciel et de génération de dépôts à long horizon.
La diversité est multidimensionnelle : Le jeu de données CalibForge offre une diversité non seulement dans la couverture de domaine, mais aussi dans les étiquettes de capacité, la complexité de l'environnement et la logique de vérification, évitant les concentrations de domaines étroites des jeux de données précédents.

Les résultats soutiennent la conclusion que l'étalonnage adversaire de solveur produit une supervision plus efficace et transférable que l'autoration et la validation seules, ou le feedback d'un solveur unique, offrant une voie scalable pour la construction de données d'entraînement de haute qualité pour les agents terminaux.