💬 NLP

Envs-FORGE: Frontier-Optimized Reward-Grounded Environment Synthesis for Agent RL

Envs-FORGE est une nouvelle politique de prompting qui optimise dynamiquement la synthèse d'environnements pour l'apprentissage par renforcement en convertissant les récompenses du vérificateur en actions par graine via la programmation linéaire en nombres entiers mixtes, générant ainsi des environnements d'entraînement sur mesure qui améliorent significativement les performances des agents à travers divers benchmarks par rapport aux bases de référence à recette fixe.

Auteurs originaux : Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Zhichao Shi, Hao Zhou, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

Publié 2026-08-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Zhichao Shi, Hao Zhou, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment réparer un ordinateur ou écrire un morceau de code. Vous ne pouvez pas simplement lui donner un manuel ; il doit s'entraîner en pratiquant. C'est le monde de l'Apprentissage par Renforcement (RL), où un agent d'IA apprend en essayant des choses, en faisant des erreurs et en recevant une « récompense » (comme un score élevé) lorsqu'il réussit. Mais attention : pour que le robot s'améliore, les problèmes d'entraînement qu'il résout doivent être parfaitement calibrés. Si les problèmes sont trop faciles, le robot s'ennuie et n'apprend rien de nouveau. S'ils sont trop difficiles, il se décourage et abandonne. Le point d'équilibre idéal est appelé la « frontière d'apprentissage » (learning frontier) — le bord de ce que le robot peut actuellement faire, là où un peu de défi l'aide à progresser le plus.

Pendant longtemps, des scientifiques ont tenté de créer ces problèmes d'entraînement automatiquement en utilisant des Grands Modèles de Langage (LLM), qui sont les cerveaux d'IA super intelligents derrière les chatbots. Ils utilisaient des recettes simples et fixes pour générer des tâches, un peu comme un chef qui utiliserait exactement la même recette pour cuisiner chaque repas, qu'il s'agisse d'un bambin ou d'un gourmet. Ce document présente une nouvelle façon plus intelligente de concocter ces problèmes d'entraînement. Elle s'appelle Envs-FORGE. Au lieu d'utiliser une recette universelle, cette nouvelle méthode agit comme un entraîneur personnel qui observe la force actuelle du robot, détermine exactement quelle doit être la difficulté du prochain défi, puis construit sur mesure un exercice unique pour lui. L'objectif est de s'assurer que chaque tâche d'entraînement est parfaitement ajustée pour pousser le robot juste un peu plus loin que ce qu'il pouvait faire auparavant.

Le problème des recettes « taille unique »

Par le passé, lorsque les chercheurs voulaient créer de nouvelles tâches d'entraînement pour ces agents d'IA, ils s'appuyaient sur des stratégies fixes. Imaginez un enseignant qui possède une seule fiche de travail et décide de simplement la « rendre légèrement plus difficile » pour tous les élèves, peu importe qui ils sont. Pour un élève qui a déjà excellé à l'examen, cette nouvelle fiche pourrait encore être trop facile. Pour un élève qui était en difficulté, elle pourrait être impossible.

Le document soutient que ces méthodes fixes — comme « Self-Instruct » ou « Evol-Instruct » — sont comme cet enseignant rigide. Elles appliquent la même logique à chaque idée de départ (ou « seed ») sans vérifier si l'IA est prête pour cela. Elles pourraient rendre une tâche plus difficile alors qu'elle aurait dû être simplifiée, ou changer complètement de sujet alors que l'IA avait juste besoin d'approfondir une compétence spécifique. Cela gaspille du temps et produit des données d'entraînement qui ne sont pas très utiles.

Entrez dans Envs-FORGE : Le coach personnel intelligent

Les auteurs de ce document présentent Envs-FORGE (Frontier-Optimized Reward-Grounded Environment Synthesis). Considérez cela comme un système intelligent qui ne se contente pas de deviner la suite ; il la calcule.

Voici comment cela fonctionne, étape par étape :

Le bilan de santé : D'abord, le système examine une tâche de départ et demande à l'agent d'IA actuel d'essayer de la résoudre. Il compte combien de fois l'agent réussit. Cela lui donne un « taux de réussite », qui est comme un bulletin de notes montrant si la tâche est facile ou difficile pour ce robot spécifique en ce moment.
La réunion de stratégie : Sur la base de ce bulletin de notes, le système envisage six façons différentes de modifier la tâche. Il peut choisir de :
- Augmenter la difficulté (ajouter plus de contraintes ou de cas limites).
- Réduire la difficulté (simplifier si le robot est bloqué).
- Diversifier la tâche (changer le contexte tout en gardant une difficulté similaire).
- Et pour chacun de ces points, il peut aller en profondeur (creuser davantage le même sujet) ou en largeur (explorer un sujet connexe plus vaste).
La magie mathématique (MILP) : Le système utilise un type spécial de casse-tête mathématique appelé « Programme Linéaire en Nombres Entiers Mixtes » (MILP) pour choisir la meilleure combinaison de changements pour cette tâche spécifique. C'est comme un coach regardant les statistiques d'un joueur et décidant : « D'accord, pour ce joueur, nous devons augmenter la difficulté en profondeur pour atteindre la zone d'apprentissage parfaite. »
La construction : Une fois la meilleure stratégie choisie, le système réécrit l'intégralité du paquet de la tâche. Il ne se contente pas de changer la question ; il met à jour les instructions, les données, la solution, les tests et même l'environnement informatique (comme un conteneur Docker) pour s'assurer que tout fonctionne toujours ensemble.
Le contrôle du standard d'excellence : Avant qu'une nouvelle tâche ne soit autorisée dans la salle de sport d'entraînement, elle passe par un « Vérificateur d'Or » (Gold Verifier) très strict. C'est un test extrêmement rigoureux pour s'assurer que la nouvelle tâche est exécutable, cohérente et réellement soluble. Si elle échoue, elle est rejetée. Seules les tâches parfaites sont retenues.

Ce qu'ils ont découvert

Les chercheurs ont testé cette nouvelle méthode sur un modèle d'IA puissant appelé Qwen 3.5 35B. Ils ont comparé Envs-FORGE aux anciennes recettes fixes (Few-shot, Self-Instruct et Evol-Instruct) ainsi qu'à un modèle de base sans entraînement supplémentaire.

Les résultats étaient clairs : Envs-FORGE a gagné.

Sur un benchmark appelé tb-core, le modèle de base a obtenu 40,0 %. La meilleure recette fixe a atteint 46,8 %, mais Envs-FORGE a grimpé à 49,2 %. Cela représente une amélioration de 9,2 points de pourcentage par rapport au point de départ.
Sur tb-2.0, le modèle de base a obtenu 23,0 %, tandis qu'Envs-FORGE a atteint 29,4 %, soit un bond de 6,4 points de pourcentage.
Même sur un test très difficile du monde réel appelé SWE-bench Verified, Envs-FORGE a obtenu un score de 77,1 %, battant les 73,4 % du modèle de base.

Crucialement, le document montre que ce n'était pas parce qu'Envs-FORGE utilisait plus de puissance informatique ou générait plus de données. Toutes les méthodes ont généré exactement 100 environnements vérifiés pour l'entraînement. La différence résidait purement dans la manière dont elles choisissaient ce que ces 100 tâches devaient être. Envs-FORGE a simplement choisi de meilleures tâches.

Pourquoi cela importe

La principale conclusion de ce document est que la manière dont nous créons les données d'entraînement compte autant que les données elles-mêmes. En abandonnant l'utilisation de recettes rigides et universelles au profit d'une approche intelligente et basée sur les données pour adapter chaque tâche aux capacités actuelles de l'IA, nous pouvons aider ces agents à apprendre plus vite et mieux.

Les auteurs suggèrent que cette approche « consciente de la frontière » — qui vérifie constamment où se situe l'agent et ajuste le défi pour le maintenir sur le bord de ses capacités — est la clé pour construire des agents terminaux plus capables, capables de gérer des tâches complexes d'ingénierie logicielle et d'administration système. Bien que l'étude se soit concentrée sur des benchmarks et des tailles de modèles spécifiques, les résultats indiquent fortement que cette méthode de « synthèse intelligente » est une étape significative vers l'enseignement de l'apprentissage à l'IA.

Résumé Technique : Envs-FORGE

Énoncé du Problème

L'apprentissage par renforcement (RL) pour les agents terminaux nécessite des environnements d'entraînement exécutables qui fournissent des récompenses fiables et possèdent des niveaux de difficulté adaptés à la politique actuelle de l'agent. Les approches existantes reposent souvent sur des recettes de prompting fixes (par exemple, few-shot, Self-Instruct, Evol-Instruct) qui appliquent une stratégie de transformation uniforme à chaque tâche source (seed). Cette politique de type « taille unique » ne tient pas compte de l'état spécifique de l'agent ; une tâche trop facile produit des signaux d'apprentissage faibles, tandis qu'une tâche trop difficile ne fournit aucun signal d'apprentissage. De plus, les recettes fixes ne peuvent pas ajuster dynamiquement la trajectoire de difficulté (par exemple, créer des tâches de transition pour des tâches sources actuellement au-delà des capacités de l'agent) ni équilibrer efficacement la couverture des compétences. Le défi central est de déterminer, pour une tâche source donnée et une politique actuelle, quelle action de synthèse spécifique placera l'environnement résultant près de la « frontière d'apprentissage » (learning frontier).

Méthodologie : Envs-FORGE

Envs-FORGE (Frontier-Optimized Reward-Grounded Environment Synthesis) reformule la synthèse d'environnement comme un problème de sélection d'actions fondé sur la récompense. Au lieu d'un seul prompt fixe, la méthode emploie un pipeline dynamique composé de quatre étapes clés :

1. Évaluation de Candidats Sensible à la Frontière

Le système estime d'abord le taux de réussite ( $\hat{p}_i$ ) d'une tâche source en utilisant les récompenses des vérificateurs issus des déploiements (rollouts) de l'agent actuel. Il génère ensuite six actions candidates pour chaque tâche en combinant :

Projections : Augmenter (ajouter des contraintes/complexité), Réduire (simplifier pour des tâches de transition) et Diversifier (changer les éléments fixes/exigences tout en maintenant la difficulté).
Directions d'Évolution : En profondeur (approfondir les compétences existantes) et En largeur (étendre à des compétences connexes).

Les candidats sont évalués sur la base d'un « score de frontière » ( $F_{i,a,d}$ ), qui est une fonction gaussienne centrée sur un taux de réussite cible ( $\tau=0.5$ ). Ce score estime à quel point la difficulté projetée d'un candidat est proche de la frontière d'apprentissage optimale.

2. Sélection d'Actions par MILP par Tâche

Pour chaque tâche, un programme linéaire en nombres entiers mixtes (MILP) sélectionne l'action optimale. La fonction objectif maximise le score de frontière tout en pénalisant l'activation de nœuds de compétences optionnels et les objectifs de couverture non atteints.

Variables de Décision : Des variables binaires sélectionnent une projection et une direction par tâche.
Contraintes : Le MILP impose qu'une seule action soit choisie par tâche et assure la cohérence entre l'action sélectionnée et les nœuds de compétences requis ou optionnels.
Correspondance avec les Baselines : Les recettes fixes sont représentées par des masques restreints au sein de cet espace d'action (par exemple, le Few-shot est approximé par diversifier + en profondeur ; le Self-Instruct par diversifier + en largeur).

3. Réécriture Synchronisée de l'Environnement

Une fois une action sélectionnée, un modèle de synthèse réécrit conjointement l'ensemble du paquet d'environnement : l'instruction, les éléments fixes (fixtures), la solution oracle, la suite de tests et l'environnement Docker. Cela garantit que la tâche reste exécutable et cohérente. Le prompt interdit explicitement les modifications de l'instruction seule ou les exigences de tests cachées.

4. Vérification par l'Oracle (Gold Verification)

Les environnements générés subissent des vérifications statiques (schéma, sécurité des chemins, isolation Docker) et une vérification par l'oracle. Un environnement n'est accepté dans le pool d'entraînement que si la solution oracle obtient une récompense de 1 sous les tests générés. Cela garantit que seules des tâches exécutables, évaluables et cohérentes sont utilisées pour l'entraînement RL.

Principales Contributions

Refonte de la Synthèse : L'article reformule la synthèse d'environnement d'agent comme un processus de sélection d'actions fondé sur la récompense sur des tâches sources vérifiées, définissant explicitement les projections (augmenter, réduire, diversifier) et les directions d'évolution (en profondeur, en largeur).
Formulation MILP : Il formule la sélection de la projection et de la direction comme un programme entier mixte par tâche. Cela permet de représenter les recettes de synthèse fixes comme des masques d'action restreints et permet une planification de couverture de compétences optionnelles douces.
Réécriture et Vérification Synchronisées : La méthode couple la décision de sélection avec la réécriture conjointe de tous les artefacts de l'environnement, suivie d'une stricte vérification par l'oracle, garantissant que seules des tâches de haute qualité et exécutables entrent dans la boucle RL.

Résultats Expérimentaux

La méthode a été évaluée en utilisant des modèles Qwen 3.5 (de 4B à 35B) entraînés avec l'optimisation de politique relative de groupe (GRPO). Toutes les méthodes de synthèse ont été contraintes pour exporter exactement 100 environnements vérifiés par l'oracle afin d'assurer une comparaison équitable des performances en aval et de l'utilisation des ressources de synthèse.

Gains de Performance : Sur le benchmark tb-core, Envs-FORGE a atteint un Pass@1 de 49,2 %, soit une amélioration de 9,2 points de pourcentage par rapport au modèle de base (40,0 %) et une amélioration de 2,4 points par rapport à la plus forte baseline de recette fixe (Evol-Instruct, 46,8 %). Sur tb-2.0, il a atteint 29,4 % (6,4 points sur la Base ; 2,1 points sur Self-Instruct).
SWE-bench Verified : Envs-FORGE a atteint 77,1 %, surpassant le modèle de base (73,4 %) et toutes les baselines fixes.
Scalabilité du Modèle : Les améliorations ont été constantes selon la taille des modèles, avec des gains allant de +6,8 points (4B) à +9,2 points (35B) sur tb-core.
Efficacité des Ressources : Toutes les méthodes opéraient dans un budget de jetons de synthèse comparable (2,27M–2,88M de jetons) et généraient un nombre similaire de répertoires de tâches (194–210). Envs-FORGE a nécessité plus de tentatives (291) mais a utilisé des tentatives plus courtes en moyenne, démontant que le gain de performance provient d'une meilleure sélection de tâches plutôt que d'une augmentation de l'échelle computationnelle.

Signification et Revendications

L'article affirme que la leçon principale de ce travail est que la synthèse d'environnement pour le RL d'agent doit décider comment chaque tâche source doit se déplacer par rapport à la politique actuelle avant de demander à un LLM de la réécrire.

En passant de recettes de prompting fixes vers un processus de sélection conscient de la frontière et fondé sur la récompense, Envs-FORGE garantit que les tâches d'entraînement ne sont ni trop faciles ni trop difficiles, mais positionnées sur la frontière d'apprentissage où elles fournissent le signal d'entraînement le plus efficace. Les auteurs soulignent que cette approche produit des performances en aval supérieures sans augmenter la taille de l'ensemble de données d'entraînement ou l'échelle opérationnelle globale du processus de synthèse. La méthode fournit un cadre structuré et inspectable pour générer des données d'entraînement de haute qualité pour les agents terminaux.