💬 NLP

Scalable Environments Drive Generalizable Agents

Ce document de position soutient que la réalisation d'agents véritablement généralisables nécessite de déplacer l'accent du simple accroissement des quantités de tâches vers l'« échelle des environnements » — c'est-à-dire l'expansion de la diversité des ensembles de règles exécutables auxquels les agents sont confrontés — et propose une taxonomie unifiée ainsi que des paradigmes de construction pour traiter systématiquement ce changement de distribution à l'échelle du monde.

Auteurs originaux : Jiayi Zhang, Fanqi Kong, Guibin Zhang, Maojia Song, Zhaoyang Yu, Jianhao Ruan, Jinyu Xiang, Bang Liu, Chenglin Wu, Yuyu Luo

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiayi Zhang, Fanqi Kong, Guibin Zhang, Maojia Song, Zhaoyang Yu, Jianhao Ruan, Jinyu Xiang, Bang Liu, Chenglin Wu, Yuyu Luo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Maîtresse : Ne vous contentez pas de plus pratiquer ; pratiquez dans des mondes différents

Imaginez que vous entraînez un robot pour qu'il devienne un « Agent Général » — un assistant intelligent capable de tout faire, partout.

Actuellement, la plupart des chercheurs tentent de rendre ces robots plus intelligents en leur donnant plus de pratique dans la même pièce. Ils pourraient faire résoudre au robot 1 000 énigmes différentes dans la même cuisine, ou le faire parcourir le même labyrinthe 10 000 fois.

L'Argument du Papier : Cette approche a une limite. Si vous ne pratiquez que dans une cuisine spécifique, le robot deviendra très bon dans cette cuisine. Mais si vous le déplacez dans une nouvelle cuisine où le four est à gauche au lieu d'être à droite, ou où les placards sont d'une couleur différente, le robot pourrait être confus et échouer.

Les auteurs soutiennent que pour construire un agent véritablement intelligent, nous ne devrions pas simplement augmenter l'échelle des données (plus de sessions d'entraînement) ou des tâches (plus d'énigmes). Au lieu de cela, nous devons augmenter l'échelle des environnements (les pièces elles-mêmes). Nous devons exposer l'agent à de nombreuses « cuisines » différentes, avec des règles, des agencements et des outils variés, afin qu'il apprenne à s'adapter à n'importe quoi.

Les Trois Façons de « Mettre à l'Échelle » (L'Échelle de l'Apprentissage)

Le papier classe la recherche actuelle en trois niveaux, comme grimper une échelle. Chaque niveau enseigne quelque chose de différent à l'agent.

1. Mise à l'échelle des trajectoires (Le niveau de la « Répétition »)

Ce que c'est : Faire en sorte que l'agent parcoure le même chemin encore et encore, ou collecter plus de vidéos de quelqu'un effectuant la même tâche.
L'Analogie : Imaginez un musicien qui répète la même chanson sur le même piano pendant 10 heures par jour. Il devient très rapide et précis sur cette unique chanson.
Le Résultat : L'agent s'améliore sur cette chanson spécifique, mais si vous lui donnez un piano différent avec des touches différentes, il pourrait ne pas savoir quoi faire.

2. Mise à l'échelle des tâches (Le niveau de la « Variété »)

Ce que c'est : Donner à l'agent de nombreux objectifs différents, mais en gardant les règles du monde exactement les mêmes.
L'Analogie : Maintenant, le musicien joue 1 000 chansons différentes, mais elles sont toutes jouées sur exactement le même piano.
Le Résultat : L'agent apprend à résoudre de nombreux problèmes, mais il suppose toujours que le « piano » (les règles du monde) ne changera jamais. Si le piano se transforme soudainement en batterie, l'agent est perdu.

3. Mise à l'échelle des environnements (Le niveau de l'« Adaptation »)

Ce que c'est : Changer les règles réelles du monde. Changer l'interface, la physique ou les signaux de retour.
L'Analogie : Maintenant, le musicien s'entraîne sur un piano, puis sur une batterie, puis sur une guitare, puis sur un synthétiseur. Il doit comprendre comment faire de la musique sur n'importe quel instrument qu'on lui donne.
Le Résultat : C'est la seule façon de construire un « Agent Général » capable de gérer un monde qu'il n'a jamais vu auparavant.

Comment Construisons-Nous Ces Nouveaux Mondes ?

Le papier suggère deux méthodes principales pour créer ces environnements diversifiés :

Méthode A : Le « Constructeur de Lego » (Générateurs Programmatiques)

Comment ça marche : Les scientifiques écrivent du code pour construire des mondes. Ils définissent les règles (comme « la gravité est de 9,8 » ou « la porte s'ouvre avec une clé rouge ») puis utilisent un ordinateur pour remplacer aléatoirement les meubles ou les couleurs.
L'Analogie : Pensez à un éditeur de niveaux de jeu vidéo. Vous pouvez cliquer sur un bouton pour générer 1 000 agencements de château différents. Vous savez exactement comment fonctionnent les murs parce que vous avez écrit le code.
Avantages : C'est très sûr et vérifiable. Vous savez que les règles sont correctes.
Inconvénients : Cela peut sembler un peu robotique ou manquer de « saveur » (comme un château qui semble un peu trop parfait).

Méthode B : Le « Tisseur de Rêves » (Modèles de Monde Génératifs)

Comment ça marche : Utiliser l'IA (comme celle qui écrit des histoires ou crée des images) pour imaginer et construire de nouveaux mondes à partir de zéro, basés sur une description textuelle.
L'Analogie : Vous dites à un magicien : « Crée un monde où la gravité tire sur le côté », et le magicien le construit instantanément.
Avantages : Cela peut créer des mondes infinis, sauvages et créatifs qui sont très diversifiés.
Inconvénients : Il est plus difficile de vérifier si les règles sont cohérentes. Le « magicien » pourrait faire une erreur où une porte s'ouvre mais ne mène nulle part.

Le Concept de « Jeu de Règles »

Les auteurs définissent un Environnement non pas simplement comme une image ou un jeu, mais comme un Jeu de Règles.

L'Interface : Quels outils l'agent peut-il utiliser ? (Par exemple : Peut-il ouvrir une porte ? Peut-il taper du texte ?)
La Dynamique : Comment le monde change-t-il lorsque l'agent agit ? (Par exemple : Si je pousse une boîte, glisse-t-elle ou rebondit-elle ?)
Le Retour d'information : Comment le monde indique-t-il à l'agent s'il a bien fait ? (Par exemple : Donne-t-il un « Bien joué ! » ou un message rouge « Erreur » ?)

La Mise à l'échelle des environnements signifie changer ces règles. Si vous changez l'« Interface » (les outils), la « Dynamique » (la physique) ou le « Retour d'information » (le score), vous forcez l'agent à apprendre une nouvelle façon de penser, pas seulement à mémoriser une nouvelle réponse.

Pourquoi Cela Compte-T-il ?

Le papier conclut que nous sommes actuellement coincés dans un goulot d'étranglement. Nous avons d'excellents modèles d'IA, mais nous les entraînons dans des mondes « statiques ».

Le Problème : Si une IA est entraînée uniquement sur des règles fixes, elle est « fragile ». Elle casse facilement lorsque le monde réel change.
La Solution : Nous devons traiter les Environnements comme la chose la plus importante à mettre à l'échelle. Tout comme nous avons augmenté la quantité de données textuelles pour enseigner le langage à l'IA, nous devons maintenant augmenter la variété des mondes pour enseigner à l'IA comment s'adapter.

En bref : Pour créer un agent capable de gérer le monde réel, nous devons cesser de lui apprendre à résoudre des énigmes dans une seule et unique pièce parfaite. Nous devons le jeter dans mille pièces différentes avec des règles différentes et voir s'il peut comprendre comment survivre.

Résumé Technique : Des Environnements Évolutifs Pilotent des Agents Généralisables

Énoncé du Problème

L'article identifie un goulot d'étranglement critique dans le développement d'agents artificiels généraux : la dépendance à l'augmentation des paramètres de modèle ou de corpus statiques, plutôt qu'à l'augmentation de la diversité des expériences interactives. Les pratiques actuelles se concentrent largement sur l'augmentation des trajectoires (collecte de plus de données au sein de benchmarks fixes) et l'augmentation des tâches (expansion des ensembles d'objectifs sous des règles fixes). Bien que précieuses, ces approches laissent les agents fragiles lorsque les interfaces sous-jacentes, les dynamiques de transition, les processus d'observation ou les signaux de feedback changent.

Les auteurs soutiennent que la véritable généralisation nécessite une compétence inter-environnements — la capacité de s'adapter aux « décalages de distribution au niveau du monde ». Les agents existants échouent souvent lorsque les ensembles de règles exécutables avec lesquels ils interagissent changent, non pas simplement en raison d'une pénurie de données, mais parce qu'ils n'ont pas été systématiquement exposés à des processus d'interaction comportementalement distincts. Le domaine manque d'un cadre unifié pour distinguer l'augmentation des données, des tâches et des environnements eux-mêmes, ce qui entraîne une surcharge conceptuelle et des comparaisons difficiles.

Méthodologie et Cadre

1. Définitions Formelles

L'article établit un formalisme léger pour distinguer les régimes d'augmentation basés sur l'ensemble de règles exécutable $E = (S, A, T, O, \Omega, Y)$ , où $S$ est l'espace d'états, $A$ l'interface d'action, $T$ les dynamiques de transition, $O$ l'espace d'observation, $\Omega$ l'interface d'observation, et $Y$ l'espace de signaux.

Augmentation des Trajectoires : Étend la distribution des traces d'interaction $p(\tau | E, x)$ tout en maintenant $E$ et la distribution des tâches $p(x|E)$ largement fixes. Le livrable principal est des données de politique plus riches (démonstrations, échecs).
Augmentation des Tâches : Étend la distribution des tâches $p(x | E)$ (objectifs, contraintes, conditions initiales) au sein d'un ensemble de règles fixe $E$ . L'agent apprend à résoudre un éventail plus large d'objectifs sans que les règles d'interaction sous-jacentes ne changent.
Augmentation des Environnements : Étend la distribution des ensembles de règles exécutables $p(E)$ . Cela implique de générer des environnements avec des composants significativement différents (par exemple, des interfaces d'action $A$ , des dynamiques de transition $T$ ou des canaux de feedback $Y$ différents). Le livrable principal est une nouvelle instance d'environnement réutilisable.

2. Taxonomie et Cas Limites

Les auteurs proposent une taxonomie opérationnelle pour résoudre l'ambiguïté dans la littérature actuelle. Une méthode est classée par son livrable principal :

Si la sortie est davantage de traces sous des règles fixes $\rightarrow$ Augmentation des Trajectoires.
Si la sortie est de nouveaux objectifs sous des règles fixes $\rightarrow$ Augmentation des Tâches.
Si la sortie est une nouvelle instance d'environnement réutilisable avec un ensemble de règles modifié $\rightarrow$ Augmentation des Environnements.

L'article note que, bien que ces régimes puissent être composés (par exemple, un nouvel environnement génère de nouvelles tâches et de nouvelles traces), la classification dépend de ce qui est principalement augmenté.

3. Paradigmes de Construction

L'article synthétise deux paradigmes majeurs pour réaliser l'augmentation des environnements :

Générateurs Programmatiques : Ils construisent des ensembles de règles exécutables via du code ( $E = g_\theta(z)$ $E = g_{θ} (z)$ ).
- Avantages : Haute contrôlabilité, vérifiabilité (via des tests unitaires et des invariants), et capacité à appliquer des perturbations ciblées le long d'axes spécifiques (par exemple, varier uniquement l'interface $A$ ).
- Approche Hybride : Pour répondre à la richesse sémantique, l'article suggère de décomposer les environnements en une charpente de règles vérifiable $\bar{E}$ et un contenu à haute entropie $c$ , où $c$ est échantillonné via des modèles de langage pour diversifier les observations sans briser la reproductibilité.
Modèles de Monde Génératifs : Ils produisent des mondes interactifs explicites à partir de spécifications compactes (par exemple, des invites en langage naturel) en utilisant des modèles de dynamique appris ( $s_{t+1} \sim p_\phi(s_{t+1}|s_t, a_t)$ $s_{t + 1} \sim p_{ϕ} (s_{t + 1} ∣ s_{t}, a_{t})$ ).
- Avantages : Couverture large et ouverture, capables d'instancier de nouveaux mondes à la demande.
- Compromis : Nécessite des données mondiales étendues pour l'entraînement et des protocoles dédiés pour assurer la validité et la contrôlabilité. L'article postule qu'ils sont complémentaires aux générateurs programmatiques, qui fournissent les données structurées et les points de vérification nécessaires pour stabiliser l'apprentissage.

4. Critères d'Évaluation

Pour rendre l'augmentation des environnements mesurable, l'article propose une liste de contrôle au niveau de la suite pour évaluer les environnements évolutifs :

Exécutabilité : L'environnement doit prendre en charge des déploiements répétés, sans plantage, avec une rejouabilité déterministe.
Signaux : Les canaux de feedback ( $Y$ ) doivent être fiables, avec une couverture élevée de l'oracle et un bruit minimal.
Couverture : La distribution $p(E)$ doit s'étendre le long d'axes interprétables (interface, dynamique, observation) plutôt que de produire une diversité non contrainte.
Complexité : Mesurée comportementalement (par exemple, horizon de solution, embranchement des actions, parcimonie du feedback) plutôt que simplement par la taille du code.
Efficacité : Métriques pour le débit de génération et le coût par environnement valide.

Contributions Clés

Argument de Nécessité : L'article soutient que les environnements évolutifs ne sont pas optionnels mais une condition préalable aux agents généraux, car la compétence inter-environnements ne peut être atteinte en augmentant les données au sein d'un seul monde fixe.
Taxonomie Opérationnelle : Il introduit une distinction claire entre l'augmentation des trajectoires, des tâches et des environnements basée sur les livrables et les changements de l'ensemble de règles exécutable, fournissant des règles de décision pour les cas limites.
Synthèse des Paradigmes : Il oppose les générateurs programmatiques (contrôlables, vérifiables) aux modèles de monde génératifs (étendus, ouverts) et expose leurs principes de conception et leurs compromis respectifs.
Cadre d'Évaluation : Il propose un ensemble concret de critères (Exécutabilité, Signaux, Couverture, Complexité, Efficacité) pour standardiser la présentation et la comparaison des suites d'environnements évolutifs.
Formulation de l'Apprentissage : Il présente l'entraînement d'agents généraux comme l'optimisation des performances sur une distribution d'environnements $E \sim p(E)$ , soulignant le besoin de mécanismes d'apprentissage étatiques ( $L$ ) qui mettent à jour les états internes pour s'adapter aux décalages d'ensembles de règles, plutôt que d'apprendre simplement une politique fixe.

Résultats et Affirmations

En tant que papier de position, ce travail ne présente pas de nouveaux résultats expérimentaux ou de benchmarks empiriques. Au lieu de cela, ses « résultats » sont des clarifications conceptuelles et une feuille de route proposée pour le domaine.

Clarification des Goulots d'Étranglement : L'article démontre que les efforts actuels d'augmentation confondent souvent la diversité des tâches avec la diversité des environnements, conduisant à des agents surajustés à des ensembles de règles spécifiques.
Faisabilité de l'Augmentation : En analysant des travaux existants (par exemple, EnvScaler, AutoEnv, TaskCraft), l'article montre que l'augmentation des environnements est déjà en cours mais manque d'une définition unifiée et d'une norme d'évaluation.
Complémentarité : L'article affirme que les approches programmatiques et génératives ne sont pas mutuellement exclusives mais devraient être utilisées ensemble pour équilibrer la contrôlabilité avec la richesse sémantique.

Importance

L'importance de l'article réside dans son appel à traiter les environnements comme des artefacts de première classe qui peuvent être augmentés, vérifiés et mesurés, de la même manière que les modèles et les ensembles de données sont traités aujourd'hui.

Changement de Focalisation : Il soutient que le goulot d'étranglement pour les agents généraux a changé de la capacité du modèle vers l'offre d'expérience, spécifiquement l'offre d'ensembles de règles exécutables et diversifiés.
Progrès Mesurable : En fournissant une taxonomie et des critères d'évaluation, l'article vise à permettre des études rigoureuses et comparables de l'adaptation inter-environnements et de l'apprentissage méta.
Fondement de la Robustesse : Il postule que les environnements évolutifs fournissent le substrat essentiel pour entraîner des agents capables d'inférer des règles latentes et de mettre à jour leurs stratégies lorsque les interfaces, les dynamiques ou les signaux de feedback changent, faisant avancer le domaine vers de véritables agents généraux robustes.

Les auteurs concluent que, bien que la spécialisation de domaine (augmentation des tâches) puisse suffire pour des produits spécifiques, la poursuite de l'intelligence générale nécessite l'augmentation des environnements pour répondre au défi fondamental des décalages de distribution au niveau du monde.