💬 NLP

Scalable Environments Drive Generalizable Agents

Dit position paper betoogt dat het bereiken van echt generaliseerbare agenten een verschuiving van focus vereist van louter het schalen van taakhoeveelheden naar "omgevings-schaling"—het uitbreiden van de diversiteit aan uitvoerbare regelsets die agenten tegenkomen—en stelt een geünificeerde taxonomie en constructieparadigma's voor om deze wereldwijde distributieverandering systematisch aan te pakken.

Oorspronkelijke auteurs: Jiayi Zhang, Fanqi Kong, Guibin Zhang, Maojia Song, Zhaoyang Yu, Jianhao Ruan, Jinyu Xiang, Bang Liu, Chenglin Wu, Yuyu Luo

Gepubliceerd 2026-05-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiayi Zhang, Fanqi Kong, Guibin Zhang, Maojia Song, Zhaoyang Yu, Jianhao Ruan, Jinyu Xiang, Bang Liu, Chenglin Wu, Yuyu Luo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Oefen niet alleen meer; oefen in verschillende werelden

Stel je voor dat je een robot traint om een "Algemene Agent" te worden — een slimme helper die overal en alles kan doen.

Op dit moment proberen de meeste onderzoekers deze robots slimmer te maken door ze meer oefening te geven in dezelfde kamer. Ze kunnen de robot bijvoorbeeld 1.000 verschillende puzzels in dezelfde keuken laten oplossen, of hem 10.000 keer door hetzelfde doolhof laten lopen.

Het Argument van het Paper: Deze aanpak heeft een limiet. Als je alleen oefent in één specifieke keuken, wordt de robot heel goed in die keuken. Maar als je hem verplaatst naar een nieuwe keuken waar het fornuis links staat in plaats van rechts, of waar de kasten een andere kleur hebben, kan de robot in de war raken en falen.

De auteurs betogen dat we, om een echt slimme agent te bouwen, niet alleen de data (meer oefensessies) of de taken (meer puzzels) moeten opschalen. In plaats daarvan moeten we de omgevingen (de kamers zelf) opschalen. We moeten de agent blootstellen aan vele verschillende "keukens" met verschillende regels, indelingen en hulpmiddelen, zodat het leert zich aan te passen aan alles.

De Drie Manieren om te "Opschalen" (De Ladder van Leren)

Het paper sorteert het huidige onderzoek in drie niveaus, als het beklimmen van een ladder. Elk niveau leert de agent iets anders.

1. Traject-Schaling (Het "Herhaling"-Niveau)

Wat het is: De agent dezelfde route keer op keer laten lopen, of meer video verzamelen van iemand die dezelfde taak uitvoert.
De Analogie: Stel je een muzikant voor die 10 uur per dag hetzelfde nummer oefent op dezelfde piano. Ze worden zeer snel en precies in dat ene nummer.
Het Resultaat: De agent wordt beter in dat specifieke nummer, maar als je ze een andere piano met andere toetsen geeft, weten ze misschien niet wat ze moeten doen.

2. Taak-Schaling (Het "Variatie"-Niveau)

Wat het is: De agent veel verschillende doelen geven, maar de regels van de wereld exact hetzelfde houden.
De Analogie: Nu speelt de muzikant 1.000 verschillende nummers, maar ze worden allemaal gespeeld op exact dezelfde piano.
Het Resultaat: De agent leert veel problemen op te lossen, maar het gaat er nog steeds van uit dat de "piano" (de regels van de wereld) nooit zal veranderen. Als de piano plotseling in een drumstel verandert, is de agent verloren.

3. Omgevings-Schaling (Het "Aanpassing"-Niveau)

Wat het is: De daadwerkelijke regels van de wereld veranderen. Het interface, de fysica of de feedbacksignalen aanpassen.
De Analogie: Nu oefent de muzikant op een piano, dan op een drumstel, dan op een gitaar, en vervolgens op een synthesizer. Ze moeten uitzoeken hoe ze muziek kunnen maken op elk instrument dat ze krijgen.
Het Resultaat: Dit is de enige manier om een "Algemene Agent" te bouwen die een wereld kan hanteren die het nog nooit heeft gezien.

Hoe Bouwen We Deze Nieuwe Werelden?

Het paper stelt twee hoofdmethoden voor om deze diverse omgevingen te creëren:

Methode A: De "Lego-Bouwer" (Programmatie-Generatoren)

Hoe het werkt: Wetenschappers schrijven code om werelden te bouwen. Ze definiëren de regels (zoals "zwaartekracht is 9,8" of "de deur opent met een rode sleutel") en gebruiken vervolgens een computer om het meubilair of de kleuren willekeurig te verwisselen.
De Analogie: Denk aan een videospel-level-editor. Je kunt op een knop klikken om 1.000 verschillende kasteelindelingen te genereren. Je weet precies hoe de muren werken omdat jij de code hebt geschreven.
Voordelen: Het is zeer veilig en verifieerbaar. Je weet dat de regels correct zijn.
Nadelen: Het kan een beetje robotachtig aanvoelen of gebrek aan "smaak" hebben (zoals een kasteel dat er een beetje te perfect uitziet).

Methode B: De "Droomwever" (Generatieve Wereldmodellen)

Hoe het werkt: AI gebruiken (zoals het soort dat verhalen schrijft of afbeeldingen maakt) om nieuwe werelden op basis van een tekstbeschrijving uit het niets te bedenken en te bouwen.
De Analogie: Je vertelt een tovenaar: "Creëer een wereld waar de zwaartekracht zijwaarts trekt," en de tovenaar bouwt het direct.
Voordelen: Het kan oneindige, wilde en creatieve werelden creëren die zeer divers zijn.
Nadelen: Het is moeilijker om te controleren of de regels consistent zijn. De "tovenaar" kan een fout maken waarbij een deur opent maar nergens naartoe leidt.

Het "Regelset"-Concept

De auteurs definiëren een Omgeving niet alleen als een afbeelding of een spel, maar als een Regelset.

Het Interface: Welke hulpmiddelen kan de agent gebruiken? (Bijvoorbeeld: Kan het een deur openen? Kan het typen?)
De Dynamiek: Hoe verandert de wereld als de agent handelt? (Bijvoorbeeld: Als ik een doos duw, glijdt deze dan of stuitert hij?)
De Feedback: Hoe vertelt de wereld de agent of het goed is gegaan? (Bijvoorbeeld: Geeft het een "Goed gedaan!" of een rode "Fout"-melding?)

Omgevings-Schaling betekent het veranderen van deze regels. Als je het "Interface" (de hulpmiddelen), de "Dynamiek" (de fysica) of de "Feedback" (de scoring) verandert, dwing je de agent om een nieuwe manier van denken te leren, in plaats van gewoon een nieuw antwoord te onthouden.

Waarom Is Dit Belangrijk?

Het paper concludeert dat we momenteel vastzitten in een bottleneck. We hebben geweldige AI-modellen, maar we trainen ze in "statische" werelden.

Het Probleem: Als een AI alleen is getraind op vaste regels, is het "bros". Het breekt snel als de echte wereld verandert.
De Oplossing: We moeten Omgevingen behandelen als het belangrijkste ding om op te schalen. Net zoals we de hoeveelheid tekstdata opschalen om AI taal te leren, moeten we nu de variatie aan werelden opschalen om AI te leren hoe het zich moet aanpassen.

Kortom: Om een agent te maken die de echte wereld aankan, moeten we stoppen met het leren om puzzels op te lossen in één enkele, perfecte kamer. We moeten het gooien in duizenden verschillende kamers met verschillende regels en kijken of het kan uitzoeken hoe het moet overleven.

Technische Samenvatting: Schaalbare Omgevingen Drijven Generaliseerbare Agenten

Probleemstelling

Het artikel identificeert een kritieke bottleneck in de ontwikkeling van algemene kunstmatige agenten: de afhankelijkheid van het schalen van modelparameters of statische corpora, in plaats van het schalen van de diversiteit aan interactieve ervaringen. Huidige praktijken richten zich grotendeels op trajectschaling (het verzamelen van meer data binnen vaste benchmarks) en taakschaling (het uitbreiden van doelstellingen onder vaste regels). Hoewel waardevol, laten deze benaderingen agenten breekbaar achter wanneer onderliggende interfaces, overgangsdynamieken, observatieprocessen of feedbacksignalen veranderen.

De auteurs betogen dat ware generalisatie competentie over omgevingen vereist—het vermogen om zich aan te passen aan "verdelingsverschuivingen op wereldniveau". Bestaande agenten falen vaak wanneer de uitvoerbare regelsets waarmee ze interageren veranderen, niet alleen door data-schaarste, maar omdat ze niet systematisch zijn blootgesteld aan gedragsmatig onderscheidende interactieprocessen. Het vakgebied mist een unified raamwerk om onderscheid te maken tussen het schalen van data, taken en de omgevingen zelf, wat leidt tot conceptuele overbelasting en moeilijke vergelijkingen.

Methodologie en Raamwerk

1. Formele Definities

Het artikel stelt een lichtgewicht formalisme vast om schalingsregimes te onderscheiden op basis van de uitvoerbare regelset $E = (S, A, T, O, \Omega, Y)$ , waarbij $S$ de toestandsruimte is, $A$ de actie-interface, $T$ de overgangsdynamiek, $O$ de observatieruimte, $\Omega$ de observatie-interface en $Y$ de signaalsruimte.

Trajectschaling: Breidt de verdeling van interactiesporen $p(\tau | E, x)$ uit terwijl $E$ en de taakverdeling $p(x|E)$ grotendeels vast blijven. Het primaire resultaat is rijkere beleidsdata (demonstraties, fouten).
Taakschaling: Breidt de taakverdeling $p(x | E)$ (doelen, beperkingen, beginvoorwaarden) uit binnen een vaste regelset $E$ . De agent leert een breder scala aan doelstellingen op te lossen zonder dat de onderliggende interactieregels veranderen.
Omgevingsschaling: Breidt de verdeling van uitvoerbare regelsets $p(E)$ uit. Dit omvat het genereren van omgevingen met betekenisvol verschillende componenten (bijvoorbeeld verschillende actie-interfaces $A$ , overgangsdynamieken $T$ of feedbackkanalen $Y$ ). Het primaire resultaat is een nieuwe, herbruikbare omgevingsinstantie.

2. Taxonomie en Grensgevallen

De auteurs stellen een operationele taxonomie voor om ambiguïteit in de huidige literatuur op te lossen. Een methode wordt geclassificeerd op basis van zijn primaire resultaat:

Als de output meer sporen zijn onder vaste regels $\rightarrow$ Trajectschaling.
Als de output nieuwe doelen zijn onder vaste regels $\rightarrow$ Taakschaling.
Als de output een nieuwe, herbruikbare omgevingsinstantie is met een gewijzigde regelset $\rightarrow$ Omgevingsschaling.

Het artikel merkt op dat hoewel deze regimes samengesteld kunnen worden (bijvoorbeeld levert een nieuwe omgeving nieuwe taken en sporen op), de classificatie afhangt van wat primair wordt geschaald.

3. Constructieparadigma's

Het artikel synthetiseert twee grote paradigma's voor het bereiken van omgevingsschaling:

Programmatieke Generatoren: Deze construeren uitvoerbare regelsets via code ( $E = g_\theta(z)$ $E = g_{θ} (z)$ ).
- Voordelen: Hoge controleerbaarheid, verifieerbaarheid (via unit-tests en invarianten) en het vermogen om gerichte verstoringen toe te passen langs specifieke assen (bijvoorbeeld alleen de interface $A$ variëren).
- Hybride Aanpak: Om semantische rijkdom aan te pakken, stelt het artikel voor om omgevingen te ontleden in een verifieerbaar regelskelet $\bar{E}$ en hoog-entropische inhoud $c$ , waarbij $c$ via taalsmodellen wordt bemonsterd om observaties te diversifiëren zonder reproduceerbaarheid te breken.
Generatieve Wereldmodellen: Deze produceren expliciete interactieve werelden vanuit compacte specificaties (bijvoorbeeld natuurlijke taalprompts) met behulp van geleerde dynamiekmodellen ( $s_{t+1} \sim p_\phi(s_{t+1}|s_t, a_t)$ $s_{t + 1} \sim p_{ϕ} (s_{t + 1} ∣ s_{t}, a_{t})$ ).
- Voordelen: Brede dekking en open-endedheid, in staat om op vraag nieuwe werelden te instantiëren.
- Afwegingen: Vereist brede werelddata voor training en toegewijde protocollen om geldigheid en controleerbaarheid te waarborgen. Het artikel stelt dat deze complementair zijn aan programmatieke generatoren, die de gestructureerde data en verificatiehaken leveren die nodig zijn om leren te stabiliseren.

4. Evaluatiecriteria

Om omgevingsschaling meetbaar te maken, stelt het artikel een checklist op suite-niveau voor voor het evalueren van schaalbare omgevingen:

Uitvoerbaarheid: De omgeving moet herhaalde, crash-vrije rollouts ondersteunen met deterministische replay.
Signalen: Feedbackkanalen ( $Y$ ) moeten betrouwbaar zijn, met hoge oracle-dekking en minimaal ruis.
Dekking: De verdeling $p(E)$ moet zich uitbreiden langs interpreteerbare assen (interface, dynamiek, observatie) in plaats van onbeperkte diversiteit te produceren.
Complexiteit: Gemeten op gedragsniveau (bijvoorbeeld oplossingshorizon, actievertakking, feedback-scariteit) in plaats van alleen op codemaat.
Efficiëntie: Metrieken voor generatie-doorvoer en kosten per geldige omgeving.

Belangrijkste Bijdragen

Argument voor Noodzaak: Het artikel betoogt dat schaalbare omgevingen niet optioneel zijn, maar een vereiste voor algemene agenten, aangezien competentie over omgevingen niet bereikt kan worden door data binnen een enkele vaste wereld te schalen.
Operationele Taxonomie: Het introduceert een duidelijk onderscheid tussen traject-, taak- en omgevingsschaling op basis van resultaten en veranderingen in de uitvoerbare regelset, wat beslissingsregels biedt voor grensgevallen.
Synthese van Paradigma's: Het contrasteert programmatieke generatoren (controleerbaar, verifieerbaar) met generatieve wereldmodellen (breed, open-ended) en schetst hun respectieve ontwerpprincipes en afwegingen.
Evaluatiekader: Het stelt een concrete reeks criteria voor (Uitvoerbaarheid, Signalen, Dekking, Complexiteit, Efficiëntie) om rapportage en vergelijking van schaalbare omgevingssuites te standaardiseren.
Lerend Formulering: Het presenteert het trainen van algemene agenten als het optimaliseren van prestaties over een verdeling van omgevingen $E \sim p(E)$ , met benadrukking van de noodzaak van stateful leermechanismen ( $L$ ) die interne toestanden updaten om zich aan te passen aan regelset-verschuivingen, in plaats van alleen een vast beleid te leren.

Resultaten en Beweringen

Als position paper presenteert dit werk geen nieuwe experimentele resultaten of empirische benchmarks. In plaats daarvan zijn de "resultaten" conceptuele verduidelijkingen en een voorgestelde routekaart voor het vakgebied.

Verduidelijking van Bottlenecks: Het artikel toont aan dat huidige schaalinspanningen taakdiversiteit vaak verwarren met omgevingsdiversiteit, wat leidt tot agenten die overgefit zijn op specifieke regelsets.
Haalbaarheid van Schaling: Door bestaand werk te analyseren (bijvoorbeeld EnvScaler, AutoEnv, TaskCraft), toont het artikel aan dat omgevingsschaling al plaatsvindt, maar dat er een unified definitie en evaluatiestandaard ontbreekt.
Complementariteit: Het artikel beweert dat programmatieke en generatieve benaderingen niet wederzijds uitsluitend zijn, maar samen gebruikt moeten worden om controleerbaarheid in evenwicht te brengen met semantische rijkdom.

Betekenis

De betekenis van het artikel ligt in zijn oproep om omgevingen als artefacten van de eerste orde te behandelen die geschaald, geverifieerd en gemeten kunnen worden, vergelijkbaar met hoe modellen en datasets tegenwoordig worden behandeld.

Verschuiving in Focus: Het betoogt dat de bottleneck voor algemene agenten is verschoven van modelcapaciteit naar aanbod aan ervaring, specifiek het aanbod van diverse, uitvoerbare regelsets.
Meetbare Vooruitgang: Door een taxonomie en evaluatiecriteria te bieden, beoogt het artikel rigoureuze, vergelijkbare studies van adaptatie over omgevingen en meta-leren mogelijk te maken.
Fundament voor Robuustheid: Het stelt dat schaalbare omgevingen het essentiële substraat bieden voor het trainen van agenten die latente regels kunnen infereren en strategieën kunnen updaten wanneer interfaces, dynamieken of feedbacksignalen veranderen, waardoor het vakgebied zich beweegt naar echt robuuste algemene agenten.

De auteurs concluderen dat hoewel domeinspecialisatie (taakschaling) voldoende kan zijn voor specifieke producten, de pursuit van algemene intelligentie omgevingsschaling vereist om de fundamentele uitdaging van verdelingsverschuivingen op wereldniveau aan te pakken.