💬 NLP

Scalable Environments Drive Generalizable Agents

Dieses Positionspapier argumentiert, dass die Entwicklung wirklich generalisierbarer Agenten einen Fokuswechsel von der bloßen Skalierung der Aufgabenanzahl hin zur „Umgebungsskalierung" erfordert – also der Erweiterung der Vielfalt der ausführbaren Regelsätze, denen Agenten begegnen – und schlägt eine einheitliche Taxonomie sowie Konstruktionsparadigmen vor, um diese weltweite Verteilungsverschiebung systematisch zu adressieren.

Ursprüngliche Autoren: Jiayi Zhang, Fanqi Kong, Guibin Zhang, Maojia Song, Zhaoyang Yu, Jianhao Ruan, Jinyu Xiang, Bang Liu, Chenglin Wu, Yuyu Luo

Veröffentlicht 2026-05-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiayi Zhang, Fanqi Kong, Guibin Zhang, Maojia Song, Zhaoyang Yu, Jianhao Ruan, Jinyu Xiang, Bang Liu, Chenglin Wu, Yuyu Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Nicht nur mehr üben, sondern in verschiedenen Welten üben

Stellen Sie sich vor, Sie trainieren einen Roboter, um ein „allgemeiner Agent" zu werden – ein intelligenter Helfer, der überall und alles tun kann.

Derzeit versuchen die meisten Forscher, diese Roboter intelligenter zu machen, indem sie ihnen mehr Übung im gleichen Raum geben. Sie lassen den Roboter vielleicht 1.000 verschiedene Rätsel in derselben Küche lösen oder ihn 10.000 Mal denselben Labyrinth durchlaufen.

Die Argumentation des Papers: Dieser Ansatz hat Grenzen. Wenn Sie nur in einer bestimmten Küche üben, wird der Roboter wirklich gut in dieser Küche. Aber wenn Sie ihn in eine neue Küche bringen, wo der Herd links statt rechts steht oder die Schränke eine andere Farbe haben, könnte der Roboter verwirrt werden und versagen.

Die Autoren argumentieren, dass wir, um einen wirklich intelligenten Agenten zu bauen, nicht nur die Daten (mehr Übungsdurchläufe) oder die Aufgaben (mehr Rätsel) skalieren sollten. Stattdessen müssen wir die Umgebungen (die Räume selbst) skalieren. Wir müssen den Agenten vielen verschiedenen „Küchen" mit unterschiedlichen Regeln, Grundrissen und Werkzeugen aussetzen, damit er lernt, sich an alles anzupassen.

Die drei Wege zum „Skalieren" (Die Leiter des Lernens)

Das Paper ordnet die aktuelle Forschung in drei Stufen ein, wie beim Erklimmen einer Leiter. Jede Stufe lehrt den Agenten etwas anderes.

1. Trajektorien-Skalierung (Die „Wiederholungs"-Ebene)

Was es ist: Den Agenten denselben Pfad immer und immer wieder laufen lassen oder mehr Videos davon sammeln, wie jemand dieselbe Aufgabe ausführt.
Die Analogie: Stellen Sie sich einen Musiker vor, der 10 Stunden am Tag dasselbe Lied auf demselben Klavier übt. Er wird bei diesem einen Lied sehr schnell und präzise.
Das Ergebnis: Der Agent wird besser bei diesem spezifischen Lied, aber wenn Sie ihm ein anderes Klavier mit anderen Tasten geben, weiß er vielleicht nicht, was er tun soll.

2. Aufgaben-Skalierung (Die „Vielfalt"-Ebene)

Was es ist: Dem Agenten viele verschiedene Ziele geben, aber die Regeln der Welt exakt gleich zu lassen.
Die Analogie: Jetzt spielt der Musiker 1.000 verschiedene Lieder, aber sie werden alle auf exakt demselben Klavier gespielt.
Das Ergebnis: Der Agent lernt, viele Probleme zu lösen, aber er geht immer noch davon aus, dass das „Klavier" (die Regeln der Welt) sich nie ändern wird. Wenn das Klavier plötzlich zu einem Schlagzeug wird, ist der Agent verloren.

3. Umgebungs-Skalierung (Die „Anpassungs"-Ebene)

Was es ist: Die tatsächlichen Regeln der Welt zu verändern. Die Schnittstelle, die Physik oder die Rückmeldesignale zu ändern.
Die Analogie: Jetzt übt der Musiker auf einem Klavier, dann auf einem Schlagzeug, dann auf einer Gitarre, dann auf einem Synthesizer. Er muss herausfinden, wie man Musik auf jedem Instrument macht, das ihm in die Hände gedrückt wird.
Das Ergebnis: Dies ist der einzige Weg, einen „allgemeinen Agenten" zu bauen, der eine Welt bewältigen kann, die er noch nie gesehen hat.

Wie bauen wir diese neuen Welten?

Das Paper schlägt zwei Hauptmethoden vor, um diese vielfältigen Umgebungen zu schaffen:

Methode A: Der „Lego-Baumeister" (Programmierbare Generatoren)

Wie es funktioniert: Wissenschaftler schreiben Code, um Welten zu bauen. Sie definieren die Regeln (wie „Schwerkraft ist 9,8" oder „die Tür öffnet sich mit einem roten Schlüssel") und lassen dann einen Computer zufällig die Möbel oder die Farben austauschen.
Die Analogie: Denken Sie an einen Level-Editor für Videospiele. Sie können auf einen Knopf klicken, um 1.000 verschiedene Schloss-Layouts zu generieren. Sie wissen genau, wie die Wände funktionieren, weil Sie den Code geschrieben haben.
Vorteile: Es ist sehr sicher und überprüfbar. Sie wissen, dass die Regeln korrekt sind.
Nachteile: Es könnte sich etwas roboterhaft anfühlen oder „Geschmack" fehlen (wie ein Schloss, das etwas zu perfekt aussieht).

Methode B: Der „Traumweber" (Generative Weltmodelle)

Wie es funktioniert: KI (wie die Art, die Geschichten schreibt oder Bilder erstellt) nutzen, um neue Welten von Grund auf basierend auf einer Textbeschreibung zu imaginieren und zu bauen.
Die Analogie: Sie sagen einem Zauberer: „Erstelle eine Welt, in der die Schwerkraft seitwärts zieht", und der Zauberer baut sie sofort.
Vorteile: Es kann unendlich viele, wilde und kreative Welten schaffen, die sehr vielfältig sind.
Nachteile: Es ist schwieriger zu prüfen, ob die Regeln konsistent sind. Der „Zauberer" könnte einen Fehler machen, bei dem eine Tür sich öffnet, aber nirgendwohin führt.

Das Konzept des „Regelsatzes"

Die Autoren definieren eine Umgebung nicht nur als Bild oder Spiel, sondern als einen Regelsatz.

Die Schnittstelle: Welche Werkzeuge kann der Agent nutzen? (z. B. Kann er eine Tür öffnen? Kann er tippen?)
Die Dynamik: Wie verändert sich die Welt, wenn der Agent handelt? (z. B. Wenn ich eine Kiste schiebe, gleitet sie dann oder springt sie?)
Das Feedback: Wie teilt die Welt dem Agenten mit, ob er gut abgeschnitten hat? (z. B. Gibt es ein „Gut gemacht!" oder eine rote „Fehler"-Meldung?)

Umgebungs-Skalierung bedeutet, diese Regeln zu ändern. Wenn Sie die „Schnittstelle" (die Werkzeuge), die „Dynamik" (die Physik) oder das „Feedback" (die Bewertung) ändern, zwingen Sie den Agenten, eine neue Denkweise zu lernen, nicht nur eine neue Antwort auswendig zu lernen.

Warum ist das wichtig?

Das Paper kommt zu dem Schluss, dass wir derzeit in einer Sackgasse stecken. Wir haben großartige KI-Modelle, aber wir trainieren sie in „statischen" Welten.

Das Problem: Wenn eine KI nur auf festen Regeln trainiert wird, ist sie „brüchig". Sie bricht leicht zusammen, wenn sich die reale Welt ändert.
Die Lösung: Wir müssen Umgebungen als das Wichtigste behandeln, was es zu skalieren gilt. Genau wie wir die Menge an Textdaten skaliert haben, um KI Sprache beizubringen, müssen wir nun die Vielfalt der Welten skalieren, um KI beizubringen, wie sie sich anpasst.

Kurz gesagt: Um einen Agenten zu schaffen, der die reale Welt bewältigen kann, müssen wir aufhören, ihm beizubringen, Rätsel in einem einzigen, perfekten Raum zu lösen. Wir müssen ihn in tausend verschiedene Räume mit unterschiedlichen Regeln werfen und sehen, ob er herausfinden kann, wie er überlebt.

Technische Zusammenfassung: Skalierbare Umgebungen treiben generalisierbare Agenten voran

Problemstellung

Die Arbeit identifiziert eine kritische Engstelle in der Entwicklung allgemeiner künstlicher Agenten: die Abhängigkeit von der Skalierung der Modellparameter oder statischer Korpora, anstatt die Vielfalt interaktiver Erfahrungen zu skalieren. Die aktuellen Praktiken konzentrieren sich weitgehend auf die Trajektorien-Skalierung (Sammeln von mehr Daten innerhalb fester Benchmarks) und die Aufgaben-Skalierung (Erweiterung von Zielsets unter festen Regeln). Obwohl diese Ansätze wertvoll sind, lassen sie Agenten brüchig zurück, wenn sich zugrunde liegende Schnittstellen, Übergangsdynamiken, Beobachtungsprozesse oder Feedback-Signale ändern.

Die Autoren argumentieren, dass echte Generalisierung kompetente Fähigkeiten über Umgebungen hinweg erfordert – die Fähigkeit, sich an „Verteilungsverschiebungen auf Weltebene" anzupassen. Bestehende Agenten scheitern oft, wenn sich die ausführbaren Regelsets, mit denen sie interagieren, ändern, und zwar nicht nur wegen Datenknappheit, sondern weil sie nicht systematisch Verhaltensweisen unterschiedlicher Interaktionsprozesse ausgesetzt waren. Das Feld fehlt ein einheitliches Rahmenwerk, um zwischen der Skalierung von Daten, Aufgaben und den Umgebungen selbst zu unterscheiden, was zu konzeptueller Überlastung und schwierigen Vergleichen führt.

Methodik und Rahmenwerk

1. Formale Definitionen

Die Arbeit etabliert eine leichte Formalisierung, um Skalierungsregime basierend auf dem ausführbaren Regelset $E = (S, A, T, O, \Omega, Y)$ zu unterscheiden, wobei $S$ der Zustandsraum ist, $A$ die Aktionsschnittstelle, $T$ die Übergangsdynamik, $O$ der Beobachtungsraum, $\Omega$ die Beobachtungsschnittstelle und $Y$ der Signalraum.

Trajektorien-Skalierung: Erweitert die Verteilung von Interaktionsspuren $p(\tau | E, x)$ , während $E$ und die Aufgabenverteilung $p(x|E)$ weitgehend fest bleiben. Das primäre Ergebnis sind reichhaltigere Policy-Daten (Demonstrationen, Fehler).
Aufgaben-Skalierung: Erweitert die Aufgabenverteilung $p(x | E)$ (Ziele, Einschränkungen, Anfangsbedingungen) innerhalb eines festen Regelsets $E$ . Der Agent lernt, ein breiteres Spektrum an Zielen zu lösen, ohne dass sich die zugrunde liegenden Interaktionsregeln ändern.
Umgebungs-Skalierung: Erweitert die Verteilung ausführbarer Regelsets $p(E)$ . Dies beinhaltet die Generierung von Umgebungen mit sinnvoll unterschiedlichen Komponenten (z. B. verschiedene Aktionsschnittstellen $A$ , Übergangsdynamiken $T$ oder Feedback-Kanäle $Y$ ). Das primäre Ergebnis ist eine neue, wiederverwendbare Umweltinstanz.

2. Taxonomie und Grenzfälle

Die Autoren schlagen eine operative Taxonomie vor, um Mehrdeutigkeiten in der aktuellen Literatur aufzulösen. Eine Methode wird nach ihrem primären Ergebnis klassifiziert:

Wenn das Ergebnis mehr Spuren unter festen Regeln sind $\rightarrow$ Trajektorien-Skalierung.
Wenn das Ergebnis neue Ziele unter festen Regeln sind $\rightarrow$ Aufgaben-Skalierung.
Wenn das Ergebnis eine neue, wiederverwendbare Umweltinstanz mit einem modifizierten Regelset ist $\rightarrow$ Umgebungs-Skalierung.

Die Arbeit stellt fest, dass diese Regime zwar kombiniert werden können (z. B. liefert eine neue Umwelt neue Aufgaben und Spuren), die Klassifizierung jedoch davon abhängt, was primär skaliert wird.

3. Konstruktionsparadigmen

Die Arbeit synthetisiert zwei Hauptparadigmen zur Erreichung der Umgebungs-Skalierung:

Programmierte Generatoren: Diese konstruieren ausführbare Regelsets über Code ( $E = g_\theta(z)$ $E = g_{θ} (z)$ ).
- Vorteile: Hohe Kontrollierbarkeit, Überprüfbarkeit (durch Unit-Tests und Invarianten) und die Fähigkeit, gezielte Störungen entlang spezifischer Achsen anzuwenden (z. B. nur die Schnittstelle $A$ variieren).
- Hybrider Ansatz: Um semantische Reichhaltigkeit zu adressieren, schlägt die Arbeit vor, Umgebungen in ein überprüfbares Regelgerüst $\bar{E}$ und hochentropischen Inhalt $c$ zu zerlegen, wobei $c$ über Sprachmodelle gesampelt wird, um Beobachtungen zu diversifizieren, ohne die Reproduzierbarkeit zu brechen.
Generative Weltmodelle: Diese erzeugen explizite interaktive Welten aus kompakten Spezifikationen (z. B. natürliche Sprachprompts) unter Verwendung erlernter Dynamikmodelle ( $s_{t+1} \sim p_\phi(s_{t+1}|s_t, a_t)$ $s_{t + 1} \sim p_{ϕ} (s_{t + 1} ∣ s_{t}, a_{t})$ ).
- Vorteile: Breite Abdeckung und Offenheit, fähig, auf Abruf neue Welten zu instanziieren.
- Abwägungen: Erfordert breite Weltdaten für das Training und dedizierte Protokolle, um Validität und Kontrollierbarkeit sicherzustellen. Die Arbeit geht davon aus, dass diese komplementär zu programmierten Generatoren sind, die die strukturierten Daten und Verifizierungshaken bereitstellen, die für die Stabilisierung des Lernens notwendig sind.

4. Evaluierungskriterien

Um die Umgebungs-Skalierung messbar zu machen, schlägt die Arbeit eine Checkliste auf Suite-Ebene zur Evaluierung skalierbarer Umgebungen vor:

Ausführbarkeit: Die Umgebung muss wiederholte, absturzfreie Durchläufe mit deterministischer Wiedergabe unterstützen.
Signale: Feedback-Kanäle ( $Y$ ) müssen zuverlässig sein, mit hoher Oracle-Abdeckung und minimalem Rauschen.
Abdeckung: Die Verteilung $p(E)$ muss entlang interpretierbarer Achsen (Schnittstelle, Dynamik, Beobachtung) erweitert werden, anstatt ungebundene Vielfalt zu produzieren.
Komplexität: Wird verhaltensbasiert gemessen (z. B. Lösungshorizont, Verzweigung von Aktionen, Feedback-Spärlichkeit) und nicht nur durch die Codegröße.
Effizienz: Metriken für den Generierungsdurchsatz und die Kosten pro gültiger Umgebung.

Hauptbeiträge

Argument für die Notwendigkeit: Die Arbeit argumentiert, dass skalierbare Umgebungen keine Option, sondern eine Voraussetzung für allgemeine Agenten sind, da kompetente Fähigkeiten über Umgebungen hinweg nicht durch Skalierung von Daten innerhalb einer einzigen festen Welt erreicht werden können.
Operative Taxonomie: Sie führt eine klare Unterscheidung zwischen Trajektorien-, Aufgaben- und Umgebungs-Skalierung basierend auf Ergebnissen und Änderungen am ausführbaren Regelset ein und liefert Entscheidungsregeln für Grenzfälle.
Synthese von Paradigmen: Sie kontrastiert programmierte Generatoren (kontrollierbar, überprüfbar) mit generativen Weltmodellen (breit, offen) und skizziert ihre jeweiligen Gestaltungsprinzipien und Abwägungen.
Evaluierungsrahmen: Sie schlägt einen konkreten Satz von Kriterien (Ausführbarkeit, Signale, Abdeckung, Komplexität, Effizienz) vor, um die Berichterstattung und den Vergleich von skalierbaren Umgebungs-Suiten zu standardisieren.
Lernformulierung: Sie fasst das Training allgemeiner Agenten als Optimierung der Leistung über eine Verteilung von Umgebungen $E \sim p(E)$ zusammen und betont die Notwendigkeit von zustandsbehafteten Lernmechanismen ( $L$ ), die interne Zustände aktualisieren, um sich an Regelset-Verschiebungen anzupassen, anstatt nur eine feste Policy zu lernen.

Ergebnisse und Behauptungen

Als Positionspapier präsentiert diese Arbeit keine neuen experimentellen Ergebnisse oder empirischen Benchmarks. Stattdessen bestehen ihre „Ergebnisse" in konzeptuellen Klärungen und einer vorgeschlagenen Roadmap für das Feld.

Klärung von Engpässen: Die Arbeit zeigt, dass aktuelle Skalierungsbemühungen oft Aufgabenvielfalt mit Umgebungsdiversität vermischen, was zu Agenten führt, die auf spezifische Regelsets überangepasst sind.
Durchführbarkeit der Skalierung: Durch die Analyse bestehender Arbeiten (z. B. EnvScaler, AutoEnv, TaskCraft) zeigt die Arbeit, dass die Umgebungs-Skalierung bereits stattfindet, aber einer einheitlichen Definition und Evaluierungsstandards entbehrt.
Komplementarität: Die Arbeit behauptet, dass programmatische und generative Ansätze nicht gegenseitig ausschließend sind, sondern gemeinsam verwendet werden sollten, um Kontrollierbarkeit mit semantischer Reichhaltigkeit in Einklang zu bringen.

Bedeutung

Die Bedeutung der Arbeit liegt in ihrem Aufruf, Umgebungen als Erstklass-Artefakte zu behandeln, die skaliert, verifiziert und gemessen werden können, ähnlich wie Modelle und Datensätze heute behandelt werden.

Verschiebung des Fokus: Sie argumentiert, dass sich der Engpass für allgemeine Agenten von der Modellkapazität hin zur Versorgung mit Erfahrungen verschoben hat, speziell die Versorgung mit diversen, ausführbaren Regelsets.
Messbarer Fortschritt: Durch die Bereitstellung einer Taxonomie und Evaluierungskriterien zielt die Arbeit darauf ab, rigorose, vergleichbare Studien zur Anpassung über Umgebungen hinweg und zum Meta-Lernen zu ermöglichen.
Grundlage für Robustheit: Sie geht davon aus, dass skalierbare Umgebungen das essentielle Substrat für das Training von Agenten bieten, die latente Regeln ableiten und Strategien aktualisieren können, wenn sich Schnittstellen, Dynamiken oder Feedback-Signale ändern, und so das Feld hin zu wirklich robusten allgemeinen Agenten bewegen.

Die Autoren schließen, dass während Domänenspezialisierung (Aufgaben-Skalierung) für spezifische Produkte ausreichen mag, die Verfolgung allgemeiner Intelligenz die Umgebungs-Skalierung erfordert, um die fundamentale Herausforderung von Verteilungsverschiebungen auf Weltebene zu adressieren.