One Model for All Tasks: Leveraging Efficient World Models in Multi-Task Planning

Die Arbeit stellt ScaleZero vor, ein einheitliches Modell für heterogene Multi-Task-Planung, das durch eine Mixture-of-Experts-Architektur Gradientenkonflikte löst und eine dynamische Parameter-Skalierung (DPS) nutzt, um die Effizienz zu steigern und gleichzeitig mit spezialisierten Ein-Task-Agenten konkurrieren zu können.

Das Wesentliche

🌍 Das Problem: Der überforderte Alleskönner

Stell dir vor, du hast einen genialen Koch, der ein Restaurant führt.

• Aufgabe A: Er muss perfekt Pizza backen (einfach, schnell, immer gleich).
• Aufgabe B: Er muss ein komplexes 5-Gänge-Menü für eine königliche Hochzeit kochen (schwierig, erfordert viele Zutaten, lange Planung).
• Aufgabe C: Er muss gleichzeitig ein Dessert für eine Eisdiele zubereiten (ganz andere Technik).

In der Welt der künstlichen Intelligenz (KI) versuchen Forscher oft, ein einziges KI-Modell zu bauen, das alle diese Aufgaben gleichzeitig lernt. Das Problem ist: Wenn der Koch versucht, alles gleichzeitig zu tun, passiert oft Folgendes:

1. Die Pizza-Teile dominieren: Weil Pizza so einfach ist, lernt der Koch das schnell. Aber die komplexen Anweisungen für das Hochzeitsmenü werden „übertönt".
2. Der Koch vergisst: Je mehr er versucht, alles zu tun, desto mehr verliert er die Fähigkeit, sich neue Dinge zu merken. Seine Kreativität (in der KI-Sprache: „Plastizität") erlahmt. Er wird starr und kann keine neuen, schwierigen Tricks mehr lernen. Er kollabiert.

Das ist genau das Problem, das die Autoren dieses Papiers lösen wollten.

---

💡 Die Lösung: ScaleZero – Das „Schweizer Taschenmesser" mit Spezialisten

Die Forscher haben eine neue KI namens ScaleZero entwickelt. Sie funktioniert wie ein riesiges, intelligentes Team, das in einem einzigen Gehirn lebt. Hier sind die zwei genialen Tricks, die sie benutzt:

1. Das „Experten-Team" (Mixture-of-Experts / MoE)

Stell dir vor, unser Koch hat nicht nur einen Magen, sondern ein riesiges Team von Spezialisten in seinem Kopf.

• Es gibt einen Pizzameister, einen Sushi-Koch, einen Süßwarentechniker und einen Allrounder.
• Wenn die KI eine Aufgabe bekommt (z. B. „Spiele Pong"), schaut ein intelligenter Türsteher (Router): „Oh, das ist eine einfache Reaktion. Ich rufe den Pizzameister!"
• Wenn die KI eine schwere Aufgabe bekommt (z. B. „Spiele Seaquest, ein komplexes Weltraumspiel"), ruft der Türsteher den Sushi-Koch (den Experten für komplexe Planung).

Der Clou: Die Experten arbeiten nicht alle gleichzeitig. Nur die passenden werden aktiviert. So stören sich die Aufgaben nicht gegenseitig. Der Pizzameister muss sich nicht um das Sushi kümmern, und der Sushi-Koch muss nicht auf die Pizza achten. Das verhindert, dass das Gehirn überlastet wird.

2. Das „Wachsende Team" (Dynamic Parameter Scaling / DPS)

Stell dir vor, du baust ein Haus.

• Der alte Weg: Du baust sofort ein riesiges Schloss mit 100 Zimmern, auch wenn du nur 3 Personen hast. Das ist teuer und ineffizient.
• Der ScaleZero-Weg: Du beginnst mit einem kleinen, soliden Fundament (dem Basis-Koch).
  • Solange die Aufgaben einfach sind (wie Pizza), reicht das Fundament.
  • Sobald eine Aufgabe zu schwer wird (wie das Hochzeitsmenü), baust du ein neues Zimmer an.
  • Aber Achtung: Du verriegelst die alten Zimmer! Der Koch, der die Pizza schon perfekt kann, darf nicht mehr verändert werden. Er bleibt so, wie er ist. Nur das neue Zimmer wird für die neue, schwere Aufgabe trainiert.

Das nennt man DPS. Es ist wie ein dynamisches Curriculum: Das System lernt erst das Einfache, verriegelt dieses Wissen und fügt dann nur so viel neue Kapazität hinzu, wie für die schwierigen Aufgaben nötig ist.

---

🏆 Die Ergebnisse: Ein Gewinner für alle

Die Forscher haben ScaleZero an 48 verschiedenen Aufgaben getestet:

• Atari-Spiele (wie Pong, Seaquest – visuelle, schnelle Reaktionen).
• Roboter-Steuerung (wie Laufen, Balancieren – flüssige Bewegungen).
• Text-Abenteuer (wie Zork – Lesen und logisches Denken).

Das Ergebnis:

1. Ein Modell für alle: ScaleZero ist ein einziger Agent, der in allen diesen Welten so gut oder sogar besser spielt als 48 verschiedene Spezialisten, die nur auf eine Aufgabe trainiert wurden.
2. Spart Zeit und Daten: Durch die Methode „DPS" (das schrittweise Hinzufügen von Räumen) brauchte das System 28,5 % weniger Daten, um das gleiche Ergebnis zu erzielen. Es lernt effizienter, weil es nicht verschwendet, was es schon kann.

🚀 Fazit in einem Satz

Statt einen einzelnen, überforderten Alleskönner zu bauen, der bei komplexen Aufgaben zusammenbricht, haben die Forscher ein flexibles KI-System entwickelt, das sich wie ein Team aus Spezialisten verhält und schrittweise wächst, genau dann, wenn es eine neue, schwere Herausforderung meistern muss.

Das ist ein großer Schritt hin zu einer echten „Allgemeinen Künstlichen Intelligenz", die in verschiedenen Welten bestehen kann, ohne dabei ihre Fähigkeiten zu verlieren.

Technische Zusammenfassung

1. Problemstellung

Das Papier adressiert die Herausforderungen des heterogenen Multi-Task-Reinforcement-Learning (MTRL) im Kontext von einheitlichen Weltmodellen (Unified World Models). Während bestehende Modelle wie UniZero in einzelnen Aufgaben (Single-Task) hervorragend funktionieren, scheitern sie oft, wenn sie auf eine breite Palette unterschiedlicher Aufgaben gleichzeitig trainiert werden.

Die Autoren identifizieren zwei fundamentale Hindernisse:

1. Repräsentationsengpässe und Kollaps der Plastizität (Plasticity Collapse): In heterogenen Umgebungen dominieren Gradienten von einfacheren, schneller konvergierenden Aufgaben (z. B. Pong) die Gradienten komplexerer Aufgaben (z. B. Seaquest). Dies führt zu einer Unterdrückung der Lernsignale für schwierige Aufgaben. Das Ergebnis ist ein „Kollaps der Plastizität", bei dem das Netzwerk seine Fähigkeit verliert, sich an neue Daten anzupassen. Dies manifestiert sich in einem Anstieg der Anzahl „dormanter" (inaktiver) Neuronen und einer unkontrollierten Inflation der Norm des latenten Zustands.
2. Statische Ressourcenallokation: Herkömmliche Architekturen wenden einen „One-Size-Fits-all"-Ansatz an, bei dem alle Aufgaben unabhängig von ihrem Schwierigkeitsgrad oder ihrem Lernfortschritt die gleichen Rechenressourcen und Modellkapazitäten erhalten. Dies führt zu Ineffizienz, da Ressourcen für bereits gelöste Aufgaben verschwendet werden, während komplexe Aufgaben unterversorgt bleiben.

2. Methodik

Die Autoren schlagen einen zweigleisigen Ansatz vor, um diese Probleme zu lösen: eine interne architektonische Lösung und eine externe prozedurale Strategie.

A. Architektur: ScaleZero

Das Kernmodell, ScaleZero, basiert auf einer systematischen Exploration des Designraums von UniZero. Die wichtigsten architektonischen Änderungen sind:

• Mixture-of-Experts (MoE) Backbone: Anstelle eines dichten Transformer-Backbones verwendet ScaleZero eine sparse MoE-Architektur. Dabei wird der Feed-Forward-Teil der Transformer-Blöcke durch mehrere spezialisierte „Expert"-Netzwerke ersetzt, die über ein Gating-System (Router) selektiv aktiviert werden.
  • Wirkung: Dies ermöglicht bedingte Berechnungen, bei denen verschiedene Aufgaben durch unterschiedliche Subnetzwerke verarbeitet werden. Theoretisch und empirisch wird gezeigt, dass dies Gradientenkonflikte drastisch reduziert, da Aufgaben, die sich widersprechen, in getrennten Experten-Subräumen verarbeitet werden.
• Encoder und Normalisierung: ScaleZero nutzt einen Vision Transformer (ViT) als Encoder (anstatt ResNet) und standardisiertes LayerNorm (anstatt SimNorm), um eine bessere Balance zwischen Stabilität und Repräsentationskapazität zu erreichen.
• Modularität: Die Architektur entkoppelt task-spezifische Encoder und Heads, was eine flexible Handhabung verschiedener Eingabe- und Ausgabemodalitäten (Bilder, Vektoren, Text) ermöglicht.

B. Strategie: Dynamic Parameter Scaling (DPS)

Um das Problem der statischen Ressourcenallokation zu lösen, führen die Autoren Dynamic Parameter Scaling (DPS) ein. Dies ist eine Online-Strategie, die die Modellkapazität dynamisch an den Lernfortschritt koppelt:

• Adaptive Task-Curation: Das Training konzentriert sich nur auf Aufgaben, die noch nicht als „gelöst" gelten (basierend auf einem Schwellenwert für die Performance). Sobald eine Aufgabe gelöst ist, werden ihre Daten und Gradientenupdates gestoppt.
• Stufenweise Kapazitätserweiterung: Das Training erfolgt in Phasen.
  • Phase 0 (Warm-up): Ein gemeinsames Basismodell wird auf allen Aufgaben trainiert.
  • Phasen s ≥ 1 (Expansion): Basierend auf dem Lernfortschritt werden neue, leichte LoRA-Adapter (Low-Rank Adaptation) schrittweise eingefügt.
• Parameter-Isolation: Sobald eine neue Phase beginnt, werden die Parameter des Basismodells und der bereits trainierten Adapter eingefroren. Nur die neuen LoRA-Module und Skalierungsfaktoren werden optimiert. Dies verhindert katastrophales Vergessen und ermöglicht gezielte Plastizität für schwierige Aufgaben, während das erworbene Wissen erhalten bleibt.

3. Wichtige Beiträge

1. Quantitative Diagnose: Die Autoren liefern den ersten quantitativen Nachweis für den „Plasticity Collapse" in einheitlichen Weltmodellen bei Multi-Task-Training. Sie korrelieren den Leistungsabfall direkt mit internen Metriken wie dem Anstieg der dormanten Neuronen und der Inflation der latenten Norm.
2. ScaleZero Architektur: Sie stellen ScaleZero vor, ein einheitliches Weltmodell, das durch die Integration einer MoE-Architektur Gradientenkonflikte löst und eine überlegene Generalisierung über drei verschiedene Benchmark-Suiten hinweg erreicht.
3. Dynamic Parameter Scaling (DPS): Sie entwickeln eine adaptive Trainingsstrategie, die Modellkapazität und Rechenressourcen dynamisch zuweist. Dies reduziert den Bedarf an Umgebungsinteraktionen signifikant, ohne die Endleistung zu beeinträchtigen.
4. Theoretische Analyse: Das Papier liefert eine theoretische Begründung (Theorem 5.1 und Anhang E), warum MoE-Schichten eine strengere Obergrenze für Gradientenkonflikte aufweisen als dichte Schichten, abhängig von der Spezialisierung des Routers.

4. Ergebnisse

Die Methode wurde auf drei heterogenen Benchmarks evaluiert, die rein online mit Reinforcement Learning trainiert wurden (ohne Experten-Daten):

• Atari (26 Spiele): ScaleZero (Single-Model) erreicht einen höheren durchschnittlichen normalisierten Score (Human-Normalized Score) als 26 separat trainierte Single-Task-Agenten (UniZero). Dies beweist einen positiven Wissenstransfer, insbesondere bei schwierigen Explorationsaufgaben wie Seaquest.
• DeepMind Control Suite (18 Aufgaben): ScaleZero erreicht eine überlegene Median-Leistung im Vergleich zu Single-Task-Baselines, was auf robuste Generalisierung in kontinuierlichen Kontrollaufgaben hindeutet.
• Jericho (4 Text-Abenteuer): Das Modell ist in der Lage, in textbasierten Umgebungen mit kombinatorischen Aktionsräumen und spärlichen Belohnungen wettbewerbsfähige Strategien zu lernen.

Effizienz von DPS:
Auf dem DMC-Benchmark erreicht die Variante ScaleZero-DPS eine Leistung, die mit Single-Task-Agenten vergleichbar ist, benötigt jedoch nur 71,5 % der Umgebungsinteraktionen (eine Reduktion von ca. 28,5 %). Dies unterstreicht die Effizienz der dynamischen Ressourcenallokation.

5. Bedeutung und Ausblick

Die Arbeit ist ein signifikanter Schritt hin zu Generalist-Agenten (Generalist Agents), die in der Lage sind, eine Vielzahl heterogener Aufgaben mit einem einzigen Modell zu meistern.

• Überwindung von Skalierungsproblemen: Die Kombination aus MoE (für architektonische Spezialisierung) und DPS (für dynamische Kapazitätsanpassung) bietet einen neuen Weg, um die Plastizität von Modellen in kontinuierlichen Lernumgebungen zu erhalten.
• Ressourceneffizienz: Die Ergebnisse zeigen, dass es möglich ist, die Leistung von spezialisierten Agenten zu erreichen oder zu übertreffen, während gleichzeitig der Datenbedarf und die Trainingskosten gesenkt werden.
• Zukunftsperspektiven: Die Autoren sehen Potenzial in der Erweiterung von DPS auf vollständig heterogene Domänen (gleichzeitiges Training von Atari, DMC und Jericho) und der Kombination mit Offline-Pre-Training, um die „Cold-Start"-Problematik weiter zu lösen.

Zusammenfassend demonstriert das Papier, dass durch die gezielte Architektur (MoE) und intelligente Trainingsstrategien (DPS) die fundamentalen Grenzen aktueller Multi-Task-Planungssysteme überwunden werden können.