Preventing Learning Stagnation in PPO by Scaling to 1 Million Parallel Environments

Die Autoren zeigen, dass Lernstagnation bei PPO durch eine Diskrepanz zwischen Stichproben-Schätzungen und dem wahren Ziel entsteht, und beweisen, dass diese durch Skalierung auf über eine Million parallele Umgebungen und eine angepasste Hyperparameter-Strategie überwunden werden kann, was zu einer monotonen Leistungsverbesserung über eine Billion Übergänge hinweg führt.

Das Wesentliche

Titel: Wie man KI-Trainings zum Stehen bringt – und wie man sie wieder in Schwung bringt

Stellen Sie sich vor, Sie trainieren einen sehr talentierten, aber etwas ungeduldigen Schüler für eine schwierige Prüfung. Dieser Schüler lernt durch „Versuch und Irrtum": Er probiert Dinge aus, bekommt Feedback (Punkte) und passt sein Verhalten an. In der Welt der Künstlichen Intelligenz nennen wir das Reinforcement Learning (Bestärkendes Lernen).

Das Problem, das die Autoren dieses Papiers untersucht haben, ist folgendes: Oft lernt dieser Schüler am Anfang super schnell. Aber dann passiert etwas Seltsames: Er bleibt auf einem bestimmten Niveau hängen. Er wird nicht schlechter, aber er wird auch nicht besser. Er erreicht nie die volle Meisterschaft, obwohl er noch Millionen von Stunden trainieren könnte. Man nennt das einen „Plateau-Effekt".

Die Forscher haben herausgefunden, warum das passiert, und eine einfache Lösung gefunden, die es dem Schüler erlaubt, bis zu einer Billion Lernschritte durchzuhalten, ohne zu stagnieren.

Hier ist die Erklärung in einfachen Bildern:

1. Das Problem: Der ungeduldige Lehrer und der laute Raum

Stellen Sie sich das Training so vor:

• Der Schüler (die KI): Er versucht, eine Aufgabe zu lösen (z. B. einen Roboterarm zu bewegen).
• Der Lehrer (der Algorithmus PPO): Er schaut zu, wie der Schüler übt, und sagt: „Das war gut, mach es so weiter" oder „Das war schlecht, ändere es".
• Die Übungsrunde (Parallel Environments): Um schnell zu lernen, lassen wir den Schüler nicht nur einen Roboterarm bewegen, sondern 1 Million Roboterarme gleichzeitig in verschiedenen Räumen. Das ist wie ein riesiges Gymnasium voller Schüler, die alle gleichzeitig üben.

Warum bleibt der Schüler hängen?
Die Forscher haben entdeckt, dass das Problem nicht darin liegt, dass der Schüler zu dumm ist oder die Aufgaben zu schwer. Das Problem ist die Art und Weise, wie der Lehrer korrigiert.

Stellen Sie sich vor, der Lehrer gibt dem Schüler eine Anweisung basierend auf dem, was er gerade gesehen hat.

• Wenn der Raum zu laut ist (zu wenig Daten pro Korrektur), hört der Lehrer nur Rauschen. Er reagiert übertrieben stark auf zufällige Fehler.
• Wenn der Lehrer zu schnell und zu wild korrigiert (zu großer „Schritt"), stolpert der Schüler über seine eigenen Füße. Er springt hin und her, kommt aber nie an einem stabilen Punkt an. Er läuft im Kreis um einen kleinen Hügel herum, statt den Berg zu erklimmen.

In der Fachsprache nennen die Autoren das: Der „Schritt" ist zu groß im Verhältnis zum „Rauschen".

2. Die Lösung: Mehr Ruhe und mehr Daten

Die Forscher haben eine einfache Regel entdeckt: Je mehr Daten der Lehrer hat, desto vorsichtiger und präziser darf er korrigieren.

Stellen Sie sich vor, Sie wollen eine Entscheidung treffen:

• Szenario A (Wenige Daten): Sie fragen nur einen Menschen: „Ist das Wetter schön?" Wenn dieser eine Mensch zufällig einen Regenschirm sieht, sagen Sie: „Es regnet!" und bleiben zu Hause. Das ist ein zu großer Schritt basierend auf zu wenig Information.
• Szenario B (Viele Daten): Sie fragen eine Million Menschen. Wenn 900.000 sagen „Sonne" und 100.000 sagen „Regen", wissen Sie genau, was zu tun ist. Sie können eine sehr kleine, präzise Entscheidung treffen.

Die geniale Idee der Autoren:
Statt den Algorithmus kompliziert umzubauen, haben sie einfach die Anzahl der parallelen Umgebungen massiv erhöht.

• Früher: Man trainierte mit ca. 2.000 parallelen Robotern.
• Jetzt: Sie haben es auf 1 Million parallele Roboter hochskaliert.

Dadurch wird das „Rauschen" (die Unsicherheit) so klein, dass der Lehrer sehr feine, kleine Korrekturen machen kann. Der Schüler stolpert nicht mehr, sondern gleitet sanft zum Ziel.

3. Die wichtige Regel: Nicht alles ändern!

Hier kommt der wichtigste Teil für die Praxis. Wenn man plötzlich 1 Million Roboter hat, könnte man denken: „Okay, wir müssen jetzt auch die Lernrate (wie schnell der Lehrer korrigiert) und die Gruppengröße ändern."

Die Autoren sagen: Nein! Lassen Sie die inneren Einstellungen genau so, wie sie sind.

Die Analogie:
Stellen Sie sich vor, Sie haben ein Orchester.

• Früher: 10 Musiker. Der Dirigent (der Algorithmus) gibt Takte vor.
• Jetzt: 10.000 Musiker.
• Der Fehler: Viele würden denken, der Dirigent muss jetzt viel lauter schreien oder die Noten ändern.
• Die Lösung der Autoren: Der Dirigent macht genau dieselben Bewegungen wie bei 10 Musikern. Aber weil jetzt 10.000 Musiker da sind, ist das Ergebnis (der Klang) viel voller und präziser. Wenn man die Taktgeschwindigkeit (Lernrate) falsch anpasst, gerät das Orchester ins Chaos.

Die Regel lautet also: Mehr Roboter = Mehr Daten = Kleinere, sicherere Schritte. Aber die Art, wie wir korrigieren (die inneren Einstellungen), bleibt gleich.

4. Das Ergebnis: Ein unendlicher Lernprozess

Mit dieser Methode haben die Forscher ein System gebaut, das in einer extrem komplexen, offenen Welt (genannt „Kinetix", wo Roboter physikalische Aufgaben lösen müssen) trainiert wurde.

• Normalerweise: Die KI lernt schnell, bleibt dann nach 10 Milliarden Schritten hängen und wird nie besser.
• Mit der neuen Methode: Die KI lernt linear weiter. Sie wird mit jeder Sekunde besser, bis sie eine Billion Schritte trainiert hat. Es gibt kein Plateau mehr.

Zusammenfassung in einem Satz

Das Papier zeigt, dass KI-Systeme oft nicht wegen mangelnder Intelligenz, sondern wegen zu „lauter" und ungenauer Trainingsdaten stagnieren; indem man einfach viel mehr parallele Trainingsumgebungen nutzt und die inneren Einstellungen dabei unverändert lässt, kann man KI-Systeme dazu bringen, sich unbegrenzt zu verbessern.

Es ist wie der Unterschied zwischen einem Schüler, der nur mit einem Lehrer lernt und oft missversteht, und einem Schüler, der in einem riesigen, gut organisierten Seminar mit Millionen von Tutoren sitzt – dort versteht er jeden kleinen Hinweis perfekt und wird zum Meister.

Technische Zusammenfassung

1. Problemstellung

Ein häufiges Versagensmuster in Deep Reinforcement Learning (RL), insbesondere bei On-Policy-Algorithmen wie Proximal Policy Optimization (PPO), ist das Stagnieren der Leistung (Plateaus) auf einem suboptimalen Niveau. Trotz des Vorhandenseins von Milliarden oder Billionen von Umgebungs-Interaktionen (Timesteps) verbessert sich die Performance des Agents nicht weiter.

Bisherige Arbeiten haben dieses Phänomen oft auf mangelnde Exploration, Kapazitätsverluste (Plasticity Loss) oder Optimierungsprobleme zurückgeführt. Die Autoren dieses Papers argumentieren jedoch, dass in bestimmten Regimen die Ursache ein schlechter Proxy der Loss-Funktion für das wahre Ziel ist. Wenn die stochastischen Schätzungen des Losses aufgrund von zu viel Rauschen (Noise) oder zu großen Schritten (Step Size) ungenau werden, führt dies zu einem Plateau, selbst wenn das Netzwerk theoretisch fähig wäre, weiter zu lernen.

2. Methodik und Konzeptuelles Modell

Die Autoren modellieren den Outer Loop von PPO (das Sammeln von Daten aus parallelen Umgebungen und das Aktualisieren der Policy) als standardmäßige stochastische Optimierung.

• Innerer vs. Äußerer Loop:
  • Innerer Loop: Die mehrfachen SGD-Schritte (Mini-Batch-Updates) auf einem festen Datensatz.
  • Äußerer Loop: Der Prozess des Sammelns neuer Daten und der Policy-Update-Schritt.
• Das Kernproblem: Das Stagnieren tritt auf, wenn die Schrittweite (Step Size) des äußeren Loops im Verhältnis zum Update-Rauschen (Update Noise) zu groß ist.
  • Schrittweite: Wird durch die Regularisierung gegenüber der vorherigen Policy bestimmt (z. B. durch den epsilon-Parameter oder die Stärke der Regularisierung).
  • Rauschen: Entsteht durch die Varianz der Gradienten, die aus einer begrenzten Anzahl von gesammelten Trajektorien (Samples) geschätzt werden.
• Die Lösung: Um das Plateau zu überwinden, muss entweder die Schrittweite verringert oder das Rauschen reduziert werden. Die Autoren zeigen, dass eine Erhöhung der Anzahl der parallelen Umgebungen beides gleichzeitig bewirkt:
  1. Sie erhöht die Datenmenge pro Update-Schritt (reduziert das Rauschen).
  2. Sie erhöht das „Alter" der Behavior-Policy (in Bezug auf gesammelte Samples), was indirekt die effektive Schrittweite verringert.

3. Wichtige Beiträge und Erkenntnisse

A. Validierung des stochastischen Optimierungsmodells

Die Autoren demonstrieren experimentell, dass PPO das gleiche Verhalten wie stochastischer Gradientenabstieg (SGD) zeigt:

• Eine zu große Schrittweite führt dazu, dass die Optimierung um ein lokales Optimum „herumtobt" (Thrashing), ohne den Loss zu senken.
• Eine Reduzierung der Schrittweite (durch stärkere Regularisierung) während des Trainings kann ein Plateau sofort beheben und die Lernkurve wieder ansteigen lassen.

B. Entkopplung von Hyperparametern

Eine zentrale Erkenntnis ist, dass Hyperparameter des inneren Loops (z. B. Lernrate, Mini-Batch-Größe) nicht ausreichen, um ein falsches Verhalten des äußeren Loops zu kompensieren.

• Die optimale Schrittweite des äußeren Loops hängt vom Trainingsbudget ab: Je mehr Daten verfügbar sind, desto kleiner sollte die effektive Schrittweite sein.
• Das Verhältnis von Daten zu Divergenz (Data to Divergence Ratio - DDR) wird als Schlüsselmetrik eingeführt. Ein zu niedriger DDR führt zu vorzeitigen Plateaus.

C. Skalierungsrezept für PPO

Die Autoren stellen ein robustes Rezept vor, um PPO auf massive Parallelisierung (bis zu 1 Million Umgebungen) zu skalieren, ohne die Stabilität zu verlieren:

• Empfehlung: Halten Sie die Mini-Batch-Größe und die Lernrate konstant, wenn Sie die Anzahl der parallelen Umgebungen erhöhen.
• Anpassung: Erhöhen Sie stattdessen die Anzahl der Optimierungsepochen (oder Schritte), um die zusätzlichen Daten zu verarbeiten.
• Warum? Dies erhält die Dynamik des inneren Optimierungsprozesses bei und ändert nur die Anzahl der Updates. Andere Ansätze (z. B. Vergrößerung der Mini-Batches bei gleichbleibender Lernrate) führen oft zu Instabilität und schlechterer Performance.

D. PPO-EWMA als Analyse-Werkzeug

Um die Regularisierung präzise zu steuern, nutzen die Autoren PPO-EWMA (Exponentially Weighted Moving Average). Hier wird die Referenz-Policy für die Regularisierung als gleitender Durchschnitt der aktuellen Gewichte definiert. Dies erlaubt eine feinkörnige Kontrolle der „Schrittweite" unabhängig von der Datenerfassung, was die Analyse der Plateau-Mechanismen erleichtert.

4. Ergebnisse

• Robotik-Domäne (IsaacGym): In komplexen Roboteraufgaben (z. B. Allegro Hand, Shadow Hand) übertraf die Anwendung des Skalierungsrezepts (Fixierung der Mini-Batch-Größe) die Standardkonfigurationen signifikant. Es ermöglichte PPO, besser mit fortschrittlicheren Methoden (wie SAPG) zu konkurrieren und die Lücke zu schließen.
• Open-Ended Learning (Kinetix): Im schwierigsten Testfeld, dem Kinetix-Umfeld (prozedural generierte Physik-Simulationen), zeigte sich der größte Gewinn:
  • Standard-Konfigurationen (2.048 Umgebungen) stagnierten nach weniger als 10 Milliarden Interaktionen.
  • Durch Skalierung auf über 1 Million parallele Umgebungen (unter Verwendung von 128 GPUs) konnte PPO eine monotone Leistungssteigerung über eine Billion (10^12) Timesteps hinweg erzielen.
  • Dies übertraf alle vorherigen Baselines deutlich und zeigte, dass das Problem nicht in der Komplexität der Aufgabe lag, sondern in der Ineffizienz der Algorithmen bei großen Datenmengen.

5. Bedeutung und Fazit

Dieses Paper liefert einen paradigmatischen Wandel im Verständnis von PPO-Skalierung:

1. Ursachenklärung: Es identifiziert das Missverhältnis zwischen Schrittweite und Update-Rauschen als Hauptursache für Lernstagnation, nicht notwendigerweise mangelnde Exploration oder Kapazität.
2. Praktische Anleitung: Es bietet eine einfache, aber effektive Regel für das Scaling von PPO: Mehr Parallelität erfordert mehr Optimierungsschritte bei gleicher Mini-Batch-Größe und Lernrate.
3. Skalierbarkeit: Es beweist, dass On-Policy-Algorithmen wie PPO auch bei extrem großen Datenmengen (Trillionen von Schritten) stabil bleiben können, wenn sie richtig skaliert werden. Dies ist ein entscheidender Schritt hin zu RL-Systemen, die unbegrenzt von zusätzlicher Rechenleistung und Erfahrung profitieren können.

Die Arbeit zeigt, dass durch die Anpassung der Hyperparameter an das verfügbare Rechenbudget (insbesondere durch massive Parallelisierung) die Leistungsgrenzen aktueller RL-Systeme signifikant verschoben werden können.