Evolution Strategies for Deep RL pretraining

Die Studie zeigt, dass Evolution Strategies im Vergleich zu Deep Reinforcement Learning nicht durchgängig schneller trainieren und sich als Vorstufe zur Leistungssteigerung nur in einfachen Umgebungen wie Flappy Bird bewähren, während sie bei komplexeren Aufgaben wie Breakout und MuJoCo keine signifikanten Vorteile bieten.

Das Wesentliche

🎓 Die große Suche nach dem besten Lern-Trainer: Evolution vs. KI

Stell dir vor, du möchtest jemanden beibringen, ein sehr schwieriges Videospiel zu spielen. Dafür hast du zwei völlig unterschiedliche Trainer im Angebot:

1. Der „Gehirn-Trainer" (Deep Reinforcement Learning / DRL): Dieser Trainer ist wie ein genialer, aber nervöser Mathematiker. Er analysiert jeden einzelnen Fehler, berechnet genau, wo er den Knopf drücken muss, und passt seine Strategie mit Hilfe von komplexen Formeln (Gradienten) an. Er wird extrem schnell gut, wenn er die richtigen Einstellungen hat. Aber: Wenn die Einstellungen falsch sind, verliert er den Kopf, macht chaotische Fehler und braucht ewig, um sich zu beruhigen.
2. Der „Natur-Trainer" (Evolution Strategies / ES): Dieser Trainer ist wie ein wilder Tierzüchter. Er nimmt 100 verschiedene Versionen seines Schülers, gibt jedem eine kleine, zufällige Veränderung (eine Mutation) und lässt sie das Spiel spielen. Wer am weitesten kommt, darf seine „Gene" (Strategie) weitergeben. Die anderen werden verworfen. Es ist ein roher, direkter Ansatz ohne komplizierte Mathematik. Er ist robuster und braucht weniger Feinjustierung, aber er ist oft langsamer.

Die Frage des Papers:
Die Forscher von der EPFL (Schweiz) wollten herausfinden:

• Ist der „Natur-Trainer" (ES) wirklich schneller und einfacher als der „Gehirn-Trainer" (DRL)?
• Kann man den „Natur-Trainer" nutzen, um den Schüler vorher ein bisschen zu trainieren, damit der „Gehirn-Trainer" später schneller und besser lernt? (Wie ein Vorkurs in der Grundschule vor dem Gymnasium).

🎮 Die Test-Arenen

Sie haben drei verschiedene „Spiele" ausprobiert, von einfach bis extrem schwer:

1. Flappy Bird (Der einfache Test): Ein Vogel muss durch Röhren fliegen. Einfach, aber nervig.
2. Breakout (Der mittlere Test): Ein klassisches Arcade-Spiel, bei dem man mit einem Schläger einen Ball gegen Ziegelsteine wirft. Hier muss man Bilder erkennen (Pixel).
3. Mujoco (Der Profi-Test): Hier müssen Roboter (wie ein laufender Gepard oder ein Hüpfer) lernen, sich auf zwei Beinen fortzubewegen. Das ist wie ein komplexes Ballett für Maschinen.

🏆 Was kam dabei heraus? (Die Ergebnisse)

1. Bei Flappy Bird (Einfach): Der Natur-Trainer glänzt!

Hier war der „Natur-Trainer" (ES) super. Er fand schnell eine stabile Strategie.

• Der Clou: Wenn sie den Schüler erst mit dem Natur-Trainer trainierten und dann den Gehirn-Trainer (DQN) dazu holten, war das Ergebnis fantastisch. Der Schüler lernte extrem schnell.
• Vergleich: Es war, als würde man jemandem erst das Radfahren auf einer flachen Wiese beibringen (ES) und ihn dann sofort auf die Autobahn schicken (DRL). Das ging super.

2. Bei Breakout (Mittel): Der Gehirn-Trainer gewinnt, der Natur-Trainer stolpert

Hier wurde es knifflig. Der „Gehirn-Trainer" (DQN) mit seiner Bilderkennung (CNN) war viel besser und erreichte hohe Punktzahlen.

• Das Problem: Der „Natur-Trainer" (ES) kam bei den komplexen Bildern nicht weit. Er blieb irgendwo stecken, wie ein Schüler, der versucht, ein Gemälde zu verstehen, indem er einfach zufällig mit Farben hantiert. Er fand keine guten Lösungen, egal wie viele Versuche er machte.
• Vorkurs-Effekt: Ein Vorkurs mit dem Natur-Trainer half hier gar nicht. Der Gehirn-Trainer musste trotzdem von vorne anfangen.

3. Bei den Robotern (Mujoco): Ein Kampf der Stabilität

Hier zeigte sich ein interessantes Muster:

• Der Gehirn-Trainer (PPO): Er ist ein Sprinter. In manchen Fällen (wie beim Geparden) war er 20-mal schneller als der Natur-Trainer. Aber er ist auch sehr empfindlich. Wenn man die Einstellungen (Hyperparameter) nur ein bisschen falsch macht, stolpert er und lernt nichts.
• Der Natur-Trainer (ES): Er ist ein Marathonläufer. Er ist langsam, aber er ist extrem stabil. Er findet fast immer eine Lösung, auch wenn es lange dauert.
• Der Vorkurs-Effekt: Auch hier half es nicht, den Roboter erst mit ES vorzubilden. Der Gehirn-Trainer (PPO) wurde dadurch nicht schneller und nicht stabiler. Es war, als würde man einem Formel-1-Fahrer erst ein paar Runden auf einem Traktor drehen lassen – das bringt ihm auf der Rennstrecke nichts.

💡 Die große Erkenntnis (Fazit)

Die Forscher kamen zu einem klaren Ergebnis:

• Der Mythos vom „schnelleren Natur-Trainer" ist geplatzt. Evolution Strategies sind nicht immer schneller als moderne KI-Methoden. Bei komplexen Aufgaben (wie Bildern oder Robotern) sind sie oft zu langsam und zu ungenau.
• Der Vorkurs funktioniert nur im Kindergarten. Wenn die Aufgabe einfach ist (wie Flappy Bird), hilft es, erst mit dem Natur-Trainer zu starten. Aber bei schwierigen Aufgaben (wie Breakout oder Robotern) bringt dieser Vorkurs nichts. Die zwei Lernmethoden (Evolution und Gradienten) sind zu unterschiedlich, als dass man sie gut mischen könnte.
• Wann nutzt man was?
  • Für einfache, überschaubare Probleme: Der Natur-Trainer (ES) ist toll, weil er robust ist und nicht so viel Feinjustierung braucht.
  • Für komplexe, hochmoderne Probleme: Der Gehirn-Trainer (DRL) ist ungeschlagen, braucht aber einen sehr erfahrenen Trainer (Ingenieur), der die Einstellungen perfekt abstimmt.

Zusammenfassend: Man kann nicht einfach sagen „Evolution ist besser". Es kommt darauf an, wie schwer das Spiel ist. Und die Hoffnung, dass man KI-Modelle einfach durch einen „Evolution-Vorkurs" in Rekordzeit trainieren kann, hat sich bei den schwierigen Aufgaben leider nicht erfüllt.

Technische Zusammenfassung

Titel: Evolution Strategies für das Vortraining im Deep Reinforcement Learning

Autoren: Adrian Martínez, Ananya Gupta, Hanka Goralija, Mario Rico, Saúl Fenollosa, Tamar Alphaidze
Institution: École Polytechnique Fédérale de Lausanne (EPFL)

---

1. Problemstellung

Deep Reinforcement Learning (DRL) hat sich als äußerst effektiv für komplexe sequenzielle Entscheidungsprobleme erwiesen, erfordert jedoch erhebliche Rechenressourcen und eine sorgfältige Hyperparameter-Tuning, um erfolgreiche Strategien zu entwickeln. Im Gegensatz dazu bieten Evolutionäre Strategien (Evolution Strategies, ES) einen einfacheren, gradientenfreien Ansatz, der weniger rechenintensiv und einfacher zu deployen ist.
Das zentrale Problem besteht jedoch darin, dass ES in der Regel nicht das Leistungsniveau von DRL erreichen, was ihre Eignung für anspruchsvolle Szenarien infrage stellt. Die Autoren untersuchen zwei Hauptfragen:

1. Sind ES schneller als DRL, um mittlere Leistungsbenchmarks zu erreichen?
2. Können ES als Vortraining (Pretraining) dienen, um die Trainingsgeschwindigkeit und Robustheit von DRL-Algorithmen zu verbessern?

2. Methodik

Die Studie vergleicht gradientenbasierte DRL-Algorithmen mit gradientenfreien ES über Umgebungen unterschiedlicher Komplexität.

• Algorithmen:
  • DRL: Deep Q-Networks (DQN) für diskrete Aktionen und Proximal Policy Optimization (PPO) für kontinuierliche Kontrollaufgaben.
  • ES: Eine Standard-Implementierung, die Parameterstörungen (Perturbations) nutzt, um den Gradienten über Monte-Carlo-Schätzung zu approximieren (ohne Backpropagation).
• Testumgebungen:
  • Flappy Bird: Ein einfaches Arcade-Spiel mit diskretem Aktionsraum und spärlichen Belohnungen.
  • Breakout: Ein komplexeres Arcade-Spiel (Atari), getestet sowohl mit Bild-Eingaben (CNN, 84x84x4) als auch mit RAM-Zuständen (MLP, 128-dim).
  • MuJoCo (Brax): Kontinuierliche Kontrollaufgaben (HalfCheetah, Hopper, Walker2d) mit hochdimensionalen Zustands- und Aktionsräumen.
• Vortraining-Ansatz:
  • DRL-Agenten wurden initialisiert mit Parametern, die durch ES-Training gewonnen wurden.
  • Ziel war es zu prüfen, ob dies die Konvergenz beschleunigt oder die Stabilität gegenüber Hyperparametern erhöht.
• Architekturen:
  • Für Flappy Bird und Breakout (RAM) wurden MLPs verwendet.
  • Für Breakout (Bilder) wurde ein CNN eingesetzt.
  • Für MuJoCo wurde ein vollvernetztes Netz (4 Schichten à 32 Einheiten) genutzt. Bei ES-Vortraining für PPO wurden die ES-Gewichte auf den „Actor" übertragen, während der „Critic" zufällig initialisiert wurde.

3. Wichtige Beiträge und Ergebnisse

A. Vergleich der Trainingsgeschwindigkeit und Leistung

• Flappy Bird (Einfache Umgebung):
  • ES zeigte starke Lernfähigkeiten und fand schnell eine stabile Politik.
  • DQN erreichte zwar höhere Endbelohnungen, benötigte jedoch deutlich mehr Trainingsschritte und war anfälliger für Instabilitäten (plötzliche Leistungseinbrüche).
  • Vortraining-Effekt: Die Initialisierung von DQN mit ES-Parametern beschleunigte das Lernen signifikant. ES erwies sich als effektives Vortraining für einfache, spärlich belohnte Umgebungen.
• Breakout (Mittlere Komplexität):
  • DQN (mit CNN) übertraf ES konsistent (ca. 30 Belohnung vs. Plateau bei ES).
  • ES scheiterte daran, in hochdimensionalen, zeitlich erweiterten Umgebungen nützliche Repräsentationen zu extrahieren. Selbst bei RAM-Eingaben (MLP) stagnierte ES früh (ca. 4 Belohnung).
  • Vortraining-Effekt: ES-Vortraining bot hier keinen Vorteil; ES konnte nicht schneller als DQN trainieren.
• MuJoCo (Hohe Komplexität):
  • PPO vs. ES: PPO konvergierte in einigen Umgebungen (z. B. HalfCheetah) bis zu 20-mal schneller als ES, war jedoch stark von Hyperparametern abhängig und zeigte Instabilität (Oszillationen). ES war langsamer, lieferte aber stabilere und wiederholbarere Ergebnisse.
  • Vortraining-Effekt: Die Initialisierung von PPO mit ES-Parametern führte nicht zu einer Beschleunigung des Trainings oder zu einer erhöhten Robustheit. Das Lernverhalten von PPO blieb unverändert.

B. Analyse der Limitationen

Die Studie identifiziert zwei Hauptgründe für das Scheitern des ES-Vortrainings in komplexen Szenarien:

1. Architektonische Inkompatibilität: ES optimiert eine einzelne Politik (Black-Box-Suche), während PPO eine Actor-Critic-Struktur verwendet. Die durch ES gelernten Repräsentationen passen nicht nahtlos in die Actor-Critic-Architektur von PPO.
2. Skalierungsprobleme: ES hat Schwierigkeiten, in hochdimensionalen Räumen (wie bei Bild-Eingaben in Breakout) effektiv zu skalieren, da die Varianz des Gradientenschätzers mit der Dimensionalität steigt und keine zeitlichen Differenzen (Temporal Differences) wie bei DRL genutzt werden.

4. Bedeutung und Fazit

Die Ergebnisse widerlegen die Hypothese, dass ES generell als universelles Vortraining für Deep RL dient.

• Erfolgsbereich: ES ist ein wertvolles Werkzeug für die Exploration in einfachen Umgebungen (wie Flappy Bird), wo es DRL-Algorithmen einen stabilen Startpunkt bieten und die Lernkurve beschleunigen kann.
• Grenzen: In komplexen Umgebungen (Breakout, MuJoCo) ist ES nicht schneller als DRL und eignet sich nicht als Vortraining für moderne DRL-Algorithmen wie PPO, da die architektonischen und lernmechanischen Unterschiede zu einer schlechten Transferierbarkeit führen.
• Zukunftsausblick: Die Autoren schlagen adaptive, architekturbewusste hybride Ansätze vor, die Repräsentationen zwischen ES und RL besser abstimmen, um die Vorteile beider Welten (Stabilität von ES, Effizienz von DRL) zu kombinieren.

Zusammenfassend zeigt das Paper, dass ES zwar eine robuste Alternative für spezifische, einfachere Probleme ist, aber derzeit keine universelle Lösung zur Beschleunigung oder Stabilisierung von Deep Reinforcement Learning in komplexen Szenarien darstellt.