🤖 machine learning

Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

Das Papier schlägt Generalization via Evolutionary Reward Shaping (GERS) vor, ein Framework zur bi-level Optimierung, das die Generalisierung von Reinforcement Learning in eingeschränkten Szenarien verbessert, indem es CMA-ES verwendet, um Reward-Shaping-Parameter ausschließlich auf Basis von skalarer Validierungsrückmeldung zu optimieren, wodurch es Standard-Baselines übertrifft und die Performance von Domain Randomization erreicht, ohne dass Zugriff auf Trajektorien der Validierungsumgebungen erforderlich ist.

Ursprüngliche Autoren: Ekasit Usaratniwart, Xilin Gao, Marc Ong, Youhei Akimoto

Veröffentlicht 2026-06-16

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ekasit Usaratniwart, Xilin Gao, Marc Ong, Youhei Akimoto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Gehen bei. Normalerweise bringen Sie es ihm in einem perfekten, kontrollierten Fitnessstudio bei, in dem der Boden immer glatt ist, die Luft unbewegt ist und die Beine des Roboters exakt das richtige Gewicht haben. Der Roboter lernt in diesem Fitnessstudio perfekt zu gehen.

Doch dann schicken Sie den Roboter in die reale Welt. Plötzlich ist der Boden rutschig, der Wind weht und die Beine des Roboters fühlen sich schwerer an. Weil der Roboter nur die „perfekte Fitnessstudio-Version“ des Gehens gelernt hat, fällt er sofort um. Er hat sich zu sehr auf das Fitnessstudio überoptimiert (overfitted) und es versäumt, auf die reale Welt zu verallgemeinern (generalize).

Dieses Paper stellt eine neue Methode namens GERS (Generalization via Evolutionary Reward Shaping) vor, um dieses Problem zu lösen – speziell in einer kniffligen Situation, in der man nicht sehen kann, wie der Roboter in der realen Welt scheitert, sondern nur, dass er gescheitert ist.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Problem: Die „Black Box“-Validierung

In vielen realen Szenarien (wie etwa beim Testen einer Sicherheits-KI in einem privaten Netzwerk eines Kunden) haben Sie zwei Arten von Umgebungen:

Das Trainings-Fitnessstudio: Hier haben Sie vollen Zugriff. Sie können jeden Schritt des Roboters sehen, jeden Fehler, den er macht, und jedes Protokoll, das er erstellt.
Die Validierungs-Black-Box: Sie haben einige andere Umgebungen (wie das private Netzwerk eines echten Kunden), aber aus Gründen des Datenschutzes oder der Sicherheit können Sie die Schritte des Roboters nicht sehen. Sie können am Ende nur eine einzige Zahl sehen: „War er erfolgreich? Hier ist ein Score.“

Standardmäßige KI-Trainingsmethoden benötigen normalerweise die Sicht auf die Schritte des Roboters (die Trajektorie) in der Validierungsumgebung, um zu lernen, wie sie sich verbessern können. Da Sie die Schritte in der Black Box nicht sehen können, bleiben Standardmethoden stecken. Sie können nicht aus der Black Box lernen und passen sich daher weiterhin zu stark an das Trainings-Fitnessstudio an.

2. Die Lösung: Der „Regler“ (Reward Shaping)

Die Autoren schlagen einen cleveren Workaround vor. Anstatt zu versuchen, den Roboter direkt anhand der Black-Box-Scores zu trainieren, entscheiden sie sich, die Regeln des Spiels im Trainings-Fitnessstudio anzupassen.

Betrachten Sie die „Belohnungsfunktion“ (Reward Function) des Roboters als einen Lehrer, der Noten vergibt.

Standard-Lehrer: „Wenn du dein Bein nach vorne bewegst, bekommst du 1 Punkt.“
Das Problem: Der Robot lernt, sein Bein auf eine seltsame, ruckartige Weise zu bewegen, die ihm im Fitnessstudio 1 Punkt bringt, aber in der realen Welt zum Scheitern führt.
Der GERS-Lehrer: Das System füft einen „Regler“ (mathematisch ein Vektor $\nu$ ) zum Bewertungssystem hinzu. Es ändert die Regeln leicht: „Wenn du dein Bein sanft nach vorne bewegst, bekommst du 1,5 Punkte. Wenn du ruckartig zuckst, bekommst du 0.“

Das Ziel ist es, die perfekte Einstellung für diesen Regler zu finden, damit der Roboter einen Gehstil lernt, der nicht nur im Fitnessstudio, sondern auch in den Black-Box-Umgebungen funktioniert.

3. Das Zwei-Ebenen-Spiel (Bilevel Optimization)

Das Paper nutzt ein „Zwei-Ebenen-Spiel“, um den perfekten Regler zu finden:

Ebene 1 (Der Schüler): Der Roboter (unter Verwendung eines Algorithmus namens PPO) versucht, im Trainings-Fitnessstudio unter Verwendung der aktuellen Regler-Einstellungen zu lernen, wie man geht. Er lernt eine Policy (eine Menge von Gehregeln).
Ebene 2 (Der Coach): Ein anderer Algorithmus (genannt CMA-ES, was wie ein Evolutionsbiologe funktioniert) betrachtet den Regler. Er fragt: „Wenn wir diesen Regler leicht verändern, wird der Roboter dann einen besseren Score in der Black Box erzielen?“
- Der Coach kümmert sich nicht um die Schritte des Roboters in der Black Box. Er kümmert sich nur um den finalen Score.
- Wenn der Roboter einen höheren Score in der Black Box erhält, behält der Coach diese Einstellung des Reglers bei. Wenn der Score sinkt, verändert der Coach den Regler erneut.

Der Coach wiederholt diesen Prozess tausende Male und entwickelt den „Regler“ so lange weiter, bis er eine Version findet, die den Roboter dazu zwingt, einen Gehstil zu lernen, der robust genug ist, um in der Black Box zu überleben – obwohl der Roboter die Black Box während seines Trainings nie tatsächlich gesehen hat.

4. Die Ergebnisse: Die Chancen besiegen

Die Autoren testeten dies bei vier verschiedenen Roboter-Aufgaben (wie dem Balancieren eines Stabes, Hüpfen, Laufen und dem Gehen auf vier Beinen).

Die Baseline (Standard-KI): Wurde nur im Fitnessstudio trainiert. Sie wurde zum Champion im Fitnessstudio, brach aber sofort zusammen, als sich die Physik änderte (z. B. schwerere Beine oder rutschige Böden).
Die „Domain Randomization“ (DR)-Methode: Dies ist der aktuelle Goldstandard. Sie trainiert den Roboter in vielen verschiedenen Fitnessstudios gleichzeitig (um alle möglichen realen Bedingungen zu simulieren). Das funktioniert sehr gut, ERFORDET aber den Zugriff auf all diese verschiedenen Fitnessstudios und die Sicht auf alle Schritte des Roboters.
GERS (Die neue Methode): Sie hatte nur Zugriff auf ein einziges Trainings-Fitnessstudio und die Black-Box-Scores.
- Das Ergebnis: GERS performte fast so gut wie die „Domain Randomization“-Methode, obwohl es viel weniger Informationen zur Verfügung hatte. Es gelang der Methode, auch in ungesehenen, schwierigen Umgebungen zu generalisieren, indem sie einfach nur die Belohnungen im einen verfügbaren Fitnessstudio „geformt“ hat.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie trainieren einen Koch, um ein Gericht zuzubereiten.

Standard-Training: Sie lassen ihn nur in Ihrer Küche mit Ihrem speziellen Herd kochen. Er lernt, perfekt auf Ihrem Herd zu kochen. Wenn er in ein Restaurant mit einem anderen Herd geht, verbrennt das Essen.
Domain Randomization: Sie lassen ihn auf 100 verschiedenen Herden in 100 verschiedenen Küchen kochen. Er lernt, sich an alles anzupassen. (Dies erfordert jedoch den Zugang zu 100 Küchen).
GERS: Sie lassen ihn nur in Ihrer Küche kochen. Sie haben jedoch einen „Geheimen Geschmackstester“ in einem anderen, geheimen Restaurant. Sie können nicht sehen, wie er dort kocht, aber Sie erhalten einen Score: „Köstlich“ oder „Geschmacklos“.
- GERS ist wie ein kluger Sous-Chef, der die Rezeptanweisungen (das Reward Shaping) basierend nur auf dem Score des geheimen Geschmackstesters anpasst.
- Schließlich ändern sich die Rezeptanweisungen gerade so weit, dass der Koch lernt, auf eine Weise zu kochen, die in jeder Küche köstlich schmeckt, obwohl er nur in Ihrer Küche geübt hat.

Das Paper beweist, dass man nicht immer jeden Schritt des Fehlers des Roboters in der realen Welt sehen muss; man braucht nur eine kluge Art und Weise, die Trainingsregeln basierend auf den Endergebnissen anzupassen.

Technisches Resümee: Evolutionäre bilaterale Belohnungsgestaltung zur Generalisierung in der Reinforcement Learning

Problemformulierung
Dieses Paper befasst sich mit der Generalisierungslücke im Deep Reinforcement Learning (RL), bei der auf begrenzten Umgebungen trainierte Policies in ungesehenen Testumgebungen mit unterschiedlichen Dynamiken (z. B. variierenden Übergangswahrscheinlichkeiten) versagen. Die Autoren konzentrieren sich auf ein spezifisches, beschränktes Szenario, das in datenschutzsensiblen oder restriktiven Settings häufig vorkommt:

Trainingsumgebungen ( $M_{train}$ ): Ein kleiner, fester Satz von Umgebungen, in denen vollständige Zustands-Aktions-Trajektorien beobachtbar sind.
Validierungsumgebungen ( $M_{val}$ ): Ein größerer Satz von Umgebungen, in denen nur skalare Leistungsmetriken (kumulierte diskontierte Belohnungen) verfügbar sind. Vollständige Trajektorien sind nicht zugänglich, was die Berechnung von Policy-Gradienten oder Standardverfahren der Domänen-Randomisierung (DR) verhindert, die auf diversen Trajektoriendaten basieren.
Zielsetzung: Maximierung der Generalisierungsleistung ( $J_{gen}$ ) in ungesehenen Testumgebungen unter Nutzung des begrenzten skalaren Feedbacks aus Validierungsumgebungen, um das Training auf den zugänglichen Trainingsumgebungen zu steuern.

Methodik: Generalisierung durch evolutionäre Belohnungsgestaltung (GERS)
Die Autoren schlagen GERS vor, einen bilateralen Optimierungsrahmen, der darauf ausgelegt ist, die Belohnungsfunktion automatisch zu gestalten, um die Generalisierung ohne Zugriff auf Validierungstrajektorien zu verbessern.

Bilaterale Formulierung:
- Untere Ebene (Policy-Optimierung): Ein RL-Agent (unter Verwendung von Proximal Policy Optimization, PPO) lernt eine Policy $\pi_\theta$ auf den Trainingsumgebungen ( $M_{train}$ ) unter Verwendung einer gestalteten Belohnungsfunktion $\hat{r}_\nu$ . Das Ziel ist die Maximierung des diskontierten Ertrags auf den Trainingsdaten: $\theta^*(\nu) = \arg\max_\theta \hat{J}_{train}(\pi_\theta; \nu)$ .
- Obere Ebene (Optimierung der Belohnungsgestaltung): Eine evolutionäre Strategie (Covariance Matrix Adaptation Evolution Strategy, CMA-ES) optimiert die Parameter der Belohnungsgestaltung $\nu$ . Das Ziel ist die Maximierung der kumulierten ungestalteten Belohnung, die von der untergeordneten Policy in den Validierungsumgebungen erzielt wird: $\max_\nu J_{val}(\pi_{\theta^*(\nu)})$ .
- Die gestaltete Belohnung ist linear definiert: $\hat{r}_\nu(s, a) = r(s, a) + \langle \nu, \phi(s, a) \rangle$ , wobei $\phi(s, a)$ die Zustands- und Aktionsvektoren konkateniert.
Algorithmische Implementierung:
- Vortraining: Ein PPO-Agent wird zunächst auf der ursprünglichen Belohnungsfunktion vortrainiert, um eine robuste Initialisierung bereitzustellen.
- Evolutionäre Suche: CMA-ES sampelt Kandidaten für die Belohnungsparameter $\nu$ . Für jeden Kandidaten wird der PPO-Agent (unter Verwendung der vortrainierten Policy als Startpunkt) auf den Trainingsumgebungen mit der gestalteten Belohnung feinjustiert.
- Evaluierung: Die resultierenden Policies werden auf den Validierungsumgebungen evaluiert, um skalare Scores zu erhalten. Diese Scores leiten das CMA-ES-Update.
- Effizienz: Um den Rechenaufwand zu reduzieren, verwendet die Methode Parameter-Sharing (Vererbung sowohl der Actor- als auch der Critic-Netzwerke) vom vortrainierten Modell und nutzt die parallele Evaluierung von CMA-ES-Kandidaten.

Wesentliche Beiträge

Neuartiges Setting: Das Paper formalisiert und adressiert die Herausforderung der RL-Generalisierung, bei der Validierungsumgebungen „Black Boxes“ sind, die nur skalare Erträge liefern – eine Einschränkung, die von Standardmethoden der Domänen-Randomisierung (DR) oder der prozeduralen Inhaltsgenerierung (PCG) oft ignoriert wird.
Bilateraler Rahmen: Es führt einen bilateralen Optimierungsansatz ein, der das Lernen der Policy (untere Ebene) von der Gestaltung der Belohnungsfunktion (obere Ebene) entkoppelt und dabei evolutionäre Strategien nutzt, um die Lücke zwischen Trainings- und Validierungsleistung zu schließen.
Dateneffizienz: Die Methode zeigt, dass eine hohe Generalisierung ohne Zugriff auf Trajektorien in den Validierungsumgebungen erreicht werden kann, indem sie sich ausschließlich auf das skalare Feedback stützt, um die Belohnungsgestaltung zu steuern.

Experimentelle Ergebnisse
Die Autoren evaluierten GERS auf vier MuJoCo Continuous-Control-Aufgaben (InvertedPendulum, Hopper, HalfCheetah, Ant) mit variierenden physikalischen Parametern (z. B. Masse, Reibung, Gravitation).

Baseline-Vergleich: Ein Standard-PPO, das auf einer einzelnen Umgebung trainiert wurde, zeigte signifikantes Overfitting, wobei es hohe Trainingsbelohnungen, aber eine schlechte Leistung in ungesehenen Testumgebungen erreichte.
GERS-Leistung: GERS übertraf die Standard-PPO-Baseline in allen Aufgaben deutlich und erreichte in mehreren Fällen (z. B. InvertedPendulum) eine Generalisierungsleistung, die vergleichbar mit der Trainingsleistung ist.
Vergleich mit Domänen-Randomisierung (DR):
- GERS wurde gegen eine DR-Baseline verglichen, die denselben Satz von Umgebungen als Trainingsdaten nutzte (mit vollem Trajektorienzugriff).
- Während DR bei komplexeren Aufgaben (HalfCheetah, Ant) am besten abschnitt, war GERS bei einfacheren Aufgaben (InvertedPendulum, Hopper) überlegen.
- Entscheidend ist, dass GERS trotz wesentlich strengerer Informationsbeschränkungen (kein Trajektorienzugriff in den Validierungsumgebungen) eine konkurrenzfähige Robustheit gegenüber DR erreichte.
Out-of-Distribution (OOD) Analyse: Heatmap-Evaluierungen zeigten, dass GERS eine starke Robustheit beibehielt, wenn ein physikalischer Parameter in extreme OOD-Regionen getrieben wurde, obwohl die Leistung sank, wenn mehrere Parameter gleichzeitig extrem waren.

Bedeutung und Behauptungen
Das Paper behauptet, dass GERS die RL-Generalisierung unter beschränkten Datenzugriffskonstraints effektiv verbessert. Die primäre Bedeutung liegt in dem Nachweis, dass durch evolutionäre Strategien auf skalarem Validierungsfeedback gestaltete Belohnungen eine praktikable Alternative zur Domänen-Randomisierung darstellen können, wenn Trajektoriendaten nicht verfügbar sind. Die Autoren führen an, dass dieser Ansatz besonders relevant für reale Anwendungen wie automatisiertes Red Teaming oder sicherheitskritische Deployments ist, bei denen Entwickler zwar die Leistungsergebnisse beobachten, aber nicht auf die internen Zustandsübergänge der Zielsysteme zugreifen können.

Anerkannte Limitationen
Die Autoren merken bescheiden einige Limitationen an:

Die Evaluierung beschränkt sich auf Aufgaben mit dichten Belohnungen (dense rewards) im kontinuierlichen Kontrollbereich; die Anwendbarkeit auf Aufgaben mit spärlichen Belohnungen (sparse rewards) ist unverifiziert.
Hohe Rechenkosten begrenzten die Anzahl der unabhängigen Versuche, was die statistische Aussagekraft beeinflusste.
Der Leistungsgewinn ist eine Kombination aus Belohnungsgestaltung und der Auswahl der besten Policy aus vielen stochastischen Durchläufen; eine Ablationsstudie zur Isolierung des spezifischen Beitrags der Belohnungsgestaltung ist erforderlich.
Das übergeordnete CMA-ES konvergierte in allen Experimenten nicht vollständig, was auf die Notwendigkeit von rauschbewussten Varianten in zukünftiger Arbeit hindeutet.