🤖 machine learning

Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

Dieser Artikel schlägt einen semi-überwachten Ansatz zur Belohnungsformung vor, der nicht-null- und null-Belohnungsübergänge durch neuartige Datenvermehrung nutzt, um Trajektorienrepräsentationen zu erlernen und dabei überwachte Baselines in Umgebungen mit spärlichen Belohnungen wie Atari und robotischer Manipulation erheblich zu übertreffen.

Ursprüngliche Autoren: Wenyun Li, Wenjie Huang, Chen Sun

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenyun Li, Wenjie Huang, Chen Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Videospiel zu spielen, wie Montezuma's Revenge oder Seaquest. In diesen Spielen erhält der Roboter nur dann ein „Daumen hoch" (eine Belohnung), wenn er etwas sehr Spezifisches tut, wie etwa einen Taucher zu retten oder ein Ziel zu erreichen. 99 % der Zeit wandert der Roboter einfach umher, und das Spiel gibt ihm kein Feedback. Es ist, als würde man versuchen, nachts Fahrradfahren zu lernen, wobei man nur ein „Gut gemacht!" erhält, wenn man zufällig eine ganze Minute lang aufrecht bleibt, man aber keinen Hinweis bekommt, wenn man wackelt oder stürzt.

Dies ist das Problem der spärlichen Belohnung. Da der Roboter selten ein „Gut gemacht!" erhält, hat er Schwierigkeiten herauszufinden, was er richtig macht.

Der alte Weg: Raten und Prüfen

Traditionell versuchten Forscher, dies zu beheben, indem sie einen menschlichen Lehrer den Roboter beobachten ließen und sagten: „Hey, dieser Zug war gut!", oder indem sie ein Computerprogramm verwendeten, das nur aus den seltenen Momenten lernte, in denen der Roboter tatsächlich Erfolg hatte.

Das Problem: Dies ist wie der Versuch, eine Sprache zu lernen, indem man nur die Wörterbucheinträge für Wörter liest, die man bereits kennt. Wenn man nur die wenigen Male studiert, an denen man ein „Daumen hoch" erhielt, hat man nicht genügend Daten, um die Regeln des Spiels zu erlernen.

Die neue Idee: Der „semi-überwachte" Detektiv

Die Autoren dieses Papiers schlagen eine neue Methode vor, die SSRS (Semi-Supervised Reward Shaping) heißt. Stellen Sie sich vor, Sie stellen einen Detektiv ein, der sehr gut darin ist, zwischen den Zeilen zu lesen.

So funktioniert es, anhand einer einfachen Analogie:

1. Die zwei Arten von Hinweisen

Die „Gold"-Hinweise: Dies sind die seltenen Momente, in denen der Roboter eine echte Belohnung erhält (das „Daumen hoch").
Die „stummen" Hinweise: Dies sind die Millionen von Momenten, in denen der Roboter keine Belohnung erhält.
Der alte Ansatz: Betrachtete nur die „Gold"-Hinweise.
Der SSRS-Ansatz: Betrachtet beide. Er geht davon aus, dass der Roboter, selbst wenn er keine Punkte erhält, möglicherweise immer noch etwas „in Ordnung" oder „fast richtig" tut.

2. Die Logik des Detektivs (Semi-überwachtes Lernen)
Der Detektiv (das KI-Modell) betrachtet die „Gold"-Hinweise, um zu lernen, wie ein „guter" Zug aussieht. Dann betrachtet er die „stummen" Hinweise. Er fragt: „Dieser stille Zug sieht diesem ‚Gold'-Zug, den ich früher gesehen habe, sehr ähnlich. Vielleicht verdient er auch ein kleines ‚Gut gemacht!'?"

Er verwendet eine Technik namens Konsistenz-Regularisierung. Stellen Sie sich vor, Sie zeigen dem Detektiv ein Bild einer Katze, aber Sie verschwimmen es leicht oder ändern die Beleuchtung. Der Detektiv sollte immer noch sagen: „Das ist eine Katze." Wenn er sagt: „Das ist ein Hund", ist er verwirrt.

In diesem Papier nehmen sie den Pfad des Roboter (eine Folge von Zügen), verändern ihn leicht (wie das Verschmieren des Bildes) und fragen den Detektiv, ob die Belohnung immer noch gleich sein sollte. Wenn die Antwort konsistent ist, lernt der Detektiv, seinem eigenen Urteil bei den „stummen" Hinweisen zu vertrauen.

3. Das Geheimnis: „Entropie-Augmentierung"
Normalerweise, wenn man Daten für einen Detektiv verändert, könnte man sie auf den Kopf stellen oder ein Stück herausschneiden (wie beim Bearbeiten eines Fotos). Aber dieses Papier stellt einen cleveren neuen Trick vor, der Entropie-Augmentierung heißt.

Die Analogie: Stellen Sie sich den Pfad des Roboters als ein Lied vor. „Entropie" ist ein Maß dafür, wie chaotisch oder vorhersehbar dieses Lied ist.
Anstatt das Lied einfach auf den Kopf zu stellen, analysiert der Detektiv das Chaos des Liedes. Wenn ein chaotischer Pfad plötzlich geordneter wird, ist das ein Hinweis!
Die Autoren stellten fest, dass das Messen dieses „Chaos" (Entropie) ein viel besserer Weg war, die Daten für diese spezielle Art des Roboterlernens zu verändern als die üblichen Foto-Bearbeitungstricks. Es half dem Detektiv, den Pfad des Roboters zu verstehen, ohne die Regeln des Spiels zu brechen.

Die Ergebnisse: Ein großer Sieg

Die Forscher testeten dies an:

Atari-Spielen: Klassische Videospiele, bei denen Belohnungen sehr selten sind.
Robotik: Ein Roboterarm, der versucht, einen Block zu greifen.

Das Ergebnis:

Die neue Methode (SSRS) lernte viel schneller und erzielte höhere Punktzahlen als die alten Methoden.
In den schwierigsten Spielen (wie Montezuma's Revenge) erreichte die neue Methode das Doppelte der Punktzahl der vorherigen besten Methoden.
Der „Entropie"-Trick allein steigerte die Leistung um etwa 15 % im Vergleich zu anderen Wegen der Datenveränderung.

Warum das wichtig ist

Das Papier behauptet, dass wir Roboter und spielende Agenten viel effizienter unterrichten können, indem wir die „stummen" Momente (Null-Belohnungen) als wertvolle Daten behandeln, anstatt sie als leeren Raum zu betrachten, und indem wir diesen neuen „Chaos-messenden" Trick verwenden, um der KI zu helfen, daraus zu lernen. Es ist, als würde man einen dunklen Raum, in dem man nur ein paar leuchtende Punkte sieht, in einen Raum verwandeln, in dem man die ganze Karte sehen kann, weil man gelernt hat, die Schatten zu interpretieren.

Kurz gesagt: Das Papier lehrt KI, aufhören zu warten, bis sie einen „Goldstern" erhält, um zu lernen, und stattdessen beginnen, aus den ruhigen Momenten dazwischen zu lernen, wobei sie einen speziellen mathematischen Trick verwendet, um sicherzustellen, dass sie nicht verwirrt wird.

Technisches Fazit: Formung spärlicher Belohnungen im Reinforcement Learning: Ein semi-supervisiertes Ansatz

Problemstellung
Reinforcement Learning (RL) steht in realen Szenarien vor einer Kernherausforderung: Belohnungssignale sind extrem spärlich. In solchen Umgebungen erhalten Agenten nur minimale unmittelbare Rückmeldungen, was zu einer hohen Varianz der Erträge und Schwierigkeiten beim Erlernen optimaler Strategien führt. Während Belohnungsformung und -verdichtung gängige Lösungen darstellen, leiden sie häufig unter „Reward Hacking", bei dem Agenten Verhaltensweisen erlernen, die vom beabsichtigten Design abweichen, um künstliche Belohnungen zu maximieren. Umgekehrt leiden supervidierte Methoden zur Belohnungsformung, die auf Demonstrationen von Nicht-Experten basieren, unter einer geringen Probeneffizienz, wenn Übergänge mit nicht-null-Belohnungen extrem selten sind. Bestehende Ansätze haben Schwierigkeiten, die überwiegende Mehrheit der Übergänge, die Null-Belohnungen liefern, effektiv zu nutzen.

Methodik: Semi-supervisierte Belohnungsformung (SSRS)
Die Autoren schlagen das Framework Semi-Supervised Reward Shaping (SSRS) vor, das diese Lücke schließt, indem es Techniken des Semi-Supervised Learning (SSL) nutzt. Die Kernidee besteht darin, Belohnungsformung nicht nur auf die wenigen Übergänge mit nicht-null-Belohnungen, sondern auch auf die zahlreichen Übergänge mit Null-Belohnungen anzuwenden, indem Repräsentationen des Trajektorienraums erlernt werden.

Das Framework arbeitet durch folgende Hauptkomponenten:

Belohnungsschätzung als Klassifikation: Das Problem der Belohnungsformung wird als Klassifikationsaufgabe formuliert. Das System lernt, einem Zustands-Aktions-Paar einen Belohnungswert aus einer diskreten Menge $Z$ (die beobachtete nicht-null-Belohnungen und Null enthält) zuzuweisen. Der Belohnungsschätzer besteht aus zwei neuronalen Netzen:
- $R_V(s)$ : Eine Zustands-Wert-Belohnungsverteilungsfunktion, die einen Zustand auf eine Wahrscheinlichkeitsverteilung über $Z$ abbildet.
- $R_Q(s, a)$ : Eine Zustands-Aktions-Wert-Belohnungsverteilungsfunktion, die ein Zustands-Aktions-Paar auf eine Wahrscheinlichkeitsverteilung über $Z$ abbildet.
  Der endgültige Vektor der Konfidenzwerte $q_t$ für einen Übergang ist eine gewichtete Kombination dieser beiden Verteilungen.
Semi-supervisierte Optimierung: Das Framework wechselt zwischen Strategie-Updates und der Optimierung des Belohnungsschätzers.
- Supervidierter Verlust ( $L_r$ ): Für Übergänge mit bekannten nicht-null-Belohnungen wird der Schätzer trainiert, die Diskrepanz zwischen seinen Vorhersagen und dem Grundwahrheit (Ground Truth) unter Verwendung eines schwellenwertbasierten Kreuzentropieverlusts zu minimieren.
- Konsistenzregularisierung ( $L_s$ ): Für Übergänge mit Null-Belohnung wendet das Modell Konsistenzregularisierung an. Es führt schwache und starke Daten-Augmentierungen auf die Eingabeübergänge an. Das Modell wird so optimiert, dass es konsistente Vorhersagen zwischen den schwach augmentierten und den stark augmentierten Versionen liefert, sofern das Vertrauen einen Schwellenwert $\lambda$ überschreitet. Dies nutzt die ungelabelten Null-Belohnungsdaten, um die Belohnungsfunktion zu verfeinern.
Entropie-Augmentierung: Eine neuartige Daten-Augmentierungstechnik wird speziell für nicht-bildbasierte Aufgaben eingeführt. Im Gegensatz zu traditionellen Bild-Augmentierungen (z. B. Cutout, Rotation), die die Glätteannahmen im Trajektorienraum verletzen können, nutzt diese Methode die Shannon-Entropie. Sie berechnet die Entropie der Zustandsmatrix und verwendet sie, um die Zustandsrepräsentation zu stören. Dies bewahrt die für die Wirksamkeit von SSL im Trajektorienraum erforderlichen Glätte- und Clusterannahmen.
Monotonie-Constraint: Um das Training zu stabilisieren und die Darstellung von Aktionsvorteilen zu verbessern, wird eine Einschränkung eingeführt. Sie bestraft Fälle, in denen der geschätzte Vorteil (die Differenz zwischen $R_Q(s, a)$ und $R_V(s)$ ) negativ ist, und stellt sicher, dass die Vorteilfunktion relative Verbesserungen gegenüber der Zustands-Baseline erfasst.

Hauptbeiträge

SSRS-Framework: Ein neuartiges Framework, das SSL in RL integriert und Belohnungsformung sowohl für Übergänge mit nicht-null- als auch mit Null-Belohnungen ermöglicht, um die Probeneffizienz in Umgebungen mit spärlichen Belohnungen zu verbessern.
Entropie-Augmentierung: Der Vorschlag einer entropiebasierten Datenstörungsmethode, die auf Trajektorienräume zugeschnitten ist und in nicht-visuellen Beobachtungsaufgaben traditionelle Augmentierungsmethoden übertrifft.
Empirische Validierung von SSL in RL: Die Arbeit untersucht empirisch die Bedingungen, unter denen SSL in RL wirksam ist, und zeigt, dass Trajektorienräume die für SSL-Methoden notwendigen milden Annahmen (Glätte und Clustering) erfüllen.
Monotonie-Constraint: Die Einführung einer Einschränkung zur Regulierung der Beziehung zwischen Zustands-Wert- und Zustands-Aktions-Wert-Schätzern, was die Trainingsstabilität verbessert.

Experimentelle Ergebnisse
Das SSRS-Framework wurde in spärlich belohnten Atari-Umgebungen (z. B. Montezuma's Revenge, Seaquest, Venture) und robotischen Manipulationsaufgaben (FetchReach) evaluiert.

Leistung im Vergleich zu Baselines: SSRS übertraf konsistent supervidierte Ansätze (RCP, SORS) und Standard-RL-Baselines. In hochgradig spärlichen Umgebungen wie Montezuma's Revenge erreichte SSRS Spitzenwerte, die bis zu dem Doppelten der supervidierten Baselines entsprachen.
Wirksamkeit der Augmentierung: Die vorgeschlagene Entropie-Augmentierung führte zu einer Steigerung von 15,8 % beim besten Score im Vergleich zu anderen Augmentierungsmethoden (z. B. Cutout, Smooth, Translation).
Ablationsstudien: Experimente bestätigten die Bedeutung des Monotonie-Constraints. Sie zeigten, dass SSRS mit diesem Constraint (SSRS-ST) in den meisten getesteten Umgebungen höhere Bestwerte erzielte als ohne ihn (SSRS-NST).
Robustheit der Hyperparameter: Die Studie analysierte Hyperparameter wie die Update-Wahrscheinlichkeit ( $p_u$ ), den Konfidenzschwellenwert ( $\lambda$ ) und den Konsistenzkoeffizienten ( $\beta$ ). Die Ergebnisse zeigten, dass die Leistung ihren Höhepunkt erreicht, wenn der Konfidenzschwellenwert zwischen 0,8 und 0,9 liegt, und dass der Konsistenzkoeffizient zwar die finalen Ergebnisse nur minimal beeinflusst, aber die Trainingsdynamik betrifft.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Agenten durch die Behandlung der Belohnungsformung als semi-supervisiertes Klassifikationsproblem effektiv aus der Mehrheit der Null-Belohnungsübergänge lernen können, die typischerweise verworfen oder untergenutzt werden. Die Autoren argumentieren, dass der Trajektorienraum in RL die notwendigen Annahmen für SSL (Clustering und Glätte) erfüllt, was dem Modell ermöglicht, zuverlässige Belohnungssignale für Übergänge mit Null-Belohnung abzuleiten. Die Einführung der Entropie-Augmentierung wird als kritische Innovation hervorgehoben, die SSL-Störungstechniken an die spezifische Natur von RL-Beobachtungen anpasst und die Fallstricke vermeidet, bildzentrierte Augmentierungen auf nicht-visuelle Daten anzuwenden. Letztendlich zeigt die Arbeit, dass SSL die Wirksamkeit der Belohnungsformung erheblich steigern kann, was zu höheren Agentenpunkten in herausfordernden Domänen mit spärlichen Belohnungen führt.

Der alte Weg: Raten und Prüfen

Die neue Idee: Der „semi-überwachte" Detektiv

Die Ergebnisse: Ein großer Sieg

Warum das wichtig ist

Technisches Fazit: Formung spärlicher Belohnungen im Reinforcement Learning: Ein semi-supervisiertes Ansatz

Mehr davon