🤖 machine learning

Performance Variation in Deep Reinforcement Learning

Diese Arbeit befasst sich mit der Herausforderung der geringen Run-to-Run-Robustheit im Deep Reinforcement Learning, indem sie konventionelle Unsicherheitsschätzungen kritisiert und prozentilbasierte Werkzeuge (Min-Max-IPR und run-weise Perzentil-Hervorhebung) vorschlägt, um die Leistungsvariation besser zu charakterisieren, welche dann dazu verwendet werden, aufzuzeigen, wie spezifische architektonische Entscheidungen und algorithmische Designs die Stabilität über PPO-, SAC-, TD-MPC- und DQN-Varianten hinweg unterschiedlich beeinflussen.

Ursprüngliche Autoren: Haruto Tanaka, A. Rupam Mahmood

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haruto Tanaka, A. Rupam Mahmood

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Trainer, der ein Team von Athleten (die KI-Algorithmen) trainiert, um einen bestimmten Hindernisparcours zu durchlaufen (die Videospiel- oder Roboteraufgabe). Sie sagen ihnen: „Laufe diesen Parcours 100 Mal, und ich werde dir sagen, wie gut du bist.“

In der Welt des Deep Reinforcement Learning (RL) gibt es ein frustrierendes Problem: Selbst wenn Sie exakt dieselben Anweisungen an 100 identische Athleten geben, können deren Ergebnisse wild unterschiedlich sein. Der eine läuft ein perfektes Rennen, während der andere über seine eigenen Füße stolpert. Dies wird als Leistungsvariation bezeichnet.

Dieses Paper argumentiert, dass Wissenschaftler die falschen Werkzeuge verwenden, um diese Inkonsistenz zu messen, und schlägt zwei neue, einfachere Werkzeuge vor, um zu sehen, was wirklich passiert.

Das Problem: Die Lüge des „Durchschnitts“

Lange Zeit haben Forscher versucht, die Konsistenz eines Algorithmus zu messen, indem sie das Durchschnittsergebnis betrachteten und ein „schattiertes Band“ darum zeichneten (ähnlich einer Fehlerspanne).

Die Autoren sagen, das sei so, als würde man eine Wettervorhersage betrachten, die besagt: „Die Durchschnittstemperatur diese Woche beträgt 21 °C“, mit einem winzigen schattierten Band. Das klingt nett, verbirgt aber die Tatsache, dass es am Montag eiskalte 0 °C war und am Freitag brütende 40 °C.

Der Fehler: Diese „schattierten Bänder“ (statistische Unsicherheit) schrumpfen, je mehr Experimente man durchführt, was den Algorithmus konsistenter erscheinen lässt, als er tatsächlich ist. Sie versäumen es zudem, die „Ausreißer“ zu erfassen – also jene Durchläufe, in denen die KI völlig versagt.
Die Analogie: Stellen Sie sich eine Dartscheibe vor. Wenn Sie 100 Darts werfen und 90 das Bullseye treffen, aber 10 an die Decke prallen, könnte der „Durchschnitt“ großartig aussehen. Aber wenn Sie ein Sicherheitsinspektor sind, interessieren Sie sich für diese 10 Darts an der Decke. Die alten Methoden ignorieren die Treffer an der Decke.

Die Lösung: Zwei neue Werkzeuge

Die Autoren schlagen zwei neue Wege vor, um dieses Chaos zu visualisieren und zu messen:

1. Das „Min-Max IPR-90“ (Das 90%-Sicherheitsnetz)

Anstatt auf den Durchschnitt zu schauen, betrachtet dieses Werkzeug die mittleren 90 % der Ergebnisse.

Wie es funktioniert: Stellen Sie sich vor, Sie ordnen alle 100 Athleten vom schlechtesten zum besten. Sie schneiden die untersten 5 % (die totalen Katastrophen) und die obersten 5 % (die glücklichen Wunder) ab. Sie messen dann die Distanz zwischen dem schlechtesten der „guten“ Läufer und dem besten der „guten“ Läufer.
Warum es besser ist: Diese Zahl sagt Ihnen etwas über die „Streuung“ der Leistung aus. Eine kleine Zahl bedeutet, dass die Athleten alle in einem ähnlichen Tempo laufen. Eine riesige Zahl bedeutet, dass das Team unvorhersehbar ist. Es ist ein einfacher Prozentsatz, der nicht durch seltsame mathematische Tricks getäuscht werden kann.

2. RPH (Run-Wise Percentile Highlighting) (Das „Highlight-Reel“)

Anstatt eine unordentliche Wolke aus Linien oder ein schattiertes Band zu zeichnen, hebt diese Methode nur drei spezifische Linien in einem Graphen hervor:

Das 5. Perzentil (das „Schlechteste“ der zuverlässigen Läufe).
Das 50. Perzentil (der „Median“ oder typische Lauf).
Das 95. Perzentil (das „Beste“ der zuverlässigen Läufe).
Die Visualisierung: Stellen Sie sich eine Rennstrecke vor. Anstatt den Pfad jedes einzelnen Läufers als verschwommenen grauen Fleck darzustellen, heben Sie den langsamsten zuverlässigen Läufer, den durchschnittlichen Läufer und den schnellsten zuverlässigen Läufer in leuchtenden Farben hervor. Sie sehen sofort, wie groß die Lücke zwischen ihnen ist. Wenn die Lücke riesig ist, ist der Algorithmus instabil.

Was sie herausgefunden haben (Die Fallstudien)

Die Autoren testeten diese neuen Werkzeuge in drei verschiedenen Szenarien, um zu sehen, was sie offenbaren:

1. Das „Normalisierung“-Experiment (Den Motor reparieren)
Sie versuchten, „LayerNorm“ (eine Technik zur Stabilisierung der internen Mathematik der KI) zu zwei populären Algorithmen hinzuzufügen: PPO und SAC.

Das Ergebnis: Für PPO zeigten die neuen Werkzeuge, dass das Hinzufügen dieser Stabilisatoren die Läufer viel konsistenter machte (die Lücke zwischen dem 5. und 95. Perzentil schrumpfte). Für SAC zeigten die Werkzeuge, dass die Stabilisatoren fast gar nichts bewirkten; die Läufer waren immer noch völlig unberechenbar.
Die Erkenntnis: Was für einen Motor funktioniert, hilft nicht zwangsläufig dem anderen.

2. Der „Superstar“-Vergleich (PPO, SAC, TD-MPC, TD-MPC2)
Sie verglichen vier verschiedene Algorithmen bei 48 verschiedenen Roboteraufgaben.

Das Ergebnis: Ein Algorithmus, TD-MPC, war der klare Gewinner. Er gewann nicht nur das Rennen (erzielte hohe Punktzahlen), sondern war auch am konsistentesten. Seine „Streuung“ war winzig. Die anderen waren entweder langsamer oder sehr unvorhersehbar.
Die Erkenntnis: Selbst die beste moderne KI hat immer noch eine hohe „Ausfallrate“ (etwa 35 % der Zeit erreichten selbst die Top-5 % der Läufe keinen ordentlichen Wert), aber TD-MPC war von der Auswahl am zuverlässigsten.

3. Das „Atari“-Duell (DQN vs. Rainbow)
Sie verglichen zwei klassische Algorithmen, die alte Videospiele (wie BattleZone und Qbert*) spielten.

Das Ergebnis: Rainbow war viel besser darin, zu gewinnen als DQN. Die neuen Werkzeuge enthüllten jedoch eine Überraschung: Beide Algorithmen waren gleichermaßen „zappelig“ und unvorhersehbar wie einander. Rainbow war lediglich ein „zappeliger“ Gewinner, während DQN ein „zappelige“ Verlierer war.
Die Erkenntnis: Häufiger zu gewinnen bedeutet nicht, dass man stabiler ist.

Das Fazum

Das Paper kommt zu dem Schluss, dass wir aufhören müssen, uns hinter „Durchschnittswerten“ und „schattierten Bändern“ zu verstecken, die die KI stabiler aussehen lassen, als sie ist. Indem wir das Min-Max IPR-90 (um die Streuung zu messen) und RPH (um die besten/schlechtesten zuverlässigen Läufe zu visualisieren) verwenden, können Forscher endlich die wahre „Brüchigkeit“ ihrer KI erkennen.

Es ist wie der Wechsel von einem Wetterbericht, der nur eine Durchschnittstemperatur liefert, zu einem Bericht, der klar zeigt: „Es könnte ein perfekter Tag werden oder eine Katastrophe. Hier ist die Spanne dessen, was zu erwarten ist.“

Technisches Resümee: Leistungsvariation in Deep Reinforcement Learning

Problemstellung

Deep-Reinforcement-Learning-Algorithmen (RL) sind für ihre Fähigkeit bekannt, komplexe Verhaltensweisen zu erlernen, gelten jedoch als notorisch anfällig für „lotterieartige“ Leistungssensitivität über unabhängige Durchläufe identisch konfigurierter Agenten hinweg. Diese Variation zwischen den einzelnen Durchläufen erschwert die wissenschaftliche Strenge, da sie die Reproduzierbarkeit von Ergebnissen, den fairen Vergleich von Algorithmen und das Hyperparameter-Tuning beeinträchtigt. Darüber hinaus stellt diese Variabilität in praktischen Anwendungen, wie etwa bei Sicherheitsrisiken, ein Problem dar, da ineffektive Verhaltensweisen unvorhersehbar auftreten können.

Trotz der Bedeutung dieses Problems vernachlässigen empirische Deep-RL-Studien die Leistungsvariation oft zugunsten aggregierter Leistungsmetriken. Die aktuelle Evaluierungspraxis stützt sich stark auf:

Unsicherheitsschätzungen (z. B. gebootstrappte Konfidenzintervalle des Interquartilsmittels, Standardfehler), welche die Diskrepanz zwischen Stichprobenstatistiken und wahren Populationsparametern messen, anstatt die Streuung der Leistungsverteilung selbst zu erfassen. Diese Metriken verschwinden mit zunehmender Anzahl der Durchläufe ( $O(1/\sqrt{n})$ ) und erfassen somit nicht die inhärente Datenvariabilität.
Standardabweichung, die eine Gaußsche Verteilung voraussetzt. Die Leistungsverteilungen im Deep RL sind jedoch häufig nicht-gaußsch (schief oder bimodal), was zu einer „Untererfassung“ des Risikos führt, wenn die Standardabweichung signifikante Teile der Verteilung, wie etwa Fehlversuche oder schwere Enden (Heavy Tails), nicht abdeckt.

Existierende rigorose Methoden wie Toleranzintervalle (TIs) oder Performance-Profile sind oft rechenintensiv oder für die Einzelaufgabenanalyse schwer interpretierbar. Es besteht ein Bedarf an Evaluierungswerkzeugen, die die Leistungsvariation einer einzelnen Aufgabe präzise erfassen und gleichzeitig interpretierbar sowie skalierbar bleiben.

Methodik

Die Autoren schlagen eine Reihe von Quantifizierungs- und Visualisierungsmethoden vor, die ein Gleichgewicht zwischen Genauigkeit und Interpretierbarkeit anstreben:

1. Min-Max IPR-90 (Quantifizierung)

Das Paper führt die Min-Max Inter-Percentile Range (IPR) vom 5. bis zum 95. Perzentil ein, normiert auf den theoretischen oder empirischen Min-Max-Bereich der Aufgabe.

Definition: $IPR = \frac{U(95) - U(5)}{M_T - m_T} \times 100\%$ , wobei $U(x)$ das $x$ -te Perzentil des Leistungssatzes ist und $M_T, m_T$ die maximale und minimale mögliche Rendite der Aufgabe darstellen.
Begründung: Im Gegensatz zur Standardabweichung setzen Perzentile keine spezifische Datenverteilung voraus. Der Bereich vom 5. bis zum 95. Perzentil (90 % Abdeckung) wurde gewählt, um das Risiko zu bewerten (indem die Streuung der meisten Durchläufe erfasst wird), während die extreme Sensitivität gegenüber Ausreißern vermieden wird, die ein voller Bereich (0–100 %) mit sich brächte.
Normierung: Die Min-Max-Normierung ermöglicht einen direkten Vergleich der Variation zwischen verschiedenen Algorithmen und Aufgaben mit unterschiedlichen Belohnungsskalen.

2. Run-wise Percentile Highlighting (RPH) (Visualisierung)

Um Lernkurven ohne das Risiko einer Fehlinterpretation durch zeitweise Aggregation (z. B. Mittelwert $\pm$ Standardabweichungsbänder) zu visualisieren, schlagen die Autoren das Run-wise Percentile Highlighting vor.

Technik: Anstatt Statistiken zu jedem Zeitschritt zu aggregieren, hebt RPH die spezifischen Lernkurven hervor, die den 5., 50. (Median) und 95. Perzentilen der Endleistung entsprechen.
Implementierung: Die 5. und 95. Perzentil-Kurven werden hervorgehoben (z. B. durch gestrichelte Linien), um die Variationshülle zu betonen, während das 50. Perzentil die zentrale Tendenz darstellt. Andere Kurven werden mit Transparenz dargestellt.
Vorteil: Dies bewahrt die Form einzelner Lernkurven und vermeidet die bei Fehlerbändern übliche „Untererfassung“ der Variation. Es ist rechentechnisch einfacher und interpretierbarer als Functional Boxplots (FB).

Kernbeiträge und Fallstudien

Das Paper validiert diese Methoden durch drei Fallstudien mit jeweils 100 unabhängigen Durchläufen pro Aufgabe:

Fallstudie 1: Effekt der Normalisierung auf PPO und SAC

Die Autoren analysierten den Einfluss von LayerNorm und der Normalisierung der vorletzten Schicht (PNorm) auf PPO und SAC.

Ergebnisse: Bei PPO verringerten diese Normalisierungstechniken (einzeln oder kombiniert) die Leistungsvariation (reduzierten den Min-Max IPR-90) signifikant und verbesserten oft die Median-Leistung. Im Gegensatz dazu ließen diese Modifikationen die Leistungsvariation bei SAC im Allgemeinen unverändert oder erhöhten sie sogar.
Implikation: Die Vorteile der Normalisierung sind algorithmspezifisch; was PPO stabilisiert, stabilisiert SAC nicht zwangsläufig.

Fallstudie 2: Vergleich von Continuous Control Algorithmen (PPO, SAC, TD-MPC, TD-MPC2)

Ein systematischer Vergleich wurde über 48 DeepMind Control Suite (DMC) Aufgaben durchgeführt.

Ergebnisse: TD-MPC und TD-MPC2 zeigten eine überlegene Leistung über alle Metriken (Mittelwert, Median, 5./95. Perzentile) hinweg im Vergleich zu PPO und SAC. Entscheidend ist, dass TD-MPC die geringste Leistungsvariation aufwies (durchschnittlicher Min-Max IPR-90 $\approx$ 10%), während es gleichzeitig eine hohe Dateneffizienz beibehielt.
Beobachtung: Trotz der geringen Variation von TD-MPC bleibt ein durchschnittlicher IPR-90 von 10% signifikant höher als die $\approx$ 2%, die bei Supervised-Learning-Baselines beobachtet wurden, was darauf hindeutet, dass Deep RL weiterhin Schwierigkeiten mit einer konsistenten Variation mit geringem Ausmaß hat.

Fallstudie 3: Vergleich von Discrete Control Algorithmen (DQN vs. Rainbow)

Die Studie verglich DQN und Rainbow auf fünf Atari-Umgebungen (ALE).

Ergebnisse: Rainbow übertraf DQN signifikant in Bezug auf Median- und Perzentil-Leistung. Dennoch wiesen beide Algorithmen ähnliche, hohe Niveaus an Leistungsvariation auf (Min-Max IPR-90 $\approx$ 14–23%).
Implikation: Während Rainbow die aggregierte Leistung gegenüber DQN verbessert, löst es das grundlegende Problem der hohen Variation zwischen den Durchläufen nicht.

Bedeutung und Behauptungen

Das Paper behauptet, dass Min-Max IPR-90 und RPH eine notwendige Verschiebung in der Art und Weise bieten, wie die Leistung von Deep RL evaluiert wird:

Korrektur der Fehlbelegung: Sie korrigieren den Missbrauch von Unsicherheitsschätzungen (wie Konfidenzintervallen) als Stellvertreter für die Variation.
Robustheit: Durch die Verwendung von Perzentilen anstelle von parametrischen Annahmen (wie der Gaußschen Verteilung) bieten diese Methoden eine genauere Zusammenfassung der Leistungsstreuung, insbesondere für nicht-gaußsche Verteilungen, die im RL häufig vorkommen.
Interpretierbarkeit: RPH bietet eine klare visuelle Darstellung des Verhaltens zwischen den Durchläufen, die leichter zu interpretieren ist als Functional Boxplots und informativer als Standardfehlerbänder.
Praktischer Einblick: Die vorgeschlagenen Werkzeuge zeigen, dass algorithmische Verbesserungen (z. B. in TD-MPC oder Rainbow) nicht automatisch mit einer reduzierten Variation einhergehen, was verdeutlicht, dass „Robustheit“ ein eigenständiges und herausforderndes Ziel in der Deep-RL-Forschung bleibt.

Die Autoren kommen zu dem Schluss, dass diese Methoden zwar effektiv sind, aber zusammen mit anderen statistischen Werkzeugen verwendet werden sollten, um komplementäre Einblicke zu gewährleisten, da die Abhängigkeit von einer einzigen Statistik immer noch irreführend sein kann. Die Arbeit zielt darauf ab, die zukünftige Forschung durch Bereitstellung eines strengeren Rahmens zur Bewertung der Zuverlässigkeit und Robustheit von Deep-RL-Agenten zu unterstützen.