📊 statistics

Auditing the Risk Claims of Distributional Reinforcement Learning

Dieses Paper präsentiert ein Audit-Framework, das aufzeigt, dass die risikosensitiven Ansprüche trainierter distributioneller Reinforcement-Learning-Agenten weitgehend strukturelle Trainingsartefakte sind und keine akkuraten Abbilder der stochastischen Umwelt darstellen, wodurch ihr Risikorat zu wenig informativ und oft schädlich für die Entscheidungsfindung ist.

Ursprüngliche Autoren: Hari Prasad

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hari Prasad

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Gamer gebaut, der nicht nur errät, wie viele Punkte er bekommen wird, sondern tatsächlich die gesamte Bandbreite möglicher Zukünfte vorhersagt. Es ist wie ein Wettervorhersager, der nicht nur sagt „es könnte regnen“, sondern eine detaillierte Karte zeichnet, die genau zeigt, wo der Regen fallen wird, wie stark er einschlagen wird und wo die Sonne vielleicht durchblitzen könnte. Dieser Roboter, genannt Distributional Reinforcement Learning Agent, soll der beste Freund eines Risikofreudigen sein. Er ist darauf ausgelegt, zu erkennen, ob ein Zug eine sichere, langweilige Wette ist oder ein wildes Wagnis, selbst wenn beide den gleichen Durchschnittsscore versprechen.

Doch hier kommt der Clou: Die „Risikokarte“ des Roboters ist größtenteils eine Halluzination.

Das große Audit

Die Autoren dieser Arbeit beschlossen, Detektiv zu spielen. Sie stellten eine einfache Frage: Wenn dieser Roboter behauptet: „Hey, dieser Zug ist riskant und jener ist sicher“, sagt er dann auch die Wahrheit?

Um das herauszufinden, vertrauten sie nicht einfach auf das Wort des Roboters. Sie bauten eine „Wahrheitsmaschine“. Sie machten Schnappschüsse der Spielwelt, hielten die Zeit an und spielten denselben Moment tausende Male mit unterschiedlichen Zufalls-Seeds (wie das wiederholte Würfeln von Würfeln) ab, um zu sehen, was tatsächlich passiert. Sie verglichen die schicken Vorhersagen des Roboters mit diesem Berg an realen Daten.

Das schockierende Ergebnis: 40 % bis 95 % des „Risikos“ sind Fake

Das Audit enthüllte ein massives Problem. In den getesteten Spielen (MinAtar, eine Mini-Version der klassischen Arcade-Spiele) waren 40 % bis 95 % der stärksten Risiko-Behauptungen des Roboters völlig falsch.

Stellen Sie sich das so vor: Der Roboter steht in einem Flur und zeigt auf zwei Türen. Er schreit: „Tür A ist sicher! Tür B ist eine Falle!“ Aber als die Prüfer die Türen aufstießen und 2.000 Mal hindurchliefen, fanden sie heraus, dass beide Türen in exakt denselben Raum führten. Der Roboter sah keinen Unterschied; er hat ihn einfach erfunden.

Die „Top“-Behauptungen sind am schlimmsten: Je konfidenter sich der Roboter über einen Risiko-Unterschied war, desto wahrscheinlicher war es, dass er lügt. In den obersten 2 % seiner „riskantesten“ Momente waren bis zu 95 % der Behauptungen widerlegt.
Es ist kein bloßer Glitch: Dies ist kein Bug, der auftritt, wenn der Roboter müde ist oder gerade lernt. Die Autoren überprüften den Roboter in verschiedenen Stadien seines Lebens. Die falschen Risiko-Behauptungen waren bereits nach nur 500.000 Schritten des Trainings voll ausgeprägt und blieben so bestehen, selbst als der Roboter doppelt so gut im Spiel wurde.
Es liegt nicht am Spiel: Der Roboter war nicht durch ein schwieriges Spiel verwirrt. Als die Autoren ihn in einem speziellen, maßgeschneiderten Spiel testeten, in dem die Risiken real und klar definiert waren (ein „RISKYGRID“), lag er 96–100 % der Zeit richtig. Dies beweist, dass der Roboter Risiko sehen kann, aber in den echten Arcade-Spielen sieht er Gespenster.

Warum passiert das?

Das Paper schließt einige Dinge aus, die man vermuten könnte:

Es liegt nicht daran, dass der Roboter „schlecht“ im Spiel ist. Selbst ein nahezu perfekter, vortrainierter Roboter (trainiert auf 10 Millionen Frames an Daten) fiel in dieselbe Falle.
Es liegt nicht daran, dass der Robot „fehlkalibriert“ ist (wie ein Thermometer, das immer 5 Grad daneben liegt). Wenn man versucht hätte, den Roboter durch „Rekalibrierung“ zu korrigieren, wäre der einzige Weg, um ihn bestehen zu lassen, gewesen, ihn gar nichts sagen zu lassen. Der Roboter ist nicht nur leicht daneben; er ist uninformativ. Er ist wie ein Kompass, der wild herumspinnt; man kann ihn nicht einfach „justieren“, damit er nach Norden zeigt, weil er von vornherein kein Magnetgefühl besitzt.
Es liegt nicht an mangelnden Daten. Der Roboter sah tausende Beispiele, aber das „Risiko“, das er lernte, war ein strukturelles Artefakt dessen, wie er trainiert wurde, und kein Merkmal des Spiels selbst.

Die Gefahr: Handeln auf Basis der Lügen

Hier ist der beängstigende Teil. Wenn Sie als menschlicher Spieler den Ratschlägen dieses Roboters folgen würden, um Entscheidungen zu treffen, wären Sie in Schwierigkeiten.

In einem Spiel (Breakout) war der Rat des Roboters tatsächlich hilfreich.
In einem anderen (Seaquest) machte das Folgen seines Rats Sie dreimal schlechter als wenn Sie das Risiko komplett ignoriert hätten.
In einem dritten (Asterix) war es im Grucheid etwa ein Münzwurf.

Das Schlimmste daran? Man kann nicht erkennen, welches Spiel welches ist. Der Roboter gibt Ihnen einen „Risiko-Score“, aber dieser Score verrät Ihnen nichts darüber, ob der Rat ein Lebensretter oder ein Todesurteil ist. Es ist, als hätte man eine Wetter-App, die manchmal einen Tornado vorhersagt und manchmal einen sonnigen Tag, aber die App gibt einem keinen Hinweis darauf, welche Vorhersage real ist.

Das Fazit

Das Paper kommt zu dem Schluss, dass für die getesteten Roboter das „Risiko“, das sie sehen, ein Trainings-Artefakt ist – ein Gespenst in der Maschine. Es ist ein Muster, das der Roboter gelernt hat zu zeichnen, weil seine Mathematik es vorgibt, nicht weil die Welt auf diese Weise wirklich gefährlich ist.

Die Autoren sind sehr deutlich: Vertrauen Sie den Risiko-Karten des Roboters nicht blind. Wenn Sie diese Agenten für sicherheitskritische Aufgaben (wie selbstfahrende Autos) einsetzen wollen, müssen Sie sie zuerst prüfen. Bis dahin ist das „Risiko“ des Roboters nur eine sehr überzeugende, sehr selbstbewusste Lüge.

Technisches Resümee: Auditierung der Risikoansprüche von Distributionellem Reinforcement Learning

Problemstellung

Distributionelles Reinforcement Learning (RL) ersetzt skalare Wertfunktionen durch vollständige Ertragsverteilungen ( $Z^\pi(s, a)$ ). Während diese Verteilungen den Stand der Technik vorangetrieben haben und zunehmend für Interpretierbarkeit, risikosensitive Steuerung (z. B. via Conditional Value-at-Risk, CVaR) und Sicherheitsüberwachung eingesetzt werden, werden sie oft als „wahrheitsgetreu“ gelesen. Die Kernannahme ist, dass, wenn eine gelernte Verteilung für eine Aktion eine andere Form aufweist als eine andere (z. B. das Versprechen eines sicheren kleinen Ertrags gegenüber einem Wagnis mit gleichem Mittelwert), die Umgebung tatsächlich diese spezifische Risikostruktur enthält.

Die theoretische Arbeit legt jedoch nahe, dass diese Verteilungen nicht mit der wahren Ertragsverteilung übereinstimmen müssen (z. B. konvergieren Quantil-Temporal-Differenz-Lernverfahren zu nicht-eindeutigen Fixpunkten). Darüber hinaus verbessern distributionelle Methoden die Leistung oft auch dann, wenn nur der Mittelwert genutzt wird, was darauf hindeutet, dass die gelernten Verteilungen nützliche Repräsentationen sein können, ohne faktisch korrekt zu sein. Die identifizierte kritische Lücke ist der Mangel an direkter Messung: Sind die spezifischen Risikoansprüche, die ein trainierter distributioneller Agent stellt, wahr? Aggregierte Divergenzmetriken scheitern daran, zwischen Fehlern zu unterscheiden, die für Entscheidungen relevant sind, und solchen, die es nicht sind. Diese Arbeit adressiert die Frage, ob das in einem trainierten Agenten reflektierte „Risiko“ ein echtes Merkmal der Umgebung oder ein Trainingsartefakt ist.

Methodik

Die Autoren schlagen ein entscheidungsrelevantes Audit-Framework vor, das eine Screening-Metrik, eine Ground-Truth-Generierung und ein statistisches Harness kombiniert, um falsche Schlussfolgerungen zu vermeiden.

1. Entscheidungsrelevante Audit-Metrik

Das Audit konzentriert sich auf die exzessive Wasserstein-Lücke ( $\Delta_x(s)$ ) zwischen den zwei besten Aktionen bei einem gegebenen Zustand $s$ , sortiert nach ihren mittleren Erträgen.
$\Delta_x(s) = W_1(Z(s, a_1), Z(s, a_2)) - |\mu_1(s) - \mu_2(s)|$
Wobei $W_1$ der 1-Wasserstein-Abstand zwischen den Quantil-Repräsentationen der beiden Aktionen ist und $\mu$ deren mittlere Erträge darstellt.

Bedeutung: $\Delta_x(s) > 0$ tritt genau dann auf, wenn keine Aktion die andere in erster Ordnung stochastisch dominiert. Dies ist die präzise Bedingung, unter der eine risikosensitive Policy von einer mittelwert-affinen Policy abweichen würde. Somit isoliert $\Delta_x$ Ansprüche, die Entscheidungsinhalt tragen.

2. Ground Truth via Snapshot-Restart Monte Carlo

Um Ansprüche zu verifizieren, generieren die Autoren die Ground Truth durch:

Das Sammeln eindeutiger Zustände des trainierten Agenten.
Das Speichern von Tiefenkopien (Snapshots) der Umgebung in diesen Zuständen.
Das Durchführen von 2.000 Rollouts pro Aktion von jedem Snapshot aus, wobei die spezifische Aktion erzwungen und die greedy Policy bis zum Ende verfolgt wird.
Entscheidend ist, dass jede neu gestartete Kopie unabhängig neu geseedet wird, um sicherzustellen, dass die Rollouts die wahre Umgebungstochastizität (aleatorische Unsicherheit) erfassen und nicht identische Zukünfte wiederholen.

3. Statistisches Harness

Um zu verhindern, dass das Audit falsche Schlussfolgerungen konstruiert, setzen die Autoren folgendes ein:

Permutation Nulls: Etablierung einer Baseline für Schätzrauschen durch Aufteilung der Rollouts einer einzelnen Aktion.
Bootstrap-Refutation: Ein Anspruch wird widerlegt, wenn der gelernte $\Delta_x(s)$ das 97,5. Perzentil der Monte-Carlo-Exzess-Verteilung überschreitet.
FDR-Kontrolle: Verwendung des Benjamini-Hochberg-Verfahrens zur Kontrolle der False Discovery Rate über die Zustände hinweg.
Aliasing-Index: Eine Metrik zur Kennzeichnung von Zuständen, in denen Teilobservabilität den wahren Umgebungszustand verbergen könnte.

4. Adressierung stiller Fallstricke

Das Paper dokumentet zwei spezifische Fehlermodi in Restart-basierten Evaluationen, die zuvor überzeugende, aber falsche Audits produzierten:

P1 (RNG Cloning): Die Verwendung von deepcopy auf Umgebungen klont oft den internen Zufallszahlengenerator, was dazu führt, dass „zufällige“ Rollouts identische Zukünfte wiederholen. Dies erzeugt eine falsche Wahrnehmung von Determinismus.
P2 (Empirical Wasserstein Noise Floor): Für endliche Stichproben aus derselben Verteilung konvergiert der empirische Wasserstein-Abstand gegen einen Nicht-Null-Wert ( $O(n^{-1/2})$ ). Naive Schwellenwertbildung kann reines Rauschen als Risiko-Trade-off „bestätigen“. Das Audit kalibriert gegen pro-Zustand Nulls, um dies zu berücksichtigen.

Zentrale Ergebnisse

1. Die stärksten Ansprüche sind meist falsch

Über QR-DQN, C51 und IQN auf MinAtar (Breakout, Seaquest, Asterix) sowie auf einem vortrainierten SB3-zoo QR-DQN auf vollem Atari:

Refutationsraten: In den obersten 2 % der eigenen Risiko-Rankings des Agenten (den Zuständen, die ein Praktiker zuerst markieren würde), werden 40–95 % der behaupteten Risiko-Trade-offs bei einem Konfidenzniveau von 95 % widerlegt.
Null Bestätigungen: Über 735 auditierte Zustände in MinAtar hinweg ist praktisch kein Anspruch bestätigbar, nachdem die FDR-Korrektur angewendet wurde.
Wahrheitsblinde Ununterscheidbarkeit: Die Platzierung der stärksten Ansprüche ist statistisch nicht unterscheidbar von einem „wahrheitsblinden“ Head (bei dem die Größenordnung der Ansprüche erhalten bleibt, aber zufällig auf Zustände verteilt wird). Die Korrelation zwischen gelerntem Exzess und wahrem Exzess liegt nahe Null ( $r \approx 0,02$ ).

2. Strukturelle Natur des Artefakts

Frühe Bildung: Das Overclaiming-Artefakt ist bereits nach 500k Trainingsschritten voll ausgeprägt und bleibt bestehen, selbst wenn sich der Score des Agenten verdoppelt.
Seed-Idiosynkrasie: Die spezifischen falschen Ansprüche sind einzigartig für jeden Random Seed und unkorreliert mit der finalen Performance.
Verlorene Zustände: In Zuständen, in denen der Ball unwiederbringlich verloren ist (jeder zukünftige Pfad liefert denselben Ertrag), berichtet der Head des Agenten dennoch von breiten, sich kreuzenden Verteilungen mit hohem $\Delta_x$ .

3. Auswirkungen auf Entscheidungsebene

Das Handeln nach dem CVaR-Rat des Agenten an seinen am stärksten markierten Zuständen liefert gemischte und unvorhersehbare Ergebnisse:

Breakout: Der Rat ist tatsächlich informativ (81 % sicherere Wahl gegenüber 44 % für den Mittelwert-Greedy-Ansatz).
Seaquest: Der Rat ist anti-prädiktiv; er wählt die wirklich sicherere Aktion nur in 24–34 % der Fälle (schlechter als der Zufall) und verdreifacht das Regret im Vergleich zum Ignorieren des Risikos.
Asterix: Der Rat ist effektiv ein Münzwurf.
Es gibt kein beobachtbares Signal, das einem Praktiker sagen kann, in welchem Regime er sich befindet.

4. Scheitern von Reparaturen

Standardmäßige Abhilfemaßnahmen beheben das Problem nicht:

Risikosensitives Training: Das Training eines Agenten, um CVaR-greedy zu sein, führt zum gleichen Overclaiming-Signatur.
Ensembling: Das Mitteln von Quantil-Funktionen dämpft das Artefakt ab, kalibriert aber die Top-Claims nicht.
Rekalibrierung: Rekalibrierung besteht das Audit nur dadurch, dass sie die Ansprüche nullifiziert (auf Rauschen kollabieren lässt), was beweist, dass der Head uninformativ ist, nicht bloß falsch kalibriert.

5. Positive Kontrollen

Um sicherzustellen, dass das Audit selbst nicht fehlerhaft ist, testeten die Autoren auf RISKYGRID, einer Umgebung mit bekannten Risiko-Trade-offs.

Das Audit bestätigte 96–100 % der realen Ansprüche mit hoher Korrelation ( $r \approx 0,92$ ).
Dies bestätigt, dass das Audit die Unfähigkeit der Agenten zur Erfassung von Risiko misst und nicht ein Versagen der Audit-Methodik oder der geringen Effektstärken.

Bedeutung und Behauptungen

Das Paper kommt zu dem Schluss, dass für die getesteten Agenten (QR-DQN, C51, IQN) das gelernte „Risiko“ eher ein strukturelles Trainingsartefakt als eine Umgebungstochastizität widerspiegelt.

Der „Winner's Curse“ des Risikos: Die Zustände, in denen der Agent am sichersten über einen Risiko-Trade-off ist (höchstes $\Delta_x$ ), sind genau die Zustände, in denen die Ansprüche am wenigsten zuverlässig sind.
Uninformative Heads: Die distributionellen Heads sind nicht nur falsch kalibriert; sie sind uninformativ bezüglich der Risikostruktur. Sie vermengen aleatorische und epistemische Unsicherheit auf eine Weise, die spurenechte Risikosignale erzeugt.
Implikationen für die Praxis:
1. Interpretierbarkeit: Visualisierte Ertragsverteilungen sollten ohne Ground-Truth-Validierung nicht vertraut werden.
2. Sicherheit & Steuerung: Von Roh-Quantil-Heads abgeleitete risikosensitive Policies können auf spurenechte Risiken reagieren, was potenziell zu schlechteren Ergebnissen führen kann als ein Mittelwert-Greedy-Ansatz.
3. Zukünftige Arbeit: Jede Methode, die behauptet, Unsicherheit oder Risiko zu schätzen, muss gegen ein entscheidungsrelevantes Audit evaluiert werden. Die Autoren veröffentlichen ein Toolkit und einen Standard: Ein Audit-beständiger Head muss seine Top-Claims bestätigen können.

Die Autoren betonen ihre Bescheidenheit: Ihre Behauptungen decken spezifische Algorithmen und Umgebungen (MinAtar, spezifische Atari-Seeds) ab. Sie räumen ein, dass andere kalibrierte Varianten oder Agenten, die unter anderen Bedingungen trainiert wurden (z. B. Sticky Actions bei vollem Maßstab), noch getestet werden müssen, aber die aktuelle Evidenz deutet darauf an, dass das „Risiko“ im Standard-Distributionellen RL weitgehend ein Artefakt des Lernprozesses ist.