📊 statistics

Auditing the Risk Claims of Distributional Reinforcement Learning

Dit artikel presenteert een auditframework dat aantoont dat de risicosensitieve claims van getrainde distributionele reinforcement learning-agenten grotendeels structurele trainingsartefacten zijn in plaats van nauwkeurige reflecties van omgevingsstochastiek, waardoor hun risicoadvies oninformatief en vaak schadelijk is voor de besluitvorming.

Oorspronkelijke auteurs: Hari Prasad

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hari Prasad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robot-gamer hebt gebouwd die niet alleen raadt hoeveel punten het zal halen, maar ook de volledige reikwijdte van mogelijke toekomsten voorspelt. Het is als een weervoorspeller die niet alleen zegt "het kan gaan regenen", maar een gedetailleerde kaart tekent die precies laat zien waar de regen zal vallen, hoe hard het zal neerkomen en waar de zon misschien doorheen piept. Deze robot, genaamd een Distributional Reinforcement Learning agent, is bedoeld als de beste vriend van de risicozoeker. Hij is ontworpen om te herkennen wanneer een zet een veilige, saaie gok is en een andere een wild gokje, zelfs als ze dezelfde gemiddelde score beloven.

Maar hier komt de twist: de "risicokaart" van de robot is grotendeels een hallucinatie.

De Grote Audit

De auteurs van dit paper besloten een detective te spelen. Ze stelden een simpele vraag: Wanneer deze robot beweert: "Hé, deze zet is riskant en die is veilig," vertelt hij dan de waarheid?

Om dit te achterhalen, vertrouwden ze niet simpelweg op het woord van de robot. Ze bouwden een "waarheidsmachine". Ze namen snapshots van de spelwereld, bevroren de tijd en speelden hetzelfde moment vervolgens duizenden keren opnieuw af met verschillende willekeurige seeds (zoals het herhaaldelijk gooien met dobbelstenen) om te zien wat er daadwerkelijk gebeurde. Ze vergeleken de chique voorspellingen van de robot met deze berg aan echte wereldgegevens.

De Schokkende Resultaten: 40% tot 95% van het "Risico" is Vals

De audit onthulde een enorm probleem. In de spellen die ze testten (MinAtar, een mini-versie van de klassieke arcadegames), was 40% tot 95% van de sterkste claims van de robot over risico volledig onjuist.

Denk er zo over na: de robot staat in een gang en wijst naar twee deuren. Hij schreeuwt: "Deur A is veilig! Deur B is een val!" Maar toen de auditors de deuren open trapten en er 2.000 keer doorheen renden, bleek dat beide deuren naar exact dezelfde kamer leidden. De robot zag geen verschil; hij verzon het gewoon.

De "Top"-claims zijn het ergst: Hoe zelfverzekerder de robot was over een risicoverschil, hoe groter de kans dat hij loog. In de bovenste 2% van zijn "risicovolste" momenten werd tot wel 95% van de claims weerlegd.
Het is niet zomaar een glitch: Dit is geen bug die optreedt wanneer de robot moe is of aan het leren is. De auteurs controleerden de robot op verschillende stadia van zijn leven. De valse risicoclaims waren volledig gevormd na slechts 500.000 stappen training en bleven aanwezig, zelfs toen de robot twee keer zo goed werd in het spel.
Het ligt niet aan het spel: De robot was niet in de war door een lastig spel. Wanneer de auteurs hem testten op een speciaal, op maat gemaakt spel waar de risico's echt en duidelijk gedefinieerd waren (een "RISKYGRID"), kreeg hij het 96–100% van de tijd goed. Dit bewijst dat de robot risico kan zien, maar in de echte arcadegames ziet hij spoken.

Waarom gebeurt dit?

Het paper sluit een aantal zaken uit waar mensen misschien aan zouden denken:

Het is niet omdat de robot "slecht" is in het spel. Zelfs een bijna perfecte, vooraf getrainde robot (getraind op 10 miljoen frames aan data) trapte in dezelfde val.
Het is niet omdat de robot "misgekalibreerd" is (zoals een thermometer die altijd 5 graden afwijkt). Als je probeerde de robot te "repareren" door hem te herkalibreren, was de enige manier om de test te halen dat de robot helemaal niets zei. De robot is niet alleen een beetje fout; hij is oninformatief. Het is als een kompas dat wild ronddraait; je kunt het niet gewoon "bijstellen" om naar het Noorden te wijzen, omdat het vanaf het begin al geen magnetisch gevoel heeft.
Het is niet een gebrek aan data. De robot zag duizenden voorbeelden, maar het "risico" dat hij leerde was een structureel artefact van hoe hij werd getraind, en niet een kenmerk van het spel zelf.

Het Gevaar: Handelen op basis van de Leugens

Dit is het engere deel. Als je een menselijke speler zou zijn die het advies van deze robot gebruikt om beslissingen te nemen, zou je in de problemen zitten.

In één spel (Breakout) was het advies van de robot daadwerkelijk nuttig.
In een ander spel (Seaquest) maakte het volgen van zijn advies je drie keer slechter dan het volledig negeren van risico.
In een derde spel (Asterix) was het in feits een kop of munt-beslissing.

Het ergste van alles? Er is geen manier om te weten welk spel welk is. De robot geeft je een "risicoscore", maar die score vertelt je niets over of het advies een reddingsboei of een doodvonnis is. Het is alsoals een weer-app die soms een tornado voorspelt en soms een zonnige dag, maar de app geeft je geen enkel vermoeden van welke voorspelling echt is.

De Kern van het Verhaal

Het paper concludeert dat voor de robots die zij testten, het "risico" dat ze zien een trainingsartefact is—een spook in de machine. Het is een patroon dat de robot heeft geleerd te tekenen vanwege zijn wiskunde, niet omdat de wereld op die manier werkelijk gevaarlijk is.

De auteurs zijn zeer duidelijk: Vertrouw de risicokaarten van de robot niet op hun waarde. Als je deze agenten wilt gebruiken voor taken waarbij veiligheid cruciaal is (zoals zelfrijdende auto's), moet je ze eerst auditeren. Tot die tijd is het "risico" van de robot slechts een zeer overtuigende, zeer zelfverzekerde leugen.

Technische Samenvatting: Het auditeren van de risicobestanden van Distributional Reinforcement Learning

Probleemstelling

Distributional Reinforcement Learning (RL) vervangt scalaire waardefuncties door volledige return-distributies ( $Z^\pi(s, a)$ ). Hoewel deze distributies de state-of-the-art prestaties hebben gedreven en steeds vaker worden gebruikt voor interpreteerbaarheid, risico-gevoelige controle (bijv. via Conditional Value-at-Risk, CVaR) en veiligheidsmonitoring, worden ze vaak voor "waar" aangenomen. De kernveronderstelling is dat als de geleerde distributie voor één actie in vorm verschilt van een andere (bijv. een veilige kleine return belooft versus een gok met een gelijke gemiddelde), de omgeving daadwerkelijk die specifieke risicostructuur bevat.

Echter, theoretisch werk suggereert dat deze distributies niet noodzakelijkerwijs overeenkomen met de ware return-distributie (bijv. Quantile Temporal-Difference learning convergeert naar niet-unieke vaste punten). Bovendien verbeteren distributional methoden de prestaties vaak zelfs wanneer alleen het gemiddelde wordt gebruikt, wat suggereert dat de geleerde distributies nuttige representaties kunnen zijn zonder feitelijk accuraat te zijn. De geïdentificeerde kritieke kloof is het gebrek aan directe meting: Zijn de specifieke risicobestanden die een getrainde distributionele agent maakt waar? Geaggregeerde divergentiemetrieken slagen er niet in om onderscheid te maken tussen fouten die er toe doen voor besluitvorming en fouten die dat niet doen. Dit artikel behandelt de vraag of het "risico" dat in het hoofd van een getrainde agent wordt weerspiegeld een echte omgevingskenmerk is of een trainingsartefact.

Methodologie

De auteurs stellen een besluit-relevant auditframework voor dat een screeningsmetriek, grondwaarheidgeneratie en een statistisch harnas combineert om valse conclusies te vermijden.

1. Besluit-relevante Audit-metriek

De audit richt zich op de excess Wasserstein gap ( $\Delta_x(s)$ ) tussen de top twee acties bij een gegeven staat $s$ , gerangschikt op basis van hun gemiddelde returns.
$\Delta_x(s) = W_1(Z(s, a_1), Z(s, a_2)) - |\mu_1(s) - \mu_2(s)|$
Waar $W_1$ de 1-Wasserstein afstand is tussen de kwantielrepresentaties van de twee acties, en $\mu$ hun gemiddelde returns vertegenwoordigt.

Significantie: $\Delta_x(s) > 0$ treedt alleen op als geen van beide acties de andere first-order stochastisch domineert. Dit is de precieze conditie waaronder een risico-gevoelig beleid zou afwijken van een mean-greedy beleid. Zo isoleert $\Delta_x$ claims die besluitvormingsinhoud dragen.

2. Grondwaarheid via Snapshot-Restart Monte Carlo

Om claims te verifiëren, genereren de auteurs grondwaarheid door:

Unieke staten van de getrainde agent te verzamelen.
Deep copies (snapshots) van de omgeving op deze staten op te slaan.
2.000 rollouts per actie vanuit elk snapshot uit te voeren, waarbij de specifieke actie wordt afgedwongen en de greedy policy wordt gevolgd tot terminatie.
Cruciaal is dat elke herstartte kopie onafhankelijk opnieuw wordt gezaaid (reseeded) om ervoor te zorgen dat de rollouts de ware omgevingsstochasticiteit (aleatorische onzekerheid) vastleggen in plaats van identieke toekomsten te herhalen.

3. Statistisch Harnas

Om te voorkomen dat de audit valse conclusies produceert, gebruiken de auteurs:

Permutatie Nullen: Het vaststellen van een baseline voor schattingsruis door de rollouts van een enkele actie te splitsen.
Bootstrap Refutatie: Een claim wordt weerlegd als de geleerde $\Delta_x(s)$ de 97,5e percentiel van de Monte Carlo (MC) excess distributie overschrijdt.
FDR Control: Het gebruik van de Benjamini-Hochberg procedure om de False Discovery Rate over staten te controleren.
Aliasing Index: Een metriek om staten te markeren waar partiële observeerbaarheid het ware omgevingsniveau kan verbergen.

4. Aanpak van Stille Valkuilen

Het artikel documenteert twee specifieke faalmodi in restart-gebaseerde evaluaties die eerder overtuigende maar foute audits produceerden:

P1 (RNG Cloning): Het gebruik van deepcopy op omgevingen kloneert vaak de interne random number generator, waardoor "willekeurige" rollouts identieke toekomsten herhalen. Dit creëert een vals gevoel van determinisme.
P2 (Empirical Wasserstein Noise Floor): Voor eindige steekproeven uit dezelfde distributie convergeert de empirische Wasserstein afstand naar een niet-nul waarde ( $O(n^{-1/2})$ ). Naïve drempelwaarde-instelling kan pure ruis als een risicotrade-off "bevestigen". De audit kalibreert tegen per-staat nullen om voor deze ruis te corrigeren.

Belangrijkste Resultaten

1. Sterkste Claims Zijn Meestal Vals

Over QR-DQN, C51 en IQN op MinAtar (Breakout, Seaquest, Asterix) en een vooraf getrainde SB3-zoo QR-DQN op volledige Atari:

Refutatie Ratio's: In de top 2% van de eigen risicoranking van de agent (de staten die een praktijkgebruiker als eerste zou markeren), worden 40–95% van de geclaimde risicotrade-offs weerlegd met 95% vertrouwen.
Nul Bevestigingen: Over 735 geauditeerde staten in MinAtar is vrijwel geen enkele claim bevestigbaar na FDR-correctie.
Waarheid-blinde Onduidelijkheid: De plaatsing van de sterkste claims is statistisch ononderscheidbaar van een "waarheid-blinde" kop (waarbij de grootte van de claims behouden blijft maar willekeurig aan staten wordt toegewezen). De correlatie tussen geleerde excess en ware excess is bijna nul ( $r \approx 0,02$ ).

2. Structurele Aard van het Artefact

Vroege Vorming: Het overclaimende artefact is volledig gevormd bij 500k trainingsstappen en persisteert zelfs wanneer de score van de agent verdubbelt.
Seed Idiosyncrasie: De specifieke valse claims zijn uniek voor elke random seed en zijn niet gecorreleerd met de uiteindelijke prestaties.
Verdoemde Staten: In staten waar de bal onherroepelijk verloren is (elke toekomst levert dezelfde return op), rapporteert de kop van de agent nog steeds brede, kruisende distributies met een hoge $\Delta_x$ .

3. Impact op Besluitvorming

Handelen op basis van het CVaR-advies van de agent bij de meest gemarkeerde staten levert gemengde en onvoorspelbare resultaten op:

Breakout: Het advies is echt informatief (81% veiligere keuze versus 44% voor mean-greedy).
Seaquest: Het advies is anti-predictief, waarbij de werkelijk veiligere actie slechts 24–34% van de tijd wordt gekozen (slechter dan kans), wat de regret verdrievoudigt vergeleken met het negeren van risico.
Asterix: Het advies is effectief een muntworp.
Er bestaat geen observeerbaar signaal om een praktijkgebruiker te vertellen in welk regime zij zich bevinden.

4. Falen van Reparatie

Standaard oplossingen lossen het probleem niet op:

Risico-gevoelige Training: Het trainen van een agent om CVaR-greedy te zijn resulteert in hetzelfde overclaimende signatuur.
Ensembling: Het middelen van kwantielfuncties tempert het artefact, maar kalibreert de top claims niet.
Recalibratie: Recalibratie slaagt voor de audit door de claims te neutraliseren (ze laten instorten tot ruis), wat bewijst dat de kop oninformatief is, en niet slechts misgekalibreerd.

5. Positieve Controles

Om te garanderen dat de audit zelf niet kapot is, hebben de auteurs getest op RISKYGRID, een omgeving met bekende risicotrade-offs.

De audit bevestigde 96–100% van de echte claims met een hoge correlatie ( $r \approx 0,92$ ).
Dit bevestigt dat de audit de onbekwaamheid van de agents om risico te vangen meet, en niet een falen van de auditmethodologie of de kleine effectgroottes in MinAtar.

Betekenis en Claims

De auteurs concluderen dat voor de geteste agents (QR-DQN, C51, IQN), de geleerde "risico" een structureel trainingsartefact reflecteert in plaats van omgevingsstochasticiteit.

De "Winner's Curse" van Risico: De staten waar de agent het meest zelfverzekerd is over een risicotrade-off (hoogste $\Delta_x$ ), zijn precies de staten waar de claims het minst betrouwbaar zijn.
Oninformatieve Koppen: De distributionele koppen zijn niet alleen misgekalibreerd; ze zijn oninformatief met betrekking tot de risicostructuur. Ze vervagen aleatorische en epistemische onzekerheid op een manier die spookachtige risicosignalen produceert.
Implicaties voor de Praktijk:
1. Interpreteerbaarheid: Gevisualiseerde return-distributies moeten niet zonder grondwaarheid-validatie worden vertrouwd.
2. Veiligheid & Controle: Risico-gevoelige policies afgeleid van ruwe kwantielkoppen kunnen handelen op basis van spookachtig risico bij kritieke staten, wat potentieel slechtere resultaten oplevert dan mean-greedy baselines.
3. Toekomstig Werk: Elke methode die beweert onzekerheid of risico te schatten, moet worden geëvalueerd tegen een besluit-relevant audit. Het toolkit van de auteurs stelt een standaard: een audit-passende kop moet zijn top claims bevestigen.

De auteurs benadrukken hun bescheidenheid: hun claims dekken specifieke algoritmen en omgevingen (MinAtar, specifieke Atari-seeds). Ze erkennen dat andere gekalibreerde varianten of agents getraind onder andere condities (bijv. sticky actions op volle schaal) nog getest moeten worden, maar de huidige bewijslast suggereert dat het "risico" in standaard distributional RL grotendeels een artefact is van het leerproces.