🤖 machine learning

Performance Variation in Deep Reinforcement Learning

Dit artikel behandelt de uitdaging van een lage robuustheid tussen opeenvolgende runs in deep reinforcement learning door conventionele onzekerheidsschattingen te bekritiseren en percentielgebaseerde instrumenten (min-max IPR en run-gewijze percentiel-highlighting) voor te stellen om prestatievariatie beter te karakteriseren, die vervolgens worden gebruikt om aan te tonen hoe specifieke architecturale keuzes en algoritmische ontwerpen de stabiliteit differentiëel beïnvloeden over PPO-, SAC-, TD-MPC- en DQN-varianten.

Oorspronkelijke auteurs: Haruto Tanaka, A. Rupam Mahmood

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haruto Tanaka, A. Rupam Mahmood

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een coach bent die een team atleten traint (het AI-algoritme) om een specifieke hindernisbaan te lopen (de videogame of de robottaak). Je zegt tegen hen: "Ren deze baan 100 keer, en ik zal je vertellen hoe goed je bent."

In de wereld van Deep Reinforcement Learning (RL) is er een frustrerend probleem: zelfs als je aan 100 identieke atleten exact dezelfde instructies geeft, kunnen hun resultaten enorm verschillen. De een loopt een perfecte race, terwijl de ander over zijn eigen voeten struikelt. Dit wordt prestatievariatie genoemd.

Dit artikel betoogt dat wetenschappers de verkeerde instrumenten hebben gebruikt om deze inconsistentie te meten, en stelt twee nieuwe, simpelere instrumenten voor om te zien wat er echt aan de hand is.

Het Probleem: De Leugen van het "Gemiddelde"

Al heel lang proberen onderzoekers te meten hoe consistent een algoritme is door naar het gemiddelde resultaat te kijken en daar een "gekleurd band" omheen te tekenen (zoals een foutmarge).

De auteurs zeggen dat dit is alsof je kijkt naar een weersverwachting die zegt: "De gemiddelde temperatuur deze week is 21°C," met een kleine gekleurde band eromheen. Dat klinkt leuk, maar het verbergt het feit dat het op maandag ijskoud was (3°C) en op vrijdag bloedheet (38°C).

Het Gebrek: Deze "gekleurde banden" (statistische onzekerheid) krimpen naarmate je meer experimenten uitvoert, waardoor het algoritme consistenter lijkt dan het in werkelijkheid is. Ze slagen er ook niet in om de "outliers" te vangen—de runs waarbij de AI volledig faalt.
De Analogie: Stel je een dartbord voor. Als je 100 pijlen gooit, en 90 raken de roos, maar 10 raken het plafond, dan ziet het "gemiddelde" er misschien geweldig uit. Maar als je een veiligheidsinspecteur bent, geef je om die 10 pijlen die het plafond raken. De oude methoden negeren de voltreffers op het plafond.

De Oplossing: Twee Nieuwe Instrumenten

De auteurs stellen twee nieuwe manieren voor om deze chaos te visualiseren en te meten:

1. De "Min-Max IPR-90" (Het 90% Veiligheidsnet)

In plaats van naar het gemiddelde te kijken, kijkt dit instrument naar het middelste 90% van de resultaten.

Hoe het werkt: Stel je voor dat je alle 100 atleten op een rij zet van slecht naar goed. Je snijdt de onderste 5% (de totale rampen) en de bovenste 5% (de gelukkige wonderen) eraf. Je meet vervolgens de afstand tussen de slechtste van de "goede" hardlopers en de beste van de "goede" hardlopers.
Waarom het beter is: Dit getal vertelt je de "spreiding" van de prestatie. Een klein getal betekent dat de atleten allemaal in een vergelijkbaar tempo rennen. Een enorm getal betekent dat het team onvoorspelbaar is. Het is een simpel percentage dat niet wordt gefopt door vreemde wiskundige trucjes.

2. RPH (Run-Wise Percentile Highlighting) (De "Highlight Reel")

In plaats van een rommelige wolk van lijnen of een gekleurde band te tekenen, accentueert deze methode slechts drie specifieke lijnen op een grafiek:

Het 5e percentiel (de "slechtste" van de betrouwbare runs).
Het 50e percentiel (de "mediaan" of de typische run).
Het 95e percentiel (de "beste" van de betrouwbare runs).
De Visualisatie: Stel je een racebaan voor. In plaats van het pad van elke individuele hardloper te tonen als een wazige grijze vlek, highlight je de langzaamste betrouwbare hardloper, de gemiddelde hardloper en de snelste betrouwbare hardloper in felle kleuren. Je ziet direct hoe groot de kloof tussen hen is. Als de kloof groot is, is het algoritme instabiel.

Wat Ze Ontdekten (De Casestudy's)

De auteurs testten deze nieuwe instrumenten op drie verschillende scenario's om te zien wat ze onthulden:

1. Het "Normalisatie"-experiment (De motor repareren)
Ze probeerden "LayerNorm" toe te voegen (een techniek om de interne wiskunde van de AI te stabiliseren) aan twee populaire algoritmen: PPO en SAC.

Het Resultaat: Voor PPO lieten de nieuwe instrumenten zien dat het toevoegen van deze stabilisatoren de hardlopers veel consistenter maakte (de kloof tussen het 5e en 95e percentiel kromp). Voor SAC toonden de instrumenten aan dat de stabilisatoren bijna niets deden; de hardlopers waren nog steeds alle kanten op.
De Les: Wat werkt voor de ene motor, werkt niet noodzakelijkerwijs voor de andere.

2. De "Superster"-vergelijking (PPO, SAC, TD-MPC, TD-MPC2)
Ze vergeleken vier verschillende algoritmen op 48 verschillende robottaken.

Het Resultaat: Eén algoritme, TD-MPC, was de duidelijke winnaar. Het won niet alleen de race (behaalde hoge scores); het was ook het meest consistent. De "spreiding" was minuscuul. De anderen waren ofwel langzamer, ofwel zeer onvoorspelbaar.
De Les: Zelfs de beste moderne AI heeft nog steeds een hoge "foutmarge" (ongeveer 35% van de tijd faalde de top 5% van de runs nog steeds om een goede score te halen), maar TD-MPC was de meest betrouwbare van de groep.

3. De "Atari" Showdown (DQN vs. Rainbow)
Ze vergeleken klassieke algoritmen die oude videogames speelden (zoals BattleZone en Qbert*).

Het Resultaat: Rainbow was veel beter in het winnen dan DQN. Echter, de nieuwe instrumenten onthulden een verrassing: beide algoritmen waren net zo "nerveus" en onvoorspelbaar als elkaar. Rainbow was simpelweg een "nerveuze" winnaar, terwijl DQN een "nerveuze" verliezer was.
De Les: Vaker winnen betekent niet dat je stabieler bent.

De Kernboodschap

De conclusie van het paper is dat we moeten stoppen met ons verschuilen achter "gemiddelde" getallen en "gekleurde banden" die AI stabieler doen lijken dan het is. Door het gebruik van de Min-Max IPR-90 (om de spreiding te meten) en RPH (om de best/slechtste betrouwbare runs te visualiseren), kunnen onderzoekers eindelijk de ware "broosheid" van hun AI zien.

Het is als overstappen van een weerbericht dat alleen een gemiddelde temperatuur geeft naar een rapport dat duidelijk laat zien: "Het kan een perfecte dag zijn, of het kan een ramp worden. Hier is het bereik van wat je kunt verwachten."

Technische Samenvatting: Prestatievariatie in Deep Reinforcement Learning

Probleemstelling

Deep Reinforcement Learning (RL) algoritmen staan bekend om hun vermogen om complexe gedragingen te leren, maar zijn berucht om hun "loterij-achtige" gevoeligheid wat betreft prestatievariatie tussen onafhankelijke runs van identiek geconfigureerde agenten. Deze variatie van run naar run belemmert de wetenschappelijke nauwkeurigheid omdat het de reproduceerbaarheid van resultaten, eerlijke vergelijking van algoritmen en hyperparameteroptimalisatie bemoeilijkt. Bovendien vormt deze variabiliteit in praktische toepassingen een veiligheidsrisico, aangezien ineffectieve gedragingen onvoorspelbaar kunnen optreden.

Ondanks het belang van dit probleem, negeren veel empirische deep RL-studies prestatievariatie ten gunste van geaggregeerde prestatie-indicatoren. De huidige evaluatiepraktijken leunen zwaar op:

Onzekerheidsschattingen (bijv. gebootstrapped betrouwbaarheidsintervallen van de Interkwartielgemiddelde, standaardfout), die de discrepantie meten tussen steekproefstatistieken en de ware populatieparameters, in plaats van de spreiding van de prestatieverdeling zelf. Deze metrieken verdwijnen naarmate het aantal runs toeneemt ( $O(1/\sqrt{n})$ ), waardoor ze de inherente variabiliteit van de data niet kunnen vangen.
Standaarddeviatie, die een Gaussische verdeling veronderstelt. Echter, de prestatieverdelingen van deep RL zijn vaak niet-Gaussisch (scheef of bimodaal), wat leidt tot "onderrapportage" van risico, waarbij de standaarddeviatie geen significante delen van de verdeling dekt, zoals mislukte runs of zware staarten (heavy tails).

Bestaande rigoureuze methoden zoals Tolerantie-intervallen (TI's) of Performance Profiles zijn vaak computationeel kostbaar of moeilijk te interpreteren voor enkelvoudige taakanalyse. Er is behoefte aan evaluatietools die de prestatievariatie van een enkele taak nauwkeurig vastleggen en tegelijkertijd interpreteerbaar en schaalbaar blijven.

Methodologie

De auteurs stellen een reeks kwantificerings- en visualisatiemethoden voor die een balans zoeken tussen nauwkeurigheid en interpreteerbaarheid:

1. Min-Max IPR-90 (Kwantificering)

Het artikel introduceert de Min-Max Inter-Percentile Range (IPR) van het 5e tot het 95e percentiel, genormaliseerd door het theoretische of empirische min-max bereik van de taak.

Definitie: $IPR = \frac{U(95) - U(5)}{M_T - m_T} \times 100\%$ , waarbij $U(x)$ het $x$ -de percentiel van de prestatieset is, en $M_T, m_T$ de maximale en minimale mogelijke returns van de taak zijn.
Rationale: In tegen tegenover de standaarddeviatie gaan percentielen geen uitgangspunt vanuit een specifieke datadistributie. Het 5e–95e bereik (90% dekking) is gekozen om risico te beoordelen (het vangen van de spreiding van de meeste runs) terwijl de extreme gevoeligheid voor uitschieters die het volledige bereik (0–100%) zou introduceren, wordt vermeden.
Normalisatie: Min-max normalisatie maakt directe vergelijking van variatie tussen verschillende algoritmen en taken met verschillende beloningsschalen mogelijk.

2. Run-wise Percentile Highlighting (RPH) (Visualisatie)

Om leercurves te visualiseren zonder de risico's op misrepresentatie van tijd-gewijze aggregatie (bijv. gemiddelde $\pm$ standaarddeviatie banden), stellen de auteurs Run-wise Percentile Highlighting voor.

Techniek: In plaats van statistieken op elk tijdstap te aggregeren, benadrukt RPH de specifieke leercurves die overeenkomen met de 5e, 50e (mediaan) en 95e percentielen van de uiteindelijke prestatie.
Implementatie: De 5e en 95e percentielcurves worden geaccentueerd (bijv. met stippellijnen) om de variatie-envelope te benadrukken, terwijl het 50e percentiel de centrale tendens vertegenwoordigt. Andere curves worden met transparantie weergegeven.
Voordeel: Dit behoudt de vorm van individuele leercurves en voorkomt de "onderrapportage" van variatie die gebruikelijk is bij geschaduwde foutbanden. Het is computationeel eenvoudiger en interpreteerbaarder dan Functionele Boxplots (FB).

Belangrijkste Bijdragen en Casestudy's

Het artikel valideert deze methoden via drie casestudy's met 100 onafhankelijke runs per taak:

Casestudy 1: Effect van Normalisatie op PPO en SAC

De auteurs analyseerden de impact van LayerNorm en penultimate-layer normalisatie (PNorm) op PPO en SAC.

Bevindingen: Bij PPO zorgde het toepassen van deze normalisatietechnieken (individueel of gezamenlijk) voor een significante vernauwing van de prestatievariatie (vermindering van de Min-Max IPR-90) en verbeterde het vaak de mediaanprestatie. In contrast hiermee liet de aanpassing bij SAC de prestatievariatie over het algemeen ongewijzigd of zelfs groter achter.
Implicatie: De voordelen van normalisatie zijn algoritme-specifiek; wat PPO stabiliseert, stabiliseert SAC niet noodzakelijkerwijs.

Casestudy 2: Vergelijking van Continuous Control Algoritmen (PPO, SAC, TD-MPC, TD-MPC2)

Een systematische vergelijking werd uitgevoerd over 48 DeepMind Control Suite (DMC) taken.

Bevindingen: TD-MPC en TD-MPC2 vertoonden superieure prestaties over alle metrieken (gemiddelde, mediaan, 5e/95e percentielen) vergeleken met PPO en SAC. Cruciaal is dat TD-MPC de laagste prestatievariatie vertoonde (gemiddelde Min-Max IPR-90 $\approx$ 10%) terwijl het een hoge data-efficiëntie behield.
Observatie: Ondanks de lage variatie van TD-MPC blijft een gemiddelde IPR-90 van 10% aanzienlijk hoger dan de $\approx$ 2% waargenomen bij supervised learning baselines, wat aangeeft dat deep RL nog steeds worstelt met consistente prestaties met een lage variatie.

Casestudy 3: Vergelijking van Discrete Control Algoritmen (DQN vs. Rainbow)

De studie vergeleek DQN en Rainbow op vijf Atari-omgevingen (ALE).

Bevindingen: Rainbow presteerde aanzienlijk beter dan DQN wat betreft mediaan- en percentielprestaties. Echter, beide algoritmen vertoonden vergelijkbare, hoge niveaus van prestatievariatie (Min-Max IPR-90 $\approx$ 14–23%).
Implicatie: Hoewel Rainbow de geaggregeerde prestatie over DQN verbetert, lost het het onderliggende probleem van de hoge run-to-run variabiliteit niet op.

Betekenis en Claims

Het artikel claimt dat Min-Max IPR-90 en RPH een noodzakelijke verschuiving bieden in de manier waarop de prestaties van deep RL worden geëvalueerd:

Correctie van Misalignment: Ze corrigeren het misbruik van onzekerheidsschattingen (zoals betrouwbaarheidsintervallen) als proxies voor variatie.
Robuustheid: Door te vertrouwen op percentielen in plaats van parametrische aannames (zoals Gaussische verdeling), bieden deze methoden een nauwkeuriger samenvattend beeld van de prestatiespreiding, met name voor niet-Gaussische verdelingen die gebruikelijk zijn in RL.
Interpreteerbaarheid: RPH biedt een duidelijke visuele weergave van run-to-run gedrag die gemakkelijker te interpreteren is dan Functionele Boxplots en informatiever is dan standaardfout-banden.
Praktisch Inzicht: De voorgestelde tools onthullen dat algoritmische verbeteringen (bijv. in TD-MPC of Rainbow) niet automatisch gelijkstaan aan een verminderde variatie, wat benadrukt dat "robuustheid" een apart en uitdagend doel blijft in deep RL-onderzoek.

De auteurs concluderen dat hoewel deze methoden effectief zijn, ze naast andere statistische instrumenten gebruikt moeten worden om complementaire inzichten te bieden, aangezien het vertrouwen op een enkele statistiek nog steeds misleidend kan zijn. Het werk beoogt toekomstig onderzoek te ondersteunen door een rigoureuzer kader te bieden voor het beoordelen van de betrouwbaarheid en robuustheid van deep RL-agenten.