DRL-ORA: Distributional Reinforcement Learning with Online Risk Adaption

Dit artikel introduceert DRL-ORA, een nieuw raamwerk voor distributioneel versterkend leren dat door middel van online aanpassing van het epistemisch risiconiveau, gebaseerd op een total variation-minimalisatieprobleem, betrouwbaardere en efficiëntere beleidsregels genereert dan bestaande methoden met vaste risiconiveaus.

De kern

Stel je voor dat je een jonge piloot bent die net begint met vliegen. Je hebt een vliegtuig, maar je kent de lucht nog niet. Je moet beslissingen nemen: "Ga ik links of rechts?" "Vlieg ik laag of hoog?"

Het probleem is dat je niet alles weet. Je weet niet waar de stormen zitten (dat is aleatoire onzekerheid – de natuurlijke chaos van het weer) en je weet ook niet hoe je vliegtuig precies reageert op bepaalde sturen (dat is epistemische onzekerheid – het gebrek aan kennis omdat je nog niet genoeg ervaring hebt).

Deze paper introduceert een slimme nieuwe methode, genaamd DRL-ORA, die een robot-agent helpt om precies de juiste balans te vinden tussen "voorzichtig zijn" en "avontuurlijk zijn", terwijl hij leert.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het oude probleem: De starre piloot

In het verleden hadden robot-piloten een vaste instelling.

• De "Angstige" piloot: Deze was altijd super voorzichtig. Hij vloog nooit in de buurt van wolken. Dat was veilig, maar hij leerde langzaam en miste snelle routes.
• De "Dappere" piloot: Deze probeerde alles uit. Hij vloog door stormen om snel te zijn. Soms won hij, maar vaak crashte hij omdat hij te veel risico nam.
• Het probleem: Je kunt niet vooraf weten welke instelling het beste is. In het begin van een nieuwe reis heb je meer angst nodig (om niet te crashen), maar later, als je de weg kent, moet je durven om sneller te zijn. De oude methodes konden deze instelling niet tijdens de reis aanpassen.

2. De oplossing: DRL-ORA (De slimme, aanpasbare piloot)

DRL-ORA is als een piloot die een slimme horloge draagt. Dit horloge meet continu hoe "onbekend" de situatie is.

• De Ensemble Netwerken (De Raad van Experts):
  Stel je voor dat je niet één piloot hebt, maar een team van 10 experts die allemaal een beetje anders denken. Ze kijken naar dezelfde situatie en geven 10 verschillende adviezen.

  • Als ze het met elkaar eens zijn ("Allemaal: ga rechts!"), dan weten ze het zeker. Er is weinig onzekerheid.
  • Als ze het niet eens zijn ("Expert 1: links, Expert 2: rechts, Expert 3: crashen!"), dan is er veel onzekerheid. Ze weten het niet.

• De Aanpassing (De "Risk Adaptation"):
  Het systeem kijkt naar die meningsverschillen van de experts.

  • Hoge onzekerheid (Veel meningsverschillen): Het systeem zegt: "Oké, we weten het niet zeker. Laten we voorzichtig zijn (hoog risico-aversie)." We kiezen de veiligste optie om niet te crashen.
  • Lage onzekerheid (Alle experts zijn het eens): Het systeem zegt: "We weten wat we doen. Laten we dapper zijn (laag risico-aversie)." We kiezen de snelste route om punten te scoren.

Dit gebeurt online, dus elke seconde opnieuw. Het systeem past zijn "moed" of "angst" direct aan op basis van wat het net heeft geleerd.

3. Waarom is dit zo goed? (De Analogie van de Leraar)

Stel je voor dat je een kind leert fietsen.

• Oude methode: Je zegt: "Je mag altijd de rem vasthouden" (altijd voorzichtig) of "Je mag nooit remmen" (altijd dapper).
• DRL-ORA methode: Je kijkt naar het kind.
  • Als het kind wankelt en de weg onbekend is, zeg je: "Hou de rem vast, wees voorzichtig!"
  • Als het kind stevig rijdt en de weg kent, zeg je: "Laat de rem los, ga harder!"

Dit zorgt ervoor dat het kind sneller leert fietsen zonder te vallen, en uiteindelijk sneller rijdt dan een kind dat altijd op de rem heeft moeten zitten.

4. Wat hebben ze bewezen?

De auteurs hebben dit getest in drie verschillende werelden:

1. CartPole (Een stok in evenwicht houden): Hier bleek dat de aanpasbare piloot veel sneller leerde dan de starre piloten.
2. Nano Drone (Een kleine drone door obstakels vliegen): In een ruimte vol met obstakels (waar het onzeker is waar de muren zijn), wist DRL-ORA de drone veiliger en sneller naar het doel te brengen dan de beste bestaande methodes.
3. Knapsack (Een wiskundig probleem): Zelfs in een spel zonder toeval (alleen maar kennis nodig), bleek de aanpasbare methode beter te presteren door slim te schakelen tussen voorzichtigheid en durf.

Samenvatting

DRL-ORA is een nieuwe manier voor robots om te leren. In plaats van één vaste instelling voor "angst" of "durf" te kiezen, laat het systeem de robot voelen hoe zeker hij zich voelt.

• Onzeker? -> Wees voorzichtig.
• Zeker? -> Wees dapper.

Hierdoor leren robots sneller, maken ze minder fouten, en worden ze uiteindelijk beter in hun taak, of het nu gaat om vliegen, gamen of complexe beslissingen nemen. Het is de slimme balans tussen "niet te snel rennen en struikelen" en "niet te langzaam lopen en de trein missen".

Technische samenvatting

Probleemstelling

Een van de grootste uitdagingen in Versterkend Leren (RL) is dat agenten beslissingen moeten nemen die toekomstige prestaties beïnvloeden, zonder volledige kennis van de omgeving. Bestaande methoden voor risicobewust RL (Risk-Aware RL) hanteren vaak een vast risiconiveau (bijvoorbeeld een vaste parameter $\alpha$ voor Conditional Value-at-Risk, CVaR) of gebruiken handmatig ontworpen schema's voor risicoadaptatie.

Dit is suboptimaal omdat:

1. Epistemische onzekerheid (onzekerheid door gebrek aan kennis over de omgeving) verandert tijdens het leerproces. Aan het begin is de onzekerheid hoog (pessimisme is nodig om veilig te blijven), terwijl deze later afneemt (optimisme is nodig om hoge beloningen te maximaliseren).
2. Vaste risiconiveaus kunnen leiden tot overmatige conservatisme (te weinig exploratie) of onnodig risico (veiligheidsrisico's) afhankelijk van het stadium van het leerproces.
3. Bestaande adaptieve methoden (zoals EWAF of TOP) zijn vaak gebaseerd op discrete sets van opties, gebrek aan uitlegbaarheid, en gebruiken niet de volledige informatie van de onzekerheidsverdeling.

Methodologie: DRL-ORA

De auteurs stellen DRL-ORA (Distributional RL with Online Epistemic Risk Adaptation) voor, een raamwerk dat het risiconiveau automatisch en online aanpast op basis van de gequantificeerde epistemische onzekerheid.

Kerncomponenten:

1. Unificatie van Onzekerheid:

   • Het raamwerk onderscheidt expliciet tussen aleatorische onzekerheid (inherent toeval in het probleem) en epistemische onzekerheid (ontbrekende kennis).
   • Epistemische onzekerheid wordt gemodelleerd via Ensemble Networks (meerdere neurale netwerken met verschillende initialisaties). De variantie in de voorspellingen van deze netwerken vormt de basis voor de schatting van de epistemische onzekerheid.

2. Online Aanpassing van Risiconiveau:

   • In plaats van een discrete set van risiconiveaus te kiezen, wordt het probleem geformuleerd als een niet-convex online leerprobleem.
   • De agent selecteert voor elke state-action-paar $(s, a)$ een risicoparameter $\alpha$ die het verlies minimaliseert.
   • Het verlies ($l_t$) wordt gedefinieerd als de totale variatie (Total Variation) van de epistemische onzekerheidsverdeling tussen opeenvolgende tijdstappen, gemeten door een parametrische risicomaat $\rho_\alpha$.
   • Formule voor het verlies: $l_t(\alpha(s, a)) = |\rho_\alpha(X_t(s, a)) - \rho_\alpha(X_{t+1}(s, a))|$, waarbij $X_t$ de epistemische onzekerheidsverdeling is.

3. Optimalisatie-algoritme:

   • Omdat de verliesfunctie niet noodzakelijk convex is, kunnen standaard convex-optimalisatie-algoritmen niet worden gebruikt.
   • De auteurs gebruiken een Follow-The-Perturbed-Leader (FTPL) variant. Door de parameter $\alpha$ te discretiseren en een grid-search te combineren met willekeurige perturbaties (exponentiële verdeling), wordt gegarandeerd dat de "regret" (het gemiste rendement ten opzichte van de beste offline keuze) sublineair is ($O(T^{1/2})$).
   • Er wordt ook een recursieve versie van het verlies voorgesteld die minder opslagruimte vereist, maar een iets hogere regret-complexiteit heeft ($O(T)$).

4. Integratie met DRL:

   • Het raamwerk is compatibel met Implicit Quantile Networks (IQN).
   • Het gebruikt distortion risk measures (zoals CVaR of quantiles) om zowel de aleatorische als de epistemische onzekerheid te wegen, waardoor een adaptief, risicobewust beleid ontstaat.

Belangrijkste Bijdragen

• Eerste Online Adaptatie: Het is het eerste DRL-raamwerk dat het risiconiveau online en per state-action-paar aanpast zonder vooraf gespecificeerde niveaus of handmatige planning.
• Uitlegbaarheid en Flexibiliteit: In tegenstelling tot bestaande methoden (zoals EWAF) die gebaseerd zijn op discrete keuzes en onduidelijke doelen, biedt DRL-ORA een wiskundig onderbouwde doelstelling (minimalisatie van totale variatie) en werkt het met een continue parameter.
• Unificatie van Onzekerheid: Het raamwerk koppelt expliciet de adaptatie van het risiconiveau aan de schatting van epistemische onzekerheid via ensemble-methoden.
• Theoretische Garanties: De auteurs bewijzen dat het algoritme een sublineaire regret-complexiteit bereikt, zelfs in een niet-convexe setting.

Resultaten

De auteurs testen DRL-ORA op drie verschillende klassen van taken en vergelijken het met bestaande methoden zoals IQN (met vaste $\alpha$), ART (Adaptive Risk Tendency) en TOP (Tactical Optimism and Pessimism).

1. Atari Games (o.a. CartPole, MsPacman):

   • DRL-ORA presteert significant beter dan alle baselines, vooral in de vroege fasen van het trainen.
   • Statistische tests (Mann-Whitney U) tonen een groot effect aan ten opzichte van ART en TOP.
   • Het raamwerk is robuust voor verschillende risicomaatstaven (CVaR vs. Quantile).

2. Nano Drone Navigatie:

   • In een gedeeltelijk waarneembare omgeving met obstakels overtreft DRL-ORA de huidige state-of-the-art (ART) in zowel training als test.
   • Vooral in omgevingen met hoge onzekerheid (veel obstakels) toont DRL-ORA superieure prestaties en stabiliteit.
   • De "Recursive ORA" variant biedt een efficiëntere berekening met vergelijkbare prestaties.

3. Knapsack Probleem (Combinatorische Optimalisatie):

   • In een omgeving zonder aleatorische onzekerheid (alleen epistemisch) presteert DRL-ORA perfect gescheiden van TOP en aanzienlijk beter dan DQN en ART.
   • Dit bevestigt dat adaptieve risicoselectie cruciaal is, zelfs in deterministische problemen waar de agent nog moet leren over de structuur van de ruimte.

Betekenis en Conclusie

DRL-ORA markeert een fundamentele verschuiving in risicobewust versterkend leren. Het lost het probleem op dat een vast risiconiveau vaak niet past bij de dynamische aard van het leerproces. Door het risiconiveau dynamisch aan te passen op basis van de huidige mate van onzekerheid, kan de agent:

• Pessimistisch zijn wanneer de omgeving onbekend is (veiligheid prioriteren).
• Optimistisch zijn wanneer de kennis toeneemt (beloningen maximaliseren).

De methode vereist slechts een minimale uitbreiding van standaard RL-algoritmen (een ensemble structuur) en is toepasbaar op een breed scala aan problemen, van games tot industriële optimalisatie. Voor toekomstig werk richten de auteurs zich op het verbeteren van de schaalbaarheid van ensemble-methoden en het toepassen van het raamwerk in niet-stationaire omgevingen.