Technische Samenvatting: Ergodische Risicomaatstaven voor Continu Versterkend Leren

Probleemstelling

Continu Versterkend Leren (Continu RL) streeft naar de formalisering van levenslang leren en eindeloze adaptatie, waarbij agenten het stabiliteit-plasticiteitsdilemma moeten balanceren: het behouden van nuttige voorkennis terwijl ze flexibel genoeg blijven om zich aan te passen aan nieuwe stromen van ervaring. Tot nu toe is Continu RL bijna uitsluitend onderzocht door een risiconeutrale lens, waarbij agenten de verwachte langetermijnprestatie optimaliseren (bijvoorbeeld de gemiddelde beloning).

Echter vereist de implementatie in de echte wereld vaak risicobewuste besluitvorming, waarbij agenten maatstaven voor prestaties optimaliseren die verder gaan dan het gemiddelde (bijvoorbeeld variantie, staartrisico's). Er bestaat een kritieke kloof: de klassieke theorie van risicomaatstaven, die de basis vormt voor niet-continu risicobewust RL, is fundamenteel incompatibel met de eisen van continu leren. Specifiek voldoen bestaande kaders (statische en geneste risicomaatstaven) niet aan de voorwaarden die nodig zijn voor een agent om over een oneindige tijds horizon met eindig geheugen risicobewust te zijn.

Methodologie

1. Formalisering van Continu Risicobewust RL

De auteurs generaliseren eerst het Continu RL-kader (Abel et al., 2025) naar een risicobewuste setting. Zij definiëren een risicobewuste observatie als een tuple van een omgevingsobservatie en de huidige risicohouding van de agent. Bijgevolg wordt een risicobeoordeling gedefinieerd als een mapping van een reeks risicobewuste observaties naar een scalair getal dat het risico van die reeks voorstelt.

2. Axioma's voor Continu Risicobewustzijn

Op basis van de aanname dat continu agenten eindig geheugen en niet-nul plasticiteit bezitten, stelt het artikel twee noodzakelijke en toereikende axioma's vast voor risicobewustzijn in continu settings:

• Haalbaarheidsaxioma: Risicobeoordelingen moeten berekenbaar zijn op basis van een eindig tijdsinterval van observaties en de risicohouding van de agent tijdens dat interval.
• Plasticiteitsaxioma: De risicobeoordelingen en het gedrag van de agent moeten oneindig vaak beïnvloed worden door nieuwe observaties en veranderingen in risicohouding.

3. Incompatibiliteit van Bestaande Maatstaven

Het artikel toont aan dat klassieke theorieën van risicomaatstaven niet voldoen aan deze axioma's:

• Statische Risicomaatstaven: Voldoen niet aan het Haalbaarheidsaxioma naarmate de tijds horizon naar oneindig gaat (vereisend oneindig geheugen) of voldoen niet aan het Plasticiteitsaxioma als de horizon eindig is (het negeren van toekomstige observaties).
• Geneste (Dynamische) Risicomaatstaven: Voldoen niet aan het Plasticiteitsaxioma omdat ze tijdsconsistentie afdwingen. Tijdsconsistentie impliceert dat als een uitkomst op tijdstip $t$ als minder risicovol wordt beschouwd, deze op alle toekomstige tijdstippen minder risicovol moet blijven, waardoor de agent zijn risicobeoordeling niet kan aanpassen op basis van nieuwe informatie.

4. Voorgestelde Oplossing: Ergodische Risicomaatstaven

Om deze incompatibiliteit op te lossen, introduceren de auteurs Ergodische Risicomaatstaven. Deze worden gedefinieerd als een reeks conditionele risicomaatstaven waarbij:

• Het risico op elk tijdstip $t$ nauwkeurig kan worden berekend met behulp van slechts een eindig, rollend venster van voorgaande geschiedenis.
• Tijdsconsistentie niet strikt wordt afgedwongen, waardoor de agent zijn risicobeoordeling kan updaten naarmate nieuwe informatie binnenkomt.

De auteurs koppelen dit concept aan de formulering van de gemiddelde-beloning Markov Beslissingsproces (MDP). Zij stellen een risicobewust doel voor dat de tijd-gegemiddelde risicomaatstaf van de limietverdeling van de beloning per stap optimaliseert. Onder standaard ergodiciteitsaannames (bijvoorbeeld unichain of communicerende MDP's) bewijzen zij dat dit doel overeenkomt met een ergodische risicomaatstaf, die voldoet aan zowel het Haalbaarheids- als het Plasticiteitsaxioma.

Belangrijkste Bijdragen

1. Eerste Formele Behandeling: Dit werk presenteert de eerste formele theoretische behandeling van risicobewuste besluitvorming specifiek binnen een continu (levenslang) leersetting.
2. Theoretisch Bewijs van Incompatibiliteit: Het artikel bewijst rigoureus dat klassieke statische en geneste risicomaatstaven incompatibel zijn met de axioma's van continu leren vanwege hun vereisten voor oneindig geheugen of strikte tijdsconsistentie.
3. Ergodische Risicomaatstaven: De auteurs stellen een nieuwe klasse van ergodische risicomaatstaven voor die compatibel zijn met continu leren. Deze maatstaven maken berekening met eindig geheugen en oneindige aanpasbaarheid (plasticiteit) mogelijk.
4. Theoretische Waarborgen: Het artikel toont aan dat het optimaliseren van een ergodische risicomaatstaf in een gemiddelde-beloning MDP-setting een stationair, deterministisch optimaal beleid toestaat, waarmee de problemen van niet-Markoviaanse optimale beleidslijnen die vaak geassocieerd worden met risicobewust RL, worden omzeild.
5. Empirische Validatie: Een case study wordt gepresenteerd waarbij Conditional Value-at-Risk (CVaR) wordt gebruikt als ergodische risicomaatstaf.

Resultaten

De auteurs valideren hun theorie met het RED CVaR Q-learning algoritme op twee variaties van de "Red-Pill Blue-Pill" (RPBP) taak voor continu leren:

1. $\tau$-RPBP Taak (Veranderende Risicohouding): De risicoparameter ($\tau$) van de agent verschuift in de loop van de tijd van risiconeutraal naar risicoavers.
   • Resultaat: De agent leert succesvol om aanvankelijk in de "blauwe wereld" te blijven (hoger gemiddelde, lagere CVaR), en past zich vervolgens correct aan om de "rode wereld" te prefereren (lager gemiddelde, hogere CVaR) zodra zijn risicohouding risicoavers wordt.
2. S-RPBP Taak (Veranderende Omgeving): De beloningsverdelingen van de toestanden veranderen in de loop van de tijd, waardoor de agent de staat moet vinden met de beste CVaR onder een vaste risicohouding.
   • Resultaat: De agent past zich continu aan en identificeert succesvol de staat met de superieure CVaR naarmate de omgeving verandert.

Deze resultaten tonen aan dat ergodische risicomaatstaven agenten in staat stellen om zinvol risicobewust gedrag te handhaven terwijl ze zich aanpassen aan veranderende risicohoudingen en omgevingsdynamiek.

Betekenis en Claims

Het artikel claimt een risicobewuste basis voor Continu RL te bieden. De primaire betekenis ligt in het overbruggen van de kloof tussen risicobewuste besluitvorming en levenslang leren.

• Theoretische Basis: Het stelt vast dat risicobewustzijn in continu settings een afwijking vereist van tijdsconsistente, geneste risicomaatstaven naar ergodische maatstaven die aanpasbaarheid en eindige berekenbaarheid prioriteren.
• Praktisch Nut: Door aan te tonen dat ergodische risicomaatstaven (zoals tijd-gegemiddelde CVaR) stationaire optimale beleidslijnen toestaan, biedt het werk een hanteerbaar alternatief voor complexe, niet-Markoviaanse risicobewuste doelstellingen die vaak worden aangetroffen in niet-continu settings.
• Bescheiden Omvang: De auteurs positioneren dit werk als de "eerste stappen" en een "formele theoretische verkenning". Zij claimen niet alle uitdagingen van risicobewust levenslang leren op te lossen, maar bieden eerder de noodzakelijke theoretische voorwaarden (axioma's) en een compatibel wiskundig kader (ergodische risicomaatstaven) om toekomstige vooruitgang te faciliteren in het ontwikkelen van "risicobewuste levenslange agenten".

Het artikel concludeert dat ergodische risicomaatstaven een nieuwe, aantrekkelijke alternatief bieden voor risicobewust leren dat interpreteerbaarheid (zoals statische maatstaven) balanceert met een vorm van stabiliteit en aanpasbaarheid (in tegenstelling tot strikte geneste maatstaven), waardoor ze geschikt zijn voor zowel continu als niet-continu gemiddelde-beloning settings.