Ergodicity in reinforcement learning

Dit artikel bespreekt de impact van niet-ergodische beloningsprocessen op versterkingslering, legt uit waarom de verwachte waarde als optimalisatiedoel tekortschiet voor individuele agenten, en presenteert bestaande oplossingen om de langetermijnprestaties van individuele trajecten te maximaliseren.

De kern

Ergodiciteit in Reinforcement Learning: Waarom "gemiddelde" resultaten je kunnen bedriegen

Stel je voor dat je een speler bent in een enorm complex computerspel. Je doel is om zo veel mogelijk punten te verzamelen. Normaal gesproken kijken ontwikkelaars van leerprogramma's (AI) naar het gemiddelde resultaat van duizenden spellen. Als de gemiddelde score hoog is, denken ze: "Groot! Dit spel werkt perfect."

Maar wat als die gemiddelde score je een vals beeld geeft van wat er echt gebeurt met jou, de speler, in één langdurig spel? Dat is precies waar dit artikel over gaat. Het waarschuwt dat we in kunstmatige intelligentie (AI) vaak vergeten kijken naar een belangrijk concept: ergodiciteit.

Hier is een simpele uitleg, vol met metaforen, over wat dit betekent en waarom het belangrijk is.

1. Het Russisch Roulette-probleem (De "Gemiddelde" Leugen)

Stel je een robot voor die pakketjes moet bezorgen. Hij heeft twee routes:

• Route A (Snel maar gevaarlijk): Hij rijdt door een drukke menigte. Soms wordt hij vernield (1% kans per ritje), maar als hij het overleeft, verdient hij veel punten.
• Route B (Langzaam maar veilig): Hij rijdt een omweg, maar komt altijd veilig aan.

Als je kijkt naar het gemiddelde van 100 robots die Route A nemen, zie je dat ze gemiddeld meer punten scoren dan de robots op Route B. De wiskunde zegt: "Kies Route A!"

Maar wat gebeurt er met één enkele robot die Route A blijft nemen? Op den duur zal hij bijna zeker vernield worden. Zodra hij kapot is, stopt hij met punten verdienen. De "gemiddelde" robot bestaat niet; die is een fantasie van statistici. De echte robot die je in de stad hebt staan, zal kapot gaan.

Dit noemen we een niet-ergodisch proces.

• Ergodisch: Het gemiddelde van alle mogelijke toekomstige paden is hetzelfde als het pad dat één persoon in de tijd aflegt. (Bijvoorbeeld: als je een dobbelsteen gooit, is de gemiddelde uitkomst na 1000 worpen hetzelfde als wat je zou zien als je 1000 mensen tegelijk een worp liet doen).
• Niet-ergodisch: Het gemiddelde van alle mogelijke paden is anders dan wat één persoon in de tijd meemaakt. In het geval van de robot: het gemiddelde is hoog, maar jouw persoonlijke pad eindigt in een ramp.

2. Het Muntje dat je rijk maakt (of arm)

De auteurs gebruiken een ander voorbeeld uit de economie: een muntgooi-spel.

• Je begint met €100.
• Je gooit een munt.
• Kop: Je wint 50% van je huidige geld.
• Munt: Je verliest 40% van je huidige geld.

Wiskundig gezien is dit een winnend spel! Je wint gemiddeld 5% per beurt (50% winst - 40% verlies = +10%? Nee, het is een beetje complexer, maar de verwachte waarde groeit). Als je 1000 robots dit laat spelen, is het totale vermogen van de groep enorm gegroeid.

Maar kijk eens naar één persoon die dit spel 1000 keer speelt.
Omdat je verlies (40%) groter is dan je winst (50%) in termen van percentage, en omdat je verlies op een kleiner bedrag wordt berekend als je al verlies hebt geleden, zal je vermogen op de lange termijn naar nul zakken.

Het is alsof je een boot hebt die langzaam lekt. Als je 1000 boten hebt, is het totaal aantal liters water dat erin zit misschien niet zo erg. Maar voor jouw boot betekent die lek dat je zinkt. De "gemiddelde" boot zinkt niet, maar jij wel.

3. Waarom bestaande AI dit niet snapt

De meeste moderne AI-systemen (zoals die in zelfrijdende auto's of spelcomputers) zijn getraind om de verwachte waarde te maximaliseren. Ze kijken naar het gemiddelde van alle mogelijke uitkomsten.

In het muntje-voorbeeld zou een slimme AI zeggen: "Gooi altijd met je volledige geld!" (omdat de gemiddelde winst het hoogst is). Maar als je dit doet, ga je failliet. De AI heeft de "tijd" niet begrepen. Ze denkt dat ze een van de duizenden gelukkige robots is, terwijl ze in werkelijkheid één enkele robot is die door de tijd reist.

4. Hoe lossen we dit op? (De drie oplossingen)

De auteurs bespreken drie slimme manieren om AI-systemen te leren omgaan met deze valkuil:

• Oplossing 1: De Transformatie (De "Vertaler")
  In plaats van te kijken naar het geld zelf, vertalen we het geld naar iets anders dat beter werkt. Stel je voor dat je in plaats van naar je bankrekening kijkt, naar het logaritme van je geld. Dan gedraagt het spel zich alsof het "ergodisch" is. De AI leert dan een strategie die werkt voor de lange termijn, in plaats van voor het gemiddelde. Het is alsof je een bril opzet die de wereld anders laat zien, zodat je de juiste beslissingen neemt.

• Oplossing 2: De Geometrische Gemiddelde (De "Veilige Reiziger")
  In plaats van te kijken naar het gemiddelde van alle mogelijke uitkomsten, kijken we naar het geometrische gemiddelde. Dit is een wiskundige manier om te kijken naar de "typische" groei van één enkele reis. Het straalt extreme geluksgevallen (die het gemiddelde omhoog trekken) af en focust op wat er echt gebeurt met de reiziger. De AI leert dan om risico's te vermijden die je volledig kunnen vernietigen.

• Oplossing 3: Tijd in het spel (De "Herhaling")
  Normaal gesproken leert een AI in één stap: "Als ik dit doe, krijg ik die beloning." Bij deze methode dwingen we de AI om te denken in lange reeksen. De AI moet dezelfde beslissingen keer op keer nemen in één trainingsessie, zodat ze echt voelt hoe een slechte beslissing op de lange termijn alles kan verpesten. Het is alsof je een speler niet één keer laat spelen, maar hem laat zien wat er gebeurt als hij 100 keer op dezelfde manier speelt.

Conclusie: Waarom dit belangrijk is

Dit artikel is een wake-up call voor de wereld van kunstmatige intelligentie. We bouwen systemen voor de echte wereld: medicijnen, financiën, robotica. In die werelden gaat het niet om het gemiddelde van duizenden hypothetische scenario's. Het gaat om één enkele, lange reis.

Als je een robot een medicijn laat toedienen, wil je niet dat hij "gemiddeld" goed werkt, terwijl hij in 50% van de gevallen de patiënt doodt. Als je een AI je geld laat beheren, wil je niet dat hij "gemiddeld" rijk wordt, terwijl jij failliet gaat.

De boodschap is simpel: Kijk niet alleen naar het gemiddelde van de menigte, maar kijk naar het pad van de individuele reiziger. Alleen dan bouwen we AI-systemen die echt veilig en betrouwbaar zijn voor de lange termijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Ergodicity in reinforcement learning" van Dominik Baumann en collega's, geschreven in het Nederlands.

Titel: Ergodiciteit in Reinforcement Learning

Auteurs: Dominik Baumann et al.
Tijdschrift: Philosophical Transactions of the Royal Society A (voorbereid)

---

1. Probleemstelling

Het artikel adresseert een fundamenteel maar vaak over het hoofd gezien probleem in Reinforcement Learning (RL): de non-ergodiciteit van beloningsprocessen.

• De Standaardbenadering: Traditionele RL-algoritmen maximaliseren de verwachte waarde (ensemble average) van de som van beloningen over oneindig veel mogelijke trajecten (rollouts) onder een bepaald beleid.
• Het Probleem: In een non-ergodisch proces wijkt de tijdsgemiddelde waarde (wat één enkele agent ervaart over een oneindig lange tijdlijn) af van de ensemble-gemiddelde waarde (het gemiddelde over oneindig veel agents op één tijdstip).
• Consequentie: Als het proces non-ergodisch is, is het maximaliseren van de verwachte waarde een misleidende optimalisatiedoelstelling voor de prestaties van een individuele agent tijdens de inzet (deployment). Een beleid dat statistisch het beste scoort over een ensemble, kan leiden tot catastrofale resultaten (bijv. faillissement of vernietiging) voor een individuele agent op de lange termijn.
• Voorbeeld: Het artikel gebruikt een "Russisch roulette"-achtig scenario (een muntworp-spel). Een beleid dat de verwachte winst maximaliseert (door alles te riskeren), leidt ertoe dat bijna alle individuele agents uiteindelijk met een waarde van nul eindigen, terwijl een conservatiever beleid (veiligere route) op de lange termijn beter presteert voor de individuele agent.

2. Methodologie en Theoretisch Kader

De auteurs analyseren het probleem door de theorie van ergodische Markov-ketens te koppelen aan RL-beloningsprocessen.

• Definitie van Ergodiciteit:
  • Een proces is ergodisch als de limiet van de tijdsgemiddelde waarde (voor één traject) gelijk is aan de limiet van de ensemble-gemiddelde waarde.
  • Definitie 1 (Sterke Ergodiciteit): Vereist dat het systeem start in een stationaire verdeling.
  • Definitie 2 (Asymptotische Ergodiciteit): Een losser criterium waarbij het systeem convergerend is naar een stationaire verdeling, ongeacht de starttoestand.
• Ergodiciteitsbreking (Ergodicity-Breaking): De auteurs identificeren specifieke scenario's waarin ergodiciteit faalt:
  1. Multiplicatieve Beloningen: Beloningen die afhangen van de huidige rijkdom/waarde (zoals in de muntworp-game), wat de Markov-eigenschap schendt als rijkdom niet als toestand wordt gemodelleerd.
  2. Niet-stationaire Toestandsverdelingen: Bijvoorbeeld in "continual RL" of multi-agent systemen waar de omgeving verandert door het leren van andere agents.
  3. Absorberende Toestanden: Toestanden waaruit men niet kan ontsnappen (bijv. een robot die kapotgaat), wat voorkomt in Safe RL.
  4. Multi-Chain MDP's: Systemen met gescheiden sub-ruimtes die niet met elkaar verbonden zijn.

3. Belangrijkste Bijdragen

Het artikel levert vier hoofdbijdragen:

1. Conceptuele Definitie: Het introduceert en definieert formeel "non-ergodische beloningsprocessen" binnen de RL-context.
2. Illustratief Voorbeeld: Het presenteert een eenvoudig maar krachtig voorbeeld (de muntworp-game) waar state-of-the-art RL-algoritmen (zoals PPO) falen omdat ze de verwachte waarde maximaliseren in plaats van de tijdsgemiddelde groei.
3. Verband met Markov-Ketens: Het legt de theoretische link tussen ergodische Markov-ketens en ergodische beloningsprocessen, en toont aan dat zelfs een ergodische MDP niet garandeert dat het beloningsproces ergodisch is.
4. Overzicht van Oplossingen: Het analyseert drie bestaande strategieën uit de literatuur die specifiek gericht zijn op het optimaliseren van lange-termijn prestaties in non-ergodische omgevingen.

4. Resultaten en Oplossingsstrategieën

De auteurs bespreken drie methoden om non-ergodiciteit aan te pakken, geëvalueerd aan de hand van het muntworp-voorbeeld:

• A. Leren van Ergodiciteits-transformaties (Learning Ergodicity Transformations):

  • Concept: Transformeer de cumulatieve beloningen naar een nieuwe variabele die ergodisch is (bijv. door gebruik te maken van logaritmische transformaties of LOESS-smoothing).
  • Resultaat: Door te trainen op de incrementen van deze getransformeerde beloningen, leert de agent een beleid dat de tijdsgemiddelde groeisnelheid maximaliseert. In het muntworp-voorbeeld leidt dit tot een winnend beleid (Fig. 3).
  • Beperking: Vereist toegang tot trajecten van beloningen om de transformatie te leren; moeilijk toepasbaar in complexe omgevingen zonder analytisch model.

• B. Gewijzigde Geometrische Gemiddelde Schatter (Modified Geometric Mean Estimator):

  • Concept: De doelstelling wordt een convex combinatie van de traditionele verwachte waarde en de tijdsgemiddelde groeisnelheid ($G_\pi^\infty$). De geometrische gemiddelde wordt gebruikt als schatter voor de groeisnelheid, vaak binnen een "sliding window" (schuifend venster).
  • Resultaat: Dit werkt als een regularisator. Het algoritme leert een winnend beleid door de path-dependency (pad-afhankelijkheid) expliciet te modelleren (Fig. 4).
  • Beperking: Vereist het tunen van hyperparameters en is momenteel beperkt tot discrete actie-ruimtes.

• C. Temporele Training en Pad-Afhankelijke Updates (Temporal Training):

  • Concept: De agent wordt gedwongen om hetzelfde actie-selectieprobleem meerdere keren binnen één trainingsepisode te doorlopen, waarbij de uitkomst van de ene stap de startvoorwaarde van de volgende stap bepaalt. Dit simuleert de lange-termijn dynamiek.
  • Resultaat: Door de agent te laten "voelen" hoe de rijkdom evolueert over tijd, verschuift het indifferentiepunt van de agent van een op verwachte waarde gebaseerde strategie naar een op groeisnelheid gebaseerde strategie (Fig. 5 en 6).
  • Beperking: Vereist complexe trainingsprocedures en Monte Carlo updates over het hele traject.

5. Significantie en Toekomstperspectief

• Praktische Relevantie: Het artikel benadrukt dat in toepassingen zoals financiën, biologie, chemie en robotica, het vaak gaat om de prestatie van een enkele entiteit over de tijd, niet om een ensemble-gemiddelde. Het negeren van non-ergodiciteit kan leiden tot systemen die in de praktijk falen, zelfs als ze theoretisch geoptimaliseerd lijken.
• Kritische Reflectie: De huidige oplossingen zijn veelbelovend maar nog beperkt tot relatief simpele omgevingen (zoals Cart-Pole of Lunar Lander).
• Open Uitdagingen:
  • Het ontwikkelen van een empirische maatstaf om te bepalen "hoe non-ergodisch" een RL-benchmark is.
  • Het gezamenlijk leren van transformaties en optimaliseren van beleidsstrategieën in complexe, continue ruimtes.
  • Een beter theoretisch inzicht in de relatie tussen de discontofactor ($\gamma$) en ergodiciteit.

Conclusie: Het artikel pleit voor een verschuiving in de RL-filosofie: van het maximaliseren van de verwachte waarde (ensemble) naar het maximaliseren van de tijdsgemiddelde groei (individu) in niet-ergodische omgevingen, en biedt een theoretisch kader en praktische methoden om dit te bereiken.