Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light
Dit artikel betoogt dat de artificial life-gemeenschap fundamentele kritieken op de kernprincipes van reinforcement learning kan adresseren door open-ended novelty search te integreren met thermodynamische theorieën over agency om een biologisch getrouwe framework voor te stellen die leren herdefinieert als adaptatie in plaats van beloningsoptimalisatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij zich als een levend wezen moet gedragen. Decennialang heeft het standaardrecept hiervoor (bekend als Reinforcement Learning, of RL) vertrouwd op drie strikte regels, of "dogma's":
- De wereld is een speelbord: De omgeving is een voorspelbaar raster waarbij elke beweging tot een specifiek resultaat leidt.
- Leren is het vinden van het beste pad: De robot leert door te zoeken naar de enkele, perfecte oplossing voor een probleem, zoals het vinden van de kortste route naar een schatkist.
- Het doel is een enkele score: De robot wordt gedreven door één simpel getal (een beloningsscore). Hij wil het hoogst mogelijke getal halen, net als een videogame-speler die probeert de hoogste score te behalen.
De auteurs van dit artikel, Mani Hamidi en Terrence Deacon, stellen dat deze drie regels te rigide zijn. Ze zeggen dat het echte leven niet een videogame is met een enkele hoge score. In plaats daarvan suggereren ze dat we naar leren moeten kijken door de lens van evolutie en fysica om te begrijpen wat het echt betekent om een "agent" (een wezen dat uit zichzelf handelt) te zijn.
Hier is een eenvoudige uiteenzetting van hun argument met alledaagse analogieën:
1. Leren is niet alleen "zoeken"; het is "exploratie" (De Tuin-analogie)
De oude visie zegt dat leren is als een wandelaar die probeert de top van een enkele berg te vinden (de beste oplossing). Als je de top vindt, ben je klaar.
De auteurs zeggen dat echte adaptatie meer lijkt op een tuinier die een wilde, open einde tuin verzorgt.
- De oude manier: Je plant alleen bloemen die het hoogst groeien. Zodra je de hoogste bloem hebt, ben je klaar.
- De nieuwe manier: Je zoekt niet alleen naar de "beste" bloem. Je moedigt verschillende soorten planten aan om in verschillende hoeken van de tuin te groeien, zodat ze niet met elkaar concurreren. Sommige planten zijn misschien kort maar zeer kleurrijk; andere zijn misschien hoog maar ijl.
- Waarom dit ertoe doet: In de echte wereld weet je vaak nog niet wat de "beste" oplossing is. Je moet blijven exploreren en nieuwe soorten oplossingen creëren (nieuwheid), in plaats van alleen één oud concept te perfectioneren. Dit wordt "Open-Ended Novelty Search" genoemd. Het gaat om het creëren van een divers ecosysteem van ideeën, niet om het vinden van één winnaar.
2. De "score" werkt niet voor levende wezens (De Multitasking-analogie)
De oude visie zegt dat een agent wordt gedreven door één enkel getal (zoals een score in een spel). De auteurs beargumenteren dat dit onmogelijk is voor levende wezens omdat het leven bestaat uit multitasking.
Stel je voor dat je een mens bent die probeert te overleven. Je probeert niet alleen maar "geluk te maximaliseren". Je bent tegelijkertijd bezig met:
- Proberen warm te blijven (thermoregulatie).
- Proberen je zoutgehalte op peil te houden (osmoregulatie).
- Proberen voedsel te vinden.
- Proberen een roofdier te vermijden.
Dit zijn allemaal verschillende "doelen" die soms met elkaar in conflict komen. Als er een tijger verschijnt, wordt je doel om "voedsel te vinden" plotseling minder belangrijk dan je doel om "weg te rennen".
- Het probleem: Je kunt al deze verschillende, verschuende behoeften niet samengeperst krijgen in één enkel getal (een scalaire beloning).
- De oplossing: Levende wezens opereren op basis van homeostase (het behouden van interne balans). Ze proberen niet een hoge score te halen; ze proberen hun interne "thermostaat" en "brandstofmeter" binnen een veilige marge te houden. De "beloning" is geen getal; het is het gevoel van opluchting wanneer een behoefte is vervuld.
3. Waar komen doelen vandaan? (De "Wie heeft het huis gebouwd?"-analogie)
Als we zeggen dat een robot leert omdat hij een score wil maximaliseren, wie heeft hem die score dan gegeven? In de huidige AI schrijft een menselijke ingenieur de code. In de biologie zeggen we: "evolutie" heeft ons doelen gegeven.
Maar de auteurs vragen: Waar kreeg evolutie haar doelen vandaan?
Ze beargumenteren dat je niet simpelweg "evolutie" kunt zeggen en daarop kunt stoppen. Evolutie heeft iets nodig om op te werken. Het heeft een systeem nodig dat zichzelf kan kopiëren en lang genoeg in leven kan blijven om zich voort te planten.
- De Fysica van het Leven: Voordat je evolutie kunt hebben, heb je een fysiek systeem nodig dat vecht tegen de natuurlijke neiging van dingen om uit elkaar te vallen (entropie). Denk aan een kampvuur versus een bacterie.
- Een kampvuur verbrandt brandstof en creëert even orde, maar het brandt zichzelf gewoon uit. Het probeert niet in leven te blijven.
- Een bacterie is een machine die actief zijn eigen wanden bouwt en zichzelf repareert om de brandstof te blijven verbranden. Het is een "zelf-bestendigende" lus.
- Het Grote Inzicht: De auteurs beargumenteren dat echte agency (het vermogen om in eigen naam te handelen) alleen bestaat wanneer een systeem fysiek gebouwd is om zichzelf te onderhouden tegen de wetten van de fysica in. Het "doel" is geen getal; het doel is simpelweg overleven.
De "Ratchet"-metafoor
Het artikel eindigt met een krachtig beeld. Stel je een ratel voor (een gereedschap dat een schroef in één richting kan draaien, maar niet teruglaat slippen).
- De meeste theorieën over leren zijn als een bal die een heuvel op rolt; deze kan gemakkelijk weer naar beneden rollen.
- De auteurs suggereren dat echte agency als een ratel is. Het is een systeem dat zichzelf opbouwt, zijn vorm vasthoudt tegen de wind in (de tweede wet van de thermodynamica), en die vorm vervolgens doorgeeft aan de volgende generatie.
Deze "ratel" is wat evolutie in de eerste plaats mogelijk maakt. Zonder een systeem dat zichzelf bij elkaar kan houden, is er geen "zelf" om te evolueren.
Samenvatting
Het artikel beweert dat om werkelijk intelligente, autonome machines te bouwen, we moeten stoppen met hen te zien als videogame-karakters die een hoge score najagen. In plaats daarvan moeten we hen zien als levende systemen die:
- Veel verschillende mogelijkheden verkennen (niet alleen één perfect pad).
- Meerdere interne behoeften in balans houden (niet slechts één score).
- Fysiek gebouwd zijn om zichzelf te onderhouden en zich voort te planten (vechten tegen de natuurlijke neiging om uit elkaar te vallen).
Door de fysica te begrijpen van hoe een systeem in leven blijft, kunnen we eindelijk begrijpen waar "doelen" en "leren" daadwerkelijk vandaan komen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.