Generalized Kalman filter based temporal difference reinforcement learning

Stel je voor dat je een robot probeert te leren navigeren door een doolhof, maar je hebt geen kaart. Je weet alleen dat als hij tegen een muur botst, hij een "au" krijgt (een negatieve beloning), en als hij de uitgang vindt, krijgt hij een "yay" (een positieve beloning). Dit is de wereld van Reinforcement Learning (versterkend leren), waarbij een agent leert door middel van vallen en opstaan. De kernuitdaging is het bepalen van de "waarde" van elke plek in het doolhof: hoe goed is het om hier op dit moment te zijn? Traditionele methoden werken als een student die aantekeningen maakt, waarbij ze hun gok telkens bijwerken wanneer ze een zet doen. Maar deze gokken zijn vaak slechts enkelvoudige getallen, waarbij er geen rekening wordt gehouden met het feit dat de student er misschien totaal naast kan zitten.

Stel je nu voor dat de student, in plaats van alleen een gok op te schrijven, ook opschrijft hoe zeker hij is van die gok. Als hij 90% zeker is dat de uitgang links ligt, beweegt hij snel. Als hij slechts 50% zeker is, aarzelt hij en kijkt hij meer om zich heen. Dit paper duikt in een hoek van de wetenschap genaamd Bayesian Reinforcement Learning, die precies dat probeert te doen: de "waarde" van een situatie niet behandelen als een vaststaand feit, maar als een wolk van mogelijkheden met een centrum (de beste gok) en een spreiding (de onzekerheid). De auteurs bouwen een slimmere manier om deze gokken bij te werken, waarbij ze een instrument lenen uit de natuurkunde en techniek genaamd de Kalman Filter. Denk aan een Kalman Filter als een superintelligente navigator die voortdurend een voorspelling combineert met een nieuwe meting, en automatisch beslist hoeveel vertrouwen het in de nieuwe gegevens moet stellen op basis van hoe "ruizig" die gegevens zijn.

Het paper, getiteld "Generalized Kalman Filter based Temporal Difference Reinforcement Learning," stelt een nieuw raamwerk voor genaamd GMKF-TD. De auteurs suggereren dat we het leerproces niet alleen kunnen zien als een eenvoudige wiskundige update, maar als een probabilistisch inferentieprobleem. Ze betogen dat door de waardefunctie te behandelen als een willekeurige variabele met een gemiddelde en een variantie (onzekerheid), we een leeralgoritme kunnen creëren dat robuuster is, vooral wanneer de wereld rommelig, niet-lineair of vol verrassingen is. Ze beweren niet alleen dat dit in theorie werkt; ze hebben het getest op twee zeer verschillende problemen: een eenvoudig stuiterende massa aan een veer en een complex warmtestroomprobleem in een afgesloten doos. Hun simulaties laten zien dat deze methode sneller leert en een veel duidelijker beeld geeft van hoe zeker de AI is over zijn beslissingen vergeleken met standaardmethoden.

Het Verhaal van de Onzekere Leerling

In de wereld van Reinforcement Learning is een agent als een nieuwsgierige ontdekkingsreiziger die probeert de regels van een spel te leren. Het doel is om de totale "score" (beloning) te maximaliseren die het over een bepaalde tijd krijgt. Om dit te doen, moet de agent de Waardefunctie kennen: een kaart die zegt: "Als je op deze plek bent, hoe goed zal het op de lange termijn zijn?"

Ouderwetse methoden, zoals standaard Temporal Difference (TD) learning, werken een beetje als een persoon die een getal raadt en het telkens een klein beetje aanpast wanneer hij nieuwe informatie krijgt. Ze werken hun gok bij op basis van het verschil tussen wat ze verwachtten en wat er daadwerkelijk gebeurde (de "fout"). Maar er is een addertje onder het gras: deze methoden geven je meestal slechts één getal. Ze vertellen je niet of de agent maar wat raadt of dat hij absoluut zeker is. Het is als een weersvoorspelling die zegt: "Het wordt 22°C," maar niet vertelt of dat een solide voorspelling is of een wilde gok.

Dit paper introduceert een nieuwe manier om over dat raadspel na te denken. De auteurs stellen voor om de waardefunctie niet te behandelen als een enkel getal, maar als een wolk van mogelijkheden. Ze gebruiken een wiskundig concept genaamd Conditionele Verwachting, wat gewoon een chique manier is om te zeggen: "de beste gok die we kunnen maken op basis van wat we nu weten." Maar hier komt de twist: ze stoppen niet bij de beste gok. Ze berekenen ook de onzekerheid (de grootte van de wolk).

Om dit te doen, passen ze een beroemd instrument aan genaamd de Kalman Filter. Je kent de Kalman Filter misschien van zelfrijdende auto's of ruimtevaartmissies. Een Kalman Filter is briljant in het combineren van een voorspelling met een nieuwe meting. Als de auto denkt dat hij op een bepaalde plek is, maar de GPS zegt dat hij ergens anders is, beslist de filter hoeveel vertrouwen hij in de GPS moet stellen op basis van hoe "ruizig" het signaal is. Als de GPS onbetrouwbaar is, vertrouwt de filter meer op de vo']: voorspelling van de auto. Als de GPS helder is, vertrouwt de filter op de GPS.

De auteurs realiseerden zich dat Reinforcement Learning in essentie hetzelfde probleem is. De agent heeft een voorspelling van de waarde, en krijgt dan een nieuw stukje data (een beloning). In plaats van simpelweg het getal blindelings bij te werken, gebruikt hun nieuwe methode, GMKF-TD, een "Kalman Gain" om automatisch te beslissen hoeveel de gok moet veranderen. Als de agent zeer onzeker is over zijn huidige kennis, is de winst (gain) hoog en leert hij snel. Als hij al zeer zelfverzekerd is, is de winst laag en leert hij langzaam. Dit gebeurt automatisch, zonder dat de programmeur hoeft te knutselen aan "leersnelheden" (een veelvoorkomend hoofdpijnprobleem bij het afstemmen van AI).

De Magie van "Gegeneraliseerd" en "Niet-Lineair"

De auteurs noemen hun methode "Gegeneraliseerd" omdat het een belangrijke regel van de oude Kalman Filters doorbreekt. Traditionele Kalman Filters werken alleen goed als de wereld lineair (rechte lijnen) en Gaussiaans (klokcurves) is. Maar de echte wereld is rommelig. Dingen buigen, draaien en gedragen zich onvoorspelbaar.

Het paper betoogt dat door de methode direct af te leiden uit de theorie van conditionele verwachtingen, zij niet-lineaire en niet-Gaussiaanse situaties kunnen aan. Ze gaan er niet simpelweg van uit dat de wereld een rechte lijn is; ze laten de wiskunde buigen. Om dit computationeel mogelijk te maken, gebruiken ze twee slimme trucs om de "wolk" van onzekerheid te representeren:

1. Ensembles: Stel je voor dat je 1.000 verschillende versies van de agent neemt, elk met een iets andere gok, en ze allemaal tegelijkertijd laat draaien. De spreiding van hun antwoorden vertelt je de onzekerheid.
2. Polynomial Chaos Expansion (PCE): Dit is als het beschrijven van een complexe, golvende wolk met behulp van een reeks gladde, wiskundige bouwstenen (polynomen). Het is een efficiëntere manier om de vorm van de onzekerheid te beschrijven zonder dat er duizenden aparte agenten nodig zijn.

De Theorie Testen: Veertjes en Warmte

Om te bewijzen dat hun idee werkt, hebben de auteurs twee simulaties uitgevoerd.

1. De Stuiterende Veer:
Eerst testten ze het op een eenvoudig massa-veer-demper systeem. Stel je een gewicht voor dat aan een veer is bevestigd en op en neer stuitert. Het doel is om het zo te besturen dat het zo snel mogelijk stopt met bewegen. Dit is een "lineair" probleem, wat betekent dat de fysica recht door en simpel is.

• Het resultaat: Het GMKF-TD algoritme leerde de optimale besturingsstrategie sneller en nauwkeuriger dan de standaardmethode. Maar de echte winst was de onzekerheid. Het algoritme liet zien dat naarmate het leerde, de "zelfverzekerdheid" (variantie) afnam. Het wist wanneer het zeker was en wanneer het een gok maakte. De standaardmethode gaf slechts een getal, blind voor de eigen onzekerheid.

2. De Warme Doos:
Vervolgens gingen ze over naar iets veel moeilijkers: een 2D-holte met verwarmde wanden. Dit is een natuurkundig probleem waarbij warmte door een doos stroomt, gestuurd door complexe vergelijkingen (Navier-Stokes). Het doel is om te achterhalen hoe de wanden te verwarmen om warmteoverdracht te minimaliseren (de warmte binnen te houden). Dit is een niet-lineair probleem, vol met kolkende stromingen en complexe interacties.

• Het resultaat: Zelfs in deze rommelige, niet-lineaire wereld werkte de GMKF-TD methode. Het vond een manier om de warmte te besturen die net zo goed was als de standaardmethode, maar opnieuw deed het dit met een ingebouwd gevoel van vertrouwen. Het algoritme paste automatisch aan hoeveel het leerde van elke nieuwe waarneming. Wanneer de data ruizig was, was het voorzichtig. Wanneer de data helder was, leerde het snel.

Waarom dit ertoe doet

Het paper suggereert dat door leren te behandelen als een probabilistisch inferentieprobleem, we AI-agenten slimmer en efficiënter kunnen maken. In plaats van handmatig de snelheid waarmee een agent leert af te stemmen (een tijdrovend proces van vallen en opstaan), berekent de GMKF-TD methode de perfecte leersnelheid voor elke individuele stap op basis van hoe onzeker de agent is.

In de simulaties ontdekten de auteurs dat deze aanpak leidt tot snellere convergentie (het antwoord sneller vinden) en betere stabiliteit. Het biedt ook een vangnet: door de onzekerheid te kennen, kan de agent besluiten om meer te verkennen wanneer hij onzeker is en te exploiteren wat hij weet wanneer hij zelfverzekerd is. Dit is een enorme stap richting het maken van AI die niet alleen "dingen weet", maar ook weet hoe goed het die dingen weet.

De auteurs merken er voorzichtig bij op dat hoewel de wiskunde er in simulaties geweldig uitziet, de echte wereld nog rommeliger is. Ze wijzen erop dat het berekenen van deze onzekerheden perfect is, vooral wanneer de wiskunde te complex wordt, erg moeilijk is. Maar hun werk legt een solide fundament door te laten zien dat we verder kunnen gaan dan simpel "gokken en controleren"-leren naar een meer geavanceerde, zelfbewuste vorm van intelligentie. Het is alsoك een upgrade van een student die alleen antwoorden uit het hoofd leert naar een student die begrijpt hoe diepgaand zijn eigen kennis is.