Stel je een computer voor die leert een videogame te spelen, niet door de regels te krijgen verteld, maar door dingen uit te proberen, fouten te maken en langzaam te ontdekken welke zetten leiden tot punten en welke tot falen. Dit is de kern van een vakgebied genaamd deep reinforcement learning, waarbij kunstmatige intelligentie-agenten leren door middel van vallen en opstaan. De meest voorkomende manier waarop deze agenten leren, is door een mentale kaart van "waarde" op te bouwen—een schatting van hoe goed een specifieke situatie is en hoeveel beloning het in de toekomst kan brengen. De computer werkt deze kaart keer op keer bij, waarbij het zijn huidige schattingen gebruikt om de volgende stap te voorspellen, een proces dat bootstrapping wordt genoemd. Hoewel deze methode machines de mogelijkheid heeft gegeven om complexe spellen te beheersen, heeft het een beruchte zwakte: het leerproces is vaak instabiel. De schattingen van de agent kunnen uit de hand lopen, waardoor de computer vergeet wat hij heeft geleerd of willekeurige beslissingen neemt, vergelijkbaar met een student die zo enthousiast wordt over een nieuw idee dat hij niet meer naar de leraar luistert.

Jarenlang hebben wetenschappers geprobeerd deze instabiliteit op te lossen door specifieke boosdoeners de schuld te geven, zoals het feit dat de computer te optimistisch is over zijn kansen op winst. Echter, een nieuwe studie suggereert dat het probleem niet slechts één slechte actor is, maar een complexe, zelfversterkende lus waarbij drie verschillende onderdelen van het leersysteem tegen elkaar werken. Het onderzoeksteam, geleid door een team aan de Peking University, ontdekte dat de instabiliteit voortkomt uit de manier waarop de computer zijn toekomstige voorspellingen construeert, hoe hij ruisachtige data interpreteert bij het nemen van beslissingen, en hoe de interne geheugenstructuur van de computer in de loop van de tijd verandert. Door deze drie interagerende krachten te begrijpen, ontwikkelden zij een nieuwe methode om het leerproces te stabiliseren, waardoor de AI sneller en betrouwbaarder leert in omgevingen waar data schaars is.

De onderzoekers begonnen door nauwkeurig te kijken naar hoe de computer zijn voorspellingen opbouwt. In een standaardopstelling kijkt de AI naar een situatie, kiest de beste zet die hij denkt te kunnen maken, en gebruikt de beloning van die zet om zijn kaart bij te werken. Het team ontdekte dat wanneer de AI een positieve beloning krijgt, er een vreemde feedbacklus kan optreden. Omdat de interne representatie van de wereld door de computer gedeeld wordt over verschillende acties, kan een beloning voor één specifieke zet per ongeluk de waarde van diezelfde zet in de zeer volgende situatie opblazen. Wanneer de computer vervolgens vooruitkijkt om te beslissen wat hij moet doen, ziet hij deze opgeblazen waarde en kiest hij diezelfde zet opnieuw. Dit creëert een cyclus waarin de computer steeds dezelfde actie blijft kiezen, ervan overtuigd dat het de beste keuze is, zelfs als dat niet zo is. De onderzoekers noemen dit de "zelfversterkende valstrik", een mechanisme waarbij de AI vast komt te zitten in een lus die hij zelf heeft gecreëerd, waarbij hij zijn eigen vooroordelen versterkt totdat het leerproces instort.

De tweede bron van problemen ligt in de manier waarop de computer beslissingen neemt wanneer zijn data imperfect zijn. Leren is een proces met ruis; de schattingen van de computer over waarde zijn nooit perfect precies. Wanneer het verschil tussen de beste zet en de op één na beste zet klein is, kan zelfs een klein beetje ruis ervoor zorgen dat de computer van keuze wisselt. Omdat de keuzes van de computer bepalen welke data hij vervolgens verzamelt, kan één verkeerde beslissing gebaseerd op ruis de computer op een pad van slechte ervaringen leiden. Dit creëert een drift in de data die de computer ziet, waardoor het moeilijker wordt om de werkelijke waarde van acties te leren. De onderzoekers realiseerden zich dat deze gevoeligheid voor ruis betekent dat de computer een manier nodig heeft om meer zelfvertrouwen te hebben in zijn schattingen, zodat kleine fluctuaties in de data er niet voor zorgen dat hij wild tussen verschillende strategieën heen en weer zwiept.

Het derde probleem is subtieler en vindt plaats diep in de "hersenen" van de computer, die bestaan uit lagen van wiskundige verbindingen die parameters worden genoemd. Terwijl de computer traint, vooral wanneer hij gedwongen wordt om dezelfde oude data vele malen te hergebruiken om efficiënt te leren, beginnen deze verbindingen op een ongebalanceerde manier te veranderen. Een klein aantal verbindingen groeit extreem groot en dominant, terwijl de rest van het netwerk relatief klein en inactief blijft. De onderzoekers introduceerden een manier om deze onbalans te meten, die zij de "spike ratio" noemen, en ontdekten dat naarmate de computer data agressiever hergebruikt, deze pieken (spikes) prominenter worden. Deze onbalans is gevaarlijk omdat het het netwerk rigide maakt; het verliest het vermogen om zich aan te passen aan nieuwe situaties omdat de interne structuur te gespecialiseerd is geraakt voor de oude data die het te vaak heeft gezien.

Om deze problemen op te lossen, ontwierp het team een nieuw leerframework dat fungeert als een set remmen en stabilisatoren voor de AI. Ten eerste, om de zelfversterkende valstrik te doorbreken, veranderden ze de manier waarop de computer zijn volgende zet selecteert. In plaats van hetzelfde deel van het netwerk zowel de zet te laten bepalen als de waarde ervan te laten evalueren, splitsten ze deze taken tussen verschillende versies van het netwerk. Bovendien voegden ze een regel toe die voorkomt dat de computer onmiddellijk dezelfde actie kiest die hem zojuist een beloning gaf, waardoor hij wordt gedwongen andere mogelijkheden te verkennen en de cyclus van amplificatie wordt doorbroken.

Ten tweede, om de ruis in de besluitvorming aan te pakken, gebruikte het team een techniek genaamd ensemble learning. In plaats van te vertrouwen op één enkele computerbrein om een schatting te maken, trainden ze een groep licht verschillende netwerken en vroegen hen om te stemmen over de waarde van elke actie. Door de meningen van veel verschillende netwerken te middelen, wordt de willekeurige ruis in elk individueel netwerk geannuleerd, wat leidt tot een veel stabielere en betrouwbaardere beslissing. Deze aanpak maakt ook gebruik van een methode genaamd quantile regression, waardoor de computer de volledige reikwijdte van mogelijke uitkomsten kan begrijpen in plaats van alleen een enkel gemiddeld getal, wat het risico op misleiding door uitschieters verder verkleint.

Ten slotte, om te voorkomen dat het netwerk rigide wordt, voegden de onderzoekers een monitoringsysteem toe dat de "spike ratio" van de verbindingen in de gaten houdt. Als zij detecteren dat een kleine groep verbindingen te groot wordt en het netwerk domineert, resetten zij die specifieke verbindingen voorzichtig naar een neutrale staat. Dit werkt als een periodieke verversing, waarbij de overwoekerde takken van het geheugen van de computer worden opgeruimd, zodat het flexibel en klaar blijft om nieuwe patronen te leren. Dit zorgt ervoor dat zelfs wanneer de computer gedwongen wordt om zwaar data te hergebruiken, hij niet zijn vermogen verliest om zich aan te passen.

Het team testte deze nieuwe aanpak in twee uitdagende omgevingen. De eerste was een reeks klassieke videogames waarbij de computer slechts 100.000 stappen mocht spelen, een zeer beperkte hoeveelheid data vergeleken met wat andere methoden gewoonlijk vereisen. In deze tests presteerde hun methode beter dan veel bestaande technieken, waarbij ze hogere scores behaalden en menselijk niveau bereikten in meer spellen dan welke andere geteste methode ook. De tweede test betrof een reeks procedureel gegenereerde spellen, waarbij de levels telkens willekeurig worden gecreëerd en veranderen. Hier was het doel om te zien of de computer wat hij heeft geleerd kon generaliseren naar volledig nieuwe levels die hij nog nooit had gezien. De nieuwe methode toonde een superieur vermogen om zich aan te passen aan deze onbekende uitdagingen, wat suggereert dat de stabiliteit die het biedt helpt de computer een robuuster begrip van de wereld op te bouwen.

De onderzoekers voerden ook specifieke experimenten uit om te bewijzen dat hun ideeën daadwerkelijk werkten. Ze lieten zien dat wanneer zij de regel verwijderden die voorkomt dat de computer dezelfde beloonde actie opnieuw selecteert, het leren instabiel werd in spellen met frequente beloningen. Ze demonstreerden dat het gebruiken van een grotere groep netwerken consequent de prestaties verbeterde, wat bevestigde dat het verminderen van ruis door middel van stemmen cruciaal is. Ze volgden ook de "spike ratio" tijdens de training en toonden aan dat zonder hun resetmechanisme de interne balans van het netwerk zou verslechteren, vooral wanneer data intensief werd hergebruikt. Deze bevindingen bevestigen dat de instabiliteit in deep learning niet slechts één enkel probleem is dat met één trucje kan worden opgelost, maar een systemisch probleem dat een gecoördineerde aanpak vereist voor hoe voorspellingen worden gedaan, hoe beslissingen worden gewogen en hoe de structuur van het netwerk wordt onderhouden.

Dit werk biedt een duidelijker beeld van waarom deep learning-agenten soms falen en biedt een praktische toolkit om hen op het juiste pad te houden. Door te erkennen dat de instabiliteit voortkomt uit de interactie tussen voorspellingsbias, besluitvormingsruis en structurele rigiditeit, zijn de onderzoekers verder gegaan dan eenvoudige oplossingen naar een meer holistische oplossing. Hun methode maakt de AI niet alleen slimmer; het maakt het leerproces zelf betrouwbaarder, waardoor de agent effectief kan blijven leren, zelfs wanneer de data schaars is of de omgeving chaotisch is. Naarmate kunstmatige intelligentie zich blijft ontwikkelen van het spelen van games naar het oplossen van echte problemen in de robotica en daarbuiten, zal het vermogen om deze leerdynamiek te stabiliseren essentieel zijn voor het bouwen van systemen die niet alleen krachtig zijn, maar ook betrouwbaar en consistent.