Om de wereld te navigeren, moeten onze hersenen constant bijhouden hoe gebeurtenissen zich in de loop van de tijd ontvouwen. Of we nu het volgende woord in een zin voorspellen, de timing van een tenniszwaai bepalen, of simpelweg onthouden waar we onze sleutels hebben gelaten, het vermogen om patronen te extraheren uit een reeks momenten is fundamenteel voor het menselijk denken. Decennialang hebben wetenschappers die dit proces probeerden te begrijpen, vertrouwd op krachtige computermodellen genaamd recurrente neurale netwerken. Deze digitale systemen zijn uitstekend in het leren van sequenties, maar ze zijn vaak gebouwd op een fundament dat niet overeenkomt met hoe echte hersenen werken. De standaardmethode om deze netwerken te onderwijzen omvat een wiskundige truc die vereist dat het systeem terugkijkt door de tijd, waarbij elke eerdere staat wordt opgeslagen en foutsignalen in omgekeerde richting worden verzonden. Hoewel dit goed werkt voor computers, wordt het als biologisch onmogelijk beschouwd voor neuronen, die alleen kunnen reageren op signalen die arriveren op hun directe locatie en geen toegang hebben tot informatie uit het verre verleden. Deze kloof tussen effectieve kunstmatige intelligentie en plausibele biologie heeft een belangrijke vraag onbeantwoord gelaten: hoe leren de hersenen werkelijk complexe temporele afhankelijkheden met behulp van alleen lokale, biologische regels?

Een team onderzoekers aan de Universiteit van Oxford heeft een belangrijke stap gezet naar het beantwoorden van deze vraag door een raamwerk te verkennen dat temporele predictieve codering wordt genoemd. Deze benadering suggereert dat de hersenen niet terug hoeven te kijken om te leren; in plaats daarvan genereren ze constant voorspellingen over wat er hierna zal gebeuren en actualiseren ze hun interne model op basis van het verschil tussen die voorspellingen en de realiteit. De onderzoekers, Julian Ng-Kee-Kwong, Mufeng Tang, Thomas Akam en Rafal Bogacz, onderzochten of deze lokale leermethode de complexe, tijdsgebonden taken aan kon die meestal voorbehouden zijn aan krachtigere, biologisch onrealistische algoritmen. Ze ontdekten dat ze door dit predictieve coderingsraamwerk te verfijnen, netwerken konden creëren die leren context te onthouden, ingewikkelde puzzels met tijdvertragingen kunnen oplossen en robuust kunnen blijven tegen afleidingen, allemaal terwijl ze gebruikmaken van de eenvoudige, lokale regels die kenmerkend zijn voor echte neuronen.

De kern van hun onderzoek bestond uit het testen van een specifieke versie van dit predictieve coderingssysteem tegenover een standaard, afgekapte versie van het achterwaarts lerend algoritme. In de standaard achterwaartse methode berekent de computer hoeveel een fout aan het einde van een sequentie werd veroorzaakt door gebeurtenissen die slechts één stap eerder plaatsvonden. De onderzoekers toonden aan dat hun predictieve coderingssysteem wiskundig vergelijkbare updates produceert als deze één-stap-achterwaartse methode, maar met een cruciaal verschil in de manier waarop het informatie verwerkt. In het predictieve coderingsmodel geeft het systeem niet alleen informatie door naar voren; het verfijnt actief zijn interne staat op elk moment door de voorspelling te vergelijken met de werkelijke sensorische input die het ontvangt. Dit creëert een subtiele maar krachtige informatiestroom van de huidige waarneming terug in het geheugen van het netwerk, waardoor het in staat is om zijn koers in realtime te corrigeren. Toen ze dit testten op een eenvoudige taak van het volgen van de positie van een bewegend deeltje, leerde het predictieve coderingsmodel de taak gemakkelijk, terwijl een standaard netwerk dat de één-stap-achterwaartse methode gebruikte faalde, omdat het niet in staat was de snelheidsinformatie over de tijd te integreren zonder die extra, onmiddellijke feedback.

Bouwend op dit fundament, verkende het team of deze netwerken complexere sequenties konden aan kunnen waarbij het huidige moment afhankelijk is van gebeurtenissen van enkele stappen in het verleden, een type probleem dat bekend staat als niet-Markoviaans. In deze scenario's is weten wat de directe geschiedenis is niet voldoende; het systeem moet een langere context in gedachten houden. De onderzoekers demonstreerden dat hun predictieve coderingsnetwerken hun interne dynamiek konden exploiteren om te fungeren als een reservoir, een hoogdimensionale toestandsruimte waar eerdere inputs blijven hangen en het heden beïnvloeden. In tegenstelling tot standaard reservoircomputers die hun interne verbindingen vast houden, kon dit systeem zijn eigen interne paden vormgeven via lokaal leren. Door de verbindingen tussen neuronen aan te passen op basis van lokale fouten, reorganiseerde het netwerk zijn interne staat zodat verschillende patronen gemakkelijker te onderscheiden werden. Dit stelde het systeem in staat om alternerende sequenties van enen en nullen te leren die vereisten dat een blok van meerdere stappen werd onthouden, een taak waar vaste reservoirs moeite mee hadden naarmate de patronen complexer werden.

Om nog moeilijkere temporele uitdagingen aan te pakken, introduceerden de onderzoekers een hiërarchische structuur, waarbij meerdere lagen van deze predictieve netwerken op elkaar gestapeld werden. In deze opstelling ontvangt elke laag informatie van de laag eronder, maar met een kleine tijdvertraging, waardoor verschillende niveaus van het netwerk op verschillende tijdschalen kunnen opereren. Deze architectuur bleek opmerkelijk effectief bij het oplossen van taken die vereisten dat informatie uit ruim gescheiden momenten gecombineerd werd, zoals een pariteitscontrole waarbij het systeem het totale aantal specifieke signalen over een lange sequentie moest tellen om te bepalen of de telling even of oneven was. Terwijl een enkelvoudig netwerk faalde wanneer de sequentie te lang of de tijdsintervallen te groot werden, slaagde het meerlagige systeem er wel in. Bovendien bood dit hiërarchische ontwerp een schild tegen interferentie. Wanneer de onderzoekers sterke, afleidende signalen in de inputstroom introduceerden, verloor het enkelvoudige netwerk het geheugen van de oorspronkelijke cue, maar het hiërarchische netwerk behield deze, waarbij het de relevante informatie selectief integreerde terwijl het de ruis filterde.

Ten slotte pakte het team de uitdaging aan van leren over zeer lange vertragingen, waarbij het belonings- of foutsignaal lang na de initiële gebeurtenis arriveert. In de biologie wordt dit vaak afgehandeld door een mechanisme genaamd een eligibility trace (geschiktheidstraject), wat werkt als een tijdelijk label op een synaps, dat het als geschikt voor verandering markeert totdat een globaal signaal arriveert om het leren te bevestigen. De onderzoekers incorporeerden dit concept in hun predictieve coderingsraamwerk, waardoor ze een systeem creëerden dat een vervallend geheugen van activiteit uit het verleden kon behouden. Dit stelde het netwerk in staat om een gebeurtenis die enkele seconden geleden plaatsvond te koppelen aan een leersignaal dat veel later arriveerde. In tests met een taak met een vertraagde respons, waarbij het model een cue die aan het begin van een proef werd gepresenteerd moest onthouden en na een variabele vertraging moest reproduceren, slaagde het systeem met deze eligibility traces waar de standaardversie faalde. Het kon gaten van tot tien tijdstappen overbruggen en de oorspronkelijke cue succesvol reproduceren, zelfs na de vertraging, wat aantoont dat lokale plasticiteitsregels inderdaad leren over uitgebreide perioden kunnen ondersteunen.

De bevindingen suggereren dat de hersenen mogelijk geen complexe, niet-lokale machinerie nodig hebben van achterwaartse foutpropagatie om van de tijd te leren. In plaats daarvan kunnen relatief eenvoudige netwerken die worden beheerst door lokale regels, wanneer georganiseerd met predictieve dynamiek, hiërarchische lagen en eligibility traces, complexe temporele leerprocessen ondersteunen. Hoewel deze modellen nog steeds simulaties zijn en nog geen volledig verslag van het menselijk brein vormen, bieden ze een overtuigend alternatief voor de standaardalgoritmen die worden gebruikt in kunstmatige intelligentie. Ze laten zien dat biologische plausibiliteit niet vereist dat het vermogen om complexe patronen te leren wordt opgeofferd. Door predictieve codering te combineren met deze aanvullende mechanismen, hebben de onderzoekers een pad onthuld naar het begrijpen van hoe biologische systemen het moeilijke probleem van temporele credit assignment kunnen oplossen: leren van het verleden zonder de noodzaak om terug te kijken.