Contextual encoding of states and indices for episodic memories make goal-directed action selection flexible, transparent, and efficient

Wanneer we een nieuw probleem tegenkomen, rekenen onze hersenen niet simpelweg getallen uit om de beste oplossing te vinden. In plaats daarvan grijpen ze terug op ons verleden en halen ze specifieke herinneringen aan soortgelijke situaties op om onze volgende zet te sturen. Dit vermogen om relevante ervaringen op te roepen en onze keuzes op basis daarvan te verklaren, is een kenmerk van menselijke intelligentie. Decennialang hebben wetenschappers geprobeerd kunstmatige systemen te bouwen die deze flexibiliteit nabootsen, maar de meeste succesvolle methoden vertrouwen op het opslaan van enorme hoeveelheden gegevens in complexe wiskundige vormen die moeilijk te interpreteren zijn en immense rekenkracht vereisen. Deze systemen worstelen vaak wanneer de regels van het spel veranderen of wanneer een nieuw doel verschijnt, waardoor ze gedwongen worden om opnieuw vanaf nul te leren. De uitdaging voor onderzoekers is geweest om een systeem te creëren dat snel leert, zich direct aanpast aan nieuwe beperkingen en zijn beslissingen in gewone taal kan uitleggen, terwijl het draait op kleine, energiezuinige apparaten.

Een team van onderzoekers aan de Technische Universiteit Graz heeft een nieuwe aanpak ontwikkeld genaamd de Episodic Cognitive Map, of ECM, die een ander pad inslaat. In plaats van te proberen alle kennis te comprimeren in abstracte getallen, werkt dit systeem als een menselijke geest die een gedetailleerd dagboek bijhoudt van zijn ervaringen. Het algoritme verkent een omgeving door middel van willekeurige wandelingen (random walks), waarbij elke stap die het zet als een afzonderlijke herinnering wordt vastgelegd. Wat dit systeem uniek maakt, is hoe het deze herinneringen opslaat en gebruikt. Het onthoudt niet alleen waar het naartoe ging; het koppelt elke locatie die het bezocht heeft aan de specifieke reis waarvan het deel uitmaakte. Als het systeem van punt A naar punt B moet gaan, berekent het niet de afstand of de waarde van elke mogelijke route. In plaats daarvan kijkt het naar zijn bibliotheek van eerdere reizen en vraagt: "Welke van mijn vorige reizen bevatten zowel de plek waar ik nu ben als de plek waar ik naartoe wil?" Het antwoord op die vraag wijst direct naar de beste volgende stap.

De onderzoekers testten dit idee in gesimuleerde omgevingen die complexe besluitvormingstaken nabootsen, waaronder kaarten met honderden locaties en situaties waarin acties onzekere uitkomsten hebben. In deze tests bleek het ECM-algoritme opmerkelijk efficiënt. Het leerde te navigeren van elk startpunt naar elk doel met een snelheid en nauwkeurigheid die wedijverden met veel complexere methoden van kunstmatige intelligentie. Cruciaal was dat het dit bereikte met slechts eenvoudige, binaire verbindingen tussen de geheugencellen en de besluitvormingsneuronen. Dit betekent dat het systeem geen zware wiskundige berekeningen hoeft uit te voeren of hoogprecisiegetallen hoeft op te slaan. Het kan een nieuwe omgeving leren kennen, een navigatieprobleem oplossen en zijn keuze verklaren door te wijzen naar de specifieke eerdere ervaringen die het ondersteunden, zonder dat het iets opnieuw hoeft te leren wanneer het doel verandert.

De kracht van dit systeem ligt in het vermogen om zich direct aan te passen. In veel modellen voor kunstmatige intelligentie vereist het veranderen van een doel of het toevoegen van een nieuwe veiligheidsregel het volledig hertrainen van het systeem, een proces dat uren of dagen kan duren. Het ECM-algoritme kan echter zijn gedrag in een fractie van een seconde aanpassen. Als een pad geblokkeerd raakt of er een nieuwe veiligheidsbeperking wordt geïntroduceerd, filtert het systeem simpelweg zijn bibliotheek met herinneringen om de herinneringen te negeren die de geblokkeerde route of het onveilige gebied betreffen. Vervolgens selecteert het een nieuwe route op basis van de resterende geldige herinneringen. Deze flexibiliteit stelt het systeem in staat om complexe scenario's aan te pakken, zoals het navigeren door een stad waar bepaalde straten zijn afgesloten of het vermijden van gebieden met hoge risico's, zonder ooit te hoeven stoppen om de kaart opnieuw te leren.

Om te begrijpen hoe dit werkt, stel je voor dat het systeem een mentale kaart bouwt, niet van afstanden, maar van verbindingen. Wanneer het systeem een nieuw gebied verkent, maakt het een verslag aan van elke reis die het onderneemt. Elke locatie in dit gebied wordt voorzien van een label dat de specifieke reizen bevat waarin het voorkwam. Wanneer het systeem naar een doel moet bewegen, activeert het de herinneringen die geassocieerd zijn met dat doel. Deze herinneringen doen vervolgens de locaties oplichten die in het verleden vaak samen met het doel voorkwamen. Het systeem kiest simpelweg de actie die leidt naar de locatie met de sterkste verbinding met het doel. Dit proces is zo direct dat het de noodzaak voor complexe berekeningen omzeilt. Het systeem hoeft niet de waarde van elke mogelijke toekomstige staat te kennen; het hoeft alleen te weten welke eerdere ervaringen het heden verbinden met de gewenste toekomst.

De onderzoekers verkenden ook hoe dit systeem zichzelf in de loop van de tijd kon verbeteren. Ze ontdekten dat door af en toe oude, minder nuttige herinneringen te vervangen door nieuwe herinneringen die voortkomen uit succesvolle planningstochten, het systeem zijn interne kaart kon verfijnen zonder de omvang van het geheugen te vergroten. Dit proces, bekend als recursieve zelfverbetering, stelde het algoritme in staat om efficiënter te worden in het vinden van korte paden naarmate het meer ervaring opdeed. Zelfs wanneer de omgeving onvoorspelbaar was, waarbij acties soms tot onverwachte uitkomsten leidden, behield het systeem zijn vermogen om betrouwbare routes te vinden. Dit deed het door herinneringen te wegen op basis van hoe vaak ze tot succes leidden, waardoor het effectief een strategie leerde die risico en beloning in evenwicht brond.

Een van de belangrijkste bevindingen van dit werk is dat het systeem zijn beslissingen met volledige transparantie kan verklaren. Omdat elke keuze gebaseerd is op een specifieke set eerdere ervaringen, kan het systeem precies laten zien welke herinneringen tot een bepaalde actie hebben geleid. Als een mens vraagt waarom het systeem voor een bepaalde route heeft gekozen, kan het wijzen naar de specifieke reizen in zijn geschiedenis die die route veelbelovend maakten. Dit staat in scherp contrast met veel moderne systemen voor kunstmatige intelligentie, die vaak fungeren als "black boxes" waarbij de redenering achter een beslissing verborgen zit in lagen van complexe wiskunde. Het ECM-algoritme biedt een manier om intelligente machines te bouwen die niet alleen effectief, maar ook begrijpelijk en betrouwbaar zijn.

De implicaties van dit onderzoek reiken verder dan navigatie. De principes achter het ECM-algoritme suggereren een nieuwe manier om kunstmatige intelligentie te bouwen die lichtgewicht, energiezuinig en in staat is om te werken op kleine apparaten zoals sensoren of robots. Omdat het systeem vertrouwt op eenvoudige, binaire verbindingen in plaats van complexe floating-point berekeningen, zou het geïmplementeerd kunnen worden op hardware die zeer weinig stroom verbruikt. Dit maakt het een ideale kandidaat voor edge computing, waarbij apparaten snelle, intelligente beslissingen moeten nemen zonder afhankelijk te zijn van een verbinding met een krachtige centrale computer. Het vermogen om zich aan te passen aan nieuwe contexten en de eigen redenering uit te leggen, maakt het bijzonder waardevol voor toepassingen waar veiligheid en betrouwbaarheid essentieel zijn.

De onderzoekers erkennen dat hun huidige werk zich richt op omgevingen waar staten duidelijk gedefinieerd en gelabeld zijn. Ze zijn van plan dit aanpak te verbreden naar complexere situaties waarin het systeem ruwe sensorgegevens, zoals afbeeldingen of geluiden, moet interpreteren om de omgeving te begrijpen. Ze willen ook onderzoeken hoe het systeem omgaat met situaties waarin het huidige beeld onvoldoende informatie biedt om precies te weten waar het zich bevindt. Ondanks deze toekomstige uitdagingen, tonen de huidige resultaten aan dat een eenvoudige, geheugengebaseerde aanpak prestatieniveaus kan bereiken die concurreren met veel meer geavanceerde methoden. Door inspiratie te putten uit de manier waarop het menselijk brein episodische herinneringen gebruikt, hebben de onderzoekers aangetoond dat soms de krachtigste oplossingen degene zijn die vertrouwen op de eenvoudigste, meest directe verbindingen tussen verleden en heden.