Stel je een wereld voor waarin de computers die autonome robots aansturen of slimme gebouwen beheren, geen fragiele, delicate machines zijn, maar robuuste systemen die in staat zijn te functioneren zelfs wanneer hun interne geheugen licht beschadigd of onnauwkeurig is. Dit is de belofte van een vakgebied genaamd vector symbolic architecture, een manier van denken over kunstmatige intelligentie die inspiratie put uit de manier waarop het menselijk brein informatie opslaat. In plaats van te vertrouwen op precieze, fragiele getallen, gebruikt deze benadering enorme, hoog-dimensionale datapatronen die gecombineerd en vergeleken kunnen worden met behulp van eenvoudige wiskunde. Het kernidee is dat deze patronen zo talrijk en onderscheidend zijn dat ze elkaar kunnen overlappen zonder in de war te raken, vergelijkbaar met hoe een drukke kamer vol mensen die verschillende talen spreken, het mogelijk maakt om je te concentreren op één enkel gesprek zonder dat de achtergrondruis een brij wordt. Deze veerkracht maakt de benadering bijzonder aantrekkelijk voor "edge"-apparaten — computers die draaien op beperkte energie of in barre omgevingen waar perfecte gegevensopslag niet gegarandeerd kan worden.

Onderzoekers aan de University of California, Irvine, en hun samenwerkingspartners hebben dit concept nu toegepast op de manier waarop machines leren om beslissingen te nemen. Om te begrijpen wat ze hebben gedaan, helpt het eerst om het probleem te begrijpen dat ze oplossen. In reinforcement learning leert een kunstmatige agent door acties uit te voeren en te zien wat er gebeurt, waarbij het geleidelijk een strategie opbouwt om beloningen te maximaliseren. Traditioneel wordt deze strategie opgeslagen in complexe neurale netwerken, die lijken op ingewikkelde webben van verbindingen die een precieze afstemming vereisen. Als de getallen in deze netwerken gecorrumpeerd raken door een beetje elektrische ruis of een productiefout, kan de besluitvorming van de agent instorten. De onderzoekers stelden een eenvoudige vraag: kunnen we een beslissingssysteem boulen dat inherent bestand is tegen dit soort schade, een systeem dat leert door herinneringen op te slaan op een manier die van nature vergevingsgezind is?

Het antwoord dat ze vonden is ja. Het team ontwikkelde een systeem waarbij elke mogelijke actie die een agent kan ondernemen wordt gerepresenteerd door een uniek, hoog-dimensionaal patroon, of "hypervector". Wanneer de agent zijn omgeving observeert, zet hij die observatie om in een vergelijkbaar patroon. Om te beslissen wat te doen, controleert het systeem simpelweg welke actiepatronen het meest lijken op de huidige observatie. De genialiteit van hun methode ligt in de manier waarop het systeem leert. In plaats van complexe, meerstapsberekeningen te gebruiken om zijn interne gewichten aan te passen, werkt het systeem zijn geheugen bij in één enkele, directe stap. Wanneer een agent een goede actie ondernezen en een beloning ontvangt, versterkt het systeem de verbinding tussen dat actiepatroon en de observatie die ertoe leidde. Als de actie slecht was, verzwakt het de verbinding. Dit proces is wiskundig equivalent aan een standaard leermethode, maar het wordt uitgevoerd met eenvoudige optelling en aftrekking van deze grote patronen, gevolgd door een normalisatiestap om de patronen stabiel te houden.

Wat deze ontdekking zo belangrijk maakt, is wat er met het geheugen gebeurt na verloop van tijd. Terwijl de agent leert, slaat hij niet een lijst op van elke ervaring die hij ooit heeft gehad. In plaats daarvan comprimeert hij al die ervaring in een geheugenbank van vaste grootte. Het geheugen van elke actie wordt een gecomprimeerde samenvatting van alle keren dat die actie nuttig was, gewogen door hoe goed de uitkomst was. Dit betekent dat het systeem efficiënt kan leren zonder dat het enorme hoeveelheden ruwe data hoeft op te slaan. Bovendien bewezen de onderzoekers dat deze methode ongelooflijk robuust is tegen fouten. Ze testten wat er zou gebeuren als willekeurige bits in het geheugen zouden worden omgeklapt, wat de corruptie simuleert die optreedt bij onbetrouwbare hardware. Terwijl traditionele neurale netwerken en eenvoudige lineaire modellen onder deze omstandigheden aanzienlijke prestatieverliezen leden, hield het nieuwe vector-gebaseerde systeem stand. De fouten werden gemiddeld door de enorme omvang en structuur van de patronen, waardoor het systeem in staat bleef om correcte beslissingen te nemen, zelfs wanneer het geheugen imperfect was.

Het team testte hun methode op een verscheidenheid aan uitdagingen, van klassieke controle-taken zoals het balanceren van een stok op een bewegende kar tot het navigeren door complexe doolhoven en het beheren van energie in multi-agent gebouwsystemen. In deze tests leerde de nieuwe methode net zo snel, of vaak zelfs sneller, dan standaard neurale netwerk-benaderingen. Het behaalde concurrerende resultaten in het bereiken van doelen en het maximaliseren van beloningen, wat aantoont dat het geen prestaties opoffert voor robuustheid. In de navigatietaken in doolhoven, waarbij de agent moet onthouden om eerst een sleutel op te pakken voordat hij een deur opent, leerde het systeem de sequentie van acties succesvol te volgen. In de simulaties voor gebouwbeheer, waarbij meerdere agenten moeten coördineren om temperatuur en luchtvochtigheid te beheren, presteerde de methode goed onder verschillende klimaatcondities.

Misschien wel het belangrijkste is dat de studie aantoonde dat het vermogen van het systeem om te generaliseren — de capaciteit om wat het heeft geleerd toe te passen op een iets andere situatie — direct gekoppeld was aan hoe de initiële patronen werden gecreëerd. De onderzoekers ontdekten dat de keuze van hoe ruwe observaties in deze hoog-dimensionale patronen worden omgezet, een grote rol speelde. Sommige methoden van conversie leidden tot beter leren en stabielere geheugens dan andere, wat suggereert dat de "taal" waarin de agent denkt cruciaal is voor zijn succes. Echter, zodبق het systeem getraind was, hoefde het de ruwe data van zijn trainingssessies niet langer te bewaren. Het kon de geschiedenis weggooien en vertrouwen op het gecomprimeerde geheugen van vaste grootte, wat het zeer efficiënt maakt voor implementatie op real-world apparaten.

De onderzoekers verkenden ook hoe de grootte van deze patronen de prestaties beïnvloedde. Ze vonden dat het vergroten van de dimensionaliteit, of het aantal elementen in elk patroon, het vermogen van het systeem verbeterde om verschillende situaties te onderscheiden en interferentie tussen herinneringen te verminderen. Ze merkten echter ook op dat deze verbetering uiteindelijk een plateau bereikte, wat betekent dat er een punt van verminderde meeropbrengst is waarbij het groter maken van de patronen niet veel meer helpt. Deze balans tussen geheugengrootte en prestaties is een praktisch overweging voor ingenieurs die deze systemen op kleine chips willen plaatsen.

Uiteindelijk overbrugt dit werk de kloof tussen theoretische robuustheid en praktische toepassing. Het demonstreert dat het mogelijk is om lerende agenten te creëren die niet alleen efficiënt en snel zijn, maar ook veerkrachtig tegen de imperfecties van de echte wereld. Door beslissingen te representeren als gedistribueerde patronen in plaats van precieze getallen, vermijdt het systeem de fragiliteit die veel moderne kunstmatige intelligentie-modellen teistert. De bevindingen suggereren een pad voorwaarts voor het implementeren van intelligente systemen in omgevingen waar betrouwbaarheid essentieel is, van autonome voertuigen die navigeren door onvoorspelbaar weer tot medische apparaten die opereren in omgevingen met beperkte middelen. De methode vereist geen complexe hardware of enorme datacentra; het vertrouwt op een eenvoudige, elegante wiskundige structuur die de potentiële zwakte van ruisachtig geheugen verandert in een kracht. Zoals de onderzoekers concluderen, biedt deze benadering een veelbelovende basis voor de volgende generatie robuuste, edge-gebaseerde kunstmatige intelligentie, waarmee wordt bewezen dat de beste manier om een slimme machine te bouwen soms is om het te laten denken in patronen die te groot zijn om te breken.