Towards Zero-Shot Task Transfer with Neurosymbolic World Models

Stel je een kunstmatige intelligentie-agent voor die leert navigeren door een complexe wereld, vergelijkbaar met een kind dat leert lopen. In het vakgebied van machine learning vertrouwen deze agenten vaak op "wereldmodellen", interne mentale kaarten die hen in staat stellen te voorspellen wat er zal gebeuren als ze een specifieke actie ondernemen. Door dergelijke toekomstige scenario's in hun geest te simuleren, kunnen de agenten hun zetten plannen zonder dat ze elke mogelijkheid fysiek in de echte wereld hoeven uit te proberen. Deze aanpak is ongelooflijk krachtig geworden, waardoor computers spellen kunnen beheersen en robots kunnen aansturen door te leren van hoogdimensionele sensorische gegevens, zoals videostromen van beelden. Echter, een aanzienlijke hindernis blijft bestaan: deze mentale kaarten zijn meestal gebouwd voor één specifieke taak. Als het doel verandert — bijvoorbeeld van het bereiken van een rode deur naar het bereiken van een blauwe deur — moet de agent vaak zijn volledige begrip van de wereld opnieuw leren, omdat zijn interne kaart nauw verweven is met de specifieke beloning die hij tijdens de training nastreefde.

Onderzoekers aan de KU Leuven in België hebben een nieuwe aanpak ontwikkeld om deze starheid op te lossen, waarbij ze een systeem creëren dat onmiddellijk kan zich aanpassen aan nieuwe doelen, zonder dat het opnieuw met de omgeving hoeft te interageren. Hun werk introduceert een type "neurosymbolisch" wereldmodel, een hybride systeem dat de patroonherkenningskracht van neurale netwerken combineert met de heldere, logische structuur van symbolische redenering. In plaats van één enkele, verstrengelde representatie van de wereld te leren, leren deze modellen de ruwe sensorische details van een omgeving te scheiden van de specifieke, hoogwaardige feiten die bepalend zijn voor succes. Deze scheiding stelt de agent in staat om zijn begrip van hoe de wereld beweegt en verandert te behouden, terwijl hij simpelweg de regel voor wat een "overwinning" is, kan verwisselen. Het resultaat is een agent die een complexe omgeving één keer kan leren en die kennis vervolgens direct kan toepassen op geheel nieuwe taken, een capaciteit die bekend staat als zero-shot transfer, simpelweg door het doel te herdefiniëren in termen van dezelfde onderliggende feiten.

De kerninnovatie ligt in de manier waarop het model informatie verwerkt. Traditionele wereldmodellen leren een gecomprimeerde, abstracte versie van de wereld die moeilijk voor mensen te interpreteren is en lastig te hergebruiken. In tegenstelling hiertoe dwingen de nieuwe neurosymbolische modellen het systeem om specifieke, gestructureerde eigenschappen van de toestand te identificeren en te voorspellen, zoals de coördinaten van een agent of de locatie van een object. Deze eigenschappen fungeren als een brug. Het model gebruikt zijn neurale netwerk om de rommelige, visuele wereld te begrijpen en deze te vertalen naar deze heldere, symbolische feiten. Zodra het model deze feiten heeft, gebruikt het een apart, logisch onderdeel om beloningen te voorspellen. Omdat de voorspelling van de beloning alleen afhangt van deze heldere feiten, kunnen onderzoekers simpelweg de beloningsfunctie vervangen door een nieuwe functie die een ander doel nastreeft, en het model begrijpt onmiddellijk hoe het daarvoor moet plannen. De agent hoeft het nieuwe doel niet te zien of uit te proberen; hij voert simpelweg zijn mentale simulaties opnieuw uit met de nieuwe regel, gebruikmakend van dezelfde interne kaart van hoe de wereld werkt.

Om dit idee te testen, trainden de onderzoekers hun modellen in verschillende afzonderlijke omgevingen, waaronder een rastergebaseerde navigatietaak waarbij een agent een doel moet vinden, een 3D-versie van dezelfde taak met continue beweging, en een puzzelspel genaamd Sokoban waarbij dozen naar specifieke plekken geduwd moeten worden. Tijdens deze trainingsfasen leerden de agenten te navigeren en een specifiek objectief te bereiken, zoals het bereiken van een vaste doellocatie. De onderzoekers daagden de modellen vervolgens uit met nieuwe taken waarbij de bewegingsregels van de omgeving exact hetzelfde bleven, maar de doelen veranderden. In één scenario zou het doel naar een andere kamer verplaatst kunnen zijn; in een ander scenario moest de agent een specifieke configuratie van objecten bereiken in plaats van een enkel punt. De modellen waren in staat zich aan deze nieuwe doelstellingen aan te passen zonder verdere interactie met de echte omgeving. Dit bereikten ze via twee methoden: ofwel door nieuwe paden te plannen met behulp van een zoekalgoritme dat de mogelijkheden in hun geest verkende, ofwel door hun besluitvormingsbeleid volledig te verfijnen binnen hun interne simulaties.

De resultaten toonden aan dat deze aanpak niet alleen werkte, maar ook efficiënter was dan standaardmethoden. De neurosymbolische modellen leerden de trainings-taken met minder voorbeelden, wat suggereert dat de gestructureerde manier waarop ze informatie verwerken, hen helpt de omgeving sneller te begrijpen. Belangrijker nog, wanneer ze geconfronteerd werden met nieuwe taken, pasten ze zich onmiddellijk aan. Terwijl traditionele modellen een periode van hertraining of een enorme hoeveelheid nieuwe data zouden vereisen om het nieuwe doel te begrijpen, pasten de neurosymbolische agenten simpelweg hun bestaande kennis van de wereld toe op het nieuwe objectief. Dit was het geval, zelfs wanneer de onderzoekers tijdens de training slechts gedeeltelijke informatie over de symbolische feiten verstrekten, of wanneer ze helemaal geen directe supervisie voor die feiten boden, waarbij ze vertrouwden op de structuur van het model zelf om het leren te sturen.

Dit werk vormt een belangrijke stap naar meer flexibele en herbruikbare kunstmatige intelligentie. Door het begrip van hoe de wereld werkt los te koppelen van de specifieke doelen die een agent probeert te bereiken, hebben de onderzoekers een systeem gecreëerd dat zich meer gedraagt als een algemene leerling dan als een gespecialiseerd hulpmiddel. De agent onthoudt niet alleen een pad naar een bestemming; hij leert het terrein en de regels van beweging, waardoor hij naar elke bestemming kan navigeren die binnen dat terrein wordt gedefinieerd. Hoewel het systeem nog steeds vereist dat de nieuwe doelen beschrijfbaar zijn met dezelfde set hoogwaardige feiten die tijdens de training zijn geleerd, elimineert het de noodzaak voor kostbare hertraining telkens wanneer een taak verandert. Dit suggereert een toekomst waarin intelligente systemen kunnen worden ingezet in dynamische omgevingen, klaar om nieuwe uitdagingen aan te gaan op het moment dat ze zich voordoen, simpelweg door te worden verteld waar ze naar moeten kijken, in plaats van dat ze alles opnieuw moeten leren zien.