Robots zijn al lang meesters in herhaling, in staat om dezelfde beweging duizenden keren met perfecte precisie uit te voeren. Toch struikelen ze vaak wanneer ze geconfronteerd worden met een nieuwe situatie of een fout, omdat ze het vermogen missen om te pauzeren en na te denken over wat er misging. Deze beperking komt voort uit een kloof tussen het zien van de wereld en het begrijpen ervan. Moderne kunstmatige intelligentie heeft stappen gezet in zowel visie als taal, waardoor machines objecten kunnen herkennen en gesproken opdrachten kunnen opvolgen. Het verbinden van deze vaardigheden aan fysieke actie op een manier die flexibele probleemoplossing mogelijk maakt, blijft echter een grote uitdaging. De kernvraag die de recente wetenschappelijke onderzoeken drijft, is of het de robot de mogelijkheid geven om in woorden te "denken" voordat hij beweegt, kan helpen bij het navigeren door complexe, langdurige taken die vereisen dat er wordt gepland, voortgang wordt gevolgd en fouten worden hersteld.

Een team onderzoekers aan de Carnegie Mellon University heeft een nieuwe methode ontwikkeld om robots dit soort denken te leren. Ze creëerden een systeem dat een hoogwaardige kunstmatige intelligentie traint om natuurlijke taalredenering te genereren—in feite een lopende commentaar op wat de robot vervolgens moet doen—voordat het een commando afgeeft aan een lager-niveau controller die daadwerkelijk de armen van de robot beweegt. De onderzoekers ontdekten dat door het systeem te trainen om deze gedachten te produceren, de robot aanzienlijk beter werd in het oplossen van moeilijke manipulatietaken, zoals het rangschikken van blokken in specifieke vormen of het inpakken van boodschappen in een tas. De belangrijkste ontdekking is dat de handeling van het genereren van deze gedachten in realtime, in plaats van ze alleen als trainingsinstrument te gebruiken, fungeert als een vorm van mentale berekening die de robot helpt zijn acties effectiever te sturen.

De onderzoekers benaderden dit probleem door de hersenen van de robot te behandelen als een tweeledig systeem. Eén deel is een "redeneerder", een groot taalmodel dat naar de scène en het doel kijkt, en het andere deel is een "doener", een vooraf getrainde policy die de fysieke bewegingen uitvoert. In hun experimenten kreeg de redeneerder de taak om naar de huidige staat van de wereld te kijken, de geschiedenis van wat er tot nu toe is gebeurd, en het uiteindelijke doel, en vervolgens een korte uitleg van zijn plan op te schrijven voordat er een specifieke instructie aan de doener wordt gegeven. Bijvoorbeeld, als het doel is om blokken in een lijn te rangschikken, kan de redeneerder eerst opmerken dat een groen blok al op zijn plek staat, observeren dat een ster niet op zijn positie staat, en vervolgens besluiten de ster te verplaatsen om de lijn te voltooien. Dit proces van het opschrijven van de redenering vindt elke keer plaats dat de robot een stap zet.

Om het systeem dit te leren, gebruikten de onderzoekers een tweetraps trainingsproces. Eerst lieten ze het systeem voorbeelden zien van experts die taken oplossen terwijl ze hun denkprocessen verwoorden. Deze stap, die ze mid-training noemen, hielp het model de stijl van redenering te leren die nodig is voor deze fysieke taken, zoals het bijhouden van gedeelde voortgang of het opmerken wanneer een plan is mislukt. Het simpelweg nabootsen van deze voorbeelden was echter niet genoeg. De onderzoekers gebruikten vervolgens een tweede fase met behulp van reinforcement learning, een methode waarbij het systeem leert door middel van trial-and-error op basis van feedback. In deze fase kreeg de robot een taak en werd hem gevraagd zijn eigen redenering en instructies te genereren. Hij ontving een beloning, niet alleen voor de uiteindelijke uitkomst, maar ook voor de vraag of de gegenereerde instructie overeenkwam met de intentie van een instructie van een expert. Dit stelde het systeem in staat om zijn redeneervaardigheden te verfijnen met behulp van een enorme hoeveelheid data waarbij alleen de uiteindelijke instructies bekend waren, zonder dat er dure voorbeelden van expertgedachten voor elke enkele beweging verzameld hoefden te worden.

De resultaten van deze experimenten werden gemeten in twee verschillende omgevingen. De eerste was een gesimuleerde tafel vol gekleurde blokken, waar de robot ze in vormen zoals lijnen of V-vormen moest rangschikken. De tweede was een complexere simulatie van een bimanuele robot die boodschappen in tassen inpakt. In beide gevallen presteerde het systeem dat getraind was met deze redeneringsmethode, die de onderzoekers R3 noemden, beter dan systemen die alleen getraind waren om instructies op te volgen zonder gedachten te genereren. Bij de taken voor het rangschikken van blokken vertoonde de met redenering uitgeruste robot een opmerkelijk vermogen om te generaliseren naar nieuwe, onbekende vormen, waarbij hij slaagde waar andere methoden faalden. In de simulatie van het inpakken van boodschappen bereikte de robot die over zijn acties kon redeneren een succespercentage van bijna 47,9 procent op moeilijke, onbekende taken, vergeleken met ongeveer 38,0 procent voor een systeem dat simpelweg instructies opvolgt zonder na te denken.

Cruciaal was dat de onderzoekers onderzochten of de verbetering kwam door de robot simpelweg betere visuele patronen te laten leren tijdens de training, of door de handeling van het denken zelf. Ze ontdekten dat hoewel de training de capaciteit van de robot om de scène te begrijpen verbeterde, het echte voordeel voortkwam uit het redeneringsproces op het moment van de beslissing. Wanneer ze de robot dwongen om te stoppen met het genereren van gedachten en gewoon te handelen, daalde zijn prestatie aanzienlijk. Omgekeerd, wanneer ze de robot meer tijd lieten doorbrengen met het generen van langere, meer gedetailleerde gedachten, nam zijn succespercentage toe, vooral bij moeilijkere taken. Dit suggereert dat de taalredenering dient als een mechanisme waarmee de robot extra mentale inspanning kan leveren op moeilijke problemen, net zoals een mens even kan pauzeren om na te denken over een complexe puzzel voordat hij een zet doet.

De studie onthulde ook specifieke gedragingen die het redeneringssysteem heeft geleerd aan te nemen. De robot begon verschillende mogelijke acties te vergelijken voordat hij er één koos, onderzocht de scène opnieuw wanneer hij onzeker was over de positie van een object, en paste zijn plan aan wanneer hij besefte dat een vorige stap was mislukt. Het leerde de geschiedenis van zijn interacties bij te houden, waarbij het onthield wat het al had gedaan om te voorkomen dat fouten werden herhaald. Deze gedragingen werden niet expliciet geprogrammeerd; ze kwamen natuurlijk voort toen het systeem leerde taal te gebruiken om zijn acties te sturen. De onderzoekers merkten op dat deze aanpak werkte, zelfs wanneer de robot geen expliciete voorbeelden van expertgedachten kreeg voor de tweede fase van de training, waarbij het systeem in plaats daarvan vertrouwde op zijn vermogen om de juiste redenering af te leiden uit de uiteindelijke instructies alleen.

Hoewel de experimenten in gesimuleerde omgevingen werden uitgevoerd, bieden de bevindingen een duidelijk pad voor het maken van adaptievere robots. De onderzoekers suggereren dat deze methode toegepast kan worden op real-world robots om hen te helpen omgaan met de onvoorspelbaarheid van fysieke taken, zoals het omgaan met ruisende sensoren of het herstellen van botsingen. Ze wijzen er ook op dat toekomstig werk kan onderzoeken om het redeneren en de actie delen van het systeem samen te trainen, in plaats van ze gescheiden te houden, om nog meer gecoördineerd gedrag te creëren. Voor nu demonstreert het werk dat het de robot de mogelijkheid geven om tegen zichzelf te praten over wat hij aan het doen is, niet slechts een theoretische oefening is, maar een praktische manier om zijn vermogen te verbeteren om complexe, langdurige problemen op te lossen. Het systeem hoeft niet perfect te zijn om nuttig te zijn; het moet simpelweg in staat zijn om door de stappen na te denken, en door dat te doen, wordt het veel capabeler dan een machine die slechts reageert.