Robots zijn al lang meesters op de fabrieksvloer, waar de wereld voorspelbaar is, de verlichting constant en elk object precies ligt waar het gisteren is neergezet. Maar op het moment dat een robot die gecontroleerde kooi verlaat en een rommelige keuken, een overvolle werkplaats of een drukke straat betreedt, bevriest hij vaak. Om betrouwbaar te kunnen opereren in de echte wereld, heeft een machine meer nodig dan alleen het vermogen om zijn armen te bewegen; het moet zijn omgeving duidelijk kunnen zien, begrijpen wat er van het gevraagd wordt en, cruciaal, kunnen voorstellen wat er zal gebeuren als het een specifieke actie onderneemt. Het moet in staat zijn een scène waar te nemen, te beslissen hoe te handelen en na te denken over de gevolgen van die beslissing voordat het ook maar één spier beweegt. Decennialang hebben wetenschappers aan deze drie vermogens afzonderlijk gewerkt, waarbij ze deze als afzonderlijke problemen beschouwden die geïsoleerd opgelost moesten worden.

Een nieuwe survey-paper brengt deze drie onderzoekstromen samen en stelt dat de weg naar werkelijk capabele robots niet ligt in het beter maken van elk onderdeel op zich, maar in het samenweven ervan tot één enkel, verenigd systeem. De onderzoekers, een team van Fujitsu en Carnegie Mellon University, stellen dat de huidige generatie robotleren gefragmenteerd is. Ze suggereren dat door te verbinden hoe robots de wereld begrijpen, hoe ze beslissen hoe te handelen en hoe ze de toekomst voorspellen, we machines kunnen bouwen die robuust genoeg zijn om de onvoorspelbaarheid van menselijke omgevingen aan te kunnen. Dit werk presenteert geen enkele nieuwe robot of een voltooid product; het biedt eerder een kaart van het gehele landschap van robotleren, waarbij de hiaten worden geïdentificeerd en een koers wordt uitgezet naar een meer geïntegreerde toekomst.

Het artikel organiseert het uitgestrekte veld van robotleren in drie complementaire pijlers. De eerste is representatie-leren, wat in essentie de manier is waarop de robot begrijpt wat hij ziet. In plaats van te vertrouwen op vooraf geprogrammeerde lijsten van hoe objecten eruitzien, gebruiken moderne robots geavanceerde software om gestructureerde informatie te extraheren uit ruwe beelden, dieptesensoren en tastgegevens. Dit stelt hen in staat om de ruimtelijke relaties tussen een kopje en een tafel, of de textuur van een oppervlak te begrijpen, zonder dat een mens de regels voor elk mogelijk scenario hoeft te schrijven. De tweede pijler is het visie-taal-actie-model. Dit zijn systemen waarmee een robot een visuele scène en een gesproken instructie, zoals "pak het rode blokje", direct kan vertalen naar fysieke bewegingen. Dit overbrugt de kloof tussen menselijke taal en mechanische controle, waardoor robots instructies op hoog niveau kunnen opvolgen in plaats van alleen te reageren op directe prikkels. De derde pijler is het wereldmodel. Dit is de interne simulator van de robot, een mentale motor die het hem mogelijk maakt om te vragen: "Als ik dit kopje duw, waar zal het terechtkomen?" Door te voorspellen hoe de omgeving zal evolueren als reactie op zijn acties, kan de robot vooruitplannen, botsingen vermijden en de langetermijngevolgen van zijn gedrag begrijpen.

De auteurs van de survey merken op dat hoewel elk van deze gebieden snelle vooruitgang heeft geboekt, ze grotendeels in isolatie zijn ontwikkeld. Een robot kan uitstekend zijn in het herkennen van objecten, maar slecht in het voorspellen van hoe die objecten zullen bewegen wanneer ze worden aangeraakt. Een andere kan goed zijn in het opvolgen van taalcommando's, maar faalt in het begrijpen van de fysieke beperkingen van zijn eigen lichaam. Deze scheiding creëert een fragiel systeem. Wanneer een robot een situatie tegenkomt die hij nog niet eerder heeft gezien, of wanneer de verlichting verandert, of wanneer een object zich anders gedraagt dan verwacht, zorgt het gebrek aan integratie tussen zien, handelen en denken ervoor dat het systeem instort. De onderzoekers stellen dat de grootste hindernissen waar de robotica vandaag de dag voor staat — zoals het onvermogen om te generaliseren naar nieuwe omgevingen, de moeilijkheid om vaardigheden over te dragen van het ene type robot naar het andere, en de strijd met het plannen van lange reeksen acties — niet slechts problemen zijn met individuele componenten. Het zijn symptomen van een dieper probleem: het falen om perceptie, actie en redeneren samen te voegen tot een samenhangend geheel.

Om dit te illustreren, wijst het artikel erop dat huidige systemen de toekomst vaak behandelen als een reeks losstaande gissingen. Een robot kan een blokje zien en besluiten het te verplaatsen, maar als hij niet tegelijkertijd kan redeneren over hoe dat blokje zal interageren met een tafel, of hoe een plotselinge windvlaag zijn pad kan veranderen, zal hij falen. De survey benadrukt dat ware robuustheid een systeem vereist waarbij de representatie van de wereld het beleid voor actie vormt, en waarbij de voorspelling van toekomstige toestanden terugkoppelt in het besluitvormingsproces. Als een robot bijvoorbeeld onzeker is over wat hij ziet, zou die onzekerheid invloed moeten hebben op zijn acties, bijvoorbeeld door hem langzamer te laten bewegen of om verduidelijking te vragen, in plaats van blindelings door te gaan. Op dezelfde manier, als een robot een vaardigheid moet overdragen van een grote arm naar een kleine hand, moet hij de taak begrijpen op een niveau dat onafhankelijk is van het specifieke lichaam dat hij gebruikt, waarbij de focus ligt op het doel in plaats van op de mechanica.

De onderzoekers identificeren verschillende kritieke uitdagingen die opgelost moeten worden om deze eenheid te bereiken. Een grote hindernis is het vermogen om over langere perioden te redeneren. Mensen houden van nature bij wat er minuten geleden is gebeurd om te bepalen wat ze nu doen, maar robots worstelen vaak met het behouden van een coherent geheugen van eerdere interacties, vooral wanneer delen van de scène verborgen zijn of wanneer de effecten van een actie vertraagd optreden. Een andere uitdaging is het "out-of-distribution"-probleem, waarbij een robot een situatie tegenkomt die fundamenteel anders is dan alles waarop hij getraind is. Huidige modellen falen hier vaak omdat ze hebben geleerd patronen in hun trainingsdata te herkennen in plaats van de onderliggende fysica van de wereld te begrijpen. De survey suggereert dat het simpelweg voeden van meer data aan robots niet de oplossing is; in plaats daarvan hebben we systemen nodig die kunnen redeneren over de relaties tussen objecten, taken en acties op een manier die standhoudt, zelfs wanneer de omgeving verandert.

Het artikel verkent ook de rol van onzekerheid. In de echte wereld zijn sensoren luidruchtig en kunnen objecten gedeeltelijk verborgen zijn. Een betrouwbare robot moet weten wat hij niet weet. Hij moet in staat zijn de waarschijnlijkheid van verschillende uitkomsten in te schatten en zijn gedrag dienovereenkomstig aan te passen. De auteurs stellen dat dit een probabilistische aanpak vereist, waarbij de robot een overtuiging onderhoudt over de staat van de wereld en deze overtuiging bijwerkt naarmate hij nieuwe informatie verzamelt. Dit gaat niet alleen over voorzichtig zijn; het gaat over aanpassingsvermogen. Een robot die over onzekerheid kan redeneren, kan een rommelige kamer navigeren, een glad object hanwerken of herstellen van een fout zonder dat er een mens aan te pas komt.

Kijkend naar de toekomst, schetst de survey een pad vooruit dat verder gaat dan modulaire pipelines. In plaats van een robot te bouwen met een aparte "oog"-module, een aparte "brein"-module en een aparte "hand"-module, zouden de volgende generaties systemen ontworpt moeten worden als een verenigde entiteit. In deze visie wordt de manier waarop een robot de wereld waarneemt gevormd door wat hij moet doen, en wordt de manier waarop hij zijn acties plant geïnformeerd door zijn voorspellingen van de toekomst. De onderzoekers suggereren dat deze integratie nieuwe manieren van robottraining zal vereisen, misschien door gebruik te maken van gedeelde representaties die zowel perceptie als voorspelling dienen, of door gebruik te maken van closed-loop feedback waarbij de acties van de robot voortdurend hun begrip van de wereld verfijnen. Ze benadrukken dat hoewel grote taalmodellen en generatieve AI krachtige instrumenten hebben geboden voor het begrijpen van taal en beelden, de echte doorbraak zal komen wanneer deze instrumenten geworteld zijn in de fysieke realiteit van het lichaam van de robot en zijn omgeving.

Het uiteindelijke doel, zoals beschreven in het paper, is het creëren van autonome agenten die met dezelfde vloeiendheid en aanpassingsvermogen als mensen in de open wereld kunnen opereren. Dit betekent robots die kunnen leren van ervaring, vaardigheden kunnen overdragen tussen verschillende lichamen en kunnen redeneren over de gevolgen van hun acties over langere perioden. De survey concludeert dat hoewel de individuele stukjes van de puzzel steeds duidelijker worden, het beeld pas zal verschijnen wanneer we stoppen met het behandelen van perceptie, actie en redeneren als afzonderlijke problemen. Door deze domeinen te overbruggen, kunnen we bewegen naar een toekomst waarin robots niet alleen hulpmiddelen zijn die instructies opvolgen, maar partners die kunnen begrijpen, zich kunnen aanpassen en kunnen floreren in de complexe, onvoorspelbare wereld die we delen.