Stel je een wereld voor waarin robots niet alleen een strikt script volgen dat door een menselijke programmeur is geschreven, maar ook echt leren bewegen en denken zoals wij dat doen. Dit is de droom van "embodied AI" — een computer een lichaam geven zodat deze kan interageren met de echte wereld. Op dit moment voelt het aanleren van iets nieuws aan een robot meestal als het leren strikken van veters bij een peuter: je moet hun hand vasthouden, precies laten zien wat ze moeten doen, en het honderden keren herhalen totdat hun spieren de beweging "onthouden". Dit wordt leren van menselijke demonstraties genoemd. Maar wat als een robot zelfstandig zou kunnen leren? Wat als een robot zelf zou kunnen uitzoeken hoe hij een kopje moet pakken, een doos moet duwen of een lade moet openen, simpelweg door naar de wereld te kijken en dingen uit te proberen, zonder dat jij ooit een vinger uitsteekt om hem de weg te wijzen? Dit is de grote vraag waar onderzoekers achteraan jagen: hoe krijgen we robots om hun eigen "spiergeheugen" vanaf nul op te bouwen?

Maak kennis met HERO, een nieuw robotbrein dat fungeert als een zelflerende leerling. Het artikel introduceert HERO als een systeem dat begint met nul menselijke hulp en leert objecten te manipuleren via een slim drie-staps evolutieproces. Denk eraan als een robot die opgroeit in drie duidelijke stadia. Eerst gebruikt het "Heuristic Reasoning" (heuristisch redeneren), wat lijkt op een slimme gokker die een enorme bibliotheek aan kennis gebruikt om uit te vogelen hoe hij een taak moet uitvoeren die hij nog nooit eerder heeft gezien. Als dat faalt of te traag wordt, gaat het over naar "Exemplar Reuse" (hergebruik van exemplaren), wat lijkt op het onthouden van een moment waarop het succesvol een vergelijkbaar object bewoog en simpelweg die beweging kopieert, aangepast aan de nieuwe situatie. Ten slotte ontwikkelt het, na voldoende te hebben geoefend, "Reflexive Execution" (reflexmatige uitvoering), wat puur spiergeheugen is — een snelle, automatische reactie die niet hard hoeft na te denken bij elke stap. Het artikel laat zien dat door deze drie vaardigheden te mengen en de robot op zijn eigen manier te laten oefenen, het in staat is complexe taken uit te voeren zoals het stapelen van blokken of het zoeken in laden, totdat het er zo goed in is dat het er nauwelijks meer bij na hoeft te denken.

Het kernverhaal van het artikel: Van nul naar spiergeheugen

De onderzoekers achter HERO, een team van de Shanghai Jiao Tong University en de University of Sussex, wilden een specifiek probleem oplossen: de meeste robots van vandaag zitten vast in een "statische" modus. Ze zijn ofwel heel goed in algemeen redeneren (praten over wat te doen) maar traag en onhandig in het daadwerkelijke bewegen, of ze zijn super snel in bewegen, maar alleen als je ze eerst precies hebt laten zien hoe het moet. HERO probeert dit gat te overbruggen door een systeem te creëren dat zijn eigen vaardigheden evolueert.

Het artikel pleit tegen het idee dat robots een enorme database aan menselijke video's nodig hebben om te leren. In plaats daarvan begint HERO met nul menselijke demonstraties. Het begint zijn reis met een "Heuristic Bootstrapper" (Niveau 1). Wanneer geconfronteerd met een nieuwe taak, zoals "pak het rode pakketje op", fungeert deze laag als een detective. Het gebruikt een Vision-Language Model (VLM) — een type AI dat afbeeldingen en woorden begrijpt — om de scène te bekijken, te raden waar het object gegrepen moet worden en een pad te plannen. Het is niet perfect en het is een beetje traag, maar het krijgt de klus zonder enige voorafgaande training.

Zodra de robot iets succesvol heeft gegrepen, vergeet het dit niet zomaar. Het slaat dat succes op als een "exemplar" (exemplaar). Terwijl de robot meer oefent, komt het in de tweede fase: de "Exemplar Accelerator" (Niveau 2). Nu, als de robot een taak ziet die lijkt op een taak die hij eerder heeft uitgevoerd, hoeft hij niet opnieuw te gokken. Hij zoekt het opgeslagen voorbeeld, berekent hoe hij die oude beweging kan uitrekken of draaien om bij het nieuwe object te passen, en voert het uit. Dit is als het onthouden van hoe je vorige week een specifieke pot hebt geopend en diezelfde polsbeweging gebruikt voor een nieuwe pot van dezelfde grootte. Deze stap is veel sneller dan de gokfase.

De laatste en meest indrukwekkende fase is de "Reflexive Policy" (Niveau 3). Nadat de robot honderden succesvolle pogingen heeft verzameld, traint het een speciaal "spiergeheugen"-model. Dit model slaat de denk- en kopieerstappen volledig over. Het kijkt naar het object en het doel en stuurt onmiddellijk de juiste commando's naar de arm van de robot. Dit is de "closed-loop" controle die in het artikel wordt genoemd, wat betekent dat de robot zijn eigen beweging constant controleert en in realtime bijstuurt, net zoals een mens een bal vangt zonder na te denken over de fysica.

Hoe het werkt in de echte wereld

Om dit te testen, hebben de onderzoekers een Franka Emika Panda robotarm opgezet in een echte laboratoriumomgeving met vier camera's. Ze gaven het vier verschillende uitdagingen: het oppakken van pakketjes van verschillende kleuren, het stapelen van blokken in een specifieke volgorde, het openen van een lade om een verborgen croissant te vinden, en het verplaatsen van dozen om een verborgen rol verband af te onthullen.

De robot voerde deze taken niet slechts één keer uit; hij draaide een continue cyclus van Autonomous Capability Evolution (autonome capaciteitsevolutie). Hier is de magische lus:

1. Proberen: De robot probeert een taak. Als het nieuw is, gebruikt hij de "Gokken" (L1) modus.
2. Opslaan: Als hij slaagt, slaat hij de beweging op. Als het een taak is die hij eerder heeft gezien, kan hij de "Kopiëren" (L2) modus gebruiken om sneller te gaan.
3. Resetten: Na het voltooien van een taak, bepaalt de robot automatisch hoe hij alles terug naar de beginpositie brengt (een "reverse task") zodat hij het opnieuw kan proberen. Hij deed dit in totaal 664 keer!
4. Leren: Zodra hij genoeg data had verzameld, trainde hij het "Spiergeheugen" (L3) model.

De resultaten waren zeer veelzeggend. Het artikel vond dat HERO deze enorme hoeveelheid data kon verzamelen met bijna geen menselijke hulp — slechts ongeveer 1,03 seconde aan menselijke interventie per subtaak, voornamelijk om de scène te corrigeren als de robot vastliep. De robot slaagde erin om 46 opeenvolgende subtaakcycli te voltooien zonder dat een mens hem aanraakte.

Toen ze de uiteindelijke robot op deze taken testten, bereikte het volledige HERO-systeem (met gebruik van alle drie de lagen) een succespercentage van 86,0% over de vier verschillende taken. Dit was aanzienlijk beter dan het gebruik van slechts één laag. Zo was het succespercentage bijvoorbeeld slechts 76,0% als ze alleen de goklaag (L1) gebruikten. Als ze alleen de spiergeheugenlaag (L3) gebruikten, was het succespercentage 70,0%. Het artikel suggereert dat het geheime ingrediënt de flexibiliteit is: het gebruiken van het snelle spiergeheugen wanneer dat mogelijk is, maar de "kopiëren" en "gokken" vaardigheden klaar hebben staan om in te springen wanneer het lastig wordt of wanneer de robot met iets nieuws te maken krijgt.

De trade-offs en haperingen

Het artikel is eerlijk over de beperkingen. De "gok"laag (L1) is de langzaamste en duurt ongeveer 46,57 seconden per subtaak omdat de robot veel moet nadenken en 3D-mapping moet doen. De "kopiëren"laag (L2) is sneller met 20,96 seconden, en de "spiergeheugen"laag (L3) is het meest efficiënt voor herhaalde taken en duurt 37,90 seconden (hoewel dit de tijd is die de robot nodig heeft om daadwerkelijk te bewegen, wat een lang proces is).

Ze analyseerden ook waar het misging. Van de 120 taakpogingen werden er 73 perfect voltooid zonder fouten. De fouten die wel optraden, kwamen meestal door een verkeerde inschatting van de positie van een object (perceptiefouten) of door de "hersenen" die een slecht geplande reeks bewegingen maakten. Interessant genoeg was de "monitoring" van het systeem erg goed; het identificeerde fouten in de uitvoering in 94,5% van de gevallen, waardoor het kon proberen het opnieuw te doen of om hulp kon vragen.

De auteurs suggereren dat hoewel HERO een grote stap voorwaarts is, het nog niet perfect is. Het "gokken" deel kan nog steeds traag zijn en soms de 3D-vorm van objecten verkeerd interpreteren. Ook vertrouwt de robot momenteel op een vooraf gedefinieerde lijst van basisbewegingen (zoals "grijpen", "duwen", "trekken") die mensen in de eerste plaats moesten ontwerpen. Hij kan nog niet op eigen houtje volledig nieuwe soorten bewegingen uitvinden.

De belangrijkste conclusie

In eenvoudige bewoordingen bewijst HERO dat een robot met een onbeschreven blad kan beginnen, kan leren door te doen, en uiteindelijk zijn eigen "spiergeheugen" kan ontwikkelen zonder dat een mens hem bij elke stap de hand hoeft te houden. Het suggereert dat de toekomst van robotica niet alleen gaat over het maken van slimmere hersenen of sterkere armen, maar over het creëren van systemen die naadloos kunnen schakelen tussen denken, kopiëren en reageren naarmate ze meer ervaring opdoen. Het artikel beweert niet dat het alle robotproblemen heeft opgelost, maar biedt een veelbelovend pad naar machines die echt kunnen leren en zich kunnen aanpassen in onze chaotische, onvoorspelbare wereld.