Robots worstreden al lang met het begrijpen van het verschil tussen een commando en de werkelijkheid. Decennialang konden ingenieurs een machine programmeren om zijn arm met perfecte precisie te bewegen, maar die machine kon een eenvoudige zin als "pak de rode beker op" niet begrijpen. In de afgelopen jaren is er een nieuw type kunstmatige intelligentie opgekomen om deze kloof te overbruggen. Deze systemen, bekend als vision-language-action modellen, worden getraind op enorme hoeveelheden data om te begrijpen hoe woorden, afbeeldingen en fysieke bewegingen met elkaar verbonden zijn. Ze kunnen een scène bekijken, een verzoek lezen en beslissen wat ze moeten doen, wat een vooruitblik biedt op een toekomst waarin robots in gewoon Engels kunnen worden verteld wat ze moeten doen in plaats van via gecodeerde instructies. Er blijft echter een hardnekkig probleem bestaan: deze modellen worden vaak getraind op één specifieke robot in een gecontroleerde omgeving, en wanneer onderzoekers proberen ze te gebruiken op een andere machine, zelfs een licht afwijkende, faalt de robot vaak. De robot begrijpt de woorden misschien perfect, maar maakt een fout in de fysieke handeling van het grijpen van een object, of erger nog, het kan volledig vergeten hoe het instructies moet opvolgen wanneer het wordt gedwongen een nieuwe taak te leren.

Een team onderzoekers aan de University of Illinois Urbana-Champaign heeft een manier gevonden om dit op te lossen zonder dat er duizenden uren aan nieuwe menselijke demonstraties verzameld hoeven te worden. Ze ontdekten dat wanneer een robot faalt bij het uitvoeren van een taak, de mislukte pogingen nog steeds waardevolle informatie bevatten. Door de robot toe te staan om dingen op eigen houtje te proberen en te leren van die pogingen, kunnen ze de robot nieuwe vaardigheden aanleren terwijl de mogelijkheid om taal te begrijpen intact blijft. Hun aanpak bestaat uit een tweestaps-proces. Eerst nemen ze een vooraf getraind "robotbrein" en tonen het een kleine hoeveelheid expert-data—slechts veertien minuten waarin een mens de robot door een specifieke taak leidt, zoals het oppakken van een kubus. Dit leert de robot de fijne motorische vaardigheden die nodig zijn voor die specifieke machine. Maar als ze daar stoppen, vergeet de robot alles wat hij anders wist, zoals het ergens anders plaatsen van een object of het hanteren van verschillende soorten items. Om dit op te lossen, lieten de onderzoekers de robot oefenen op zijn eigen manier met behulp van de instructies die hij al begrijpt. Ze vroegen de robot om diverse taken te proberen die hij eerder had gezien, namen vast wat hij deed, en gebruikten die opnames als extra trainingsdata. Deze methode, die zij zelfgesuperviseerd leren noemen, stelt de robot in staat om zijn oude vaardigheden te herhalen terwijl hij nieuwe leert, waardoor het effectief voorkomt dat hij vergeet wat hij al wist.

De resultaten van dit experiment waren opmerkelijk. Toen het team hun methode testte op een echte robot met twee armen, leerde de robot objecten op te pakken en in manden te plaatsen met een hoge succesratio, zelfs voor taken die hij nooit expliciet door een mens was aangeleerd. In een reeks tests, waarbij een robot die alleen getraind was op menselijke demonstraties voor het oppakken van objecten, volledig vergat hoe hij ze moest plaatsen—waardoor hij de opdracht om een object in een container te bewegen 100% van de tijd faalde—sprong de succesratio voor het plaatsen van objecten naar 55% toen de onderzoekers de zelf gegenereerde oefendata van de robot toevoegden aan de training, en de bekwaamheid van de robot om instructies op te volgen verbeterde aanzienlijk. De robot leerde niet alleen dingen te grijpen; hij leerde de volledige zin te begrijpen, wetend wanneer hij moest stoppen na het oppakken van iets en wanneer hij naar een tweede locatie moest bewegen om het neer te leggen. Dit gold zelfs wanneer de objecten nieuw waren of de opstelling van de items in de kamer anders was dan wat de robot eerder had gezien.

De onderzoekers testten dit idee ook in een gesimuleerde omgeving, een digitale wereld waar robots snel kunnen leren zonder het risico dat de hardware beschadigt. In deze simulaties ontdekten ze dat training op nieuwe taken met enkel menselijke data ervoor zorgde dat de robot zijn vermogen om oude taken uit te voelen verloor, waarbij de succesratio's daalden van meer dan 90% naar minder dan 17%. Door de zelf gegenereerde oefendata van de robot erbij te mengen, herstelden ze het vermogen om de oude taken uit te voeren, waardoor de succesratio's weer boven de 70% uitkwamen, terwijl ook de prestaties op de nieuwe taken verbeterden. Dit suggereert dat de eigen pogingen van de robot, zelfs wanneer ze mislukken, een soort geheugen van de fysieke wereld dragen dat helpt om flexibel te blijven. Het team merkte op dat deze aanpak bijzonder nuttig is omdat het geen toegang vereist tot de oorspronkelijke, enorme datasets die gebruikt zijn om de robot te trainen, welke vaak geheim worden gehouden door de bedrijven die ze creëren. In plaats daarvan genereert de robot zijn eigen leermateriaal direct op de fabrieksvloer of in het huis.

Een van de meest verrassende bevindingen was hoe goed deze methode het vermogen van de robot behield om taken uit te voeren waar hij niet specifiek voor getraind was. De onderzoekers testten een vaardigheid genaamd "duwen", die geen deel uitmaakte van de trainingsdata voor noch de menselijke demonstraties, noch de zelf gegenereerde oefendata. Een robot die alleen getraind was op menselijke demonstraties voor het oppakken en plaatsen van objecten, had de neiging de instructie om te duwen te negeren en probeerde in plaats daarvan het object op te pakken, waardoor de taak mislukte. De robot die getraind was met de zelfgesuperviseerde methode, begreep de instructie om te duwen echter correct en voerde de beweging 70% van de tijd uit. Dit geeft aan dat de zelfgesuperviseerde aanpak de robot helpt om zijn bredere begrip van hoe te bewegen te behouden, in plaats van dat het wordt overschreven door een nauwe set gewoonten. De onderzoekers observeerden dat de robot zelfs complexe situaties kon afhandelen, zoals zich omdraaien om achterom te kijken wanneer een object buiten het zicht was, een gedrag dat de robot die alleen op menselijke data was getraind, niet vertoonde.

De studie benadrukt een fundamentele verschuiving in hoe robots kunnen worden aangepast aan nieuwe omgevingen. In plaats van een robotfout te zien als nutteloze ruis, behandelden de onderzoekers deze als een bron. Door de eigen acties van de robot te gebruiken als een vorm van repetitie, creëerden ze een systeem dat zowel aanpasbaar als robuust is. Het team demonstreerde dat met slechts een minimale hoeveelheid menselijke begeleiding, gecombineerd met de eigen oefening van de robot, een enkele policy (beleid) een grote verscheidenheid aan taken kan leren uitvoeren op een nieuwe machine. Deze aanpak lost het probleem van "catastrofaal vergeten" op, waarbij het leren van iets nieuws ervoor zorgt dat een systeem alles wat het eerder wist, verliest. De onderzoekers vonden dat deze methode niet alleen werkt voor eenvoudige taken zoals het stapelen van blokken, maar ook voor complexe, contact-intensieve taken zoals het invoegen van tandwielen in een bewegende plaat, waarbij de succesratio verbeterde van 30% naar 90%.

Hoewel de methode krachtig is, erkennen de onderzoekers dat deze niet perfect is. De robot neemt soms kleine eigenaardigheden over van zijn zelf gegenereerde data, zoals het vastlopen in een lus van het oppakken en neerzetten van een object, of het slepen aan de rand van een mandje tijdens het proberen te plaatsen van de was binnenin. Deze problemen ontstaan omdat de robot leert van zijn eigen imperfecte pogingen. Om onveilig gedrag te voorkomen, hebben de onderzoekers de slechtste voorbeelden handmatig gefilterd voordat ze voor training werden gebruikt, maar ze merkten op dat het automatiseren van dit proces een noodzakelijke stap zal zijn om de technologie op te schalen. Ondanks deze beperkingen biedt het werk een veelbelovend pad naar het praktischer en gemakkelijker inzetbaar maken van robots. Het suggereert dat de sleutel tot een veelzijdige robot niet alleen ligt in het verzamelen van meer menselijke data, maar in het leren van de machine om van zijn eigen ervaringen te leren, zodat hij zijn kennis met zich mee kan dragen terwijl hij van de ene taak naar de andere gaat.