Het aanleren van een robot hoe hij delicate fysieke taken in de echte wereld moet uitvoeren, is een berucht moeilijk proces. In tegenstelling tot computerprogramma's die in een perfect digitaal vacuüm draaien, moeten fysieke machines navigeren in een rommelige omgeving waar één verkeerde beweging een onderdeel kan breken, de machine kan beschadigen, of de machine simpelweg kan laten vastlopen. Om te leren hoe deze valkuilen te vermijden, vertrouwen robots traditioneel op reinforcement learning, een proces van trial-and-error waarbij de machine een actie probeert, ziet wat er gebeurt, en zijn gedrag aanpast op basis van een beloningssignaal. Echter, in de fysieke wereld is dit proces traag en gevaarlijk. Als een robot probeert een stekker in een stopcontact te steken en faalt, kan hij het mechanisme blokkeren of het oppervlak krassen. Bovendien is de "beloning" voor succes vaak zeldzaam; de robot kan duizenden keren proberen voordat hij per ongeluk de stekker erin krijgt, wat het leerproces ongelooflijk inefficiënt maakt. Om dit te versnellen, hebben onderzoekers eerder gekeken naar menselijke leraren, door de robot te laten zien hoe een taak wordt uitgevoerd of hem fysiek te begeleiden wanneer hij vastlowt. Maar deze aanpak heeft een groot gebrek: het vereist dat een mens aanwezig en waakzaam is bij elke trainingssessie, wat uitputtend, duur en onmogelijk schaalbaar is.

Een team van onderzoekers heeft een nieuw systeem ontwikkeld genaamd AutoSERL, dat dit probleem oplost door een robot te onderwijzen met slechts één demonstratie, zonder dat er daarna een mens bij hoeft te staan. Het systeem werkt door één opgenomen voorbeeld te nemen van een mens die een taak succesvol voltooit, en die opname om te zetten in een reeks automatische regels die het leerproces van de robot sturen. De onderzoekers testten dit op zes verschillende moeilijke taken, zoals het insteken van stekkers, het ophangen van objecten aan haken en het openen van laden. In elk geval leerde de robot de taak perfect uit te voeren met slechts dat ene initiële voorbeeld, waarbij hij uiteindelijk beter presteerde dan systemen die getraind waren met twintig voorbeelden of die afhankelijk waren van constante menselijke supervisie. De cruciale innovatie is dat de robot leert herkennen wanneer hij van het pad afwijkt of vastloopt, en zichzelf automatisch corrigeert door terug te grijpen op de enkele demonstratie, waardoor de noodzaak voor een menselijke leraar effectief wordt vervangen.

De kernuitdaging die de onderzoekers aanpakten, was hoe een robot veilig en op het juiste pad te houden zonder dat een mens constant toezicht houdt. Bij eerdere methoden zou een mens ingrijpen wanneer de robot een fout maakte, door de robot fysiek terug naar een veilige positie te bewegen of hem richting het doel te leiden. Deze "human-in-the-loop"-aanpak werkte goed, maar was niet praktisch voor langdurige training. Het nieuwe systeem, AutoSERL, automatiseert dit interventieproces. Het begint met één demonstratietraject, wat simpelweg een opname is van de beweging van de hand van de robot van het begin van een taak naar het einde. Vanuit deze ene opname extraheert het systeem drie specifieke mechanismen om de robot tijdens het leren te begeleiden.

Het eerste mechanisme is een bewegend venster (sliding window) dat fungeert als een bewegende geleiderail. Terwijl de robot de taak probeert uit te voeren, vergelijkt het systeem de huidige positie van de robot voortdurend met het pad dat in de enkele demonstratie wordt getoond. Als de robot te ver afwijkt van het juiste pad, duwt het systeem hem voorzichtig terug naar het dichtstbijzijnde punt op de demonstratielijn. Cruciael is dat deze gids de robot alleen vooruit trekt langs het pad; het trekt de robot nooit achteruit naar een plek die hij al heeft bezocht. Dit voorkomt dat de robot in een lus terechtkomt, waarbij hij heen en weer oscilleert op dezelfde plek, een veelvoorkomende foutmodus wanneer robots zelfstandig moeilijke taken proberen te leren. Omdat de oorspronkelijke demonstratie veilig werd opgenomen, zorgt het volgen van dit pad er ook voor dat de robot obstakels in de omgeving vermijdt.

Het tweede mechanisme gaat om situaties waarin de robot fysiek vastzit, bijvoorbeeld omdat een onderdeel geblokkeerd is of omdat de robot een object in een onhandige hoek vasthoudt. Het systeem monitort de voortgang van de robot en kan detecteren of de robot is gestopt met bewegen of moeite heeft met de interactie met een object. Wanneer dit gebeurt, begeleidt het systeem de robot automatisch terug naar een specifiek, veilig herstelpunt dat in de oorspronkelijke demonstratie is gedefinieerd. Vanaf dat punt speelt het systeem het segment van de demonstratie af dat laat zien hoe men succesvol van dat veilige punt naar de volgende fase van de taak beweegt. Dit stelt de robot in staat om direct uit een doodlopende situatie te komen, zonder te hoeven wachten tot een mens het probleem opmerkt en ingrijpt.

Het derde mechanisme is een regel voor het bepalen wanneer de hulp moet stoppen. Het doel van de training is dat de robot de taak uiteindelijk zelfstandig leert, dus het systeem is ontworpen om de automatische begeleiding uit te schakelen zodra de robot genoeg heeft geleerd. Het systeem telt hoe vaak er tijdens een trainingssessie moet worden ingegrepen. Als de robot de taak succesvol voltooit met zeer weinig interventies, gaat het systeem ervan uit dat de robot de vaardigheid heeft geleerd en schakelt het alle verdere begeleiding uit. Dit stelt de robot in staat om zijn eigen bewegingen te verkennen en te verfijnen zonder beperkt te worden door de demonstratie, waardoor hij een robuust en onafhankelijk beleid ontwikkend.

De onderzoekers testten dit framework op twee verschillende robotarmen die zes verschillende taken uitvoerden. Deze taken werden gekozen omdat ze nauwkeurig fysiek contact vereisen en zeer weinig ruimte laten voor fouten. De taken omvatten het insteken van een stekker in een stopcontact, het insteken van een USB-stick, het ophangen van een correctietape dispenser, een kledinghanger en een lepel aan een haak, en het openen van een lade met een haak. Bij de insertietaken bereikte de robot die met AutoSERL trainde met slechts één demonstratie een succespercentage van 100 procent. Vergeleken met andere methoden waren de resultaten duidelijk. Een systeem dat getraind is met twintig demonstraties slaagde er niet in om in dezelfde tijd hetzelfde succesniveau te bereiken. Een systeem dat simpelweg de bewegingen van de mens kopieerde zonder te leren, slaagde er niet in zich aan te passen aan kleine veranderingen in positie. Zelfs een systeem dat vertrouwde op een menselijke interventie telkens wanneer de robot vastliep, had langer nodig om de taak te leren dan het geautomatiseerde systeem, of had evenveel tijd nodig om vergelijkbare resultaten te behalen.

De studie onderzocht ook hoe goed de robot kon omgaan met veranderingen in de omgeving. In één test verplaatsten de onderzoekers de startpositie van het object dat de robot moest inpluggen met enkele centimeters. Zelfs met deze verandering leerde de robot die met AutoSERL trainde sneller en was hij succesvoller dan een robot die zonder de automatische begeleiding werd getraind. Dit suggereert dat het systeem niet alleen het exacte pad memoriseert dat de mens nam, maar de onderliggende logica van de taak leert en kan zich aanpassen aan nieuwe startpunten. De onderzoekers vonden ook dat het systeem robuust was over verschillende willekeurige startcondities en consequent hoge succespercentages behaalde, ongeacht hoe de training werd geïnitialiseerd.

Hoewel de resultaten indrukwekkend zijn, erkennen de onderzoekers dat het systeem beperkingen heeft. Het herstelmechanisme is afhankelijk van de informatie die in die enkele demonstratie is opgenomen. Als een robot een foutmodus tegenkomt die nooit in de oorspronkelijke opname is getoond, weet het systeem mogelijk niet hoe het moet herstellen. Bijvoorbeeld, als een robot op een manier vastloopt die volledig anders is dan de oorspronkelijke taak, heeft de automatische gids mogelijk geen oplossing. De onderzoekers suggereren dat toekomstig werk gebruik kan maken van meerdere demonstraties om een robuuster herstelmechanisme te creëren dat een grotere verscheidenheid aan fouten kan afhandelen. Daarnaast is het huidige systeem ontworpen voor taken waarbij de robot zijn hand in zes vrijheidsgraden beweegt, en het is nog niet duidelijk hoe goed het zou werken voor complexere acties waarbij veel bewegende delen betrokken zijn.

Ondanks deze beperkingen vormen de bevindingen een belangrijke stap voorwaarts in het praktisch maken van robotisch leren. Door de noodzaak van een menselijke leraar te vervangen door een slim, geautomatiseerd systeem dat leert van een enkel voorbeeld, hebben de onderzoekers aangetoond dat robots moeilijke fysieke taken efficiënt en veilig kunnen leren. Het systeem overbrugt succesvol de kloof tussen de veiligheid van menselijke begeleiding en de onafhankelijkheid die nodig is voor een robot om zelfstandig te leren. In de zes geteste taken presteerde de geautomatiseerde aanpak niet alleen op hetzelfde niveau als menselijk gesuperviseerde training, maar overtrof het vaak andere geautomatiseerde baselines, wat bewijst dat een enkele, goed gestructureerde demonstratie voldoende is om het potentieel van real-world robotic learning te ontsluiten.