Learning the Right Abstraction: Neural Reduced Dynamics for Complex Robot Control
Dit artikel introduceert een Neural Reduced Dynamics (NRD)-framework dat optimale staat-abstracties leert om snelle, hoog-doorvoersnelheid beleidstraining in vereenvoudigde modellen mogelijk te maken, waarbij succesvolle zero-shot transfer en superieure controleprestaties in complexe, hoog-getrouwe robotica-simulaties worden bereikt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Robots die zich door de echte wereld bewegen, worden geconfronteerd met een fundamenteel probleem: de fysica van hun beweging is ongelooflijk complex. Wanneer een voertuig met wielen over zachte grond rijdt, of een platform met rupsbanden een rotsachtige heuvel beklimt, duwt de grond terug op manieren die moeilijk te voorspellen zijn. Om een robot te bouwen die deze omstandigheden aankan, vertrouwen ingenieurs vaak op computersimulaties die de echte wereld met extreme precisie nabootsen. Deze simulaties berekenen hoe elk wiel, elke rupsbandverbinding en elk korrel zand met elkaar interageen. Deze precisie komt echter met een hoge prijs. Het draaien van deze gedetailleerde simulaties is zo traag dat het een computer jaren zou kosten om een eenvoudige taak te leren, zoals het besturen van een auto over een veld, omdat de computer niet snel genoeg kan draaien om miljoenen verschillende pogingen te proberen.
Om dit op te lossen, hebben onderzoekers gekozen voor een andere aanpak: het trainen van de robot met behulp van een vereenvoudigde versie van de wereld. Dit is vergelijkbaar met hoe een piloot kan trainen in een vluchtsimulator die het gevoel van vliegen vastlegt zonder dat er elk molecuul lucht gemodelleerd hoeft te worden. De uitdaging ligt in het weten wat je precies moet behouden en wat je moet weggooien. Als de simulatie te simpel is, leert de robot slechte gewoontes die in de werkelijkheid falen. Als het te complex is, verloopt het leren te traag. De vraag is: wat is het juiste niveau van detail om de robot slim maar snel te houden?
Een team van onderzoekers aan de University of Wisconsin–Madison heeft een nieuwe methode ontwikkeld om deze vraag te beantwoorden. Ze hebben een systeem ontwikkeld dat een "gereduceerde" versie van de fysica van een robot leert. In plaats van te proberen elk detail van een complexe machine te voorspellen, leert hun systeem alleen de specifieke variabelen te volgen die relevant zijn voor de taak waar zij aan werken. Voor een voertuig kan dit betekenen dat ze bijhouden hoe snel de wielen draaien en hoeveel gewicht erop drukt, terwijl de exacte positie van elke schroef in de motor wordt genegeerd. Voor een arm kan het betekenen dat ze de hoek van de gewrichten volgen, terwijl de positie van de hand met eenvoudige wiskunde buiten het leerproces wordt berekend. Dit stelt de computer in staat om de simulatie duizenden keren sneller dan voorheen uit te voeren, waardoor het mogelijk is om een robot te trainen door middel van trial-and-error in slechts enkele minuten in plaats van jaren.
De onderzoekers testten dit idee op twee zeer verschillende robots. De eerste was een militair voertuig ontworpen om over ruwe, ongelijke grond te rijden. Ze trainden een controlesysteem binnen hun snelle, vereenvoudigde model om een specifiek pad te volgen over drie soorten terrein: vlakke harde grond, zachte grond waarin de wielen wegzakken, en hobbelige harde grond die de robot nog nooit eerder had gezien. Toen ze de getrainde robot terugplaatsten in de trage, hoogwaardige simulator om te zien of hij het werk daadwerkelijk kon doen, slaagde hij. De robot volgde het pad met hoge precisie op alle drie de oppervlakken. Opmerkelijk genoeg presteerde de enkele robot die op het vereenvoudigde model was getraind beter dan robots die afzonderlijk voor elk specif kind type grond waren getraind. Het hanteerde zelfs het hobbelige terrein perfect, ondanks dat het er nooit op getraind was, wat bewees dat het vereenvoudigde model de ware regels van het rijden had geleerd in plaats van alleen de trainingsgegevens te hebben onthouden.
De tweede test betrof een voertuig met rupsbanden uitgerust met een robotarm. Hierbij splitsten de onderzoekers het probleem op in twee aparte taken. Eerst leerden ze het voertuig om naar een specifieke plek op de grond te rijden. Daarna leerden ze de arm om zijn hand naar een specifiek punt in de ruimte te bewegen. In beide gevallen gebruikten ze hun snelle, vereenvoudigde modellen om de controlesystemen te trainen. De resultaten waren opmerkelijk. Het voertuig reed naar honderd verschillende doelen en stopte telkens binnen een kwart meter van het doel. De robotarm bereikte vierennegentig van de honderd doelen met een precisie van slechts vijf centimeter, zonder de grond of het voertuig zelf te raken. De vereenvoudigde modellen draaiden ongeveer vier ordes van grootte sneller dan de gedetailleerde simulator, wat betekent dat het trainingsproces dat in het trage systeem maanden zou hebben geduurd, in minder dan een uur werd voltooid.
De belangrijkste bevinding van dit werk is dat de beste manier om de wereld van een robot te vereenvoudigen niet is om deze kleiner te maken, maar om er slimmer mee om te gaan wat men behoudt. De onderzoekers ontdekten dat de juiste vereenvoudiging volledig afhangt van wat de robot probeert te doen. Voor het voertuig waren de belangrijkste zaken het volgen van de krachten op de banden en de snelheid van de wielen, omdat deze bepalen hoe het voertuig slipt of wegzakt. Voor de arm waren de belangrijkste zaken de hoeken van de gewrichten, omdat de positie van de hand slechts een wiskundig resultaat is van die hoeken. Door alleen de essentiële fysica te behouden en de rest met eenvoudige formules te berekenen, behield het systeem voldoende nauwkeurigheid om in de echte wereld te werken, terwijl het de snelheid verkreeg die nodig is om te leren.
Deze aanpak bewijst nog niet dat deze robots op fysieke hardware in de echte wereld kunnen werken, aangezien de tests volledig binnen een computer werden uitgevoerd. De resultaten laten echter zien dat een zorgvuldig ontworpen, vereenvoudigd model kan dienen als een krachtige brug tussen de trage, nauwkeurige fysica van de echte wereld en het snelle, massale leren dat nodig is om een robot te onderwijzen. Het suggereert dat we niet alles hoeven te simuleren om een robot te leren; we hoeven alleen de juiste dingen te simuleren. Door zich te concentreren op de specifieke fysica die een taak beheerst, kunnen ingenieurs nu complexe machines trainen om moeilijke omgevingen aan te kunnen met een snelheid en flexibiliteit die voorheen onbereikbaar was.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.