DRL-EnSave: energy-aware deep reinforcement learning for variable- payload robotic pick-and-place under tact constraints

In het kloppende hart van een moderne fabriek bewegen robotarmen met een precisie die bijna moeiteloos lijkt, waarbij ze duizenden keren per uur objecten optillen, draaien en plaatsen. Deze machines vormen de ruggengraat van geautomatiseerde assemblage en verwerken alles, van minuscule elektronische componenten tot zware dozen. Toch zijn ze, ondanks al hun snelheid, niet immuun voor de wetten van de fysica of de eisen van het elektriciteitsnet. Elke keer dat een robot versnelt om een item te pakken en vervolgens afremt om het neer te zetten, verbruikt hij elektriciteit. Deze energiekosten zijn niet vast; ze veranderen afhankelijk van hoe zwaar het object is en hoe snel de fabriekslijn vereist dat het wordt verplaatst. Als een robot een lichte doos haastig naar een nabijgelegen plek brengt, verspilt hij mechanische energie aan onnodig afremmen en opnieuw accelereren. Als hij langzamer beweegt, kan hij vaak een aanzienlijke hoeveelheid energie besparen. De uitdaging voor ingenieurs is geweest om het perfecte evenwicht te vinden: snel genoeg bewegen om de productielijn draaiende te houden, maar langzaam genoeg om energie te besparen, terwijl het gewicht van de gehanteerde items van cyclus naar cyclus verandert.

Een team onderzoekers van de Nanjing University of Industry Technology en Nanjing Qishun Technology Co., Ltd. heeft dit probleem aangepakt door een gedetailleerde digitale simulatie van een zesassige robotarm te maken, specifiek een model dat bekend staat als de UR5e. Ze bouwden een virtuele omgeving waarin deze robot een standaard pick-and-place taak uitvoert, waarbij objecten van een startpunt naar een bestemming worden verplaatst. In hun simulatie varieerde het gewicht van de gedragen items tussen 0,5 kilogram en 3,0 kilogram, en de tijd die beschikbaar was om elke beweging te voltooien, werd aangepast over negen verschillende niveaus, van zeer strakke deadlines tot meer ontspannen schema's. De onderzoekers gokten niet simpelweg op de beste manier om te bewegen; ze maten het werkelijke energieverbruik van de robot in hun simulatie om de ware grenzen van efficiëntie in kaart te brengen. Ze ontdekten een duidelijke, voorspelbare relatie: naarmate de tijd die voor een taak beschikbaar is toeneemt, daalt de energie die nodig is om deze te voltooien gestaag. Deze relatie, die zij een energie-tact front noemen, laat zien dat een robot tussen de 25 en 30 procent van zijn energie kan besparen ten opzichte van zijn snelst mogelijke snelheid, simpelweg door genoeg te vertragen om binnen een iets langer tijdsvenster te passen.

Om deze ontdekking in de praktijk toe te passen, ontwikkelden de onderzoekers een eenvoudig, op regels gebaseerd systeem dat zij een closed-form scheduler noemen. In tegen tegenstelling tot complexe computerprogramma's die proberen het perfecte pad in realtime te berekenen, werkt dit systeem als een slimme snelheidsmeter. Het controleert constant hoeveel tijd er nog over is om de klus te klaren en hoe ver de robot van zijn doelwit verwijderd is. Als er veel tijd is, vertraagt het de robot voorzichtig om energie te besparen. Als de tijd krap wordt, versnelt het net genoeg om volgens schema te voltooien. De schoonheid van deze aanpak is dat het niet hoeft te weten wat het exacte gewicht van het object is of zware berekeningen hoeft uit te voeren terwijl de robot beweegt. In tests met honderden verschillende scenario's met diverse gewichten en tijdslimieten, gebruikte deze eenvoudige scheduler consequent ongeveer 8,8 procent minder energie dan een robot die geprogrammeerd is om zo snel mogelijk te bewegen. Zelfs toen het getest werd met gewichten die het nog nooit eerder had gezien, bleef het systeem betrouwbaar en bespaarde het ongeveer 8,1 procent aan energie zonder ooit een deadline te missen.

De onderzoekers verkenden ook of kunstmatige intelligentie, specifief een type leren dat deep reinforcement learning wordt genoemd, het beter kon doen. Ze trainden digitale agenten om de beste manier van bewegen te leren door succesvolle voorbeelden te observeren en het energieverbruik te minimaliseren. Wanneer de tijdslimieten ruim waren, presteerden deze lerende agenten net zo goed als de eenvoudige scheduler. Echter, wanneer de deadlines strikter werden, begonnen de lerende agenten te falen. Ze bewogen vaak te snel aan het begin, waardoor er geen ruimte meer overbleef voor fouten aan het einde, en misten daard van de deadline volledig. De studie herleidde dit falen niet naar een gebrek aan intelligentie of een slecht model van de robot, maar naar een specifiek probleem genaamd margin erosion (marge-erosie). De lerende agenten leerden niet om een veiligheidsbuffer van tijd te bewaren voor de laatste momenten van de beweging. De eenvoudige scheduler bewaakt daarentegen expliciet deze buffer, waardoor wordt gegarandeerd dat de robot nooit te laat komt.

De uiteindelijke bevinding van het werk is dat de meest efficiënte manier om deze robots aan te sturen niet noodzakelijkerwijs via complexe leeralgoritmen verloopt, maar door een duidelijk begrip van de fysieke limieten van de machine. De onderzoekers toonden aan dat een eenvoudige, wiskundig afgeleide regel de theoretische limiet van energie-efficiëntie bijna perfect kan volgen, waarbij het binnen 2,5 procent van de best mogelijke prestatie blijft. Deze op regels gebaseerde aanpak is robuust en werkt betrouwbaar over verschillende gewichten en tijdsbeperkingen zonder dat er opnieuw getraind hoeft te worden. Hoewel methoden gebaseerd op leren veelbelovend zijn, suggereert de studie dat ze zorgvuldig gestuurd moeten worden om dezelfde tijdsbuffers te respecteren die de eenvoudige regel afdwingt. Door de aanpasbaarheid van leren te combineren met de veiligheid van een vaste regel, kunnen ingenieurs robotsystemen creëren die zowel energiezuinig als betrouwbaar zijn, waardoor de fabrieken van de toekomst niet alleen sneller, maar ook slimmer en schoner draaien.