SteadyTray: Learning Object Balancing Tasks in Humanoid Tray Transport via Residual Reinforcement Learning

Deze paper introduceert ReST-RL, een hiërarchische reinforcement learning-architectuur die locomotie en ladingstabilisatie ontkoppelt om robuust en stabiel tray-transport voor humanoïde robots te realiseren, zoals aangetoond door de succesvolle simulatie- en realiteitstests op de Unitree G1.

De kern

SteadyTray: Hoe een robotleerling een trillend dienblad stabiel houdt

Stel je voor dat je een dienblad met een glas wijn (vol tot de rand) en een kopje koffie moet dragen door een drukke, onrustige gang. Je loopt, je draait, je stopt plotseling, en misschien duwt iemand je zelfs even aan. Als je niet heel voorzichtig bent, schudt het glas, loopt de koffie over of valt het glas om.

Dit is precies het probleem dat robotjes met twee benen (humanoids) hebben. Als ze lopen, trilt hun hele lichaam. Die trillingen gaan door hun armen naar het dienblad, wat zorgt voor een onstabiele rit.

De onderzoekers van dit papier hebben een slimme oplossing bedacht genaamd ReST-RL. Laten we uitleggen hoe dit werkt met een paar alledaagse vergelijkingen.

1. Het probleem: De "Twee-in-één" Dilemma

Vroeger probeerden robotjes om alles in één keer te leren: "Hoe loop ik?" én "Hoe houd ik het dienblad stabiel?" tegelijkertijd.

• De analogie: Dit is alsof je probeert te leren fietsen terwijl je tegelijkertijd een bord soep op je hoofd probeert te houden. Je hersenen worden overbelast en je maakt veel fouten. De robot probeert te lopen, maar vergeet dan het dienblad, of hij probeert het dienblad stabiel te houden en valt dan zelf om.

2. De oplossing: De Meester en de Leerling

De nieuwe methode, ReST-RL, splitst het probleem op in twee duidelijke rollen:

• De Meester (De Basis): Eerst leert de robot gewoon goed lopen. Hij wordt een expert in lopen, draaien en zijn evenwicht houden, alsof hij een ervaren wandelaar is. Hij krijgt een "rozenkrans" (een vaste strategie) die hij niet meer mag veranderen. Hij weet precies hoe hij moet stappen.
• De Leerling (De Residuele Module): Daarna komt er een slimme assistent bij. Deze assistent kijkt niet naar hoe de robot loopt (dat doet de Meester al perfect), maar kijkt alleen naar het dienblad en de voorwerpen erop.
  • De analogie: Stel je voor dat de Meester een danser is die een vaste choreografie doet. De Leerling is een kleine, snelle coach die naast hem staat. Als de danser een kleine trilling maakt, zegt de coach: "Hé, je arm zakt net iets te veel! Maak een klein correctiebewegingje!" De coach voegt alleen kleine, noodzakelijke correcties toe aan de dans van de Meester.

3. Hoe werkt het in de praktijk?

De robot gebruikt twee soorten "ogen":

1. De Meester-ogen: Kijken naar de robot zelf (zijn benen, zijn gewrichten).
2. De Leerling-ogen: Kijken naar het dienblad en de voorwerpen (via een camera).

Wanneer de robot loopt en er komt een duw (bijvoorbeeld omdat iemand tegen hem aan loopt), ziet de Leerling dat het glas begint te wiebelen. De Leerling stuurt dan een heel klein signaal naar de robotarmen om het glas weer recht te zetten. Dit gebeurt zo snel en subtiel dat de robot zijn loopstijl niet verliest.

4. De "Tijdsvertraging" Truc

Een heel slimme truc die ze hebben gebruikt, is het bewust vertragen van de beelden die de robot ziet.

• De analogie: In de echte wereld duurt het even voordat een camera een beeld verwerkt (net als wanneer je een video streamt met een kleine vertraging). Als je robot traint met perfecte, directe beelden, werkt hij in de echte wereld niet goed.
• De onderzoekers hebben de robot tijdens het trainen dus "blind" gemaakt voor een fractie van een seconde. Ze hebben gezegd: "Gebruik beelden van 0,1 seconde geleden." Hierdoor leert de robot om te anticiperen op wat er gaat gebeuren, in plaats van alleen te reageren op wat er nu gebeurt. Dit maakt hem veel robuuster in de echte wereld.

5. Wat hebben ze bewezen?

Ze hebben dit getest op een echte robot (een Unitree G1) in de echte wereld.

• Het resultaat: De robot kon een dienblad dragen met een glas wijn (vol met water!) en zelfs medische instrumenten.
• De test: Ze duwden de robot, duwden het glas, en lieten de robot versnellen en remmen.
• De uitkomst: Het glas bleef rechtop staan, de wijn spatte niet over, en de robot viel niet om. Zelfs als ze een heel ander voorwerp op het dienblad legden (zoals een koffiebekertje of een flesje), werkte het meteen zonder dat ze de robot opnieuw hoefden te programmeren.

Samenvatting

Kortom: In plaats van de robot te dwingen om alles in één keer perfect te doen, hebben ze een systeem van Meester en Leerling bedacht. De Meester zorgt dat de robot niet valt, en de Leerling zorgt dat het dienblad niet lekt. Door slimme trucjes met vertragingen en het trainen in een virtuele wereld, kan deze robot nu als een professionele ober door een drukke kamer lopen, zelfs als er tegen hem aan geduwd wordt.

Dit is een grote stap voor robots die in de toekomst misschien in ziekenhuizen of restaurants kunnen helpen, waar ze delicate voorwerpen moeten vervoeren zonder ze te laten vallen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SteadyTray: Learning Object Balancing Tasks in Humanoid Tray Transport via Residual Reinforcement Learning" in het Nederlands.

1. Probleemstelling

Het transporteren van onbeveiligde, losse ladingen (zoals een glas met vloeistof of medische instrumenten) op een dienblad door een bipedale humanoïde robot tijdens het lopen, vormt een kritieke uitdaging.

• De Kernuitdaging: Dynamisch lopen veroorzaakt inherent oscillaties en trillingen in de romp van de robot. Deze verstoringen propageren via de kinematische keten naar de bovenlichaam en de end-effectors (handen).
• Het Conflict: Er bestaat een fundamenteel conflict tussen twee doelen:
  1. Locomotie: Het genereren van agile, dynamische loopgangen.
  2. Stabilisatie: Het handhaven van een perfect horizontale oriëntatie van het dienblad om te voorkomen dat de lading glijdt, kantelt of omvalt.
• Beperkingen van bestaande methoden: Bestaande benaderingen zijn vaak monolithisch (end-to-end learning), wat leidt tot instabiliteit bij verstoringen, of ze focussen alleen op de stabilisatie van een vast object aan de hand, niet op losse objecten op een dienblad tijdens complexe manoeuvres zoals draaien, versnellen of bij externe duwen.

2. Methodologie: ReST-RL

De auteurs introduceren ReST-RL (Residual Student-Teacher Reinforcement Learning), een hiërarchisch framework dat locomotie en ladingstabilisatie expliciet ontkoppelt.

A. Architectuur
Het framework bestaat uit twee hoofdcomponenten:

1. Basisbeleid (Base Policy): Een robuust, vooraf getraind locomotiebeleid dat zorgt voor stabiel lopen en het dragen van een dienblad, maar geen specifieke stabilisatie van losse objecten leert.
2. Residumodule (Residual Module): Een extra laag die correctieve acties leert om de verstoringen van de loopgang te compenseren. Deze module wordt opgeteld bij het basisbeleid.

B. Twee Integratiemechanismen
De auteurs onderzoeken twee manieren om de residumodule te integreren:

• Residual Action Adapter: Voegt een correctieve actie ($\tilde{a}_t$) direct toe aan de basisactie ($a_t$).
• Residual FiLM Adapter: Gebruikt "Feature-wise Linear Modulation" (FiLM) om de interne activaties van de bevroren basislaag te moduleren op basis van de ladingstoestand.

C. Leerproces (Student-Teacher Distillatie)
Om het probleem van "Sim-to-Real" (overdracht van simulatie naar de echte wereld) op te lossen, wordt een twee-staps trainingsproces gebruikt:

1. Privileged Training (Teacher): De residumodule wordt getraind met geprivilegieerde observaties (privileged observations), zoals de exacte snelheid en positie van het object en het dienblad, die in de echte wereld niet direct en perfect beschikbaar zijn.
2. Distillatie (Student): Een "student-encoder" wordt getraind om dezelfde correctieve acties te voorspellen, maar dan uitsluitend gebaseerd op beschikbare observaties (zoals camerabeelden van het object en proprioceptie). De adapter (de correctie-deel) blijft hierbij bevroren. Dit zorgt ervoor dat het beleid robuust is tegen perceptie-ruis en vertraging.

D. Trainingsstrategie en Beloningen

• Vertraging en Ruis: Er wordt bewust observatievertraging (delay) en ruis toegevoegd aan de objectobservaties om de realiteit van sensorvertraging na te bootsen.
• Beloningsfunctie (Reward): De basisbeleid wordt geoptimaliseerd voor lopen. Het residubeleid wordt geoptimaliseerd voor een combinatie van lopen én het rechtop houden van het object (gebaseerd op de zwaartekrachtvector en contact met het dienblad).
• Domeinrandomisatie: Massa, wrijving, en de positie van het object worden gevarieerd tijdens training om generalisatie te bevorderen.

3. Belangrijkste Bijdragen

• ReST-RL Framework: Een nieuw RL-framework dat een vooraf getraind locomotiebeleid uitbreidt met een residumodule voor payload-stabilisatie, zonder de onderliggende loopstabiliteit te degraderen.
• Architecturale Ontkoppeling: Het bewijs dat het expliciet scheiden van locomotie en stabilisatie leidt tot superieure prestaties vergeleken met monolithische end-to-end benaderingen.
• Robuuste Sim-to-Real: Een trainingsparadigma dat gebruikmaakt van distillatie van geprivilegieerde informatie en observatievertraging, wat resulteert in een "zero-shot" overdracht naar de echte wereld zonder fijnafstelling.
• SteadyTray Benchmark: Een nieuwe benchmark voor het transporteren van onbeveiligde objecten op een dienblad, inclusief tests met vloeistoffen en externe verstoringen.

4. Resultaten

De methode is geëvalueerd in simulatie (Isaac Lab) en op echte hardware (Unitree G1 humanoïde).

• Simulatieprestaties:

  • Succespercentage: ReST-RL bereikte een succespercentage van 96,9% bij variabele snelheidsopdrachten, significant hoger dan end-to-end baselines (89,1%) en basisbeleidsmodellen (47,4%).
  • Robuustheid: Bij externe duwen op de robot of het object behaalde ReST-RL een robuustheid van 74,5%, terwijl end-to-end modellen vaak faalden (44,0% en 50,2%).
  • Vergelijking: De FiLM-adapter variant presteerde over het algemeen het beste, maar alle ReST-RL varianten overtroffen de baselines aanzienlijk in het handhaven van de objectoriëntatie.

• Echte Wereld (Unitree G1):

  • Zero-Shot Generalisatie: Het beleid werd direct succesvol toegepast op de Unitree G1 zonder retraining.
  • Verschillende Objecten: Het systeem slaagde in het stabiel vervoeren van diverse objecten, waaronder een gevuld wijnglas, een koffiekopje, medische instrumenten en een voedselcontainer.
  • Verstoringen: De robot kon zich herstellen van externe duwen (zowel op de robot als op het object) en het dienblad horizontaal houden, waardoor vloeistof niet overliep en objecten niet omvielen.

5. Betekenis en Impact

Dit werk is significant voor de ontwikkeling van humanoïde robots in service- en zorgomgevingen:

• Praktische Toepassbaarheid: Het lost een van de grootste obstakels op voor het gebruik van humanoïden in ongestructureerde omgevingen: het veilig vervoeren van kwetsbare of vloeibare ladingen.
• Efficiëntie: Door het gebruik van een vooraf getraind basisbeleid en alleen de stabilisatielaag te leren, wordt de trainingskosten verlaagd en de stabiliteit gegarandeerd.
• Toekomstperspectief: De aanpak biedt een blauwdruk voor complexe loco-manipulatie taken waarbij visuele feedback en contactkrachten essentieel zijn, maar waarbij de basisbeweging (lopen) stabiel moet blijven. Het toont aan dat residulernen een krachtige tool is om de kloof tussen simulatie en de realiteit te overbruggen bij dynamische taken.

Kortom, SteadyTray met ReST-RL bewijst dat humanoïde robots in staat zijn om complexe, onbeveiligde ladingen stabiel te vervoeren in dynamische omgevingen, een stap dichter bij het realiseren van robuuste service-robots voor de mens.