FAME: Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid

Dit paper introduceert FAME, een kracht-adaptief versterkingsleerframework dat een staande politiek voor een volledig formaat humanoid robot (Unitree H12) in staat stelt om bimanuele manipulatie en externe krachten te weerstaan door gebruik te maken van een geleerde latente context, waardoor de stabiliteit aanzienlijk verbetert zonder afhankelijkheid van pols-sensoren.

De kern

Stel je voor dat je een zware doos draagt terwijl je op één been staat. Als je die doos naar links beweegt, moet je lichaam automatisch je rechterbeen iets meer belasten om niet om te vallen. Een mens doet dit onbewust en razendsnel. Een robot daarentegen is vaak als een stijve pop die niet goed weet hoe hij moet reageren als hij iets draagt en tegelijkertijd wordt duw of getrokken.

Dit paper introduceert FAME, een slimme manier om robots (specifiek mensachtige robots) te leren hoe ze stabiel kunnen blijven staan, zelfs als ze met hun handen zware lasten dragen of duwkrachten voelen.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Stijve Pop"

Normaal gesproken zijn robots getraind om te staan of te lopen op een vlakke vloer. Maar als je een robot vraagt om een zware kist te tillen of als iemand tegen zijn hand duwt, verandert het evenwicht.

• De analogie: Stel je voor dat je een poppetje hebt dat op een touw staat. Als je aan de armen van het poppetje trekt, valt het om, tenzij het poppetje weet waar je trekt en hoe hard.
• Het probleem voor robots: De robot voelt de duwkracht niet direct (vaak hebben ze geen kracht-sensoren in hun polsen). Hij moet raden wat er gebeurt op basis van de beweging van zijn gewrichten. Zonder hulp is hij vaak te traag of te verward om niet om te vallen.

2. De Oplossing: FAME (De "Sluimerende Sensor")

FAME is een slim algoritme dat de robot een soort intern kompas geeft. Het werkt in twee stappen:

Stap A: De "Geheime Vertaler" (De Encoder)
De robot heeft een speciale "vertaler" in zijn hoofd. Deze vertaler kijkt naar twee dingen:

1. Hoe zijn armen en romp precies staan (bijvoorbeeld: armen wijd uitgestrekt of dicht bij elkaar).
2. Hoe hard er op de handen wordt geduwd of getrokken.

Deze vertaler maakt van die twee ingewikkelde gegevens één simpel signaal: een "geheime code" (een latente context).

• De analogie: Het is alsof je een vriend hebt die naar een storm kijkt en naar hoe je je jas vasthoudt. Die vriend zegt niet: "Er waait 30 km/u uit het noorden," maar geeft je gewoon een knipoog en zegt: "Houd je even stevig vast, het wordt turbulent." Die knipoog is de geheime code die de robot gebruikt om zijn benen aan te passen.

Stap B: De "Oefening met Variatie" (Curriculum Learning)
Tijdens het trainen in de computerwereld (simulatie) krijgen de robots geen saaie, vaste oefeningen. Ze krijgen een progressieve training:

• Eerst oefenen ze met lichte duwtjes en simpele houdingen.
• Naarmate ze beter worden, krijgen ze zwaardere lasten, duwen ze in willekeurige richtingen (als een storm die uit alle hoeken komt) en moeten ze in steeds vreemdere houdingen staan.
• De analogie: Het is als leren fietsen. Eerst op een vlakke weg met wieltjes, dan op een heuvel, en uiteindelijk in de regen met een volle tas. Door dit te doen, leert de robot niet één trucje, maar hoe hij zich aanpast aan alles.

3. Het Magische Trucje: Zonder Sensoren

Meestal hebben robots dure sensoren in hun polsen nodig om te voelen hoeveel kracht er op staat. FAME is slim genoeg om dit zonder die sensoren te doen.

• Hoe? De robot kijkt naar de spanning in zijn eigen spieren (de motoren in zijn gewrichten). Als de robot een zware doos vasthoudt, moeten de motoren harder werken. De robot rekent uit: "Als mijn spieren zo hard werken, moet er wel een zware last zijn."
• De analogie: Het is alsof je een zware koffer draagt. Je voelt niet direct de koffer, maar je merkt dat je schouders en rug spieren aan het branden zijn. Je hersenen concluderen daaruit: "Oh, ik draag iets zwaars, ik moet mijn benen verder spreiden." De robot doet precies hetzelfde, maar dan met wiskunde.

4. De Resultaten: Van "Valpartij" naar "Stevig Stand"

De onderzoekers testten dit op een echte robot (de Unitree H12) en in de computerwereld.

• Zonder FAME: De robot viel vaak om als hij iets droeg of als er werd geduwd. Hij wist niet hoe hij zijn evenwicht moest aanpassen.
• Met FAME: De robot bleef staan, zelfs als hij een zware last had of als er asymmetrisch (scheef) werd getrokken.
• De cijfers: Waar een standaard robot maar in ongeveer 30% van de gevallen stabiel bleef, lukte dit met FAME in 74% van de gevallen.

Conclusie

FAME is als het geven van een intuïtie aan een robot. In plaats van alleen te leren "hoe ik sta", leert de robot "hoe ik sta terwijl ik iets doe". Het koppelt wat de handen doen direct aan wat de benen moeten doen, zodat de robot niet meer als een stijve pop omvalt, maar als een vaardige acrobaat blijft staan, zelfs onder druk.

Dit is een grote stap voorwaarts voor robots die in onze huizen of fabrieken moeten werken, waar ze vaak onvoorspelbare dingen moeten vasthouden en dragen zonder om te vallen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "FAME: Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid" in het Nederlands.

Probleemstelling

Humanoid robots die in mensgerichte omgevingen opereren, moeten vaak bimanuele (tweehandige) manipulatie uitvoeren terwijl ze stabiel blijven staan. Een fundamentele uitdaging hierbij is dat externe krachten die op de handen worden uitgeoefend (bijvoorbeeld bij het tillen of duwen van objecten), zich door de kinematische keten voortplanten en de balans van de onderlichaam direct verstoren.

Zonder actieve mitigatie beperken deze interactiekrachten de manipulatieomvang (manipulation envelope): het gebied van toelaatbare externe krachten en armconfiguraties waarbij de robot stabiel kan blijven staan. Traditionele modelgebaseerde methoden (zoals MPC of LIPM) hebben moeite met deze dynamische, onzekere verstoringen. Bestaande Deep Reinforcement Learning (DRL) benaderingen kampen vaak met de complexiteit van de gekoppelde staatruimte, waarbij de kracht afhankelijk is van zowel de grootte/richting van de last als de geometrische configuratie van de armen.

Methodologie: FAME

De auteurs stellen FAME (Force-Adaptive RL) voor, een framework dat een staand beleid (standing policy) conditioneert op een geleerde latente context. Dit stelt de robot in staat om online aan te passen aan variërende krachten zonder expliciete modellering van de verstoring.

Het systeem bestaat uit twee hoofdcomponenten:

1. Upper-Body Context Encoder:

   • Deze encoder verwerkt de toestand van de bovenlichaam (torso en armgewrichten, $q_{ub} \in \mathbb{R}^{15}$) en de geschatte interactiekrachten op beide polsen ($F_L, F_R \in \mathbb{R}^3$).
   • De encoder mapt deze input naar een compacte latente context vector $z_t \in \mathbb{R}^8$.
   • Deze vector konditioneert het basisbeleid voor het onderlichaam, waardoor het onderlichaam zijn controlestrategie kan aanpassen aan de huidige belasting van de bovenlichaam.

2. Trainingsstrategie (Curriculum & Randomisatie):

   • Krachtcurriculum: Tijdens training worden willekeurige 3D-krachten gespherisch gesampled en op de handen toegepast.
   • Positiecurriculum: Er wordt een "upper-body pose curriculum" gebruikt (gebaseerd op OpenHomie) dat de variatie in armposities geleidelijk uitbreidt naarmate de stabiliteit verbetert. Dit zorgt ervoor dat de policy wordt blootgesteld aan een breed scala aan geometrische configuraties.
   • Baselines: De auteurs vergelijken drie varianten:
     • Base: Geen curriculum, geen encoder.
     • Base+Curr: Alleen curriculum (variërende posities), maar geen encoder voor krachten.
     • FAME: Combinatie van curriculum en de kracht-geconditioneerde encoder.

3. Sensor-vrije Implementatie (Deployment):

   • Een cruciaal aspect is dat FAME geen kracht/torque-sensoren aan de polsen vereist.
   • Tijdens inzet wordt de interactiekracht geschat op basis van de robotdynamica: gemeten gewrichtsmomenten ($\tau$) worden gecorrigeerd voor zwaartekracht ($\tau_g$) en via de Jacobiaan ($J$) omgezet naar Cartesiaanse krachten: $F_{ext} = -(J^\top)^\dagger (\tau - \tau_g)$.

Belangrijkste Bijdragen

1. Force-Adaptive Framework: Een nieuw RL-framework dat een latente context gebruikt om de koppeling tussen bovenlichaam-configuratie en interactiekrachten te coderen, wat leidt tot robuuste balans.
2. Sensor-vrije Krachtschatting: Een strategie om polsinteractiekrachten te schatten puur op basis van gewrichtsmomenten en kinematica, wat de hardware-eisen verlaagt.
3. Uitbreiding van de Manipulatieomvang: Het bewijzen dat het expliciet coderen van kracht-configuratie koppelingen de succeskans van het staan onder verstoringen aanzienlijk verhoogt.
4. Real-World Validatie: Succesvolle implementatie en evaluatie op een volledige Unitree H12 humanoid robot.

Resultaten

Simulatie:
De prestaties werden getest op vijf vaste armconfiguraties met randomiseerde handkrachten.

• FAME bereikte een gemiddelde succesratio van 73,84%.
• De Base+Curr baseline (alleen curriculum) behaalde 51,40%.
• De Base policy (geen curriculum, geen encoder) behaalde slechts 29,44%.
• Vooral bij asymmetrische en voorwaarts-reikende posities (waarbij de koppelarm groot is) faalde de Base policy volledig (0% succes), terwijl FAME hier robuust bleef (bijv. 81,6% bij "Forward Extended").

Real-World Experimenten (Unitree H12):
De robot werd getest in twee scenario's:

1. RE1 (Asymmetrisch): Een arm draagt een last (30 N).
2. RE2 (Symmetrisch): Beide armen dragen een last.

• Met FAME: De robot bleef stabiel staan; de gewrichtstrajecten (heup, enkel, elleboog) bleven dicht bij de nominale stand.
• Zonder FAME (Base+Curr): De robot verloor het evenwicht en viel. De gewrichten dreven weg van de stabiele configuratie omdat het beleid de externe verstoring niet adequaat kon compenseren.

Betekenis en Conclusie

FAME demonstreert dat het expliciet leren van een latente representatie van de koppeling tussen bovenlichaamshouding en interactiekrachten essentieel is voor het stabiliseren van humanoid robots tijdens bimanuele taken. Door deze context te gebruiken, kan de onderlichaam-controllers niet alleen reageren op onzichtbare verstoringen, maar proactief anticiperen op de richting en grootte van de kracht op basis van de armpositie.

Dit onderzoek opent de weg voor humanoid robots die zwaardere en complexere taken kunnen uitvoeren in menselijke omgevingen zonder afhankelijk te zijn van dure of kwetsbare kracht-sensoren aan de polsen, en breidt het gebied van haalbare manipulatietaken aanzienlijk uit.