FAME: Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid

Das Paper stellt FAME vor, ein force-adaptives Reinforcement-Learning-Framework, das die Stabilität eines vollskaligen Humanoiden unter externen Handkräften verbessert, indem es eine stehende Policy auf einen latenten Kontext konditioniert, der Gelenkkonfigurationen und Interaktionskräfte kodiert, was zu einer signifikant höheren Erfolgsrate bei der Manipulation führt und ohne Drehmoment-Sensoren am Handgelenk funktioniert.

Das Wesentliche

Stell dir vor, du bist ein Roboter, der auf zwei Beinen steht. Deine Aufgabe ist es, mit beiden Händen schwere Kisten zu tragen, Schubkarren zu ziehen oder Werkzeuge zu benutzen. Das klingt einfach, aber für einen Roboter ist das wie ein Hochseilakt: Sobald du mit den Händen etwas anfasst oder ziehst, verändert sich dein gesamtes Gleichgewicht. Wenn du eine schwere Kiste nach links ziehst, willst du nicht nach links umkippen.

Das ist genau das Problem, das die Forscher in diesem Papier mit ihrem neuen System namens FAME lösen wollen.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "versteckte" Wind

Stell dir vor, du stehst auf einer Wippe. Wenn du plötzlich mit einer Hand etwas schweres hochhebst, musst du automatisch deine Beine und deinen Oberkörper verstellen, damit du nicht herunterfällst. Ein normaler Roboter macht das oft nicht gut genug. Er weiß zwar, dass er etwas trägt, aber er versteht nicht genau, wie die Kraft wirkt, wenn er die Arme in verschiedenen Winkeln hält.

Frühere Roboter waren wie jemand, der versucht, auf einem Boot zu stehen, ohne zu wissen, in welche Richtung die Wellen kommen. Sie waren starr und kippten schnell um, sobald die Arme eine ungewohnte Position einnahmen oder eine Kraft von außen kam.

2. Die Lösung: FAME – Der "Gefühls-Sensor" im Kopf

FAME (Force-Adaptive RL) ist wie ein super-intelligenter Trainer, der dem Roboter beibringt, nicht nur zu sehen, was er tut, sondern auch zu fühlen, was mit seinen Armen passiert.

Das System besteht aus zwei Teilen, die wie ein Team arbeiten:

• Der "Gedächtnis-Trainer" (Das Curriculum): Zuerst übt der Roboter in einer Simulation. Aber nicht einfach nur stehen. Der Trainer gibt ihm immer wieder neue Aufgaben: "Heb den linken Arm hoch!", "Zieh mit beiden Händen!", "Halte die Arme schief!". Wie beim Sporttraining wird es langsam schwerer. Der Roboter lernt so, in unzähligen verschiedenen Posen das Gleichgewicht zu halten.
• Der "Übersetzer" (Der latente Kontext): Das ist der eigentliche Clou. Der Roboter hat keine Kraftsensoren in den Handgelenken (das wäre zu teuer und schwer). Stattdessen schaut er sich an, wie stark seine Muskeln (die Motoren) arbeiten müssen, um die Arme zu bewegen.
  • Die Analogie: Stell dir vor, du hältst eine schwere Kiste. Deine Muskeln brennen. Dein Gehirn weiß sofort: "Oh, da ist eine Kraft!" FAME macht genau das. Es berechnet aus den Daten der Gelenke, wie stark die Hände gerade ziehen oder drücken, und wandelt das in eine Art "Gefühl" um.

3. Wie es funktioniert: Der unsichtbare Kompass

Wenn der Roboter nun in der echten Welt steht und eine Kiste trägt, passiert Folgendes:

1. Er spürt, dass seine Arme eine bestimmte Position haben.
2. Er spürt (durch die Berechnung), dass seine Hände gerade gegen eine Kraft drücken.
3. Sein "Gehirn" (das FAME-System) sagt sofort: "Aha! Die linke Hand zieht stark nach unten. Ich muss mein rechtes Bein etwas mehr beugen und den Oberkörper leicht nach rechts neigen, um das auszugleichen."

Ohne FAME würde der Roboter starr bleiben und umkippen. Mit FAME passt er sich in Millisekunden an, genau wie ein erfahrener Seiltänzer, der seine Balance ständig mikroskopisch korrigiert.

4. Der Test: Der Unitree H12

Die Forscher haben das auf einem echten, riesigen Humanoid-Roboter namens Unitree H12 getestet.

• Ohne FAME: Wenn sie dem Roboter eine schwere Last gaben, besonders wenn er nur mit einem Arm zog oder die Arme seltsam hielt, fiel er hin. Er war wie ein Kind, das versucht, auf einem Wackelbrett zu stehen.
• Mit FAME: Der Roboter stand stabil, auch wenn er 30 kg trug oder asymmetrisch belastet wurde. Er konnte sogar Aufgaben erledigen, bei denen er ohne dieses System sofort gefallen wäre.

Zusammenfassung

FAME ist wie ein super-sensibler Gleichgewichtssinn, der dem Roboter beibringt, dass "Arme bewegen" und "Gleichgewicht halten" untrennbar miteinander verbunden sind.

• Ohne FAME: Der Roboter ignoriert die Kräfte seiner Arme und fällt um.
• Mit FAME: Der Roboter "fühlt" die Kräfte über seine Gelenke, versteht sofort, was passiert, und passt seine Beine blitzschnell an, um stabil zu bleiben.

Das Ergebnis? Roboter können endlich Dinge tun, die wir Menschen täglich machen: Dinge tragen, ziehen und schieben, ohne dabei umzufallen. Das ist ein riesiger Schritt hin zu Robotern, die wirklich in unserer Welt arbeiten können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „FAME: Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid" auf Deutsch:

1. Problemstellung

Der zentrale Herausforderung bei der bipedalen Manipulation durch humanoide Roboter besteht darin, das Gleichgewicht unter externen Kräften aufrechtzuerhalten, die durch die Hände ausgeübt werden. Bei der beidhändigen Manipulation (bimanual manipulation) propagieren diese Wechselwirkungskräfte durch die kinematische Kette und stören direkt die Stabilität des unteren Körpers.

• Definition des Manipulations-Umfangs (Manipulation Envelope): Dies ist der Bereich zulässiger externer Handkräfte und Armkonfigurationen, innerhalb dessen der Roboter stabil stehen kann.
• Herausforderung: Herkömmliche modellbasierte Methoden (wie MPC oder LIPM) stoßen bei hochdynamischen Bedingungen und signifikanten externen Störungen an ihre Grenzen. Deep Reinforcement Learning (DRL) ist vielversprechend, aber das Training von Strategien, die unter variierenden und unsicheren Handkräften stabil bleiben, ist schwierig, da der Zustandsraum hochdimensional und stark gekoppelt ist (Abhängigkeit von Kraftmagnitude, -richtung und geometrischer Armkonfiguration).
• Ziel: Die Entwicklung eines Systems, das das Gleichgewicht auch bei variierenden Lasten und Armhaltungen aufrechterhält, ohne auf teure oder unzuverlässige Kraft-/Drehmomentsensoren an den Handgelenken angewiesen zu sein.

2. Methodik: FAME Framework

Das vorgestellte Framework FAME (Force-Adaptive RL) nutzt einen latenten Kontext-Encoder, um eine stehende Basisstrategie (Standing Policy) zu konditionieren.

A. Architektur

Das System besteht aus zwei Hauptkomponenten:

1. Upper-Body Context Encoder: Ein neuronales Netz (MLP), das den aktuellen Zustand des Oberkörpers (Torso- und Armgelenke, $q_{ub} \in \mathbb{R}^{15}$) sowie die geschätzten Wechselwirkungskräfte an beiden Händen ($F_L, F_R \in \mathbb{R}^3$) verarbeitet.
2. Basis-Steh-Policy: Eine auf PPO (Proximal Policy Optimization) basierende Strategie, die die unteren Gelenke steuert. Sie erhält als zusätzlichen Eingabevektor den latenten Kontext $z_t$ vom Encoder.

B. Trainingsprozess

• Curriculum Learning (Oberkörper-Pose): Um die Robustheit gegenüber verschiedenen Armhaltungen zu erhöhen, wird ein Curriculum verwendet, das den Bereich der zufällig gesampelten Ziel-Posen des Oberkörpers schrittweise erweitert, sobald die Stabilitätsmetrik (Höhenverfolgung) einen Schwellenwert erreicht.
• Kraft-Sampling: Während des Trainings werden auf jeder Hand 3D-Kräfte mit zufälliger Richtung (gleichmäßig auf einer Kugeloberfläche) und variierender Magnitude aufgebracht.
• Latente Kodierung: Der Encoder lernt eine kompakte Darstellung ($z_t \in \mathbb{R}^8$) der Kopplung zwischen der Armkonfiguration und den daraus resultierenden Störkräften. Dies ermöglicht der Policy, die Art der Störung zu „verstehen" und die untere Körpersteuerung entsprechend anzupassen.

C. Sensor-freie Deployment-Strategie (Schlüsselinnovation)

Ein entscheidender Aspekt ist die Vermeidung von Kraftsensoren an den Handgelenken während des realen Einsatzes:

• Kraftschätzung: Die Wechselwirkungskräfte werden online aus den gemessenen Gelenkmomenten ($\tau$) und dem Zustand des Roboters geschätzt.
• Berechnung: Unter Verwendung der Starrkörperdynamik und der Jacobimatrix ($J$) des Handgelenks wird die externe Kraft wie folgt berechnet:
  $$F_{ext} = -(J^\top)^\dagger (\tau - \tau_g)$$
  wobei $\tau_g$ die Schwerkraftkompensation und $\dagger$ die Pseudoinverse bezeichnet. Dies ermöglicht eine schnelle Online-Anpassung ohne zusätzliche Hardware.

3. Wichtige Beiträge

1. Force-Adaptive Framework: Einführung von FAME, das durch latente Kodierung von Oberkörperzuständen und Kräften die untere Körperstabilität unter variierenden bimanualen Kräften aufrechterhält.
2. Sensor-freie Schätzung: Eine Strategie zur Schätzung der Handgelenkskräfte basierend auf Gelenkmomenten und Dynamik, die den Bedarf an teuren Kraft-/Drehmomentsensoren eliminiert.
3. Erweiterter Manipulations-Umfang: Deutliche Steigerung der Erfolgsquote beim Stehen unter Störungen im Vergleich zu Baselines.
4. Real-World Validierung: Erfolgreicher Einsatz auf dem vollskaligen Humanoiden Unitree H12 in realistischen Szenarien (asymmetrische und symmetrische Lasten).

4. Ergebnisse

Simulation

Die Evaluation erfolgte in der Simulation mit fünf festen Armkonfigurationen und randomisierten Handkräften (500 Durchläufe pro Konfiguration).

• FAME: Erreichte eine durchschnittliche Erfolgsquote von 73,84 %.
• Base+Curr (Nur Curriculum, kein Encoder): 51,40 %.
• Base (Kein Curriculum, kein Encoder): 29,44 %.

Besonders bei asymmetrischen Konfigurationen (z. B. C5: Asymmetrisch nach vorne) zeigte FAME eine überlegene Leistung (85,4 %), während die reine Basis-Policy bei bestimmten Konfigurationen (z. B. C1, C2) komplett versagte (0 %). Der Encoder hilft dem Roboter, die durch die Armhaltung induzierten Drehmomente explizit zu disambiguieren.

Real-Experimente (Unitree H12)

• Szenarien:
  • RE1: Asymmetrische Einzelarm-Belastung.
  • RE2: Symmetrische beidhändige Belastung.
• Ergebnis: Der Roboter blieb mit FAME unter beiden Lastbedingungen stabil. Die Gelenkpositionen (Hüfte, Knöchel, Ellbogen) blieben nahe der nominalen Stehposition.
• Vergleich: Ohne FAME (mit der Base+Curr-Policy) drifteten die Gelenkpositionen ab, was zum Verlust des Gleichgewichts und zum Sturz führte. Dies zeigt, dass die explizite Kraftkodierung für die Stabilität in der realen Welt entscheidend ist.

5. Bedeutung und Fazit

FAME adressiert eine fundamentale Lücke in der humanoiden Robotik: die Fähigkeit, komplexe Manipulationsaufgaben auszuführen, ohne dabei das Gleichgewicht zu verlieren. Durch die Kombination von Curriculum Learning und latenter Kontextanpassung (ähnlich wie RMA, aber für strukturierte Kraftstörungen) gelingt es, den „Manipulations-Umfang" signifikant zu erweitern.

Die Fähigkeit, Kräfte rein aus Gelenkmomenten zu schätzen, macht das System für den praktischen Einsatz in der Industrie und im Alltag viel robuster und kosteneffizienter, da keine zusätzlichen Sensoren an den Endeffektoren benötigt werden. Die Validierung auf dem Unitree H12 beweist, dass diese Methode nicht nur in der Simulation, sondern auch unter realen physikalischen Bedingungen (Reibung, unmodellierte Dynamik) funktioniert.