Preference-Conditioned Multi-Objective RL for Integrated Command Tracking and Force Compliance in Humanoid Locomotion

Diese Arbeit stellt ein präferenzbasiertes, multi-objektives Reinforcement-Learning-Framework vor, das es humanoiden Robotern ermöglicht, durch einen einzigen Policy-Navigationsbefehle präzise zu verfolgen und gleichzeitig externe Kräfte während der menschlichen Interaktion nachgiebig zu kompensieren.

Das Wesentliche

Stellen Sie sich vor, Sie unterrichten einen Roboter, der wie ein Mensch auf zwei Beinen läuft. Das Ziel ist es, dass dieser Roboter zwei Dinge gleichzeitig gut kann, die sich eigentlich widersprechen:

1. Der Gehorsame: Er muss genau tun, was Sie ihm sagen (z. B. "Lauf 2 Meter nach vorne").
2. Der Nachgiebige: Er muss sich sanft führen lassen, wenn Sie ihn am Arm ziehen oder drücken, ohne sich stur zu wehren.

Bisherige Roboter waren oft wie sture Maultiere. Wenn Sie sie anstießen, widerstanden sie mit aller Kraft, um nicht umzufallen. Das ist gut für Stabilität, aber schlecht, wenn Sie sie sanft durch eine Menschenmenge führen wollen. Sie wirken dann steif und sogar gefährlich.

Diese neue Forschungslösung von Tingxuan Leng und seinem Team gibt dem Roboter nun eine intelligente "Stimmungs-Regel".

Die große Idee: Ein Schalter für den Charakter

Stellen Sie sich den Roboter nicht als starre Maschine vor, sondern als einen Schüler mit einem persönlichen Coach.

• Das Problem: Normalerweise muss man dem Roboter sagen: "Sei hart!" oder "Sei weich!". Aber in der echten Welt ändert sich die Situation ständig. Mal wollen Sie ihn schnell zum Ziel schicken, mal wollen Sie ihn sanft durch eine Tür führen.
• Die Lösung: Die Forscher haben dem Roboter einen Drehregler (einen "Präferenz-Schalter") gegeben.
  • Stellen Sie den Regler auf "Fest", und der Roboter ignoriert sanfte Stöße und läuft genau dort hin, wo Sie ihn hinschicken.
  • Stellen Sie den Regler auf "Weich", und der Roboter wird zu einem Tanzpartner. Wenn Sie ihn sanft ziehen, folgt er Ihnen, als wäre er ein Seil, das sich mit Ihnen bewegt.
  • Und das Beste: Es gibt keine harte Grenze. Sie können den Regler in der Mitte drehen, und der Roboter findet automatisch eine perfekte Mischung aus beidem. Er ist wie ein Gummiband, das je nach Spannung entweder straff oder locker ist.

Wie lernt der Roboter das? (Die "Geheim-Training"-Methode)

Das ist das Geniale an der Methode: Der Roboter kann auf der echten Welt keine Kraftmesser an seinen Händen tragen (das wäre zu schwer und teuer). Wie lernt er also, Kräfte zu spüren?

Stellen Sie sich das Training wie ein Schüler-Lehrer-Spiel vor:

1. Im Simulator (Die virtuelle Welt): Der Roboter hat hier "Superkräfte". Er sieht alles, auch die unsichtbaren Kräfte, die ihn drücken. Er lernt, wie man sich verhält, wenn man gezogen wird.
2. Der Trick: Während des Trainings wird dem Roboter eine Brille aufgesetzt, die ihm hilft, die unsichtbaren Kräfte aus seinen Bewegungen zu erraten. Wenn er merkt, dass er langsamer wird, obwohl er laufen wollte, weiß er: "Aha, da wird mich jemand zurückhalten!"
3. In der echten Welt: Die "Superkräfte" (die Brille) werden abgenommen. Der Roboter muss nun nur noch auf seine eigenen Gelenke und die Geschwindigkeit achten. Aber dank des Trainings kann er die unsichtbaren Kräfte immer noch erraten und sich entsprechend verhalten. Er wird nicht mehr stur, sondern lernt, die "Stimmung" der Umgebung zu fühlen.

Was passiert in der Praxis?

Die Forscher haben das auf einem echten Roboter namens "Booster T1" getestet:

• Der Test mit dem Seil: Wenn sie den Roboter am Arm zogen, musste er früher mit 25 Newton Kraft (wie ein schwerer Rucksack) gegenziehen, um nicht umzufallen. Mit der neuen Methode reichten 10 Newton (wie ein leichtes Ziehen), um ihn sanft zu bewegen. Er fühlte sich an wie ein lebendiger Mensch, nicht wie ein Metallklotz.
• Der Test mit dem Ball: Als sie einen schweren Ball gegen den Roboter warfen, wich er nicht panisch aus oder fiel hin. Er machte einen kleinen, geschmeidigen Schritt zur Seite, als würde er den Schlag "schlucken", und blieb stabil.
• Der Diagonal-Weg: Wenn Sie ihn nach vorne schicken und gleichzeitig von der Seite ziehen, läuft er nicht stur geradeaus oder nur zur Seite. Er läuft diagonal – eine perfekte Mischung aus Ihrem Befehl und Ihrer Führung.

Warum ist das wichtig?

Früher waren Roboter wie Panzer: stabil, aber unflexibel. Diese neue Methode macht sie zu Partnern.

Stellen Sie sich vor, Sie gehen mit einem Roboter durch eine Menschenmenge.

• Wenn es voll ist, drehen Sie den Regler auf "Weich": Der Roboter lässt sich sanft von Menschen zur Seite drücken, ohne zu stolpern.
• Wenn Sie schnell zum Ausgang müssen, drehen Sie ihn auf "Fest": Der Roboter ignoriert kleine Stöße und läuft zielstrebig voran.

Zusammenfassend: Die Forscher haben einen Weg gefunden, einem Roboter beizubringen, nicht nur zu gehorchen, sondern auch zu fühlen. Sie haben ihm einen "Charakter-Schalter" gegeben, der es ihm erlaubt, zwischen einem disziplinierten Soldaten und einem sanften Tanzpartner zu wechseln – und das alles mit nur einem einzigen Gehirn, ohne komplizierte neue Bauteile. Das ist ein riesiger Schritt hin zu Robotern, die sicher und natürlich neben uns leben können.

Technische Zusammenfassung

1. Problemstellung

Humanoider Roboter müssen in menschenzentrierten Umgebungen zwei oft widersprüchliche Fähigkeiten beherrschen:

• Präzises Befehls-Tracking: Die genaue Ausführung von Geschwindigkeitsbefehlen zur Navigation.
• Kraftkompliance (Force Compliance): Die Fähigkeit, auf externe Kräfte (z. B. menschliche Führung oder Stöße) sanft zu reagieren, anstatt sie starr zu widerstehen.

Bestehende Reinforcement-Learning-(RL)-Ansätze konzentrieren sich meist auf Robustheit gegen Störungen. Dies führt zu Politiken, die externe Kräfte aktiv widerstehen, um die Stabilität zu gewährleisten. Dies erschwert jedoch die natürliche physische Interaktion, da der Roboter menschliche Führung ignoriert oder unangemessen starre Reaktionen zeigt. Das Ziel ist es, einen Trade-off zwischen starrer Befehlsbefolgung und flexibler Kraftanpassung in einer einzigen Policy zu ermöglichen, ohne hierarchische Architekturen oder mehrstufiges Training zu benötigen.

2. Methodik

Die Autoren schlagen einen präferenzbasierten Multi-Objective Reinforcement Learning (MORL)-Ansatz vor, der folgende Kernkomponenten umfasst:

A. Geschwindigkeits-Widerstands-Modell (Velocity-Resistance Modeling)

Um Befehle (Geschwindigkeit) und externe Kräfte in einem einheitlichen Reward-Raum zu vergleichen, wird ein physikalisches Modell verwendet. Externe Kräfte werden über einen Dämpfungskoeffizienten $B$ in äquivalente Geschwindigkeiten umgewandelt:
$$v_{ext} \approx B^{-1} \cdot F_{ext}$$
Dies ermöglicht es, sowohl das Befolgen von Geschwindigkeitsbefehlen als auch das Nachgeben auf externe Kräfte als Minimierung von Fehlern in derselben physikalischen Einheit (Geschwindigkeit) zu formulieren.

B. Formulierung als MORL-Problem

Die Aufgabe wird als Multi-Objective-Optimierung mit zwei Hauptzielen definiert:

1. Command Tracking ($r_c$): Minimierung des Fehlers zur gewünschten Geschwindigkeit.
2. Force Compliance ($r_f$): Minimierung des Fehlers zur durch externe Kräfte induzierten Geschwindigkeit.

Eine Präferenzvektor $w = [w_c, w_f]$ steuert die Gewichtung dieser Ziele. Die Policy $\pi(a|o, w)$ lernt, kontinuierlich zwischen den Extremen (starkes Tracking vs. starke Compliance) zu interpolieren, indem sie während des Trainings verschiedene Gewichte $w$ erhält.

C. Asymmetrische Actor-Critic-Architektur mit Privileged Reconstruction

Da externe Kräfte auf dem echten Roboter oft nicht direkt messbar sind (fehlende Tastsensoren), wird ein Encoder-Decoder-Ansatz verwendet:

• Critic (Trainer): Hat Zugriff auf privilegierte Informationen (Privileged Observations), einschließlich der tatsächlichen externen Kräfte und Momente.
• Actor (Deployment): Erhält nur deploybare Beobachtungen (Propriozeption, Befehle, etc.).
• Encoder: Lernt aus der Historie der Beobachtungen latente Merkmale $z_t$, die die externen Kräfte implizieren.
• Decoder: Rekonstruiert die privilegierten Zustände aus $z_t$, um den Encoder zu zwingen, kraftrelevante Merkmale zu extrahieren.
• Deployment: Nur Encoder und Actor werden verwendet; die Policy passt sich online an den eingegebenen Präferenzvektor an.

3. Hauptbeiträge

1. Einheitliche Formulierung: Die Umwandlung von externen Kräften in äquivalente Geschwindigkeiten ermöglicht ein konsistentes Reward-Design für den Trade-off zwischen Tracking und Compliance.
2. Präferenz-basiertes MORL-Framework: Ein einzelner Policy lernt ein kontinuierliches Spektrum von Verhaltensweisen, ohne hierarchische Controller oder getrennte Trainingsphasen.
3. Validierung in Simulation und Realität: Erfolgreiche Implementierung auf dem humanoiden Roboter Booster T1, der nachweislich sowohl präzise navigiert als auch sanft durch menschliche Führung gelenkt werden kann.

4. Ergebnisse

Simulationsexperimente

• Trade-off-Kurve: Die Policy zeigt eine glatte, monotone Trade-off-Kurve. Bei hohem $w_c$ wird das Tracking präzise, bei hohem $w_f$ reagiert der Roboter stark auf externe Kräfte.
• Online-Switching: Der Roboter kann während des Betriebs nahtlos zwischen Modi wechseln (z. B. von Befehlsbefolgung zu menschlicher Führung), ohne instabil zu werden.
• Robustheit: Im Vergleich zu einer Single-Objective-Baseline (SORL) zeigen die MORL-Policies eine höhere Robustheit gegen plötzliche Störungen (bis zu 50 N), insbesondere bei Einstellungen mit höherer Compliance (geringere Gelenkmomente, höhere Erfolgsrate).
• Ablationsstudie: Das MORL-Training ist stabiler als das Training mit einer festen skalaren Summe der Rewards (SORL).

Realwelt-Experimente (Booster T1)

• Anpassungsfähigkeit: Der Roboter zeigt qualitativ unterschiedliches Verhalten je nach Präferenz. Hohe Compliance-Werte führen dazu, dass der Roboter sanft auf menschliches Ziehen reagiert.
• Quantitative Messung: Mit einem Dynamometer wurde gemessen, dass die MORL-Policy nur ca. 10 N Kraft benötigt, um den Roboter zu bewegen, während die Baseline über 25 N benötigt und oft instabil wird.
• Diagonales Laufen: Der Roboter kann gleichzeitig Befehle (z. B. vorwärts) und externe Kräfte (z. B. seitlich) integrieren, was zu einem diagonalen Gang führt.
• Outdoor-Tests: Der Roboter wurde erfolgreich über unebenes Gelände, Gras und Rasen geführt, wobei er nur durch horizontale Zugkräfte gelenkt wurde, ohne dass der Operator Stützkraft leisten musste.
• Stoßresistenz: Der Roboter widerstand Stößen durch fallende Bälle (bis 5 kg) ohne Umfallen.

5. Bedeutung und Ausblick

Diese Arbeit demonstriert, dass Multi-Objective RL ein effektives Mittel ist, um die Lücke zwischen robuster Navigation und natürlicher physischer Interaktion bei Humanoiden zu schließen.

• Praktische Relevanz: Die Methode ermöglicht es, einen einzigen, trainierten Policy für verschiedene Interaktionsszenarien (z. B. autonomes Laufen vs. menschliche Führung) einzusetzen.
• Technischer Fortschritt: Der Ansatz vermeidet komplexe Hierarchien und nutzt stattdessen eine elegante Kombination aus MORL und Privileged Learning, um fehlende Sensordaten (Kraft) zu kompensieren.
• Zukunft: Das Framework bietet eine Basis für komplexere Interaktionsaufgaben und höhere Dimensionen von Zielen in der Robotik.

Zusammenfassend stellt das Paper einen wichtigen Schritt dar, um humanoide Roboter von rein robusten, aber starren Systemen zu interaktiven, anpassungsfähigen Partnern zu entwickeln.