LHM-Humanoid: Learning a Unified Policy for Long-Horizon Humanoid Whole-Body Loco-Manipulation in Diverse Messy Environments

Das Paper stellt LHM-Humanoid vor, ein Lernframework und Benchmark, das es einem humanoiden Roboter ermöglicht, durch eine einzige, auf Verstärkungslernen und DAgger-Distillation basierende Politik komplexe Langzeit-Lokomanipulationsaufgaben in diversen, unordentlichen Umgebungen ohne Umgebungs-Reset erfolgreich zu bewältigen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr talentierten, aber noch etwas unerfahrenen Roboter-Humanoiden (also einen Roboter, der wie ein Mensch aussieht und sich bewegt). Ihr Ziel ist es, ihm beizubringen, ein riesiges, chaotisches Zimmer aufzuräumen – ohne dass er dabei umfällt, die Möbel zertrümmert oder nach jedem einzelnen Schritt den Boden unter den Füßen verliert.

Das ist im Grunde die Herausforderung, die das Team um Haozhuo Zhang in ihrer Arbeit "LHM-Humanoid" gemeistert hat. Hier ist die Erklärung, wie sie das geschafft haben, ohne zu viel Fachchinesisch zu verwenden:

1. Das Problem: Der "Alles-oder-Nichts"-Koch

Bisher waren Roboter wie Kochschüler, die nur einen Schritt lernen konnten: "Nimm den Teller" oder "Gehe zur Tür". Wenn man ihnen sagte: "Geh zur Küche, nimm den Teller, bring ihn ins Wohnzimmer, stell ihn ab, geh zurück und hol den Stuhl", verloren sie oft den Faden.

• Das Chaos: Die Räume waren voller Hindernisse (Koffer auf dem Boden, Stühle schief).
• Die Länge: Die Aufgabe dauerte zu lange für herkömmliche Methoden.
• Die Generalisierung: Wenn der Roboter in einem Zimmer gelernt hatte, fiel er im nächsten, leicht anders eingerichteten Zimmer oft wieder hin.

2. Die Lösung: Ein genialer Ausbildungsplan

Das Team hat nicht einfach versucht, den Roboter durch tausende Versuche und Fehler zu trainieren (das wäre zu teuer und ineffizient). Stattdessen haben sie ein drei-stufiges Ausbildungssystem entwickelt, das man sich wie das Mentoring eines Sportlers vorstellen kann:

Schritt A: Die zwei Meister-Trainer (Die "Lehrer")

Statt einen einzigen Trainer zu haben, der alles kann, haben sie zwei spezialisierte Trainer erfunden:

• Trainer 1 (Der Starter): Er bringt dem Roboter bei, wie man ein Objekt sicher aufhebt, trägt und ablegt. Das Wichtigste: Er trainiert den Roboter, sich nach dem Ablegen sicher zurückzuziehen. Stell dir vor, du hast einen schweren Koffer abgestellt. Ein Anfänger würde vielleicht noch darauf stehen und stolpern. Trainer 1 lehrt den Roboter: "Leg ab, mach einen Schritt zurück, atme durch und bleib stabil."
• Trainer 2 (Der Retter): Was passiert, wenn der Roboter nach dem Zurückziehen in einer seltsamen Position steht? Vielleicht ist er schief, die Beine sind weit gespreizt oder er schaut in die falsche Richtung? Trainer 2 ist der Spezialist für Wiederherstellung. Er lernt, wie man aus jeder noch so krummen Position wieder auf die Beine kommt und zum nächsten Ziel läuft.

Schritt B: Der Schüler (Der "Student")

Jetzt kommt der Clou: Ein dritter Roboter, der Schüler, lernt von beiden Trainern gleichzeitig.

• Er beobachtet Trainer 1 beim ersten Objekt.
• Er beobachtet Trainer 2, wie er aus der "krummen" Position des ersten Objekts zum zweiten Objekt läuft.
• Durch eine spezielle Lernmethode (genannt DAgger, was man sich wie ein intensives Praktikum vorstellen kann) verschmilzt der Schüler das Wissen beider Trainer zu einem einzigen Gehirn.

Das Ergebnis: Der Roboter braucht keine Anweisungen mehr wie "Jetzt hebe auf" oder "Jetzt lauf". Er hat eine einzige, durchgehende Intelligenz, die den ganzen Ablauf von selbst steuert.

3. Der "Vision-Language-Action"-Trick (Der Sprach-Stecker)

Um den Roboter noch menschlicher zu machen, haben sie ihn nicht nur mit Daten gefüttert, sondern mit Sprache und Sehen.

• Statt technischer Koordinaten sagt Ihnen ein Mensch einfach: "Hör zu, leg die Vase auf den Tisch und hol dann die Zeitung."
• Der Roboter schaut mit seiner Kamera (wie ein Mensch mit Augen) und versteht den Satz. Er führt die Aufgabe aus, ohne dass jemand im Hintergrund technische Befehle eingeben muss.

4. Warum ist das so besonders? (Die Analogie)

Stellen Sie sich vor, Sie müssten einem Kind beibringen, einen ganzen Haushalt zu putzen.

• Die alte Methode: Sie sagen dem Kind: "Putze den Boden." Es putzt. Dann sagen Sie: "Mach die Fenster." Es macht die Fenster. Aber wenn Sie sagen: "Mach beides, ohne aufzuhören," stolpert das Kind über den Staubsauger und vergisst, was es tun soll.
• Die LHM-Methode: Sie geben dem Kind zwei Mentoren. Einer zeigt, wie man sauber macht und sich dann zurückzieht. Der andere zeigt, wie man aufsteht, wenn man stolpert. Das Kind lernt daraus eine einzige Fähigkeit: "Ich putze das ganze Haus, egal wie chaotisch es ist, und ich stolpere nicht."

Das Fazit

Die Forscher haben gezeigt, dass ihr Roboter in 350 verschiedenen, chaotischen Szenarien (Schlafzimmer, Küche, Lagerhallen) funktioniert. Er kann:

1. Mehrere Objekte hintereinander tragen.
2. Sich selbst stabilisieren, wenn er fast umfällt.
3. In völlig neuen Räumen zurechtkommen, ohne neu trainiert zu werden.
4. Auf natürliche Sprache reagieren.

Es ist ein großer Schritt weg von Robotern, die nur einzelne Tricks können, hin zu Robotern, die echte, langanhaltende Aufgaben in unserer unordentlichen Welt bewältigen können. Sie haben den Roboter nicht nur "trainiert", sie haben ihm Erfahrungswerte für den ganzen Tag gegeben.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „LHM-Humanoid" auf Deutsch:

Titel: LHM-Humanoid: Lernen einer einheitlichen Policy für langfristige Ganzkörper-Loko-Manipulation von Humanoiden in diversen unordentlichen Umgebungen

1. Problemstellung

Das Paper adressiert die Herausforderung der langfristigen Ganzkörper-Loko-Manipulation (Loco-Manipulation) bei Humanoid-Robotern in komplexen, unordentlichen Umgebungen.

• Kontext: Im Gegensatz zu früheren Arbeiten, die oft kurze Zeithorizonte (einzelne Objekte) oder statische, saubere Szenarien betrachten, muss der Roboter in diesem Setting in einer „messy" (unordentlichen) Umgebung agieren.
• Aufgabe: Ein humanoider Agent muss in einem einzigen, kontinuierlichen Durchlauf (ohne Umgebungs-Reset) mehrere Objekte finden, aufnehmen, durch Hindernisse tragen und an einem Zielort ablegen.
• Herausforderungen:
  • Dynamische Balance: Der Roboter muss beim Heben, Tragen und Bewegen das Gleichgewicht halten.
  • Cross-Scene Generalisierung: Die Szenen variieren stark in Layout, Objektkategorien, Massen, Formen und Start-/Zielpositionen (z. B. Schlafzimmer, Küche, Lagerhalle).
  • Einheitliche Policy: Es darf keine vordefinierten Skill-Bibliotheken oder manuell kodierten Phasenübergänge geben; eine einzige Policy muss alle Aktionen direkt ausgeben.
  • Fehlerfortpflanzung: Bei langen Episoden mit mehreren Objekten können kleine Fehler in frühen Phasen die gesamte Aufgabe zum Scheitern bringen.

2. Methodik

Die Autoren schlagen einen dreistufigen Lernrahmen vor, der auf Reinforcement Learning (RL) und Imitation Learning (Distillation) basiert. Da keine Ground-Truth-Bewegungssequenzen für spezifische Szenen vorliegen, wird ein Ansatz gewählt, der die Aufgabenziele direkt lernt.

A. Dual-Teacher-Strategie

Um das Problem des langen Zeithorizonts und der komplexen Zustandsverteilung zu lösen, werden zwei spezialisierte „Lehrer"-Policies trainiert, die später in eine einzige „Schüler"-Policy destilliert werden:

1. Teacher 1 (Erster Zyklus): Trainiert den ersten „Holen-Tragen-Ablegen"-Zyklus. Ein entscheidendes Merkmal ist das „Release-and-Retreat"-Verhalten: Nach dem Ablegen des Objekts zieht sich der Roboter kontrolliert zurück, um eine stabile Ausgangsposition für den nächsten Zyklus zu schaffen und Kollisionen mit dem abgelegten Objekt zu vermeiden.
   • Pre-Training: Trainiert auf einzelnen Objekten mit einem Adversarial Motion Prior (AMP), um menschenähnliche Bewegungen zu fördern.
   • Fine-Tuning: Spezielles Reward-Schema für das sichere Loslassen und Zurückweichen.
2. Teacher 2 (Wiederherstellung & Nächster Zyklus): Startet direkt vom nicht-kanonischen Endzustand von Teacher 1 (z. B. in einer Hocke, schief stehend, mit verdrillten Gliedmaßen). Teacher 2 lernt, sich zu stabilisieren, sich neu auszurichten und das nächste Objekt zu manipulieren, ohne dass die Umgebung zurückgesetzt wird.

B. Distillation in eine einheitliche Student-Policy

• DAgger-Algorithmus: Beide Lehrer-Policies werden mittels DAgger (Dataset Aggregation) in eine einzige, end-to-end Student-Policy destilliert.
• Vorteil: Die Student-Policy lernt, den gesamten langen Zeithorizont in einem einzigen Rollout abzudecken, ohne auf feste Phasenübergänge angewiesen zu sein. Sie generalisiert über die gesamte Zustandsverteilung, die durch die sequenzielle Interaktion entsteht.

C. Erweiterung zu Vision-Language-Action (VLA)

Die einheitliche Policy wird weiter in ein VLA-Modell destilliert.

• Eingaben: Statt privilegierter Zustandsinformationen (Oracle-States) nutzt das Modell nur egozentrische RGB-Bilder und natürlichsprachliche Anweisungen.
• Architektur: Fusionierung von visuellen Features (EfficientNet), Sprachfeatures (MLP) und Propriozeption.

3. Datensatz und Benchmark

• LHM-Humanoid Benchmark: Ein Datensatz mit 350 verschiedenen Szenen in vier Raumtypen (Schlafzimmer, Wohnzimmer, Küche, Lagerhalle).
• Objekte: 79 verschiedene Objekte, davon 25 bewegliche Ziele.
• Aufgabe: Jeder Durchlauf erfordert das Bewegen von zwei Objekten in einer einzigen Episode. Ein Out-of-Distribution-Benchmark mit 66 unsichtbaren Szenen wurde erstellt, um die Generalisierung zu testen.

4. Ergebnisse

Die Experimente wurden in Isaac Gym durchgeführt und verglichen mit End-to-End-RL, Curriculum RL, Hierarchischem RL und bestehenden Methoden wie HumanVLA, InterMimic und TokenHSI.

• Leistung auf Trainingsdaten (350 Szenen):

  • LHM-Humanoid erreicht eine Success All-Rate von 72,38% (beide Objekte erfolgreich platziert).
  • Vergleichbare Methoden scheitern oft: End-to-End-RL (0%), Curriculum RL (47%), HumanVLA (30%).
  • Die Ablationsstudie zeigt, dass sowohl das „Release-and-Retreat" (-16% Erfolg ohne es) als auch der AMP-Style-Reward (-62% Erfolg ohne ihn) kritisch sind.

• Generalisierung auf unsichtbare Szenen (66 Szenen):

  • LHM-Humanoid erreicht 63,20% Success All, während alle Baselines signifikant schlechter abschneiden (z. B. Curriculum RL bei 39,50%, Hierarchisches RL bei 17,26%).
  • Dies beweist, dass die Dual-Teacher-Strategie und die breite Zustandsabdeckung eine robuste Generalisierung ermöglichen.

• Erweiterung auf mehr als zwei Objekte:

  • Modelle, die nur auf zwei Objekten trainiert wurden, wurden direkt auf Episoden mit bis zu 5 Objekten getestet.
  • LHM-Humanoid erreicht 18,07% Success All für 5 Objekte, während alle Baselines nahe 0% fallen. Dies zeigt, dass die erlernten Fähigkeiten skalierbar sind und Fehlerfortpflanzung effektiv unterdrückt wird.

• VLA-Ergebnisse:

  • Auch unter rein visueller und sprachlicher Steuerung (ohne privilegierte States) behält das Modell eine hohe Leistung (63,71% Success All), was die Tauglichkeit für reale Anwendungen unterstreicht.

5. Wichtige Beiträge

1. LHM-Humanoid Benchmark: Ein umfassender Benchmark für langfristige, ganzkörperliche Loko-Manipulation in unordentlichen Umgebungen mit Fokus auf Cross-Scene-Generalisierung.
2. Dual-Teacher Distillation Framework: Ein innovativer Ansatz, bei dem zwei spezialisierte RL-Lehrer (einer für den ersten Zyklus mit Stabilisierung, einer für die Fortsetzung aus nicht-kanonischen Zuständen) in eine einzige end-to-end Policy destilliert werden.
3. Robuste VLA-Integration: Die Fähigkeit, die gelernte Policy in ein reines Vision-Language-Action-Modell zu übertragen, das mit natürlichen Anweisungen und RGB-Kameras funktioniert.
4. Nachweis der Langzeit-Robustheit: Demonstration, dass durch „Release-and-Retreat" und breite Zustandsabdeckung Fehlerfortpflanzung über lange Zeithorizonte verhindert werden kann.

6. Bedeutung und Ausblick

Das Paper stellt einen bedeutenden Schritt in Richtung autonomer humanoider Roboter für reale Anwendungen dar. Es zeigt, dass komplexe, langfristige Aufgaben in unstrukturierten Umgebungen nicht durch starre Skill-Bibliotheken, sondern durch einheitliche, generalisierende Policies gelöst werden können, die durch geschickte Lehr-Schüler-Strategien trainiert werden. Die Ergebnisse deuten darauf hin, dass solche Systeme in der Lage sind, in dynamischen häuslichen oder industriellen Umgebungen zu operieren, ohne bei jedem Schritt neu kalibriert oder zurückgesetzt zu werden.

Einschränkungen: Die aktuellen Ergebnisse basieren auf Simulation (Isaac Gym); reale physikalische Unsicherheiten, Sensorrauschen und Aktuatoren wurden noch nicht vollständig getestet. Zudem sind deformierbare Objekte und dynamische Hindernisse im aktuellen Benchmark nicht enthalten.