Embodiment-Aware Generalist Specialist Distillation for Unified Humanoid Whole-Body Control

Die Arbeit stellt EAGLE vor, ein iteratives Framework zur Generalist-Spezialist-Distillation, das einen einzigen, robusten Whole-Body-Controller für diverse heterogene Humanoid-Roboter entwickelt, der ohne roboterspezifische Belohnungsoptimierung auskommt und sowohl in Simulationen als auch in der realen Welt überlegene Leistung zeigt.

Das Wesentliche

Stell dir vor, du möchtest einen einzigen Roboter-Trainer finden, der nicht nur einen, sondern fünf völlig verschiedene Roboter gleichzeitig unterrichten kann.

Das ist das Problem, das die Forscher in diesem Papier lösen. Normalerweise muss man für jeden Roboter-Typ (z. B. einen kleinen, einen großen, einen mit langen Beinen, einen mit kurzen) einen ganz neuen Trainer von Grund auf erfinden. Das ist wie ein Musiklehrer, der für jeden Schüler ein komplett neues Instrument und eine neue Notenschrift lernen müsste, nur um ihm das Klavierspielen beizubringen.

Hier ist die einfache Erklärung ihrer Lösung, genannt EAGLE, mit ein paar bildhaften Vergleichen:

1. Das Problem: Jeder Roboter ist ein Unikat

Stell dir vor, du hast einen Unitree H1 (groß und stark), einen Unitree G1 (kleiner und wendiger) und einen Fourier N1. Sie haben alle unterschiedliche Anzahl an Gelenken, unterschiedliche Gewichte und sehen anders aus.
Ein KI-Modell, das nur für den großen H1 trainiert wurde, würde beim kleinen G1 sofort stolpern, weil es die "Muskelkraft" und die "Schrittlänge" falsch einschätzt. Bisher musste man für jeden Roboter das Training von vorne beginnen – extrem teuer und langsam.

2. Die Lösung: Der "Generalist" und die "Spezialisten"

Die Forscher haben eine clevere Methode entwickelt, die wie ein Meister-Lehrling-System funktioniert. Sie nennen es "Distillation" (Destillation), aber stell es dir so vor:

• Der Generalist (Der erfahrene Coach): Zuerst trainiert man einen einzigen, sehr allgemeinen Roboter-Trainer. Dieser lernt die Grundlagen des Gehens, aber er ist noch nicht perfekt für einen bestimmten Roboter.
• Die Spezialisten (Die Experten-Teams): Aus diesem einen Coach kopieren sie nun fünf Versionen. Jede Version wird nur auf einem spezifischen Roboter weitergeschult.
  • Analogie: Stell dir vor, der Generalist ist ein Fußballtrainer. Er schickt seine fünf Trainer-Assistenten los. Jeder Assistent geht zu einem anderen Team (z. B. Team A mit hohen Toren, Team B mit niedrigem Rasen) und lernt dort die feinen Details, wie man genau in diesem Umfeld gewinnt.
• Der Rückfluss (Die Destillation): Das ist der magische Teil. Die Spezialisten kommen zurück und erzählen dem Generalisten: "Hey, bei Team A musst du den Ball so werfen, bei Team B aber so!" Der Generalist lernt daraus und wird schlauer.
• Der Zyklus: Dieser Prozess wiederholt sich immer und immer wieder. Der Generalist wird besser, die Spezialisten werden besser, und am Ende hat man einen einzigen Coach, der alle Teams perfekt versteht, ohne dass man für jedes Team neue Regeln aufschreiben musste.

3. Die "Zauberkarte": Ein einheitlicher Befehl

Normalerweise müsste man für jeden Roboter andere Knöpfe drücken. Die Forscher haben eine universelle Fernbedienung erfunden.
Stell dir vor, du hast eine Fernbedienung mit fünf Tasten:

1. Wohin laufen? (Vorwärts, seitwärts)
2. Wie schnell drehen?
3. Wie hoch soll der Bauch sein? (Für Hocken)
4. Wie stark soll der Oberkörper kippen? (Für Lehnen)

Egal welcher Roboter vor dir steht – ob groß oder klein – er bekommt dieselben fünf Befehle. Das KI-Modell weiß dann selbst, wie es diese Befehle auf seine eigenen Beine und Gelenke übersetzt. Ein "Hocken"-Befehl bedeutet für den großen Roboter, die Knie tief zu beugen, für den kleinen, sich einfach nur etwas zusammenzukauern.

4. Das Ergebnis: Ein Roboter-Orchester

Am Ende haben sie einen einzigen Algorithmus, der auf fünf verschiedenen Robotern läuft.

• In der Simulation: Er läuft perfekt.
• In der Realität: Das ist das Beeindruckendste. Sie haben den Trainer, der nur in der Computer-Simulation gelernt hat, direkt auf echte, physische Roboter im echten Leben losgelassen (ohne nochmal neu zu trainieren!).
• Was können sie? Die Roboter können nicht nur laufen, sondern auch hocken (wie ein Boxer), sich lehnen (wie jemand, der müde ist) und sich stabil halten, selbst wenn sie unterschiedlich aussehen.

Zusammenfassung in einem Satz

Die Forscher haben einen KI-Trainer gebaut, der durch ständiges Hin- und Her-Lernen zwischen einem "Allrounder" und "Spezialisten" lernt, wie man fünf völlig unterschiedliche Roboter mit einem einzigen Befehlssatz steuert – so, als könnte ein Dirigent ein Orchester aus Violinen, Trompeten und Pauken mit nur einer Handbewegung perfekt synchronisieren.

Das ist ein riesiger Schritt hin zu einer Zukunft, in der wir Roboter-Fahrflotten nicht mehr einzeln programmieren müssen, sondern einfach einen "Master-Code" hochladen, der für alle passt.

Technische Zusammenfassung

1. Problemstellung

Das Training von Reinforcement-Learning-(RL)-basierten Whole-Body-Controllern (WBC) für humanoide Roboter hat zwar beeindruckende Fortschritte erzielt, stößt jedoch auf ein fundamentales Problem: Die meisten aktuellen Ansätze sind auf eine spezifische Roboter-Embodiment (Körperstruktur) zugeschnitten.

• Heterogenität: Unterschiedliche Roboter variieren stark in Dynamik, Freiheitsgraden (DoFs) und kinematischer Topologie. Ein einzelner Policy (Steuerungsstrategie) lässt sich daher nicht direkt auf verschiedene Roboter übertragen.
• Ineffizienz: Für jeden neuen Roboter muss der gesamte Trainingsprozess mit individueller Belohnungsfunktions-Tuning (Reward Tuning) neu gestartet werden.
• Eingeschränkte Kommandos: Bisherige Methoden zur übergreifenden Steuerung (Cross-Embodiment Learning) beschränken sich oft auf einfache Geschwindigkeitsbefehle (Walking) und können komplexe Ganzkörperbewegungen wie Hocken (Squatting) oder Lehnen (Leaning) nicht unterstützen.
• Datenmangel: Im Gegensatz zu Manipulationsaufgaben, wo Teleoperation zur Datensammlung genutzt werden kann, ist dies bei laufenden Robotern ohne existierenden Controller kaum möglich.

2. Methodik: Das EAGLE-Framework

Die Autoren stellen EAGLE (Embodiment-Aware Generalist Specialist Distillation) vor, ein iteratives Framework, das einen einzigen, robusten Generalist-Policy entwickelt, der heterogene humanoide Roboter steuern kann, ohne pro Roboter das Reward-Tuning anzupassen.

A. Einheitlicher Befehls- und Beobachtungsraum

• Unified Command Interface: Um reiche Verhaltensweisen zu ermöglichen, wird ein 5-dimensionaler Befehlsvektor $c_t = [v_x, v_y, \omega, h, p]^T$ definiert.
  • $v_x, v_y, \omega$: Aufgabenbezogene Geschwindigkeitsbefehle (Laufziel).
  • $h, p$: Verhaltensbefehle für Basis-Höhe (Hocken) und Körper-Pitch (Lehnen).
• Embodiment-Aware Observation: Der Policy erhält Propriozeptionsdaten (Gelenkpositionen, -geschwindigkeiten, etc.) sowie eine Gang-Uhr (Gait Clock) für den Rhythmus.
  • Wichtig: Dem Critic (in der Actor-Critic-Architektur) werden privilegierte Informationen über die Morphologie des jeweiligen Roboters (Masse, Schwerpunkt, Trägheitsmatrix von Rumpf und Füßen) bereitgestellt. Der Actor muss diese Merkmale schätzen, um morphologiespezifische Repräsentationen zu lernen.

B. Embodiment-Alignment (Ausrichtung)

Da Roboter unterschiedliche Anzahlen von Gelenken haben, werden alle Aktionen und Beobachtungen in einen einheitlichen Raum eingebettet:

• Zero Padding & Mapping: Aktionen werden auf eine einheitliche Länge (hier 32 DoFs) aufgefüllt. Eine roboterspezifische Permutationsmatrix ordnet die Gelenke festen globalen Indizes zu.
• Dies ermöglicht es einem einzigen neuronalen Netzwerk, Gewichte über verschiedene Roboter hinweg zu teilen.

C. Iterativer Generalist-Spezialist Distillation Loop

Der Kern des Frameworks ist ein zyklischer Prozess (siehe Abb. 2 im Paper):

1. Spezialisierung (Specialize): Der aktuelle Generalist-Policy $\pi_g$ wird kopiert, um $N$ roboterspezifische Spezialisten $\{\pi_{s_i}\}$ zu erstellen. Jeder Spezialist wird nur auf seinem jeweiligen Roboter feinabgestimmt (Fine-Tuning).
2. Generalisierung (Generalize): Der Generalist $\pi_g$ wird in der Simulation parallel auf allen Robotern ausgeführt. Die Aktionen der Spezialisten werden verwendet, um die Aktionen des Generalisten neu zu labeln (Relabeling).
3. Distillation: Der Generalist wird aktualisiert, um die Aktionen der Spezialisten nachzuahmen.
   • Verlustfunktion: Neben dem Standard-PPO-Verlust und einem DAgger-ähnlichen Verlust für die Aktionen ($L_a$) wird ein Repräsentationsverlust ($L_e$) eingeführt. Dieser zwingt den Generalisten, die gleichen latenten Merkmale (Hidden Features) wie die Spezialisten zu lernen, was die Übertragbarkeit verbessert.
   • Die Formel lautet: $L = L_{PPO} + \alpha \cdot L_a + \beta \cdot L_e$.

3. Wichtige Beiträge

1. Embodiment-Aware Distillation Loop: Ein iterativer Prozess, der einen einzigen Policy für heterogene humanoide Roboter ohne pro-Roboter-Reward-Tuning vereint.
2. Hohe Dimensionale Befehlsschnittstelle: Einführung einer Schnittstelle, die nicht nur Laufen, sondern auch komplexe Ganzkörpermanöver wie Hocken und Lehnen unterstützt.
3. Skalierbarkeit und Robustheit: Nachweis, dass ein einzelner Policy auf fünf verschiedenen Robotern in der Simulation und vier in der realen Welt (Zero-Shot) funktioniert und dabei die Leistung von spezialisierten Policies erreicht oder übertrifft.

4. Ergebnisse

Die Evaluation umfasste fünf humanoide Roboter-Modelle in der Simulation (Unitree H1, G1, Booster T1, Fourier N1, PNDbotics Adam) und vier davon in der realen Welt.

• Tracking-Genauigkeit: EAGLE (insbesondere die iterative Variante „EAGLE w/ ID") erzielte deutlich geringere Fehler bei der Befehlsverfolgung (Geschwindigkeit, Höhe, Neigung) im Vergleich zu Baselines wie reinem PPO, COMPASS oder Kickstarting.
  • Beispiel: Auf dem Unitree T1 war der Fehler bei der linearen Geschwindigkeit (Evx) bei der Baseline Kickstarting fünfmal höher als bei EAGLE.
• Ablationsstudien:
  • Ohne die „Embodiment-Aware Observation" (PPO w/o EO) brach die Leistung ein, da der Policy die Unterschiede zwischen den Robotern nicht unterscheiden konnte (erkennbar an überlappenden Clustern in t-SNE-Visualisierungen).
  • Der iterative Loop (wiederholtes Distillieren) verbesserte die Leistung stetig im Vergleich zu einer einzigen Runde.
• Zero-Shot Sim2Real Transfer: Der in der Simulation trainierte Policy wurde ohne weitere Anpassung auf vier reale Roboter (H1, G1, T1, N1) übertragen. Die Roboter führten erfolgreich synchronisierte Bewegungen aus (Laufen, Lehnen, Hocken), was die Robustheit des Ansatzes unterstreicht.
• Vergleich mit Single-Robot Policies: Der Generalist von EAGLE erreichte auf dem Unitree H1 eine Leistung, die mit einem nur auf H1 trainierten Policy vergleichbar war; der spezifische EAGLE-Spezialist war sogar besser.

5. Bedeutung und Ausblick

Das Paper markiert einen bedeutenden Schritt hin zu einer skalierbaren, Flotten-orientierten Steuerung von Humanoiden.

• Paradigmenwechsel: Statt für jeden Roboter ein neues Modell zu trainieren, ermöglicht EAGLE ein „einmaliges" Training, das auf eine ganze Familie von Robotern verallgemeinert wird.
• Komplexität: Die Fähigkeit, reiche Ganzkörperbewegungen über verschiedene Morphologien hinweg zu steuern, geht weit über bisherige Ansätze hinaus, die oft nur auf Geschwindigkeitsregelung beschränkt waren.
• Zukunft: Die Autoren sehen Potenzial darin, das Framework mit expliziter URDF- oder Morphologie-Randomisierung zu kombinieren, um noch unsichtbare Roboter-Designs zu generalisieren, und die morphologischen Beobachtungen weiter zu verfeinern.

Zusammenfassend demonstriert EAGLE, dass durch die Kombination von hochdimensionalen Befehlen, morphologiebewussten Beobachtungen und einem iterativen Distillationsprozess eine universelle Steuerung für humanoide Roboterflotten realisierbar ist.