💻 computer science

Quadruped Parkour Learning: Sparsely Gated Mixture of Experts with Visual Input

Diese Arbeit zeigt, dass spärlich gating Mixture-of-Experts-Architekturen mit visuellen Eingaben im Vergleich zu herkömmlichen MLP-Modellen die Erfolgsrate bei der Parkour-Bewegung eines quadrupeden Roboters über große Hindernisse verdoppeln und dabei eine überlegene Balance zwischen Leistung und Recheneffizienz bieten.

Ursprüngliche Autoren: Michael Ziegltrum, Jianhao Jiao, Tianhu Peng, Chengxu Zhou, Dimitrios Kanoulas

Veröffentlicht 2026-04-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Michael Ziegltrum, Jianhao Jiao, Tianhu Peng, Chengxu Zhou, Dimitrios Kanoulas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Vierbeiner im Parkour: Wie ein „Schwarm-Intelligenz"-Gehirn Roboter schneller und schlauer macht

Stellen Sie sich vor, Sie möchten einem kleinen Roboter-Hund beibringen, wie ein echter Parkour-Künstler über hohe Mauern zu springen, über Gräben zu balancieren und durch enge Gassen zu laufen. Das ist extrem schwierig, weil der Boden oft uneben ist und der Roboter ständig seine Balance halten muss.

Die Forscher aus diesem Papier haben eine clevere Lösung gefunden, die sie „Sparsely Gated Mixture of Experts" (MoE) nennen. Klingt kompliziert? Lassen Sie uns das mit einfachen Bildern erklären.

1. Das Problem: Der „Alles-in-einem"-Chef ist zu langsam

Bisher haben die meisten Roboter-Programme wie ein einzelner, sehr harter arbeitender Chef funktioniert. Dieser Chef (ein neuronales Netz) muss jeden Schritt, jeden Sprung und jede Landung selbst berechnen.

Das Problem: Wenn der Chef alles selbst machen muss, wird er bei komplexen Aufgaben langsam oder macht Fehler, weil er zu viel auf einmal verarbeiten muss. Um ihn schneller zu machen, müsste man ihn riesig bauen – aber dann wird er noch langsamer und braucht mehr Energie.

2. Die Lösung: Ein Team von Spezialisten (Das MoE-Modell)

Statt eines einzigen Chefs haben die Forscher ein Team von 16 Spezialisten (die „Experten") und einen klugen Manager (das „Tor" oder „Gate") gebaut.

Die Experten: Jeder von ihnen ist ein kleiner, spezialisierter Roboter-Geist.
- Experte A ist gut darin, auf glattem Boden zu laufen.
- Experte B ist ein Meister im Springen über hohe Hindernisse.
- Experte C weiß genau, wie man auf schmalen Mauern balanciert.
Der Manager: Bevor der Roboter einen Schritt macht, schaut der Manager kurz auf die Situation (z. B. „Oh, da kommt eine hohe Kiste!").
Die Magie: Der Manager aktiviert nur die 4 Experten, die gerade wirklich gebraucht werden. Die anderen 12 Experten schlafen einfach weiter.

Die Analogie:
Stellen Sie sich vor, Sie müssen ein schweres Möbelstück tragen.

Der alte Weg (MLP): Sie versuchen, das Möbelstück allein zu tragen, egal wie schwer es ist. Sie werden schnell müde und stolpern.
Der neue Weg (MoE): Sie rufen einen Freund, der stark ist, wenn es schwer ist. Wenn es leicht ist, rufen Sie einen Freund, der schnell ist. Sie nutzen nur die Kraft, die Sie gerade brauchen. Das ist effizienter und schneller.

3. Die Augen des Roboters: Sehen durch den Nebel

Der Roboter hat eine Kamera, die wie eine Tiefenkamera funktioniert (sie sieht Entfernungen). Aber in der echten Welt ist das Bild oft verrauscht – wie wenn man durch einen beschlagenen Spiegel schaut.

Die Forscher haben den Roboter im Computer (Simulation) trainiert, aber sie haben das Bild absichtlich „verschmutzt" (Rauschen, Artefakte hinzugefügt).
Warum? Damit der Roboter lernt, nicht nur auf perfekten Bildern zu laufen, sondern auch dann, wenn die Kamera schmutzig ist oder das Licht blendet. Es ist wie ein Pilot, der im Simulator bei starkem Regen und Nebel fliegt, damit er in der echten Welt nicht panisch wird.

4. Die Ergebnisse: Der Roboter wird zum Superathleten

Die Forscher haben ihren Roboter (ein Unitree Go2) vor eine 32 cm hohe Kiste gestellt – das ist fast so hoch wie der Roboter selbst!

Der alte Chef (MLP): Hatte bei 10 Versuchen nur 5 Erfolg. Er stolperte oft, musste sich wieder aufrichten und verlor das Gleichgewicht.
Das Experten-Team (MoE): Hatte bei 10 Versuchen 10-mal Erfolg. Der Roboter sprang sicher über die Kiste, landete stabil und lief weiter.
Der Vergleich: Um den alten Chef so gut zu machen wie das Experten-Team, müsste man ihn so riesig bauen, dass er 14 % länger für jede Entscheidung braucht. Das MoE-Team ist also nicht nur besser, sondern auch effizienter.

5. Was passiert im Inneren? (Die Zyklen)

Interessanterweise haben die Forscher entdeckt, dass die Experten sich im Laufe des Laufens abwechseln.

Wenn der Roboter läuft, ist es ein zyklischer Prozess (Bein vor, Bein zurück).
Die Analyse zeigte, dass bestimmte Experten genau dann aktiv werden, wenn das linke Bein in der Luft ist, und andere, wenn das rechte Bein den Boden berührt.
Es ist, als ob ein Orchester spielt: Die Geigen spielen im Takt, die Trompeten im Takt. Jeder weiß genau, wann er dran ist.

Fazit

Diese Forschung zeigt, dass wir Roboter nicht unbedingt mit immer größeren, dumm-rechenenden Gehirnen bauen müssen. Stattdessen können wir ihnen ein schlaues Team von Spezialisten geben, das nur die richtigen Köpfe für die aktuelle Aufgabe aktiviert.

Das Ergebnis? Roboter, die nicht nur in der Laborhalle, sondern auch draußen im echten Leben (wie in einem Skate-Park) über Hindernisse springen können – schnell, sicher und ohne sich zu verausgaben. Es ist ein großer Schritt hin zu Robotern, die uns bei Rettungseinsätzen oder auf anderen Planeten wirklich helfen können.

1. Problemstellung

Das Ziel der Forschung ist die Verbesserung der Fortbewegung von vierbeinigen Robotern (Quadrupeds) über extrem schwieriges Gelände, insbesondere im Kontext von „Parkour" (Klettern, Springen über große Lücken, Bewältigung von Stufen).

Herausforderung: Herkömmliche Ansätze basieren oft auf Reinforcement Learning (RL) mit dicht besetzten Multilayer-Perceptron-Architekturen (MLP). Diese sind zwar effektiv, skalieren aber schlecht in Bezug auf Rechenleistung und Parameterzahl.
Lücke: Bisherige Arbeiten im Bereich des robotischen Parkours nutzen selten Architekturen, die auf „Conditional Compute" (bedingte Berechnung) basieren, wie sie in großen Sprachmodellen (LLMs) erfolgreich eingesetzt werden. Zudem fehlt oft eine robuste Integration von visuellen Eingaben (Tiefenkameras) in diese Architekturen für den realen Einsatz.

2. Methodik

Die Autoren entwickeln einen Steuerungsansatz, der auf einem Sparsely Gated Mixture-of-Experts (MoE) Modell basiert und visuelle Daten integriert.

Architektur (MoE):
- Der Actor-Netzwerk besteht aus drei Schichten, wobei die mittlere Schicht ein MoE-Layer ist.
- Das Netzwerk enthält 16 Experten (Expert Networks), aber bei jedem Inferenzschritt werden nur die Top-4 Experten aktiviert (Top-k Gating, $k=4, n=16$ ).
- Dies ermöglicht eine Conditional Computation: Die Gesamtzahl der Parameter ist hoch (für bessere Leistung), aber die Anzahl der aktivierten Parameter pro Schritt bleibt niedrig (für Effizienz).
- Ein „Load Balancing Loss" wird eingeführt, um sicherzustellen, dass alle Experten genutzt werden und nicht nur wenige dominieren.
Zwei-Phasen-Training (Two-Phase Training):
- Phase 1 (Simulation mit privilegierten Informationen): Das Modell wird in der Simulation (Isaac Gym) trainiert. Es erhält privilegierte Daten (Privileged Information) wie genaue Position des Schwerpunkts, Reibungskoeffizienten, Motorstärken und eine Höhenkarte (Scandots).
- Phase 2 (Sim-to-Real Transfer): Das in Phase 1 trainierte Modell dient als Lehrer. Ein „Schüler"-Modell wird trainiert, um dieselbe Leistung zu erbringen, aber ohne privilegierte Informationen. Stattdessen nutzt es:
  - Propriozeption (Gelenkpositionen, Geschwindigkeiten, Kontaktstatus).
  - Visuelle Eingaben: Tiefenbilder (Depth Images), die durch ein GRU (Gated Recurrent Unit) in einen latenten Vektor kodiert werden.
  - Schätzung von physikalischen Parametern und linearer Geschwindigkeit basierend auf der Propriozeption.
- Domain Randomization: Um die Lücke zwischen Simulation und Realität zu schließen, werden Rauschen in den Beobachtungen, zufällige physikalische Eigenschaften und Artefakte in den Tiefenbildern (z. B. Konturen, Unschärfe) simuliert.
Belohnungsfunktion (Rewards):
- Die Belohnung umfasst das Verfolgen von Zielen (Geschwindigkeit, Richtung), Strafen für Kollisionen, hohe Beschleunigungen, Drehmomente und das Vermeiden von Stürzen.

3. Wichtige Beiträge

Neues Framework: Einführung einer spärlich gating-fähigen MoE-Architektur für visuellen robotischen Parkour, die Skalierbarkeit und Leistung verbessert.
Visuelle Integration: Nahtlose Einbindung von Tiefenkameradaten in das MoE-System, einschließlich einer Pipeline zur Vorverarbeitung und Rauschsimulation, um den Sim-to-Real-Gap zu überbrücken.
Robuster Real-Einsatz: Demonstration auf einem echten Unitree Go2 Roboter in komplexen Umgebungen (Labor und Außenbereich), einschließlich des Bewältigens von Hindernissen, die 80 % der Roboterhöhe betragen.
Analyse der Experten-Spezialisierung: Nachweis, dass die Experten im Netzwerk zyklische Muster aufweisen, die mit dem Laufzyklus korrelieren, während bestimmte Experten (z. B. Expert 7) stark auf Tiefendaten spezialisiert sind.

4. Ergebnisse

Die Evaluation erfolgte sowohl in der Simulation als auch auf dem realen Roboter (Unitree Go2) mit einem 32 cm hohen Kasten (80 % der Roboterhöhe).

Vergleich MoE vs. MLP:
- Die MoE-Policy erreichte doppelt so viele erfolgreiche Durchläufe wie eine Standard-MLP-Policy, die die gleiche Anzahl an aktiven Parametern zur Inferenzzeit hatte.
- Um eine vergleichbare Robustheit mit einer reinen MLP zu erreichen, musste die MLP auf die Gesamtzahl der Parameter des MoE-Modells skaliert werden (Extra-Large MLP).
Rechenleistung:
- Die Extra-Large MLP war 14,3 % langsamer in der Inferenzzeit als die MoE-Policy (bei einem Batch von 6000), obwohl sie eine ähnliche Erfolgsrate erzielte. Dies unterstreicht den Effizienzvorteil der Sparsity.
Ablationsstudien:
- Das Hinzufügen von Rauschen zu den Beobachtungen und die Verwendung von Regularized Online Adaptation (ROA) zur Schätzung physikalischer Parameter waren entscheidend für den Erfolg im realen Einsatz. Ohne diese Maßnahmen scheiterte das Training am realen Hindernis.
Außentests: Der Roboter bewältigte Hindernisse erfolgreich in einem Skatepark unter Sonnenlicht und mit unvorhersehbaren Umgebungsbedingungen.

5. Bedeutung und Fazit

Das Paper zeigt, dass Sparsely Gated Mixture-of-Experts Architekturen einen überlegenen Kompromiss zwischen Leistung und Recheneffizienz für die Steuerung von Robotern bieten.

Skalierbarkeit: Es ermöglicht das Training von komplexeren Modellen (mehr Parameter), ohne die Inferenzzeit proportional zu erhöhen, da nur ein Teil der Parameter aktiv ist.
Robustheit: Die Kombination aus MoE, visuellen Eingaben und sorgfältigem Sim-to-Real-Training (Rauschen, ROA) führt zu einer signifikant höheren Erfolgsrate bei schwierigen Parkour-Aufgaben im Vergleich zu herkömmlichen MLP-Architekturen.
Zukunft: Die Arbeit legt den Grundstein für weiterführende Forschung zur gezielten Spezialisierung von Experten für bestimmte Hindernisse oder Phasen des Laufzyklus und zeigt, dass Techniken aus dem LLM-Bereich erfolgreich auf die Robotik übertragen werden können.