💻 Informatik

Abstracting Robot Manipulation Skills via Mixture-of-Experts Diffusion Policies

Das Papier stellt die Skill Mixture-of-Experts Policy (SMP) vor, ein auf Diffusion basierendes Framework, das eine kompakte orthogonale Skill-Basis lernt und Sticky Routing verwendet, um dynamisch nur aufgabenrelevante Experten zu aktivieren, wodurch es eine überlegene Multi-Task-Manipulationsleistung und signifikant niedrigere Inferenzkosten im Vergleich zu groß angelegten Diffusions-Baselines erreicht.

Ursprüngliche Autoren: Ce Hao, Xuanran Zhai, Yaohua Liu, Harold Soh

Veröffentlicht 2026-01-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ce Hao, Xuanran Zhai, Yaohua Liu, Harold Soh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter mit zwei Armen verschiedene Aufgaben bei: eine Flasche aufheben, Staub kehren oder eine Karte in eine Schublade legen.

In der Vergangenheit versuchten Forscher, dies zu lösen, indem sie ein einziges riesiges „Gehirn“ (ein massives KI-Modell) bauten und hofften, dass der Roboter jede einzelne Aufgabe von selbst herausfinden würde. Das ist jedoch so, als würde man versuchen, eine ganze Bibliothek in seinem Rucksack zu tragen, nur um ein einziges Buch zu lesen. Es ist schwer, langsam, und der Roboter wird verwirrt, wenn die Aufgaben zu unterschiedlich sind.

Dieses Paper stellt eine neue Methode namens SMP (Skill Mixture-of-Experts Policy) vor. Denken Sie bei SMP nicht an ein einziges riesiges Gehirn, sondern an eine hochorganisierte Baustelle mit einem spezifischen Satz an Werkzeugen und einem klugen Bauleiter.

So funktioniert es, unterteilt in einfache Konzepte:

1. Der „Werkzeugkasten“ (Die orthogonale Skill-Basis)

Anstatt zu versuchen, jede Bewegung von Grund auf neu zu lernen, lernt SMP einen kleinen Satz von grundlegenden, wiederverwendbaren Fähigkeiten (Skills).

Die Analogie: Stellen Sie sich einen Werkzeugkasten vor. Sie brauchen nicht für jeden Job ein einzigartiges Werkzeug. Sie brauchen nur einen Hammer, einen Schraubendreher und einen Schraubenschlüssel.
Wie SMP es macht: Es lernt „orthogonale“ Skills. In mathematischen Begriffen bedeutet das, dass die Fähigkeiten perfekt unterscheidbar sind, wie die X-, Y- und Z-Achsen in einem Koordinatensystem. Ein Skill könnte rein darin bestehen, sich nach „links zu bewegen“, ein anderer im „Rotieren“ und ein weiterer im „Greifen“. Da sie sich nicht überschneiden, weiß der Roboter genau, welches Werkzeug er benutzen muss, ohne verwirrt zu werden.
Der Clou: Der Werkzeugkasten ist nicht statisch. Wenn sich der Roboterarm in einer ungewöhnlichen Position befindet, passt sich der Werkzeugkasten leicht an („morphing“), um die Situation optimal zu nutzen, damit die Werkzeuge auch in diesem speziellen Winkel immer perfekt funktionieren.

2. Der „Bauleiter“ (Sticky Routing)

Sobald der Roboter seinen Werkzeugkasten hat, braucht er jemanden, der entscheidet, welche Werkzeuge wann zu verwenden sind.

Die Analogie: Stellen Sie sich eine Baustelle vor. Sie wollen nicht, dass der Bauleiter jede Sekunde zwischen dem Hammer und dem Schraubendreher wechselt. Das wäre chaotisch und ineffizient. Sie wollen, dass der Bauleiter sagt: „Okay, für die nächsten 10 Sekunden wird nur gehämmert“, und dann zur nächsten Phase zu „schrauben“ wechselt.
Wie SMP es macht: Es verwendet etwas namens „Sticky Routing“. Die „Gate“ (die Entscheidungseinheit) bleibt für eine gewisse Zeit beim selben Skill. Sie springt nicht hin und her oder flackert. Dies erzeugt flüssige, natürliche Bewegungsphasen, wie etwa „Reichen“, „Greifen“, „Bewegen“ und „Loslassen“.

3. Die „Kluge Crew“ (Mixture of Experts)

SMP besitzt viele verschiedene „Experten“ (kleine KI-Modelle), aber es nutzt nicht alle gleichzeitig.

Die Analogie: Denken Sie an eine Restaurantküche. Wenn Sie einen Burger bestellen, brauchen Sie weder den Sushi-Koch noch den Konditor und den Grillmeister gleichzeitig. Sie brauchen nur den Grillmeister.
Wie SMP es macht: In jedem Moment schaut SMP darauf, was der Roboter gerade tut, und aktiviert nur die wenigen Experten, die für diesen speziflichen Schritt benötigt werden.
- Wenn der Roboter den linken Arm bewegen muss, weckt er die „Linker Arm“-Experten auf.
- Wenn er rotieren muss, weckt er die „Rotations“-Experten auf.
- Die restlichen Experten bleiben im Schlafmodus (was Energie und Zeit spart).

Warum ist das besser?

Das Paper hat dies sowohl in Computersimulationen als auch an echten Robotern mit zwei Armen getestet. Hier ist das Ergebnis:

Es ist schneller: Da SMP nur wenige „Experten“ gleichzeitig aktiviert, muss es nicht die schwere Mathematik eines riesigen Gehirns berechnen. Es läuft viel schneller, was für die Echtzeit-Robotersteuerung entscheidend ist.
Es lernt intelligenter: Als der Roboter eine Vielzahl verschiedener Aufgaben lernte, erkannte SMP, dass das „Greifen einer Flasche“ und das „Greifen eines Blocks“ dieselbe zugrunde liegende Fähigkeit nutzen. Es konnte diese Fähigkeiten wiederverwenden, anstatt sie jedes Mal neu zu lernen.
Es passt sich schnell an: Wenn der Roboter mit einer neuen Aufgabe konfrontiert wurde, die nur sehr wenige Beispiele benötigte (wie z. B. 10 Versuche), konnte sich SMP viel schneller anpassen als die riesigen Modelle. Das lag daran, dass es nur seinen „Bauleiter“ anpassen musste, um die richtigen vorhandenen Werkzeuge auszuwählen, anstatt sein ganzes Gehirn neu aufzubauen.

Das Fazit

Das Paper argumentiert, dass wir Roboter nicht einfach nur „größer“ und „dümmer“ machen sollten (massive Modelle, die langsam und teuer sind), sondern modular und effizient.

Indem wir einem Roboter einen kleinen Satz distinkter, wiederverwendbarer Fähigkeiten beibringen und ihm ein kluges System geben, um die richtigen zur richtigen Zeit auszuwählen, können wir Roboter dazu bringen, komplexe Multi-Tasking-Jobs schnell und zuverlässig zu erledigen – selbst auf echter Hardware. Es ist der Unterschied zwischen dem Tragen einer ganzen Bibliothek in seinem Rucksack und dem Tragen eines klugen, anpassungsfähigen Schweizer Taschenmessers.

Technisches Resümee: Abstraktion von Roboter-Manipulationsfertigkeiten mittels Mixture-of-Experts-Diffusions-Policies

Problemstellung

Diffusionsbasierte Policies haben durch die Modellierung der Aktionsgenerierung als Entrauschungsprozess bemerkenswerte Erfolge bei einstufigen Aufgaben der Robotermanipulation erzielt. Die Erweiterung dieser Policies auf Multi-Task-Szenarien stellt jedoch erhebliche Herausforderungen dar. Derzeitige Strategien setzen oft auf eine Skalierung der Modellgröße und der Demonstrationsdatensätze, um Generalisierung zu erreichen. Dieser Ansatz verursacht prohibitive Kosten: Übergroße Modelle leiden unter langsamen Inferenzgeschwindigkeiten, die für die Echtzeitsteuerung ungeeignet sind, und die erforderlichen Demonstrationsdaten wachsen exponentiell mit der Vielfalt der Aufgaben. Zudem versagen bestehende Anwendungen von Mixture-of-Experts (MoE) in der Robotik oft dabei, wiederverwendbare Manipulationsfertigkeiten explizit zu entkoppeln, was zu verschlungenen Verhaltensweisen und schlechter Interpretierbarkeit führt. Die zentrale Herausforderung besteht darin, eine effektive Multi-Task-Generalisierung bei moderater Modellgröße und geringer Sampling-Latenz zu ermöglichen und gleichzeitig sicherzustellen, dass Fertigkeiten wiederverwendbar und transferierbar sind.

Methodik: Skill Mixture-of-Experts Policy (SMP)

Die Autoren schlagen die Skill Mixture-of-Experts Policy (SMP) vor, ein diffusionsbasiertes Framework, das eine kompakte, orthogonale Skill-Basis lernt und Aktionen aus einer spärlichen Teilmenge von Experten zusammensetzt.

1. Zustandsadaptive orthogonale Skill-Basis

Anstatt eine feste Aktionsbasis zu verwenden, lernt SMP eine zustandsabhängige orthonormal Basismatrix $B(s) \in \mathbb{R}^{d \times K}$ (wobei $K \ll d$ ).

Konstruktion: Ein leichtgewichtiges neuronales Netzwerk generiert eine unbeschränkte Matrix $W(s)$ , die mittels einer differenzierbaren dünnen-QR-Retraktion mit Vorzeichenstabilisierung auf die Stiefel-Mannigfaltigkeit projiziert wird. Dies stellt sicher, dass die Basisvektoren orthonormal bleiben und sich kontinuierlich mit dem Roboterzustand (z. B. Armpose, Kontakt) entwickeln, wodurch die lokale Entkopplung bewahrt wird.
Aktionszerlegung: Aktionen werden als $a_t = B(s_t)(g_t \odot z_t)$ dekodiert, wobei $g_t$ die Gating-Gewichte und $z_t$ die Skill-Koeffizienten sind. Diese orthogonale Zerlegung stellt sicher, dass jeder Experte zu einer distinkten, nicht überlappenden Richtung im Aktionsraum beiträgt.

2. Sticky Routing und globale Nutzung

Um das Problem des schnellen, instabilen Wechsels zwischen Experten (Chatter) zu adressieren, verwendet SMP eine Sticky-Dirichlet-Markov-Dynamik für den Gating-Mechanismus.

Zeitliche Konsistenz: Das Gate $g_t$ wird als Markov-Prozess modelliert, bei dem der aktuelle Zustand vom vorherigen Gate $g_{t-1}$ und einem globalen Nutzungsvektor $\vartheta$ abhängt. Dies fördert eine stückweise konstante Skill-Aktivierung, die mit den quasi-stationären Phasen von Manipulationsaufgaben (z. B. Greifen, Bewegen, Loslassen) übereinstimmt.
Globale Nutzung: Ein globaler Vektor $\vartheta$ erfasst die allgemeine Prävalenz der Skills und verhindert, dass die Policy in einen einzelnen Experten kollabiert, während eine ausgewogene Nutzung über verschiedene Aufgaben hinweg aufrechterhalten wird.

3. Variationales Trainingsziel

SMP wird mittels variabler Inferenz trainiert, um die Evidence Lower Bound (ELBO) zu maximieren, welche sich in drei Komponenten zerlegt:

Rekonstruktionsverlust ( $L_{recon}$ ): Stellt sicher, dass die synthetisierte Aktion in der geweißten Basis mit der Grundwahrheit übereinstimmt. Entscheidend ist, dass das Training zwei Koeffizienten-Targets verwendet: ein Stop-Gradient-Target für die Diffusions-Surrogate und ein Gradienten-tragendes Target zur Rekonstruktion der Aktion, wodurch die Skill-Basis $B(s)$ aktualisiert werden kann, ohne den Diffusionsprozess zu destabilisieren.
Gate-Regularisierung ( $L_{gate}$ ): Richtet die amortisierte Gate-Posterior an der Sticky-Dirichlet-Prior aus, was zeitliche Beständigkeit (Stickiness) und globale Nutzungsbeschränkungen erzwingt.
Koeffizienten-Regularisierung ( $L_{coeff}$ ): Richtet die Skill-Koeffizienten an ihren Diffusions-Priors aus.

4. Adaptive Expertenaktivierung bei der Inferenz

Um die Rechenkosten zu senken, evaluiert SMP nicht alle Experten bei jedem Schritt.

State-Only Router: Ein leichtgewichtiger Router sagt die Gate-Gewichte ausschließlich basierend auf dem Zustand $s_t$ voraus.
Sparse Selection: Experten werden nach ihrer „Masse“ ( $m_i = \bar{g}_{t,i}^2$ ) geordnet. Das System aktiviert nur die Top- $k$ -Experten oder die kleinste Teilmenge, die einen Schwellenwert (z. B. 95 %) der Gesamtmasse abdeckt. Dies ermöglicht eine spärliche, zustandsabhängige Aktivierung, was die aktiven Parameter und die Latenz erheblich reduziert.

Zentrale Beiträge

SMP-Framework: Eine diffusionsbasierte MoE-Policy, die wiederverwendbare Manipulationsfertigkeiten explizit über eine zustandsabhängige orthonormale Aktionsbasis mit Sticky-Routing abstrahiert.
Adaptive Aktivierungsstrategie: Ein dynamischer Selektionsmechanismus, der bei der Inferenz eine kompakte Teilmenge von Experten aktiviert, was die Rechenkosten senkt und gleichzeitig die Genauigkeit der Aktions-Sampling beibehält.
Empirische Validierung: Umfassende Evaluierung in der Simulation (RoboTwin-2, RLBench-2) und auf einer realen Dual-Arm-Plattform, die im Vergleich zu starken Diffusions-Baselines überlegene Multi-Task-Erfolgsraten und geringere Inferenzkosten demonstriert.

Experimentelle Ergebnisse

Die Autoren evaluierten SMP gegen klassische Diffusions-Policies (DP, DP3), Transformer-basierte Policies (ACT), große Foundation Models (RDT) sowie andere Skill-Abstraktions- oder MoE-Baselines.

Multi-Task-Lernen: SMP erreichte konsistent höhere Erfolgsraten bei bimanualen Aufgaben (z. B. Tabletts heben, Übergaben, Kehren) im Vergleich zu den Baselines. Während die Skalierung von RDT (einem 1,2 Mrd. Parameter starken Modell) den Erfolg nur um 19 % gegenüber einer kleineren Baseline steigerte, erreichte SMP eine höhere Leistung mit einem deutlich kleineren Footprint.
Effizienz: SMP reduzierte die Inferenzzeit und die aktiven Parameter. Es aktivierte etwa 30 % seiner eigenen Parameter (etwa 7 % der Gesamtparameter von RDT), während eine hohe Erfolgsrate beibehalten wurde. Im Gegensatz dazu litten dichte Baselines und FFN-MoE-Varianten unter höherer Latenz aufgrund der Notwendigkeit, alle Experten zu synchronisieren oder zu evaluieren.
Transfer Lernen:
- Few-Shot Adaptation: Beim Fine-Tuning auf neuen Aufgaben mit nur 10 Demonstrationen übertraf SMP die Baselines, indem es relevante Experten effektiv wiederverwendete, ohne den gesamten Backbone neu trainieren zu müssen.
- Skill-Komposition: In Aufgaben, die eine Rekombination gelernter Skills erfordern (z. B. Pommes in eine Pfanne geben), gelang es dem Router-only Fine-Tuning von SMP, Skills erfolgreich neu zu kombinieren, während Baselines verschwommene Rollen und inkonsistente Phasen zeigten.
Real-Robot-Performance: Auf einer PiPER Dual-Arm-Plattform erreichte SMP die höchsten Progress-Scores bei vier komplexen bimanualen Aufgaben (z. B. Stiftkappen entfernen, Bohnen gießen) mit geringerer Latenz als Diffusions-Baselines.

Bedeutung und Ansprüche

Das Paper behauptet, dass SMP einen praktischen Weg zu skalierbarer, transferierbarer Multi-Task-Manipulation bietet. Durch das Erlernen und einmalige Aktivieren der benötigten Skills adressiert SMP den Zielkonflikt zwischen Modellkapazität und Inferenz-Effizienz. Die Autoren betonen, dass die gelernten Experten mit intuitiven Manipulationsrollen (linker/rechter Arm, Phasen wie Pick/Move/Place) übereinstimmen und dass der adaptive Aktivierungsmechanismus einen einfachen Regler bietet, um Genauigkeit gegen Latenz abzuwägen. Die Arbeit legt nahe, dass explizite Skill-Entkopplung und phasenkonsistentes Routing entscheidend für eine robuste bimanuale Kontrolle sind und eine effizientere Alternative zur Brute-Force-Skalierung großer Modelle darstellen.

Die Autoren räumen Einschränkungen ein und merken an, dass sich die aktuelle Studie auf die bimanuale Manipulation mit relativ kleinen Backbones konzentriert. Zukünftige Arbeiten sollen SMP auf größere Modelle skalieren, die Evaluierung auf Single-Arm- und Mobile-Manipulation ausweiten und umfangreichere Real-Robot-Studien durchführen, um die Robustheit gegenüber Sensorrauschen und Domain-Shift zu bewerten.