💻 computer science

ECo-MoE: Embodiment-Conditioned Mixture of Experts Increases the Evolvability of Robots

Das Papier stellt ECo-MoE vor, ein skalierbares Framework, das Roboter-Morphologien und ein gated mixture of control experts gemeinsam optimiert, um eine effiziente, modulare Evolution zu ermöglichen, bei der altes Wissen bewahrt wird und neue Designs durch vortrainierte Strategien über einen „evo by demo"-Prozess gelenkt werden können.

Ursprüngliche Autoren: Yibin Wang, Muhan Li, Zihan Guo, Sam Kriegman

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yibin Wang, Muhan Li, Zihan Guo, Sam Kriegman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einer ganzen Familie von Robotern das Laufen beizubringen, wobei jedes Mitglied dieser Familie eine leicht unterschiedliche Körperform hat. Manche sind groß und dünn, manche klein und breit, und manche haben zusätzliche Beine.

In der Vergangenheit standen Wissenschaftler vor einer schwierigen Wahl:

Der „Einheitsgröße"-Ansatz: Trainieren Sie ein einziges riesiges, superkomplexes Gehirn, das jeden Roboter steuert. Das Problem? Dieses Gehirn wird „konservativ". Es spielt auf Nummer sicher, was dazu führt, dass sich die Roboter langsam und ungeschickt bewegen, weil es einen Kompromiss sucht, der für alle funktioniert, aber in nichts herausragt.
Der „Individuelles Gehirn"-Ansatz: Trainieren Sie ein brandneues, individuelles Gehirn für jeden einzelnen Roboter. Das Problem? Dies ist unglaublich langsam und teuer, wie wenn man für jeden Schüler in einer riesigen Schule einen persönlichen Tutor einstellen würde.

Diese Arbeit stellt einen cleveren Mittelweg vor, der ECo-MoE (Embodiment-Conditioned Mixture of Experts) genannt wird. Stellen Sie sich dies als ein spezialisiertes Team von Trainern vor, das zusammenarbeitet.

Die Analogie vom „Team von Trainern"

Anstatt eines einzigen riesigen Gehirns oder tausender individueller Gehirne verfügt der Roboter über ein kleines Team von vier „Experten"-neuronalen Netzen (Trainern).

Experte 1 ist hervorragend darin, lange, schlangenartige Körper zu steuern.
Experte 2 ist hervorragend darin, kurze, stämmige Körper zu steuern.
Experte 3 und Experte 4 haben ihre eigenen Spezialgebiete.

Aber hier liegt der Zauber: Der Roboter wählt nicht einfach nur einen Trainer aus. Er verfügt über einen intelligenten Manager (ein sogenanntes „Gating Network"). Dieser Manager betrachtet die Körperform des Roboters (seinen „Genotyp" oder Bauplan) und entscheidet, wie stark er auf jeden Trainer hört.

Ist der Roboter lang und dünn, sagt der Manager: „Hört zu 90 % auf Experte 1 und zu 10 % auf Experte 2."
Ist der Roboter kurz und breit, sagt der Manager: „Hört zu 80 % auf Experte 3."

Dies ermöglicht es dem System, neue Körperformen zu entwickeln, ohne das Gehirn zu zerstören. Wenn sich eine neue, seltsame Körperform entwickelt, kann der Manager einfach die Mischung der Trainer anpassen, um damit umzugehen, ohne das Wissen, das die Trainer bereits erworben haben, verwerfen zu müssen.

„Evo by Demo": Lernen aus einem Bauplan

Die Arbeit stellt zudem eine Funktion namens „Evo by Demo" (Evolution durch Demonstration) vor.

Stellen Sie sich vor, Sie haben ein bestimmtes Roboterdesign, das Ihnen wirklich gefällt (eine „Demo"), wie etwa einen perfekten Vierbeiner. Normalerweise ist Evolution zufällig; es ist, als würde man im Dunkeln Pfeile werfen und hoffen, die Mitte zu treffen.

Der alte Weg: Sie warten möglicherweise lange darauf, dass die Evolution zufällig auf diese perfekte Form stößt.
Der ECo-MoE-Weg: Sie können dieses perfekte Design nehmen, einen der „Experten-Trainer" speziell darauf trainieren und dann das Gehirn dieses Trainers einfrieren. Anschließend weisen Sie den Evolutionsprozess an: „Hey, wenn ein neuer Roboter unserem perfekten Demo ein bisschen ähnelt, hört diesem Experten stärker zu."

Dies wirkt wie ein Magnet. Er zieht die zufällige Evolution sanft in die gewünschte Form, führt die Roboter dazu, sich in die spezifischen, wünschenswerten Formen zu entwickeln, die Sie im Sinn haben, anstatt nur zufällige Formen anzunehmen.

Was haben sie herausgefunden?

Die Forscher testeten dies in einer simulierten Welt mit drei Herausforderungen:

Flaches Gelände: Laufen auf einem glatten Boden. (Hier war die neue Methode genauso gut wie die alte „Einheitsgröße"-Methode. Einfache Aufgaben benötigen kein komplexes Team von Trainern.)
Aufrechtes Laufen: Laufen, während man aufrecht bleibt (wie ein Mensch). (Die neue Methode war viel besser. Sie entwickelte Roboter, die viel effektiver stehen und laufen konnten.)
Lochstraßen: Laufen über unebenen, zerklüfteten Boden. (Auch hier war die neue Methode viel besser. Das Team von Trainern konnte sich viel schneller an das raue Gelände anpassen als das einzelne riesige Gehirn.)

Das große Ganze

Die Hauptaussage ist, dass Roboter durch die Verwendung eines modularen Teams von Experten, das sich an die Körperform des Roboters anpasst, schneller evolvieren und bessere Verhaltensweisen lernen können, insbesondere wenn die Aufgaben schwierig werden oder die Umgebung chaotisch ist. Es ist wie der Wechsel von einem einzigen, überarbeiteten General zu einem flexiblen, spezialisierten Kommandozentrum, das jede Körperform bewältigen kann, die die Natur (oder die Evolution) ihm vor die Füße wirft.

Die Arbeit weist zudem darauf hin, dass dies zwar in der Computersimulation hervorragend funktioniert, die Roboter jedoch gerade erst in der realen Welt gebaut werden, und der nächste Schritt darin besteht, zu prüfen, ob dies auch bei physischen Maschinen funktioniert.

Technische Zusammenfassung: ECo-MoE: Embodiment-Conditioned Mixture of Experts erhöht die Evolvierbarkeit von Robotern

Problemstellung

Die Kooptimierung von Robotermorphologie und -steuerung (Co-Design) steht vor einem grundlegenden Zielkonflikt zwischen Skalierbarkeit und Leistungsfähigkeit. Bestehende Ansätze fallen typischerweise in zwei ineffiziente Extreme:

Individuelle Policies: Das Training einer maßgeschneiderten Steuerungspolicy für jedes einzelne Roboterdesign ist für die Evolution großer Populationen rechnerisch prohibitiv.
Monolithische universelle Controller: Das Training eines einzigen „universellen" Controllers für alle Designs (wie in jüngsten State-of-the-Art-Arbeiten von Li et al., 2025, durchgeführt) führt häufig zu übermäßig konservativen Strukturen und Verhaltensweisen. Dieser Ansatz hat Schwierigkeiten, sich auf hochdiverse Morphologien zu verallgemeinern, und versagt darin, spärliche oder irreführende Suchlandschaften angemessen zu erkunden, insbesondere wenn die Komplexität der Aufgabe zunimmt.

Darüber hinaus ist die Evolution zwar ein leistungsfähiger Mechanismus zur Erzeugung allgemein intelligenter Agenten und neuartiger morphologischer Designs, jedoch rechnerisch kostspielig. Eine Reduzierung der morphologischen Auflösung, um die Evolution handhabbar zu machen, geht oft zulasten der Relevanz für die reale Robotik. Die Autoren suchen einen Mittelweg, der ancestrales Wissen bewahrt und gleichzeitig eine modulare Anpassung an neue Körperpläne ermöglicht, ohne hart erkundetes Steuerungswissen zu stören.

Methodik

Die Arbeit stellt ECo-MoE (Embodiment-Conditioned Mixture of Experts) vor, ein Framework, das eine Verteilung latenter Designvektoren (Genotypen) und eine Mischung von Steuerungs-Experten (neuronale Module) kooptimiert.

1. Gemeinsamer Kooptimierungsrahmen

Das System arbeitet auf zwei Zeitskalen:

Evolution (langsamer): Aktualisiert die latente Verteilung $N(\mu, \Sigma)$ der Genotypen $z \in \mathbb{R}^{512}$ mittels CMA-ES. Jeder Genotyp wird über einen vortrainierten Variational Autoencoder (VAE) in eine 3D-Endoskelett-Morphologie (64³ Voxel) decodiert, die aus Weichgewebe und starren Knochen besteht.
Lernen (schneller): Aktualisiert die Controller-Parameter mittels PPO. Der Controller erhält den Zustand des Roboters $s$ und seinen latenten Genotyp $z$ , um Aktionen $a$ zu erzeugen.
Ziele: Das System maximiert eine dichte Verhaltensbelohnung $R(\tau)$ (für das Lernen) und eine spärliche Design-Fitness $F(\tau)$ (für die Evolution).

2. Embodiment-Conditioned Mixture of Experts (ECo-MoE)

Anstelle einer einzigen monolithischen Policy besteht der Controller aus $K=4$ Expert-Subnetzwerken (verkleinerte Graph-Transformer) und einem Gating-Netzwerk.

Gating-Mechanismus: Eine lineare Gating-Schicht nimmt den latenten Genotyp $z$ als Eingabe, um Routing-Gewichte zu erzeugen: $w_\phi(z) = \text{softmax}(Wz + b)$ .
Policy-Aggregation: Die finale Policy ist eine gewichtete Summe der Expertenausgaben:
$\pi_{\theta,\phi}(a | s, z) = \sum_{k=1}^{K} w_k^\phi(z) \pi_k^\theta(a | s)$
Diversitätsregularisierung: Um ein „Expert Collapse" zu verhindern (bei dem das Gating sich nur auf einen einzigen Expert verlässt), fördert ein Verlustterm $L_{div}$ unterschiedliche Routing-Gewichte für Genotypen, die im latenten Raum weit voneinander entfernt sind. Dies stellt sicher, dass verschiedene Körperpläne unterschiedliche Kombinationen erlernter sensorimotorischer Schaltkreise aktivieren.

3. „Evo by Demo"

Das Framework führt einen Mechanismus ein, um die Evolution unter Verwendung von Vorwissen zu steuern:

Einspeisung vortrainierter Experten: Ein spezifischer Expert in der Mischung wird durch eine Policy ersetzt, die auf einem spezifischen „vordefinierten Demo" (z. B. ein spezifisches Vierbeiner-Modell) vortrainiert wurde. Seine Parameter werden eingefroren.
Initialisierung des latenten Priors: Der Mittelwert und die Standardabweichung der initialen latenten Verteilung können basierend auf der latenten Kodierung des vordefinierten Demos festgelegt werden.
Kompatibilitätssteuerung: Ein erlernter Kompatibilitätswert $\hat{c}_g(z)$ (das dem eingefrorenen Expert zugewiesene Gating-Gewicht) wird verwendet, um den Fitnesswert zu erweitern: $\tilde{F}(z, \tau) = F(\tau) \cdot (\hat{c}_g(z))^\alpha$ . Dies lenkt die Evolution hin zu Morphologien, die mit der Steuerungsstrategie des vortrainierten Experts kompatibel sind.

Hauptbeiträge

Modulares Co-Design: Die Arbeit schlägt eine skalierbare Alternative zu monolithischen Controllern vor, indem eine Mischung von Experten verwendet wird, die durch den latenten Genotyp des Roboters gating-gesteuert wird. Dies ermöglicht es, verschiedene Teile des Controllers für neue Spezies zu überarbeiten, ohne Wissen in anderen Modulen zu stören.
Erhöhte Evolvierbarkeit: Die Autoren zeigen, dass Modularität die Fähigkeit von Robotern signifikant verbessert, in komplexen Umgebungen (z. B. aufrechter Fortbewegung und unwegsamem Gelände) effektive Verhaltensweisen zu entwickeln, im Vergleich zu nicht-modularen Baselines.
Steuerbare Evolution („Evo by Demo"): Die Arbeit stellt eine Methode vor, um die freie Evolution hin zu kanonischen Strukturen zu lenken, die durch vortrainierte Modelle definiert sind, und verbindet so effektiv die explorative Kraft der Evolution mit der Präzision des überwachten Lernens.

Ergebnisse

Experimente wurden in drei Umgebungen durchgeführt: Flacher Boden, Aufrechte Fortbewegung und Schlaglöcher (unwegsames Gelände).

Leistungssteigerungen:
- Flacher Boden: ECo-MoE schnitt mit der Baseline (monolithischer Controller) vergleichbar ab, da einfache Verschiebungsaufgaben keine embodiment-konditionierte Spezialisierung erfordern.
- Komplexe Aufgaben: ECo-MoE übertraf die Baseline bei aufrechter Fortbewegung und Schlaglöchern signifikant. Der modulare Ansatz ermöglichte es dem System, diversere und robustere Designs zu entwickeln, die in der Lage waren, die Körperhaltung zu halten und Hindernisse zu navigieren.
- Parameter-Effizienz: Trotz der Verwendung mehrerer Experten war die gesamte Policy-Größe von ECo-MoE geringfügig kleiner als die der Baseline, mit deutlich weniger Parametern, die pro Expert für die Aktionsgenerierung verwendet wurden.
Analyse der Evolvierbarkeit:
- Die Visualisierung des latenten Raums zeigte, dass ECo-MoE nicht unbedingt einen größeren Bereich erkundete als die Baseline, sondern eine bessere Ausnutzung der getroffenen Designs erreichte.
- Routing-Gewichte passten sich über Generationen dynamisch an, wobei Experten sich für spezifische strukturelle Merkmale spezialisierten.
- Das System war robust gegenüber der Anzahl der Experten (getestet mit 2, 4 und 8), wobei 4 die beste Balance boten.
Evo by Demo:
- Die Kombination einer vordefinierten Initialisierung mit einem eingefrorenen vortrainierten Experten (CoSteering) war die effektivste Methode, um die Evolution hin zu spezifischen morphologischen Merkmalen (z. B. radiale Symmetrie und bestimmte Gliedmaßenanzahlen) zu lenken.
- Dieser Ansatz erzeugte evolvierte Roboter mit einer höheren „effektiven Gliedmaßenanzahl" und niedrigeren „Mass-Bias-Vektor-Magnituden" (ausgewogenere Anatomie) im Vergleich zur zufälligen Initialisierung.
- Während PredesignOnly (Initialisierung ohne vortrainierten Expert) eine hohe Fitness erreichte, erzeugte CoSteering Morphologien, die dem Ziel-Demo strukturell am ähnlichsten waren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ECo-MoE eine hochabstrahierte Darstellung modularer, über-embodiment-fähiger Steuerungssysteme bietet, wie sie in der Natur vorkommen, wo gemeinsame modulare Gene und neuronale Schaltkreise diverse Körperteile und Bewegungsmuster erzeugen.

Skalierbarkeit: Der Ansatz bietet einen skalierbaren Weg zur Evolution komplexer embodiment-fähiger Agenten, indem er die Steuerung von spezifischen Morphologien entkoppelt, während ein einheitliches Framework beibehalten wird.
Steuerbarkeit: Durch die Möglichkeit modularer Modifikation führt das System zur Evolution besser steuerbarer Designs und puffert schädliche Mutationen ab.
Praktische Implikationen: Die Arbeit schlägt einen Weg für die Robotik vor, bei dem „Evo by Demo" die Entdeckung neuartiger, weicher Roboter mit gewünschten Eigenschaften lenken kann, was potenziell zu Agenten führt, die nützlicher und weniger gefährlich sind als aktuelle starre Formen.
Einschränkungen: Die Autoren vermerken bescheiden, dass der aktuelle VAE-latente Raum Schwierigkeiten hat, außerhalb der Verteilung liegende Formen (wie Zweibeiner oder Sechsbeiner), die in den Trainingsdaten nicht gut repräsentiert sind, wiederherzustellen. Sie schlagen vor, dass zukünftige Arbeiten die Anpassung des VAE während der Evolution umfassen könnten, um den latenten Mannigfaltigkeitsraum zu erweitern. Die Experimente sind derzeit auf simulierte terrestrische Fortbewegung beschränkt, wobei die physische Realisierung und diversere Verhaltensweisen (Schwimmen, Manipulation) als zukünftige Schritte identifiziert wurden.