Learning, locomotion, and navigation of soft synthetic snakes in three-dimensional, heterogeneous environments

Dieser Beitrag stellt ein bio-inspiriertes Reinforcement-Learning-Framework vor, das weiche synthetische Schlangen befähigt, Lokomotionsprimitive in vereinfachtem Gelände zu erlernen und sie zu adaptiven Strategien zu kombinieren, um komplexe, heterogene 3D-Umgebungen, die aus realen Daten rekonstruiert wurden, robust zu navigieren.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einer Roboterschlange beizubringen, sich durch einen unordentlichen, realen Hinterhof zu schlängeln, der voller Felsen, Sand und unebener Erhebungen steckt. Stellen Sie sich nun vor, diese Roboter verfügt nicht über ein Gehirn voller komplexer mathematischer Gleichungen, die jedem einzelnen Muskel sagen, was zu tun ist. Stattdessen besitzt sie einen „klugen Instinkt", der es ihr ermöglicht, die Dinge unterwegs zu begreifen.

Dieser Artikel beschreibt genau das: eine neue Methode, weiche, gliedlose Roboterschlangen beizubringen, wie sie sich mithilfe einer Kombination aus biologisch inspirierten Tricks und maschinellem Lernen durch knifflige 3D-Umgebungen bewegen.

Hier ist die Aufschlüsselung, wie sie es getan haben, unter Verwendung einfacher Analogien:

1. Das Problem: Zu viele Muskeln, zu viel Verwirrung

Echte Schlangen sind erstaunlich. Sie können sich durch Spalten zwängen, Felsen erklimmen und über Sand gleiten, ohne Beine zu haben. Doch den Bau einer Roboterschlange ist schwierig, weil ihr Körper wie eine lange, flexible Nudel ist, die sich auf unendliche Weise biegen lässt. Wenn man versuchen würde, jeden Zentimeter dieser Nudel mit einem Computer zu steuern, würde die Mathematik so kompliziert werden, dass der Roboter einfrieren würde.

Die Forscher wollten dieses Problem lösen, indem sie dem Roboter ein „vereinfachtes Gehirn" gaben, das aus Erfahrung lernt, anstatt jeden Zug perfekt zu berechnen.

2. Der Trick der „Muskelgedächtnis" (Aktuierung)

Anstatt den Roboter so zu programmieren, dass er jeden einzelnen Muskel bewegt, gab ihm das Team eine voreingestellte Tanzroutine.

• Die Analogie: Denken Sie an die Bewegung einer Schlange wie an eine Welle, die sich ein Seil hinunterbewegt. Die Forscher programmierten den Roboter mit einem einfachen „Zwei-Wellen-Tanz": eine Welle, die sich von Seite zu Seite bewegt (wie eine sich schlängelnde Schlange), und eine Welle, die sich auf und ab bewegt (den Körper hebend).
• Die Magie: Indem man nur zwei Knöpfe dreht – wie hoch die Schlange sich hebt und den Takt der Welle –, kann der Roboter sein gesamtes Verhalten ändern. Er kann nach links wenden, nach rechts wenden, geradeaus gehen oder sogar einen „Seitwärts-Wind-Tanz" ausführen (sich seitwärts bewegen wie eine Wüstenschlange). Dies verwandelt ein komplexes Problem in ein einfaches Spiel des Justierens von zwei Reglern.

3. Der „Sechste Sinn" (Wahrnehmung)

Ein Roboter muss wissen, worauf er läuft. Ist es rutschiger Sand? Ist es raues Gras?

• Die Analogie: Die Forscher gaben dem Roboter ein „Gefühls"-System, das darauf basiert, wie ein Fischschwarm oder eine Vogelschar gemeinsam bewegt. Sie verwendeten eine Gruppe virtueller „Oszillatoren" (wie winzige, synchronisierte Metronome), die die Kräfte hören, die auf den Bauch der Schlange treffen.
• Wie es funktioniert: Wenn die Schlange auf rauem Boden auftrifft, synchronisieren sich die Metronome, um dem Gehirn zu sagen: „Hey, wir sind auf unebenem Gelände!" Wenn sie auf glatten Sand trifft, synchronisieren sie sich anders. Dies verleiht dem Roboter ein Echtzeit-Gefühl für seine Umgebung, ohne dass teure Kameras oder Laser benötigt werden.

4. Der Lernprozess (Bestärkendes Lernen)

Das Team schrieb kein Handbuch für den Roboter. Stattdessen ließen sie ihn durch Versuch und Irrtum lernen, wie ein Welpe, der das Apportieren lernt.

• Phase 1: Der Sandkasten: Zuerst ließen sie die Schlange auf flachen, einfachen Böden üben (einige rau, einige glatt). Der Roboter probierte Millionen verschiedener Bewegungen aus, erhielt „Punkte" für das Annähern an ein Ziel und „verlor Punkte", wenn er stecken blieb. Schließlich lernte er zwei perfekte „Tanzschritte": einen für rauen Boden und einen für glatten Sand.
• Phase 2: Der Wechsel: Dann setzten sie den Roboter in eine gemischte Umgebung (halb rau, halb glatt). Anstatt den gesamten Roboter neu zu trainieren, gaben sie ihm eine einfache Regel: „Wenn deine Sensoren rau fühlen, verwende den Tanz für rauen Boden. Wenn sie glatt fühlen, verwende den Tanz für glatten Boden."
• Das Ergebnis: Der Roboter wechselte erfolgreich und in Echtzeit zwischen den Tänzen und navigierte das gemischte Gelände genau so, wie es eine echte Schlange tun würde.

5. Die Superkraft des „Kopfhebens"

Schließlich testeten sie den Roboter in einer wirklich unordentlichen 3D-Welt mit Hügeln, Rissen und Klippen (rekonstruiert aus echten Fotos von Mars und anderen Geländen).

• Die Herausforderung: Manchmal blieb der Roboter stecken, weil eine Erhebung seinen Bauch hob, wodurch er den Halt verlor.
• Die Lösung: Sie fügten dem Gehirn des Roboters einen „Panik-Knopf" hinzu. Wenn die Sensoren spürten, dass der Roboter den Kontakt zum Boden verlor, hob er automatisch den Kopf höher.
• Die Analogie: Stellen Sie sich vor, Sie gehen auf einem felsigen Pfad und stolpern; Sie heben instinktiv den Fuß höher, um den nächsten Felsen zu überwinden. Der Roboter tat dasselbe. Indem er den Kopf hob, verkürzte er den Teil seines Körpers, der den Boden berührte, was ihm tatsächlich half, besser zu greifen und schärfere Kurven zu fahren.

Das Fazit

Die Forscher entwickelten ein System, mit dem eine weiche Roboterschlange kann:

1. Einfache Bewegungsmuster auf flachem Boden lernen.
2. Wahrnehmen, auf welchem Untergrund sie sich befindet, mithilfe eines Systems des „kollektiven Gefühls".
3. Sofort zwischen verschiedenen Bewegungsstilen wechseln, wenn sich der Boden ändert.
4. Anpassen, indem sie den Kopf hebt, wenn das Gelände uneben wird.

Das Ergebnis ist ein Roboter, der komplexe, reale 3D-Landschaften mit hoher Zuverlässigkeit navigieren kann. Dies beweist, dass man kein superkomplexes Gehirn braucht, um sich durch eine unordentliche Welt zu bewegen – man braucht nur die richtigen Instinkte und ein wenig Lernen.

Technische Zusammenfassung

Technisches Fazit: Lernen, Fortbewegung und Navigation weicher synthetischer Schlangen in 3D-heterogenen Umgebungen

Problemstellung
Gliedlose terrestrische Tiere, wie Schlangen, zeigen eine außergewöhnliche Vielseitigkeit in der Fortbewegung in unstrukturierten, heterogenen 3D-Terrains, eine Fähigkeit, die von technischen weichen Robotern derzeit nicht erreicht wird. Die Verwirklichung dieses Potenzials in künstlichen Systemen wird durch den hohen Freiheitsgrad (high-DOF), starke Nichtlinearität und komplexe kontaktreiche Interaktionen behindert, die weichen, schlanken Körpern inhärent sind. Traditionelle modellbasierte Steuerungsmethoden haben in diesen Umgebungen Schwierigkeiten mit der Handhabbarkeit, während modellfreie Bestärkungslernansätze (Reinforcement Learning, RL) oft unter Skalierbarkeitsproblemen und hohen Rechenkosten leiden, was ihre Einsatzfähigkeit auf vereinfachte Settings beschränkt. Diese Arbeit adressiert die Herausforderung, weiche synthetische Schlangen in die Lage zu versetzen, komplexe, reale 3D-Terrains zu navigieren, ohne dass für jedes neue Umfeld ein umfangreiches Nachtrainieren erforderlich ist.

Methodik
Die Autoren schlagen einen hybriden rechnerischen Rahmen vor, der ein auf Kontinua basierendes numerisches Modell mit einer bio-inspirierten Bestärkungslern-Architektur integriert. Die Methodik besteht aus vier Kernkomponenten:

1. Kontinuumsdynamische Modellierung: Der Körper der Schlange wird unter Verwendung der Cosserat-Stab-Theorie modelliert, wobei die 3D-Dynamik einschließlich Dehnung, Biegung, Torsion und Scherung erfasst wird. Die Simulation nutzt die Open-Source-Software Elastica, instanziiert mit den geometrischen und biomechanischen Eigenschaften einer Kornnatter (Pantherophis guttatus). Die Umgebung wird durch hochpräzise 3D-Terrains dargestellt, die aus realen Bilddaten (z. B. Marslandschaften) rekonstruiert und über OBJ-Mesh-Formate importiert wurden. Ein Kontaktmodell, das anisotrope Coulomb-Reibung und Bodenreaktionskräfte integriert, wird eingesetzt, um Interaktionen mit diversen Substraten zu simulieren.

2. Bio-inspirierte Aktuation (Motor-Primitiven): Um die Steuerungskomplexität des Systems mit hohem Freiheitsgrad zu reduzieren, verwenden die Autoren eine kompakte Bibliothek stereotyper Aktuationsschablonen. Spezifisch wird ein „Zwei-Wellen"-Muskelaktivierungsmodell eingesetzt, bestehend aus einer festen lateralen Undulationswelle und einer modifizierbaren vertikalen Hebewelle. Der Steuerungsaktionsraum wird auf zwei einstellbare Parameter reduziert: das dimensionslose Aktivierungsverhältnis ($A$) und die Phasenverschiebung ($\Phi$) der vertikalen Welle. Dieser Ansatz nutzt physikalische Intelligenz, bei der passive Körpermekanik und Terrain-Interaktionen ausgenutzt werden, um die neuromuskuläre Steuerung zu entlasten.

3. Neuronen-inspirierte Sensorik: Eine robuste Zustandsabschätzung wird durch einen Feedback-Partikelfilter (FPF) mit gekoppelten Oszillatoren erreicht. Zwei unabhängige Gruppen von Oszillatoren werden entlang der Mittellinie der Schlange eingesetzt, um lokale Bodenkontaktkräfte in lateraler ($F_l$) und vertikaler ($F_v$) Richtung zu schätzen. Diese Oszillatoren, die biologische neuronale Schaltkreise nachahmen, filtern verrauschte sensorische Eingaben, um zyklusgemittelte Kraftmagnituden ($H_1, H_2$) bereitzustellen. Diese Signale dienen als Umgebungs-Zustandseingaben für den RL-Agenten und ermöglichen Propriozeption und Umgebungsperzeption.

4. Bestärkungslernen und Policy-Anpassung: Das Steuerungsziel wird als Optimierungsproblem formuliert, um den Fortschritt zu einem Zielort zu maximieren. Der Proximal Policy Optimization (PPO)-Algorithmus wird verwendet, um Steuerungs-Policies zu erlernen.

   • Trainingsphase: Policies werden zunächst in vereinfachten, homogenen Umgebungen (rein anisotrope oder isotrope Reibung) trainiert, um Fortbewegungs-Primitiven zu erlernen (z. B. Vorwärtskriechen vs. Seitenwinden).
   • Anpassungsphase: Für heterogene Terrains verwendet der Rahmen einen Policy-Switching-Mechanismus. Die Schlange wählt dynamisch zwischen den erlernten homogenen Policies basierend auf Echtzeit-Sensorfeedback ($H_1$), um das lokale Reibungsregime zu identifizieren.
   • Verfeinerung: Um 3D-topografische Merkmale (z. B. Erhebungen, Klippen) zu bewältigen, werden leichte Policy-Anpassungen ohne Nachtrainieren eingeführt. Dazu gehören ein „Kopfhebe"-Mechanismus für die anisotrope Policy (zum Navigieren über Erhebungen) und eine „Hebungsverstärkung" für die isotrope Policy (zum Überwinden von Höhenunterschieden), beide ausgelöst durch spezifische sensorische Schwellenwerte.

Hauptergebnisse

• Homogene Navigation: Die erlernten Policies erreichten nahezu 100 % Erfolgsquoten beim Erreichen von Zielen in 6L $\times$ 6L-Bereichen sowohl auf anisotropen als auch isotropen ebenen Oberflächen. Das System lernte erfolgreich, basierend auf Reibungseigenschaften zwischen Gangarten (kriechend vs. seitwärts) zu wechseln.
• Heterogene ebene Oberflächen: In Terrains mit gemischten Reibungszonen erreichte der Policy-Switching-Ansatz eine Erfolgsquote von 86,2 %, was besser war als eine Policy, die von Grund auf auf demselben heterogenen Terrain trainiert wurde (81,1 %). Der Switching-Mechanismus erwies sich als robuster und skalierbarer und umging die Notwendigkeit eines Nachtrainierens in neuen Settings.
• Komplexe 3D-Terrains: Beim Einsatz auf realistischen, mesh-basierten Terrains mit Unregelmäßigkeiten (Erhebungen, Risse) und signifikanten Höhenunterschieden (bis zu das 30-fache des Schlangenradius) erreichte die Basis-Policy nur eine Erfolgsquote von 20,8 %. Mit der Integration der bio-inspirierten Policy-Anpassungen (Kopfheben und Hebungsverstärkung) stieg die Erfolgsquote jedoch auf 88,1 % für ebene anisotrope Terrains mit Erhebungen.
• Komplexe 3D-Umgebungen: In einer hochgradig heterogenen Umgebung, die Kies (anisotrop) und Sand (isotrop) mit steilen Klippen kombiniert, ermöglichte die integrierte Strategie (Policy-Switching + Anpassungen) eine erfolgreiche Navigation in 55,7 % der Versuche, bei denen sich die Schlange bis auf 1L an das Ziel annäherte. Während die volle Erreichbarkeit aufgrund der extremen Komplexität von Gangarten-Übergängen an Terrain-Grenzen weiterhin begrenzt blieb (~30 %), demonstrierte das System die Fähigkeit, diverse Topografien und Substrattypen zu durchqueren.

Bedeutung und Behauptungen
Die Arbeit beansprucht, eine physikalisch realistische Simulationsplattform und praktische Einblicke zur Steuerung von Kontinuumssystemen in natürlichen Terrains bereitzustellen. Die primäre Bedeutung liegt darin zu demonstrieren, dass modulare, bio-inspirierte Steuerungsstrategien – die kompakte Aktuationsschablonen, robuste sensorische Rückmeldung und leichte Policy-Switching kombinieren – weiche Roboter in die Lage versetzen können, sich auf diverse und komplexe 3D-Umgebungen zu verallgemeinern, ohne dass umfangreiches Nachtrainieren erforderlich ist.

Die Autoren betonen, dass ihr Ansatz „physikalische Intelligenz" nutzt, wobei die passiven Mechaniken des Roboters und die umweltvermittelten Interaktionen bewusst ausgenutzt werden, um die Steuerung zu vereinfachen. Der Rahmen etabliert eine rechnerisch effiziente Basis für gliedlose Fortbewegung und bietet einen Weg zur realen Einsatzfähigkeit weicher, kriechender Roboter für Anwendungen in Verteidigung, Exploration, Inspektion und Medizin. Die Arbeit erkennt an, dass der aktuelle Rahmen zwar auf Lernen in vereinfachten Umgebungen basiert, aber eine modulare Grundlage bietet, die zukünftige aufgaben spezifische Motor-Primitiven (z. B. zum Klettern oder Ankern) aufnehmen kann, um die Leistung in stark variablen 3D-Terrains weiter zu verbessern.