💻 computer science

ManiSoft: Towards Vision-Language Manipulation for Soft Continuum Robotics

Dieser Beitrag stellt ManiSoft vor, einen neuen Benchmark und Simulator, der die Herausforderungen der visuell-sprachlichen Manipulation in weichen, kontinuierlichen Robotern adressiert, indem er eine skalierbare Pipeline zur Generierung vielfältiger Aufgaben und Trajektorien bereitstellt und gleichzeitig aktuelle Grenzen bei der propriozeptiven Schätzung und der adaptiven Hindernisvermeidung aufzeigt.

Ursprüngliche Autoren: Ziyu Wei, Luting Wang, Chen Gao, Li Wen, Si Liu

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ziyu Wei, Luting Wang, Chen Gao, Li Wen, Si Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Roboterarm vor. Die meisten, die Sie in Filmen oder Fabriken sehen, ähneln menschlichen Armen, die aus steifen Metallknochen und Gelenken bestehen. Sie eignen sich hervorragend für Bewegungen in geraden Linien, doch wenn ein Haufen Bücher ihnen den Weg versperrt, bleiben sie oft stecken, weil sie sich nicht um das Durcheinander herum biegen können.

Stellen Sie sich nun einen anderen Roboterarm vor: einen aus weichem, quetschbarem Material, wie einen riesigen, hochtechnologischen Tintenfischtentakel. Dies ist ein weicher Kontinuum-Roboter. Er kann sich winden, strecken und quetschen, um Hindernisse zu umgehen, die einen steifen Roboter sofort zum Stillstand bringen würden.

Die Arbeit, nach der Sie fragen, ManiSoft, ist wie eine neue „Trainingshalle" und „Teststrecke", die speziell entwickelt wurde, um diese weichen Arme beizubringen, menschliche Sprachbefehle zu befolgen.

Hier ist die Aufschlüsselung dessen, was sie getan haben, unter Verwendung alltäglicher Analogien:

1. Das Problem: Das Dilemma „Steif" vs. „Quetschbar"

Der Steife Roboter: Stellen Sie sich einen starren Roboterarm wie eine Angelrute vor. Sie ist stark und präzise, aber wenn Sie um einen Baum herum angeln müssen, um einen Fisch zu fangen, kann sich die Rute nicht biegen. Sie prallt einfach gegen den Baum.
Der Weiche Roboter: Stellen Sie sich einen weichen Roboterarm wie einen Gartenschlauch oder eine Schlange vor. Er kann sich um den Baum herum fließen lassen. Die Kontrolle einer Schlange ist jedoch viel schwieriger als die einer Angelrute. Sie können nicht einfach sagen „Bewege die Spitze zu Punkt A", weil sich der gesamte Körper auf seltsame Weise verbiegt. Sie wissen nicht genau, wo die „Gelenke" sind, da der Arm keine harten Gelenke hat; er quetscht sich einfach.

2. Die Lösung: ManiSoft (Die Trainingshalle)

Die Forscher entwickelten ein spezielles Videospiel (einen Simulator), um diesen weichen Armen beizubringen, Sprachbefehle wie „Nimm die rote Tasse auf" oder „Staple die Bücher" zu befolgen.

Der Simulator: Sie schufen eine digitale Welt, in der sich der weiche Arm realistisch verhält. Es ist wie eine Physik-Engine, die weiß, wie sich Gummi dehnt und abprallt. Sie kombinierten zwei Arten von Physik: eine für den weichen Arm und eine für die harten Objekte, mit denen er in Kontakt kommt, und verknüpften sie mit einer „virtuellen Feder", damit sie sich natürlich gemeinsam bewegen.
Die Aufgaben: Sie stellten vier spezifische Herausforderungen auf, wie ein Videospiel-Level:
1. Sammeln: Ein Objekt greifen und in eine Box legen.
2. Ausrichten: Ein Objekt so drehen, dass es in eine bestimmte Richtung zeigt.
3. Stapeln: Gegenstände ordentlich aufeinander stapeln (wie Pfannkuchen stapeln).
4. Anordnen: Gegenstände in einem bestimmten Muster auf einem Tisch platzieren.

3. Wie sie die Daten erstellten (Der „Lehrer")

Man kann einem weichen Roboter nicht einfach sagen, was er tun soll; er muss zuerst Beispiele sehen. Aber jeden einzelnen Bewegung für einen weichen Arm aufzuschreiben, ist für einen Menschen unmöglich.

Also bauten sie einen automatisierten Lehrer:

Der Hochlevel-Planer: Dies ist wie ein Projektmanager. Er betrachtet das Ziel (z. B. „Staple die Tassen") und zerlegt es in eine Liste von Zwischenzielen (z. B. „Hand zum Tasse bewegen", „Tasse greifen", „Zum Stapel bewegen"). Er macht sich keine Sorgen darum, wie sich der Arm biegt, sondern nur darum, wo er hin muss.
Der Low-Level-Ausführer: Dies ist wie das Muskelgedächtnis. Er nimmt diese Zwischenziele und berechnet genau, wie viel Druck auf den weichen Arm ausgeübt werden muss, um dorthin zu gelangen. Er verwendet eine Lernmethode durch „Versuch und Irrtum" (Reinforcement Learning), um die richtige Menge an Quetschen und Drehen zu ermitteln.

Sie nutzten dieses System, um 6.300 verschiedene Szenarien zu generieren, die von leeren Tischen bis zu unordentlichen Tischen voller Hindernisse reichten, und schufen so eine riesige Bibliothek von „Experten"-Demonstrationen.

4. Die Ergebnisse: Die Realität „Ordentlich" vs. „Unordentlich"

Sie testeten drei verschiedene KI-Gehirne (Strategien) in dieser neuen Halle, um zu sehen, ob sie aus den Daten lernen konnten.

Die gute Nachricht: Wenn der Tisch sauber und einfach war (keine Hindernisse), leisteten die KI-Modelle eine ordentliche Arbeit. Sie konnten Anweisungen befolgen und den weichen Arm bewegen, um Dinge zu greifen.
Die schlechte Nachricht: Als sie den Tisch unordentlich machten (zufällige Hindernisse hinzufügend, Beleuchtung ändernd und verschiedene Wörter für dieselben Objekte verwendend), geriet die KI in Verwirrung.
- Das Problem der „Blindheit": Die KI hatte Schwierigkeiten, allein durch einen Kamerablick zu erraten, wo sich der Arm tatsächlich befand. Da der Arm quetschbar ist, sieht er aus jedem Winkel anders aus. Die KI konnte nicht erkennen, ob der Arm zu weit oder nicht weit genug gebogen war.
- Das Problem der „Quetschbarkeit": Die KI wusste nicht, wie sie die Flexibilität des Arms zu ihrem Vorteil nutzen sollte. Anstatt sich um einen Block herum zu biegen, um ein dahinter liegendes Spielzeug zu greifen, versuchte die KI oft, direkt durch den Block zu drücken und scheiterte.

5. Der „Bewegungsstopp"-Fehler

Eine lustige Beobachtung, die sie machten, war, dass eines der KI-Modelle (OpenVLA) manchmal in einer Schleife stecken blieb. Nachdem es erfolgreich ein Objekt gegriffen hatte, frier es einfach ein und hörte auf zu bewegen, obwohl die Aufgabe noch nicht abgeschlossen war. Es war wie ein Roboter, der so nervös war, das Objekt zu halten, dass er vergaß, es abzulegen. Die anderen Modelle hatten dieses Problem weniger stark.

Zusammenfassung

ManiSoft ist ein neuer Benchmark, der sagt: „Wir haben diese erstaunlichen, flexiblen, tintenfischähnlichen Roboter, aber wir haben noch keine gute Methode, ihnen beizubringen, uns zuzuhören."

Sie bauten einen Simulator und einen Datensatz, um Forschern zu helfen, diese Roboter zu trainieren. Ihre Tests zeigten, dass die aktuelle KI zwar besser wird, aber immer noch Schwierigkeiten hat, die Form eines weichen Arms zu „sehen" und herauszufinden, wie sie diese Weichheit nutzen kann, um sich in einer unordentlichen Welt zurechtzufinden. Es ist ein erster Schritt hin zu Robotern, die in unseren überfüllten, realen Häusern arbeiten können, ohne stecken zu bleiben.

Technische Zusammenfassung: ManiSoft: Auf dem Weg zur visuell-sprachlichen Manipulation für weiche Kontinuum-Robotik

Problemstellung
Die bestehende Forschung zur visuell-sprachlichen Manipulation (VLM) zielt überwiegend auf starre Roboterarme ab, die auf präzise Propriozeption und niedrigdimensionale Kinematik angewiesen sind. Obwohl sie in strukturierten Umgebungen effektiv sind, stoßen starre Morphologien in überfüllten oder engen Räumen, in denen eine signifikante Formanpassung erforderlich ist, auf grundlegende Grenzen. Weiche Roboterarme bieten aufgrund ihrer kontinuierlichen Verformbarkeit eine vielversprechende Alternative, da sie es ermöglichen, Hindernisse zu umgehen. Die Anwendung von VLM auf weiche Arme bringt jedoch spezifische Herausforderungen mit sich: das Fehlen zuverlässiger propriozeptiver Sensoren (oft erfordert dies eine Inferenz ausschließlich aus visuellen Daten), die Komplexität der verteilten niedrigleveligen Aktuation (z. B. Drehmomente, Drücke) sowie der hochdimensionale, gekoppelte Aktionsraum. Darüber hinaus zeichnen sich bestehende Simulatoren entweder durch eine hervorragende Modellierung elastischer Dynamiken aus, fehlen jedoch robuste Kontaktinteraktionen, oder sie handhaben Kontakte gut, versagen aber bei der Simulation kontinuierlicher Verformungen.

Methodik
Um diese Lücken zu schließen, stellen die Autoren ManiSoft vor, einen Benchmark, der darauf ausgelegt ist, die Forschung zur visuell-sprachlichen Manipulation für weiche Arme voranzutreiben. Die Methodik umfasst drei Kernkomponenten:

Hybrider Simulator (ManiSoft-Sim):
Die Autoren entwickeln einen maßgeschneiderten Simulator, der die Lücke zwischen der Dynamik weicher Körper und der Interaktion starrer Körper schließt.
- Modellierung weicher Körper: Der Arm wird als Cosserat-Stab unter Verwendung der Elastica-Bibliothek modelliert, diskretisiert in $N$ Segmente, um axiale, Scher-, Biege- und Torsionsdehnungen unter externen Drehmomenten zu erfassen.
- Modellierung von Interaktionen: Der Endeffektor (EEF) und Umgebungskontakte werden von MuJoCo für eine effiziente Kontakt- und Reibungssimulation behandelt.
- Kopplung: Eine neuartige elastische Kraftbeschränkung verbindet den verformbaren weichen Körper mit dem starren EEF. Relative Translationen ( $\Delta x$ ) und Rotationen ( $\Delta \theta$ ) zwischen den Befestigungspunkten erzeugen über das Hookesche Gesetz Rückstellkräfte und -momente, wodurch eine koordinierte, aber nachgiebige Bewegung sichergestellt wird.
- Rendering: Visuelle Beobachtungen werden mit Blender aus festen Kameraperspektiven generiert.
Aufgabendefinition und Datengenerierung:
ManiSoft definiert vier Manipulationsaufgaben, die jeweils unterschiedliche Aspekte der verformbaren Steuerung hervorheben:
- Sammeln (COLL): Ein Objekt in einen Behälter aufnehmen.
- Ausrichten (ALN): Ein Objekt auf eine spezifische 6-DoF-Pose positionieren.
- Stapeln (STK): Gegenstände zu einem stabilen vertikalen Stapel zusammenfügen.
- Anordnen (ARR): Objekte in einer spezifischen räumlichen Konfiguration platzieren.
Der Benchmark umfasst 6.300 Szenen-Trajektorien-Paare (2.100 sauber, 4.200 randomisiert). Eine automatisierte Pipeline generiert diese Szenen unter Verwendung einer Asset-Bibliothek mit 263 Objekten. Entscheidend ist, dass der Benchmark interne propriozeptive Zustände (z. B. Gelenkwinkel) von der Policy-Eingabe ausschließt und Modelle zwingt, die Konfiguration des Arms ausschließlich aus visuellen Beobachtungen zu inferieren.
Hierarchische Trajektoriengenerierung:
Um hochwertige Experten-Demonstrationen im großen Maßstab zu erzeugen, wenden die Autoren einen hierarchischen Mechanismus an:
- Hochlevel-Planung: Ein regelbasierter Planer zerlegt Aufgaben in eine Sequenz von 6-DoF-Wegpunkten.
- Niedriglevel-Steuerung: Ein Reinforcement-Learning (RL)-Executor, der mit einer dichten Belohnungsfunktion (Kombination aus Pose-Differenz und Stabilitätsbelohnungen) trainiert wurde, generiert Drehmomentbefehle, um den weichen Arm zwischen den Wegpunkten zu bewegen. Diese Zerlegung mildert die Schwierigkeit, Drehmomentsequenzen über lange Horizonte direkt zu planen.

Hauptbeiträge

ManiSoft-Benchmark: Der erste Benchmark, der speziell für die visuell-sprachliche Manipulation mit weichen Kontinuum-Robotern entwickelt wurde und einen hybriden Simulator, diverse Aufgaben und einen großskaligen Datensatz von Experten-Trajektorien bietet.
Hybrides Simulationsframework: Eine neuartige Integration der Cosserat-Stab-Dynamik und der starren Körper-Kontaktsimulation über elastische Kraftbeschränkungen, die realistische, kontaktreiche Manipulation mit verformbaren Körpern ermöglicht.
Systematische Evaluation: Eine umfassende Benchmarking von drei repräsentativen Policy-Modellen (Diffusion Policy, RDT und OpenVLA-OFT) unter sowohl sauberen als auch randomisierten Bedingungen, was spezifische Fehlermodi aufdeckt, die einzigartig für weiche Embodiments sind.

Ergebnisse
Die Autoren bewerteten drei Modelle: Diffusion Policy (DP), RDT-1B und OpenVLA-OFT.

Saubere Szenen: Bestehende Modelle zeigen vielversprechende Ergebnisse, wobei DP und OpenVLA-OFT durchschnittliche Erfolgsquoten von ca. 31 % bzw. ca. 30 % erreichen und RDT (9,2 %) deutlich übertreffen. DP glänzt bei einfacheren Aufgaben (COLL), während OpenVLA-OFT bei komplexen Aufgaben (ALN, STK, ARR) eine stärkere Generalisierung zeigt.
Randomisierte Szenen: Alle Modelle erleiden einen erheblichen Leistungsabfall. Die Erfolgsquote von DP sinkt um 29,4 %, während OpenVLA-OFT eine größere Robustheit zeigt und eine durchschnittliche Erfolgsquote von 27,0 % beibehält (ein Rückgang von nur 3,4 % relativ zu seiner Leistung in sauberen Szenen und ein Vorsprung von 13,1 % gegenüber DP im randomisierten Setting).
Fehleranalyse: Die Visualisierung von Fehlerfällen deckt drei Hauptengpässe auf:
1. Mehrdeutigkeit des propriozeptiven Zustands: Eine ungenaue visuelle Schätzung der Verformung des weichen Arms führt zu nicht korrigierten internen Drehmomenten und instabiler Steuerung.
2. Unterausnutzung der Nachgiebigkeit: Policies versagen oft darin, die Verformbarkeit des Arms zu nutzen, um Hindernisse zu umgehen, und versuchen stattdessen direkte Pfade, die zu Kollisionen führen.
3. Stop-Bewegungs-Verhalten: Deterministische Policies (wie OpenVLA-OFT) geraten gelegentlich in eine Feedback-Schleife, bei der subtile visuelle Veränderungen nach dem Greifen die weitere Aktionsgenerierung unterdrücken – ein Verhalten, das bei stochastischen Diffusions-Policies weniger häufig vorkommt.

Bedeutung und Behauptungen
Das Papier positioniert ManiSoft als wertvollen Teststand, um die Lücke zwischen starren und weichen Armen im Kontext der visuell-sprachlichen Manipulation zu schließen. Die Autoren behaupten, dass der Benchmark Fehlermodi aufdeckt, die einzigartig für verformbare Embodiments sind, insbesondere die Herausforderungen der visuellen Propriozeption und der adaptiven Hindernisvermeidung. Sie gehen davon aus, dass ManiSoft die Entwicklung von Methoden fördern wird, die diese spezifischen Herausforderungen adressieren, und letztendlich die Schaffung sichererer, menschlicherfreundlicherer Robotersysteme unterstützen wird, die in komplexen, unstrukturierten Umgebungen operieren können. Die Arbeit wird als erster Schritt präsentiert, der Einschränkungen hinsichtlich der Vielfalt der Aktuation und des Sim-zu-Real-Transfers anerkennt, aber eine Grundlage für zukünftige Forschung im Bereich der nachgiebigen Interaktion legt.