🤖 AI

Supervised Mixture-of-Experts for Surgical Grasping and Retraction

Dieser Artikel stellt eine überwachte Mixture-of-Experts-Architektur vor, die es leichten Imitationslernrichtlinien ermöglicht, robuste und dateneffiziente chirurgische Greif- und Retraktionsvorgänge an deformierbarem Gewebe ausschließlich unter Verwendung von stereoskopischen endoskopischen Bildern und weniger als 150 Demonstrationen zu erreichen, wobei sie sowohl in verteilungsinternen als auch in herausfordernden verteilungsexternen Szenarien Standardmodelle deutlich übertreffen und gleichzeitig eine erfolgreiche Zero-Shot-Übertragung auf ex-vivo- sowie vorläufige in-vivo-Schweinchirurgie demonstrieren.

Ursprüngliche Autoren: Lorenzo Mazza, Ariel Rodriguez, Rayan Younis, Martin Lelis, Ortrun Hellig, Chenpan Li, Sebastian Bodenstedt, Martin Wagner, Stefanie Speidel

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lorenzo Mazza, Ariel Rodriguez, Rayan Younis, Martin Lelis, Ortrun Hellig, Chenpan Li, Sebastian Bodenstedt, Martin Wagner, Stefanie Speidel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen hochriskanten Tanz zwischen einem menschlichen Chirurgen und einem robotischen Assistenten innerhalb des Körpers eines Patienten vor. Der Chirurg ist der Lead-Tänzer, der genau zeigt, wo der nächste Schritt erfolgen muss, während der Roboter der Partner ist, der den Hinweis sofort verstehen, ein rutschiges Gewebestück (wie eine Nudel) greifen und es festhalten muss, ohne es fallen zu lassen oder etwas zu verletzen.

Dieser Artikel stellt eine neue Methode vor, um dem Roboter beizubringen, diesen spezifischen Tanz zu tanzen, selbst wenn der Roboter diese exakte Bewegung noch nie gesehen hat und nur sehr wenig Übungszeit zur Verfügung steht.

Hier ist die Aufschlüsselung ihres Ansatzes unter Verwendung einfacher Analogien:

Das Problem: Der „Einheits-Roboter" ist gescheitert

Normalerweise verwenden wir beim Versuch, Robotern komplexe Aufgaben beizubringen, massive „Generalisten"-Modelle. Denken Sie an diese wie an einen superschlauen Schüler, der jedes Buch in der Bibliothek gelesen hat, aber noch nie ein Skalpell in der Hand gehalten hat.

Das Problem: Wenn Sie diesen superschlauen Schüler bitten, eine delicate Operation durchzuführen, gerät er in Verwirrung. Er könnte versuchen, das Gewebe zu greifen, bevor er bereit ist, oder er könnte zu fest ziehen.
Die Realität: In dieser Studie versagten diese „Generalisten"-Modelle völlig. Sie konnten die Aufgabe nicht einmal lernen, wenn ihnen Standard-Trainingsdaten gegeben wurden. Sie waren zu groß, zu langsam und zu verwirrt durch die spezifische, chaotische Realität der Chirurgie.

Die Lösung: Das „Spezialistenteam" (Mixture-of-Experts)

Anstatt eines einzigen riesigen Gehirns, das alles versuchen soll, bauten die Autoren ein überwachtes Mixture-of-Experts (MoE)-System auf.

Stellen Sie sich ein kleines, agiles Team von Spezialisten vor, anstatt eines Generalisten:

Das Team: Anstatt eines Roboterhirns haben Sie ein Team aus fünf winzigen, spezialisierten Experten.
- Experte 1: Weiß nur, wie man „Inaktiv" ist (wartet).
- Experte 2: Weiß nur, wie man „Annähert und Greift".
- Experte 3: Weiß nur, wie man „Stillhält".
- Experte 4: Weiß nur, wie man „Sanft zurückzieht".
- Experte 5: Weiß nur, wie man „Spannung aufrechterhält" (festhält, ohne sich zu bewegen).
Der Manager (Das Gating-Netzwerk): Es gibt einen klugen Manager, der die Operation beobachtet. Wenn der Chirurg auf einen Punkt zeigt, weckt der Manager sofort den „Greifer"-Experten und sagt den anderen, sie sollen ein Nickerchen machen. Wenn das Gewebe gegriffen ist, schaltet der Manager auf den „Halter"-Experten um.
Das Training: Entscheidend ist, dass die Forscher dem Manager nicht einfach erlaubten zu raten, wen er auswählen soll. Sie gaben dem Manager eine Spickzettel (gelabelte Daten), der sagte: „Im Moment befinden wir uns in der Phase des Greifens." Dies zwang das Team, ihre spezifischen Aufgaben perfekt zu lernen.

Die Ergebnisse: Schnell, Leicht und Genau

Das Team testete dieses „Spezialistenteam" gegen die „Generalisten"-Modelle und eine Standard-Roboterpolitik.

Geschwindigkeit: Das Spezialistenteam ist unglaublich schnell (27 Mal pro Sekunde), was für Echtzeit-Chirurgie notwendig ist. Die Generalisten-Modelle waren so langsam (3 bis 10 Mal pro Sekunde), dass sie bei einer echten Operation nutzlos wären.
Erfolgsrate:
- Die Generalisten-Modelle: 0 % Erfolg. Sie konnten die Aufgabe nicht abschließen.
- Der Standard-Roboter: 50 % Erfolg. Er funktionierte die Hälfte der Zeit, ließ aber oft das Gewebe fallen.
- Das Spezialistenteam (MoE): 85 % Erfolg. Es griff das Gewebe zuverlässig und hielt es fest.
Dateneffizienz: Das Team lernte diesen komplexen Tanz mit weniger als 150 Demonstrationen. Das ist, als würde man eine neue Tanzroutine lernen, nachdem man sie nur ein paar Mal gesehen hat, während andere Methoden normalerweise Tausende von Versuchen benötigen.

Die „magischen" Tricks: Generalisierung

Der Artikel behauptet zwei große „magische Tricks", bei denen der Roboter ohne zusätzliches Training erfolgreich war:

Der „Neuer Winkel"-Trick: Der Roboter wurde trainiert, indem er die Szene aus einem bestimmten Winkel betrachtete. Als sie ihn jedoch aus völlig anderen Winkeln testeten (herangezoomt, herausgezoomt, geneigt), funktionierte er immer noch. Er lernte das Konzept der Aufgabe, nicht nur das spezifische Bild, das er während des Trainings sah.
Der „Zero-Shot"-Trick (Ex Vivo): Der Roboter wurde vollständig an einem künstlichen Plastikmodell (einem Phantom) trainiert. Als sie das Plastik durch echtes Schweinegewebe ersetzten (das rutschig, weich ist und sich anders bewegt), gelang es dem Roboter immer noch 80 % der Zeit ohne jegliches neues Training. Er übertrug seine Fähigkeiten vom künstlichen in die reale Welt sofort.

Das Fazit

Die Autoren zeigen, dass für delicate, mehrstufige chirurgische Aufgaben keine riesige, langsame, universell einsetzbare KI benötigt wird. Stattdessen benötigen Sie ein leichtgewichtiges, spezialisiertes Team, das genau weiß, welchen Teil der Arbeit es zu einem gegebenen Zeitpunkt erledigt.

Durch die Anwendung dieses „Spezialistenteam"-Ansatzes lehrten sie einen Roboter, Gewebe nur mit einer Kameraperspektive, sehr wenigen Daten und ohne zusätzliche Sensoren zu greifen und festzuhalten. Dies beweist, dass er auch dann funktionieren kann, wenn sich der Kamerawinkel ändert oder wenn er von einem Plastikmodell auf echtes Gewebe übergeht. Sie haben auch frühe, erfolgreiche Tests dieses Systems gezeigt, das während einer Operation in einem lebenden Schwein funktioniert, was darauf hindeutet, dass es bereit für die nächsten Schritte hin zu einer echten menschlichen Anwendung ist.

Technisches Fazit: Überwachtes Mixture-of-Experts für chirurgisches Greifen und Retraktion

Problemstellung
Imitationslernen (IL) hat die robotische Manipulation vorangebracht, doch seine Anwendung auf die minimal-invasive Chirurgie (MIS) stößt auf kritische Hindernisse: Datenknappheit, eingeschränkte Arbeitsräume und die Notwendigkeit extremer Sicherheit und Vorhersagbarkeit. Während Vision-Language-Action (VLA)-Grundmodelle in der allgemeinen Robotik vielversprechend wirken, verlassen sie sich auf massive Datensätze und hohe Rechenressourcen, was sie für chirurgische Domänen ungeeignet macht, in denen Demonstrationsdaten begrenzt sind (oft <150 Episoden) und die Inferenz-Latenz gering sein muss. Darüber hinaus erfordern bestehende chirurgische Lernansätze häufig Multi-Kamera-Setups (z. B. am Handgelenk montierte Kameras) oder umfangreiche Demonstrationszahlen (z. B. 16.000+ Episoden), um zuverlässige Leistung zu erzielen, was in standard laparoskopischen Settings, in denen nur eine einzige endoskopische Ansicht verfügbar ist, nicht durchführbar ist.

Methodik
Die Autoren schlagen eine überwachte Mixture-of-Experts (MoE)-Architektur vor, die darauf ausgelegt ist, leichte Action-Transformer-Richtlinien, speziell den Action Chunking Transformer (ACT), zu erweitern. Die Kerninnovation liegt in der Nutzung der expliziten, phasenstrukturierten Natur chirurgischer Aufgaben, um das Training zu stabilisieren und die Dateneffizienz zu verbessern.

Architektur: Das System erweitert das Standard-ACT-Framework durch Einfügen eines phasenbewussten MoE-Blocks. Dieser Block besteht aus $H$ $H$ parallelen Experten (einem für jede chirurgische Phase: Idle, Annäherung & Greifen, Halten, Retraktion, Spannung aufrechterhalten) und einem Gate-Netzwerk.
- Experten: Separate „Action-Experten" und „Gripper-Experten" werden trainiert, um die spezifischen Aktionsverteilungen für jede Phase zu modellieren, konditioniert auf latente Variablen und visuelle Zustände.
- Gate-Netzwerk: Im Gegensatz zu unüberwachten MoE-Ansätzen, die oft unter Mode-Collapse oder instabiler Konvergenz leiden, setzt diese Methode auf überwachtes Gating. Ein Phasenklassifikator wird explizit mit Ground-Truth-Labels für chirurgische Phasen trainiert, um den aktuellen Zustand zum entsprechenden Experten zu leiten.
Beobachtungsraum: Die Richtlinie ist strikt nur-vision-basiert und nutzt stereo-endoskopische Bildpaare. Propriozeptive Daten werden ausgeschlossen, um sicherzustellen, dass die Richtlinie unabhängig von Hardware-Kalibrierung und kinematischem Rauschen ist.
Trainingsziel: Das Modell optimiert eine variationelle untere Schranke (ELBO), die Folgendes umfasst:
1. Aktions-Rekonstruktionsverlust ( $L_1$ ).
2. Phasen-Cross-Entropy-Verlust (CE) zur Überwachung des Gate-Netzwerks.
3. Gripper-Binary-Cross-Entropy-Verlust (BCE).
4. KL-Divergenz-Regularisierung.
Experimentelles Setup: Die Experimente wurden mit einem OpenHELP-Phantom unter Verwendung zweier UR5e-Roboterarme durchgeführt (einer hält ein stereo-endoskopisches System, der anderen einen Greifer). Der Datensatz umfasst 120 Episoden mit festen Blickwinkeln und 50 Episoden mit randomisierten Kamerawinkeln.

Hauptbeiträge

Neuartige Architektur: Einführung einer überwachten MoE-Erweiterung für Action-Transformer, die das Erlernen komplexer, langfristiger chirurgischer Aufgaben aus weniger als 150 Demonstrationen ermöglicht, unter Verwendung ausschließlich endoskopischer visueller Rückmeldung, ohne Multi-View- oder Tiefensensoren.
Mensch-Roboter-Kollaborationsaufgabe: Definition einer neuartigen kollaborativen Aufgabe, bei der ein menschlicher Chirurg ein Ziel-Darmsegment mittels eines laparoskopischen Instruments markiert und der Roboter autonom Greifen, Retraktion und Spannungserhaltung ausführt.
Benchmarking von VLAs: Empirische Validierung, dass generalistische VLA-Modelle (SmolVLA, $\pi_0.5$ ) in datenarmen Regimen keine hochpräzisen chirurgischen Richtlinien erlernen können, wohingegen spezialisierte, leichte Architekturen erfolgreich sind.
Voraussetzungen für Generalisierung: Demonstration zweier kritischer Fähigkeiten für die in-vivo-Translation:
- Blickwinkel-Invarianz: Das Training mit randomisierten Kamerawinkeln ermöglicht es der Richtlinie, sich auf unbekannte Blickwinkel zu generalisieren, ohne explizite 3D-Repräsentationen.
- Zero-Shot-Transfer: Die Richtlinie transferiert auf ex-vivo-porzine Gewebe mit einer Erfolgsrate von 80 % ohne zusätzliches Training, obwohl sie ausschließlich auf Phantomdaten trainiert wurde.

Ergebnisse

In-Distribution-Leistung: Auf dem Phantom-Datensatz mit festem Blickwinkel erreichte der vorgeschlagene ACT + MoE eine 85 %ige End-to-End-Erfolgsrate (17/20), eine signifikante Verbesserung gegenüber der Standard-ACT-Baseline (50 %, 10/20) und ein komplettes Versagen (0 %) für VLA-Baselines. Das MoE-Modell zeigte zudem überlegene Geschicklichkeit und reduzierte Gewebeverrutschungen während kritischer Phasenübergänge.
Out-of-Distribution (OOD)-Leistung: Die MoE-Richtlinie behielt ihre Robustheit unter reduzierter Beleuchtung, teilweisen Verdeckungen und neuen Greifpositionen bei und erreichte eine End-to-End-Erfolgsrate von 65 % (13/20) im Vergleich zu 30 % (6/20) für die Standard-ACT.
Zero-Shot- und Blickwinkel-Generalisierung:
- Ex Vivo: Die Richtlinie erreichte eine Erfolgsrate von 80 % (12/15) an ex-vivo-porzinen Därmen.
- Randomisierte Blickwinkel: Wenn auf einem kombinierten Datensatz einschließlich randomisierter Kamerawinkel trainiert, erreichte die Richtlinie eine Erfolgsrate von 82 % (18/22) an unbekannten Kamerablickwinkeln.
Effizienz: Die ACT + MoE-Richtlinie arbeitet mit 27 Hz, vergleichbar mit der Baseline-ACT, wohingegen VLA-Modelle mit deutlich niedrigeren Frequenzen arbeiteten (10 Hz und 3,3 Hz), was sie für die Echtzeit-Chirurgiesteuerung ungeeignet macht.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass überwachte MoE-Architekturen einen dateneffizienten Pfad für das Erlernen mehrstufiger, geschickter Manipulation in visuell eingeschränkten Umgebungen bieten. Durch die explizite Modellierung der Phasenstruktur chirurgischer Aufgaben überwindet der Ansatz die Instabilität unüberwachter MoE-Trainings und den Datenhunger von Grundmodellen. Die Autoren behaupten, dass diese Methode die spezifischen Einschränkungen der MIS adressiert – begrenzte Daten, Single-View-Eingaben und strenge Sicherheitsanforderungen – und einen gangbaren Weg zur autonomen chirurgischen Assistenz bietet. Der erfolgreiche Zero-Shot-Transfer auf ex-vivo-Gewebe und vorläufige in-vivo-Einsätze (qualitativ dargestellt) deuten darauf hin, dass das System gegenüber den geometrischen und visuellen Domänenverschiebungen in dynamischen klinischen Umgebungen robust ist. Die Arbeit schließt, dass die Kombination von Imitationslernen mit überwachten MoE die Automatisierung mehrstufiger MIS-Aufgaben unter Verwendung ausschließlich endoskopischer Vision ermöglicht und das Ziel der in-vivo-Einsätze näher rückt.