💻 computer science

SWoMo: Neuro-Symbolic World Model for Cataract Surgery Simulation

Dieser Beitrag stellt SWoMo vor, ein neuro-symbolisches Weltmodell für die Kataraktchirurgie-Simulation, das eine regelbasierte symbolische Engine für physikalisch fundierte Bewegungsdynamiken mit einem Diffusionsmodell für realistische visuelle Darstellung kombiniert und dadurch im Vergleich zu bestehenden Ansätzen eine überlegene Generalisierung sowie Sim-zu-Real-Translation erreicht.

Ursprüngliche Autoren: Ssharvien Kumar Sivakumar, Akwele Johnson, Anirudh Dhingra, Yannik Frisch, Ghazal Ghazaei, Anirban Mukhopadhyay

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ssharvien Kumar Sivakumar, Akwele Johnson, Anirudh Dhingra, Yannik Frisch, Ghazal Ghazaei, Anirban Mukhopadhyay

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie er eine empfindliche Augenoperation durchführt, oder Sie schulen einen neuen Chirurgen, ohne einen echten Patienten zu gefährden. Um dies zu tun, benötigen Sie einen „Virtual-Reality"-Simulator, der exakt wie ein echtes Auge aussieht und exakt wie echtes Gewebe reagiert, wenn ein Instrument ihn berührt.

Die Arbeit stellt SWoMo vor, eine neue Art von Simulator für die Kataraktchirurgie. Betrachten Sie SWoMo nicht als einzelne Maschine, sondern als Zusammenarbeit zwischen einem strengen Physik-Lehrer und einem kreativen Künstler.

So funktioniert es, aufgeteilt in einfache Teile:

1. Das Problem: Das „Unheimliche Tal" der Chirurgie

Aktuelle Simulatoren scheitern meist auf eine von zwei Arten:

Die Physik-Experten: Sie bekommen die Bewegung richtig hin (das Instrument drückt das Gewebe, und das Gewebe quetscht sich zusammen), aber das Video sieht aus wie ein Cartoon oder ein minderwertiges Videospiel. Es sieht nicht realistisch genug aus, um einen Menschen zu schulen.
Die Video-Künstler: Sie nutzen KI, um wunderschöne, realistische Videos zu generieren. Aber sie können die Operation nicht wirklich steuern. Wenn Sie der KI sagen, ein Instrument soll an eine bestimmte Stelle bewegt werden, ignoriert sie dies möglicherweise, oder das Instrument gleitet wie ein Geist direkt durch das Auge. Sie können auch keine Situationen bewältigen, die sie noch nie gesehen haben (wie ein Instrument, das in einem seltsamen Winkel eindringt).

2. Die Lösung: Das „Neuro-symbolische" Team

SWoMo löst dieses Problem, indem es die Aufgabe in zwei unterschiedliche Rollen aufteilt, die zusammenarbeiten:

Das symbolische Gehirn (Der Physik-Lehrer):
Dieser Teil ist ein regelbasiertes Computerprogramm. Es kümmert sich nicht darum, wie Dinge aussehen; es kümmert sich nur um Mathematik und Regeln.
- Analogie: Stellen Sie sich einen Marionettenspieler vor, der Fäden hält. Der Marionettenspieler weiß genau, wie sich die Fäden bewegen, wie sich die Gelenke biegen und wie sich das Auge dreht. Es erstellt einen „digitalen Zwilling" des Auges und der Instrumente. Es stellt sicher, dass, wenn Sie das Instrument drücken, sich das Gewebe tatsächlich bewegt. Es erstellt ein Skelett der Operation.
- Schlüsselfunktion: Da es strikten Regeln folgt, kann es neue Situationen bewältigen, die es noch nie gesehen hat (wie ein Instrument, das aus einem seltsamen Winkel eindringt), ohne verwirrt zu werden.
Das Diffusionsmodell (Der kreative Künstler):
Dies ist eine leistungsfähige KI, die hervorragend darin ist, Bilder zu malen.
- Analogie: Stellen Sie sich einen Meistermaler vor, der Tausende von Stunden an echten Operationsvideos beobachtet hat. Er weiß genau, wie die Textur einer Iris aussieht, wie Licht auf feuchtem Gewebe reflektiert und wie Schatten fallen.
- Die Aufgabe: Der „Physik-Lehrer" übergibt dem „Künstler" das bewegte Skelett (die Instrumentenpositionen und Augenbewegungen). Der Künstler malt dann ein hyperrealistisches Video über dieses Skelett, fügt die Haut, die Feuchtigkeit und die Beleuchtung hinzu.

3. Das Geheimnis: „Inverse Paarung"

Wie bringt man dem Künstler bei, die Arbeit des Physik-Lehrers zu malen? Man kann ihnen nicht einfach zufällige Videos zeigen.

Die Forscher nutzten einen cleveren Trick namens Inverse Paarung:

Sie nahmen echte Videos tatsächlicher Operationen.
Sie nutzten KI, um die „Farbe" (das realistische Aussehen) zu entfernen und nur das „Skelett" (die Bewegung des Auges und der Instrumente) zu extrahieren.
Sie führten dieses Skelett ihrem Physik-Lehrer zu, um eine perfekte, regelbasierte Simulation genau dieses Moments zu erstellen.
Jetzt haben sie ein Paar: Das ursprüngliche echte Video und die neue simulierte Version desselben Ereignisses.

Sie nutzten diese Paare, um den Künstler zu trainieren. Der Künstler lernte: „Wenn der Physik-Lehrer das Instrument SO bewegt, sieht die reale Welt SO aus."

4. Der Szenengraph: Das „Bedienhandbuch"

Um sicherzustellen, dass der Künstler nicht verwirrt wird, wenn das Instrument das Gewebe berührt (was der schwierigste Teil beim Rendern ist), verwendet SWoMo einen Szenengraphen.

Analogie: Denken Sie daran als an ein detailliertes Bedienhandbuch oder eine Karte. Es sagt dem Künstler: „Dieses Objekt ist ein Instrument, dies ist das Auge, und sie berühren sich genau hier."
Ohne diese Karte könnte die KI verwirrt werden und die Grenze zwischen Instrument und Auge verschwimmen lassen. Mit der Karte weiß die KI genau, wo die Grenzen liegen, selbst wenn sich Simulation und echtes Video nicht Pixel für Pixel perfekt ausrichten.

5. Was haben sie bewiesen?

Die Arbeit zeigt, dass SWoMo in drei Hauptaspekten besser ist als frühere Methoden:

Es sieht realistisch aus: Die Videos sind hochwertig und realistisch.
Es folgt Anweisungen: Wenn Sie das Instrument in der Simulation bewegen, zeigt das Video, wie sich das Instrument dorthin bewegt. Es ignoriert Sie nicht.
Es bewältigt das Unbekannte: Da der Teil „Physik-Lehrer" Regeln verwendet, kann SWoMo Operationen mit Instrumenten oder Winkeln simulieren, die es in seinen Trainingsdaten noch nie gesehen hat.

Bonus-Funktion: Stiltransfer
Das System kann auch die Bewegungen aus einem Operationsvideo eines Krankenhauses (Datensatz A) nehmen und auf den visuellen Stil eines anderen Krankenhauses (Datensatz B) anwenden. Es ist, als würde man die Choreografie eines Tanzes aus einem Film nehmen und die Schauspieler aus einem völlig anderen Film diese aufführen lassen, wobei sie genau so aussehen, als gehörten sie in diesen neuen Film.

Zusammenfassung

SWoMo ist ein hybrider Simulator. Er verwendet eine regelbasierte Engine, um sicherzustellen, dass die Operation physikalisch sinnvoll ist, und eine generative KI, um sie fotorealistisch aussehen zu lassen. Durch die Kombination der beiden schafft es eine Trainingsumgebung, die sicher, steuerbar und realistisch genug ist, um neue Chirurgen auszubilden und bessere Operationsroboter zu entwickeln.

Technischer Zusammenfassung: SWoMo – Neuro-symbolisches Weltmodell für die Kataraktchirurgie-Simulation

Problemstellung
Realistische chirurgische Simulationen sind für die Ausbildung von Novizenchirurgen und die Entwicklung autonomer chirurgischer Agenten unerlässlich. Während „Weltmodelle" einen Weg zu skalierbaren, interaktiven Simulationen bieten, indem sie zukünftige Patientenzustände basierend auf Beobachtungen und Aktionen vorhersagen, haben aktuelle State-of-the-Art-Ansätze Schwierigkeiten, drei kritische Kriterien für die klinische Anwendbarkeit zu erfüllen:

Visuelle Realitätsnähe: Simulatoren fehlt oft die erforderliche Genauigkeit, um die Lücke zwischen Simulation und Realität (Sim-to-Real-Gap) zu minimieren, insbesondere bei der Modellierung komplexer Instrument-Gewebe-Interaktionen und Texturen.
Physikalisch fundierte Interaktionen: Viele Methoden versäumen es, sicherzustellen, dass Interaktionen physikalischen Gesetzen folgen, was die Übertragbarkeit erlernter Verhaltensweisen auf reale, hochriskante Szenarien einschränkt.
Generalisierung: Bestehende Modelle verschlechtern sich oft erheblich, wenn sie mit Out-of-Distribution (OOD)-Szenarien konfrontiert werden, wie etwa ungesehene Werkzeuggeometrien, Einführwinkel oder neue chirurgische Workflows, da ihr Verhalten eng an die Trainingsverteilung gekoppelt ist.

Aktuelle Methoden meistern typischerweise nur einen dieser Bereiche. Rein generative Videomodelle fehlen die schrittweise Aktionsbedingung und physikalische Fundierung, während traditionelle physikbasierte Simulatoren oft an visueller Realitätsnähe mangeln und Schwierigkeiten mit komplexen Deformationen haben.

Methodik
Die Autoren stellen SWoMo vor, ein neuro-symbolisches Weltmodell für die Kataraktchirurgie, das die Bewegungsgenerierung von der visuellen Realitätsnähe entkoppelt. Die Architektur besteht aus zwei Hauptkomponenten:

Symbolische Komponente (Bewegung & Dynamik):
- Inverse Paarungsstrategie: Das System extrahiert anatomische Konfigurationen ( $k_{anat}$ ) und Werkzeugkinematik ( $k_{tool}$ ) aus realen chirurgischen Videos. Anatomische Parameter (Pupillen-/Iris-Ellipsen, Augapfelrotation/-translation) werden mittels nnU-Net und CoTracker abgeleitet, während Werkzeugparameter (Spitzenposition, Orientierung, Artikulation) mit SASVi und SAM2 rekonstruiert werden.
- Regelbasierter Simulator: Diese extrahierten Parameter steuern einen regelbasierten Simulator, der auf der Godot-Spielengine basiert. Dieser Simulator generiert einen digitalen Zwilling des Auges und der chirurgischen Instrumente und erzeugt eine Sequenz simulierter Frames ( $\bar{x}$ ) sowie entsprechende Segmentierungen ( $\bar{m}$ ). Dies gewährleistet physikalisch fundierte Interaktionen und präzise Kontrolle über die Instrument-Gewebe-Dynamik.
- Symbolische Szenengraphen: Aus den simulierten Frames und Segmentierungen konstruiert das System Szenengraphen ( $G$ ). Diese Graphen kodieren Objektgeometrie und relationale Strukturen (z. B. Schwerpunkte, räumliche Ausbreitung, optischer Fluss). Die Autoren nutzen zwei Graphen-Encoder (global und lokal), um strukturelle Beziehungen und Erscheinungshinweise zu erfassen, die als Bedingungssignale dienen, um Fehlausrichtungsartefakte zwischen simulierten und realen Videos zu minimieren.
Neuronale Komponente (Visuelle Realitätsnähe):
- Video-Diffusionsmodell: Ein Denoising-Diffusionsmodell ( $\epsilon_\theta$ ) übersetzt die simulierte Sequenz ( $\bar{x}$ ) und die Szenengraphen ( $G$ ) in realistische chirurgische Videos ( $x$ ).
- Zweistufiges Training:
  - Stufe 1: Das Modell lernt die Bild- und Graph-zu-Video-Generierung, bedingt durch den ersten Frame und die Szenengraphen.
  - Stufe 2: Ein ControlNet-basierter Ansatz wird eingesetzt, um die vollständige simulierte Videosequenz ( $\bar{x}_{1:n}$ ) als Bedingungssignal zu integrieren. Dies ermöglicht es dem Modell, intermediate Features zu modulieren, ohne den vortrainierten generativen Prior zu stören, und gewährleistet so eine hohe visuelle Genauigkeit bei gleichzeitiger Einhaltung der simulierten Bewegung.

Hauptbeiträge

Entkoppelte Architektur: SWoMo trennt explizit die Modellierung chirurgischer Bewegungs-/Interaktionsdynamiken (durch den symbolischen Simulator behandelt) von der visuellen Erscheinung (durch das Diffusionsmodell behandelt). Dies ermöglicht die präzise Erhaltung von Werkzeug- und anatomischen Bewegungen, während komplexe Texturen und Deformationen aus Daten gelernt werden.
Inverse Paarung für das Training: Die Autoren schlagen eine neuartige Strategie vor, reale chirurgische Videos im Simulator zu rekonstruieren, um großskalige, gepaarte simulierte und reale Videodatensätze zu generieren. Dies ermöglicht das Training eines Video-zu-Video-Diffusionsmodells für die Sim-to-Real-Übersetzung, ohne dass eine manuelle Annotation jedes Frames erforderlich ist.
Szenengraph-Bedingung: Die Integration symbolischer Szenengraphen als Bedingungseingaben erweist sich als entscheidend für die Wahrung der Objektidentität und die Reduzierung von Glättungsartefakten in der Nähe von Instrument-Gewebe-Grenzen, die durch verbleibende Fehlausrichtungen verursacht werden.
Unüberwachter Stiltransfer: Durch die Nutzung einer gemeinsamen intermediären Darstellung (der simulierten Sequenz), die Geometrie und Bewegung unabhängig von der Erscheinung kodiert, ermöglicht SWoMo einen unüberwachten Video-Stiltransfer zwischen verschiedenen Datensätzen (z. B. CATARACTS und Cataract-1k) ohne gepaarte Trainingsdaten.

Ergebnisse
Experimente wurden an den Datensätzen CATARACTS und Cataract-1k durchgeführt, mit Fokus auf sicherheitskritische chirurgische Phasen.

Quantitative Leistung: SWoMo übertraf mehrere Baselines (einschließlich StyleGAN-V, Endora, MedSora, LVDM, MOFA und SG2VID) hinsichtlich visueller Genauigkeit (FID, FVD, LPIPS) und Bedingungstreue (Bounding Box IoU, F1-Score). Insbesondere erreichte es auf dem CATARACTS-Datensatz einen FVD von 265,4 und einen F1-Score von 0,412 und übertraf dabei die zweitbeste Methode (SG2VID) in der Bedingungstreue.
Ablationsstudien: Das Entfernen der Szenengraph-Bedingung (SWoMo-✗SG) oder der Bildbedingung (SWoMo-✗IMG) führte zu messbaren Leistungseinbußen, was die Notwendigkeit beider Komponenten für die hochgenaue Synthese und Einhaltung bestätigt.
Generalisierung: Das Modell zeigte die Fähigkeit, plausible Ergebnisse für ungesehene Interaktionsgeometrien zu generieren, einschließlich neuer Werkzeug-Eintrittsrichtungen und Werkzeugkombinationen, die nicht in den Trainingsdaten vorhanden waren.
Downstream-Nutzen: Wenn es als Werkzeug zur generativen Datenaugmentation für die chirurgische Phasenerkennung (unter Verwendung von MS-TCN++) eingesetzt wurde, verbesserte SWoMo die Genauigkeit und F1-Scores im Vergleich zum Training nur mit realen Daten und im Vergleich zur Augmentation mit anderen generativen Methoden.

Bedeutung
Die Arbeit behauptet, dass SWoMo den Zielkonflikt zwischen physikalischer Fundierung und visueller Realitätsnähe adressiert, der die klinische Anwendbarkeit chirurgischer Weltmodelle behindert hat. Durch die Kombination eines regelbasierten Simulators für die Dynamik mit einem Diffusionsmodell für die Erscheinung erfüllt SWoMo die drei Schlüsselkriterien: Es erzielt eine hohe visuelle Realitätsnähe, gewährleistet physikalisch fundierte Interaktionen und generalisiert auf Szenarien jenseits der Trainingsverteilung. Die Autoren betonen, dass dieser Ansatz den Implementierungsaufwand für Simulatoren reduziert (durch die Beseitigung der Notwendigkeit, komplexe Texturen manuell zu modellieren), während gleichzeitig eine präzise Kontrolle über chirurgische Aktionen erhalten bleibt, wodurch effektivere Trainingsumgebungen und die Entwicklung autonomer chirurgischer Agenten ermöglicht werden.