💻 computer science

SWoMo: Neuro-Symbolic World Model for Cataract Surgery Simulation

Dit artikel introduceert SWoMo, een neuro-symbolisch wereldmodel voor cataractchirurgie-simulatie dat een op regels gebaseerde symbolische engine voor fysisch onderbouwde bewegingsdynamica combineert met een diffusiemodel voor realistische visuele rendering, waardoor superieure generalisatie en sim-naar-real-translatie worden bereikt in vergelijking met bestaande benaderingen.

Oorspronkelijke auteurs: Ssharvien Kumar Sivakumar, Akwele Johnson, Anirudh Dhingra, Yannik Frisch, Ghazal Ghazaei, Anirban Mukhopadhyay

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ssharvien Kumar Sivakumar, Akwele Johnson, Anirudh Dhingra, Yannik Frisch, Ghazal Ghazaei, Anirban Mukhopadhyay

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe het delicate oogchirurgie moet uitvoeren, of dat je een nieuwe chirurg traint zonder een echte patiënt te riskeren. Om dit te doen, heb je een "virtual reality"-simulator nodig die er exact zo uit ziet als een echt oog en precies zo reageert als echt weefsel wanneer een instrument het aanraakt.

Het artikel introduceert SWoMo, een nieuw soort simulator voor cataractchirurgie. Denk aan SWoMo niet als één enkele machine, maar als een samenwerking tussen een strenge natuurkundeleraar en een creatieve kunstenaar.

Hier is hoe het werkt, opgesplitst in eenvoudige onderdelen:

1. Het Probleem: De "Uncanny Valley" van Chirurgie

Huidige simulators falen meestal op één van twee manieren:

De Natuurkunde-experts: Zij krijgen de beweging goed voor elkaar (het instrument duwt het weefsel en het weefsel zakt in), maar de video ziet eruit als een cartoon of een video van lage kwaliteit. Het ziet er niet echt genoeg uit om een mens te trainen.
De Video-artiesten: Zij gebruiken AI om prachtige, realistische video's te genereren. Maar ze kunnen de chirurgie niet daadwerkelijk beheersen. Als je de AI zegt een instrument naar een specifieke plek te bewegen, negeert het je misschien, of gaat het instrument als een geest dwars door het oog heen. Ze kunnen ook geen omgaan met situaties die ze nog niet hebben gezien (zoals een instrument dat onder een rare hoek binnenkomt).

2. De Oplossing: Het "Neuro-Symbolische" Team

SWoMo lost dit op door de taak op te splitsen in twee distincte rollen die samenwerken:

Het Symbolische Brein (De Natuurkundeleraar):
Dit deel is een op regels gebaseerd computerprogramma. Het geeft niets om hoe dingen er uitzien; het geeft alleen om wiskunde en regels.
- Analogie: Stel je een poppenspeler voor die aan touwtjes trekt. De poppenspeler weet precies hoe de touwtjes bewegen, hoe de gewrichten buigen en hoe het oog roteert. Het creëert een "digitale tweeling" van het oog en de instrumenten. Het zorgt ervoor dat als je het instrument duwt, het weefsel daadwerkelijk beweegt. Het creëert een skelet van de chirurgie.
- Kernkarakteristiek: Omdat het strikte regels volgt, kan het nieuwe situaties aannemen die het nog nooit heeft gezien (zoals een instrument dat onder een vreemde hoek binnenkomt) zonder in de war te raken.
Het Diffusiemodel (De Creatieve Kunstenaar):
Dit is een krachtige AI die uitstekend is in het schilderen van beelden.
- Analogie: Stel je een meester-schilder voor die duizenden uren aan echte chirurgievideo's heeft bekeken. Zij weet precies hoe de textuur van een iris eruit ziet, hoe licht reflecteert op nat weefsel en hoe schaduwen vallen.
- De Taak: De "Natuurkundeleraar" geeft de "Kunstenaar" het bewegende skelet (de posities van de instrumenten en oogbewegingen). De Kunstenaar schildert vervolgens een hyperrealistische video over dat skelet, waarbij de huid, de vochtigheid en de belichting worden toegevoegd.

3. De Geheime Ingrediënt: "Inverse Pairing"

Hoe leer je de Kunstenaar om het werk van de Natuurkundeleraar te schilderen? Je kunt ze niet zomaar willekeurige video's laten zien.

De onderzoekers gebruikten een slimme truc genaamd Inverse Pairing:

Zij namen echte video's van daadwerkelijke chirurgieën.
Zij gebruikten AI om de "verf" (het realistische uiterlijk) weg te halen en alleen het "skelet" (de beweging van het oog en de instrumenten) eruit te halen.
Zij voerden dat skelet in bij hun Natuurkundeleraar om een perfecte, op regels gebaseerde simulatie van dat exacte moment te creëren.
Nu hebben ze een paar: de originele echte video en de nieuwe gesimuleerde versie van hetzelfde evenement.

Ze gebruikten deze paren om de Kunstenaar te trainen. De Kunstenaar leerde: "Wanneer de Natuurkundeleraar het instrument zo beweegt, ziet de echte wereld er zo uit."

4. De Scenegrafiek: Het "Instructieboekje"

Om ervoor te zorgen dat de Kunstenaar niet in de war raakt wanneer het instrument het weefsel aanraakt (wat het moeilijkste deel is om weer te geven), gebruikt SWoMo een Scenegrafiek.

Analogie: Denk hierbij aan een gedetailleerd instructieboekje of een kaart. Het vertelt de Kunstenaar: "Dit object is een instrument, dit is het oog, en ze raken elkaar precies hier."
Zonder deze kaart kan de AI in de war raken en de lijn tussen het instrument en het oog vervagen. Met de kaart weet de AI precies waar de grenzen liggen, zelfs als de simulatie en de echte video niet perfect pixel-perfect op elkaar aansluiten.

5. Wat hebben ze bewezen?

Het artikel toont aan dat SWoMo op drie hoofdpunten beter is dan eerdere methoden:

Het ziet er echt uit: De video's zijn van hoge kwaliteit en realistisch.
Het volgt instructies: Als je het instrument in de simulatie beweegt, laat de video zien dat het instrument daar beweegt. Het negeert je niet.
Het omgaat met het onbekende: Omdat het deel van de "Natuurkundeleraar" regels gebruikt, kan SWoMo chirurgieën simuleren met instrumenten of hoeken die het nooit heeft gezien in zijn trainingsdata.

Bonusfunctie: Stijloverdracht
Het systeem kan ook de bewegingen uit een chirurgievideo in één ziekenhuis (Dataset A) toepassen op de visuele stijl van een ander ziekenhuis (Dataset B). Het is alsof je de choreografie van een dans uit één film neemt en de acteurs uit een compleet andere film laat uitvoeren, waarbij ze er precies uitzien alsof ze in die nieuwe film thuishoren.

Samenvatting

SWoMo is een hybride simulator. Het gebruikt een op regels gebaseerde engine om ervoor te zorgen dat de chirurgie fysiek zinvol is en een generatieve AI om het fotorealistisch te laten lijken. Door de twee te combineren, creëert het een trainingsomgeving die veilig, beheersbaar en realistisch genoeg is om nieuwe chirurgen te helpen trainen en betere chirurgische robots te bouwen.

Technische Samenvatting: SWoMo – Neuro-Symbolisch Wereldmodel voor Cataractchirurgie-Simulatie

Probleemstelling
Realistische chirurgische simulatie is essentieel voor de training van beginnende chirurgen en de ontwikkeling van autonome chirurgische agenten. Hoewel "wereldmodellen" een weg bieden naar schaalbare, interactieve simulatie door toekomstige patiënttoestanden te voorspellen op basis van waarnemingen en acties, hebben huidige state-of-the-art benaderingen moeite om aan drie kritieke criteria voor klinische toepasbaarheid te voldoen:

Visuele Realisme: Simulatoren missen vaak de vereiste fideliteit om de kloof tussen simulatie en realiteit te minimaliseren, met name bij het modelleren van complexe instrument-weefselinteracties en texturen.
Fysisch Onderbouwde Interacties: Veel methoden slagen er niet in om te waarborgen dat interacties voldoen aan natuurwetten, wat de overdraagbaarheid van geleerde gedragingen naar echte, hoog-risico situaties beperkt.
Generalisatie: Bestaande modellen degraderen vaak aanzienlijk wanneer ze geconfronteerd worden met out-of-distribution (OOD) scenario's, zoals ongekende tool-geometrieën, insertiehoeken of nieuwe chirurgische workflows, omdat hun gedrag nauw gekoppeld is aan de trainingsverdeling.

Huidige methoden excelleren doorgaans slechts in één van deze gebieden. Puur generatieve videomodellen missen stapsgewijze actie-conditionering en fysische onderbouwing, terwijl traditionele op natuurwetten gebaseerde simulatoren vaak visueel realisme missen en moeite hebben met complexe vervormingen.

Methodologie
De auteurs introduceren SWoMo, een neuro-symbolisch wereldmodel voor cataractchirurgie dat bewegingsgeneratie ontkoppelt van visueel realisme. De architectuur bestaat uit twee hoofdcomponenten:

Symbolische Component (Beweging & Dynamiek):
- Inverse Pairing Strategie: Het systeem haalt anatomische configuraties ( $k_{anat}$ ) en tool-kinematica ( $k_{tool}$ ) uit echte chirurgische video's. Anatomische parameters (pupil/iris-ellipsen, rotatie/translatie van het oogbolletje) worden afgeleid met nnU-Net en CoTracker, terwijl tool-parameters (tippositie, oriëntatie, articulatie) worden hersteld met SASVi en SAM2.
- Regelgebaseerde Simulator: Deze geëxtraheerde parameters sturen een regelgebaseerde simulator gebouwd op de Godot game-engine. Deze simulator genereert een digitale tweeling van het oog en chirurgische instrumenten, waarbij een reeks gesimuleerde frames ( $\bar{x}$ ) en bijbehorende segmentaties ( $\bar{m}$ ) worden geproduceerd. Dit waarborgt fysisch onderbouwde interacties en precieze controle over instrument-weefseldynamiek.
- Symbolische Scenegraphs: Op basis van de gesimuleerde frames en segmentaties construeert het systeem scenegraphs ( $G$ ). Deze grafen coderen objectgeometrie en relationele structuren (bijv. zwaartepunten, ruimtelijke spreiding, optische flow). De auteurs maken gebruik van twee grafencoder (globaal en lokaal) om structurele relaties en verschijningskenmerken vast te leggen, die dienen als conditioneringssignalen om misalignement-artefacten tussen gesimuleerde en echte video's te mitigeren.
Neurale Component (Visueel Realisme):
- Videodiffusiemodel: Een denoising diffusiemodel ( $\epsilon_\theta$ ) vertaalt de gesimuleerde reeks ( $\bar{x}$ ) en scenegraphs ( $G$ ) naar realistische chirurgische video's ( $x$ ).
- Tweestaps Training:
  - Fase 1: Het model leert beeld- en graf-naar-videogeneratie, geconditioneerd op het eerste frame en scenegraphs.
  - Fase 2: Een ControlNet-gebaseerde aanpak wordt ingezet om de volledige gesimuleerde videoreeks ( $\bar{x}_{1:n}$ ) als conditioneringssignaal te incorporeren. Dit stelt het model in staat om intermediaire features te moduleren zonder de voorgeprogrammeerde generatieve prior te verstoren, waardoor hoge visuele fideliteit wordt gewaarborgd terwijl men zich houdt aan de gesimuleerde beweging.

Belangrijkste Bijdragen

Ontkoppelde Architectuur: SWoMo scheidt expliciet de modellering van chirurgische beweging/interactiedynamiek (afgehandeld door de symbolische simulator) van visuele verschijning (afgehandeld door het diffusiemodel). Dit staat een nauwkeurige behoud van tool- en anatomische bewegingen toe, terwijl complexe texturen en vervormingen uit data worden geleerd.
Inverse Pairing voor Training: De auteurs stellen een nieuwe strategie voor om echte chirurgische video's in de simulator te reconstrueren, waardoor grote schaal gepaarde gesimuleerde en echte videodatasets kunnen worden gegenereerd. Dit maakt het trainen van een video-naar-video diffusiemodel voor simulatie-naar-realiteit-translatie mogelijk zonder dat elke frame handmatig geannoteerd hoeft te worden.
Conditionering met Scenegraphs: De integratie van symbolische scenegraphs als conditioneringinput blijkt cruciaal voor het handhaven van objectidentiteit en het verminderen van gladmakende artefacten nabij instrument-weefselgrenzen veroorzaakt door resterende misalignementen.
Ongecontroleerde Stijloverdracht: Door gebruik te maken van een gedeelde intermediaire representatie (de gesimuleerde reeks) die geometrie en beweging onafhankelijk van verschijning codeert, stelt SWoMo ongecontroleerde video-stijloverdracht tussen verschillende datasets (bijv. CATARACTS en Cataract-1k) mogelijk zonder gepaarde trainingsdata.

Resultaten
Experimenten werden uitgevoerd op de CATARACTS en Cataract-1k datasets, met focus op veiligheidskritieke chirurgische fasen.

Kwantitatieve Prestaties: SWoMo presteerde beter dan meerdere baselines (waaronder StyleGAN-V, Endora, MedSora, LVDM, MOFA en SG2VID) qua visuele fideliteit (FID, FVD, LPIPS) en conditioneringstrouw (Bounding Box IoU, F1-score). Specifiek behaalde het een FVD van 265,4 en een F1-score van 0,412 op de CATARACTS-dataset, waarmee het de op één na beste methode (SG2VID) overtrof in conditioneringstrouw.
Ablatiestudies: Het verwijderen van scenegraph-conditionering (SWoMo-✗SG) of beeldconditionering (SWoMo-✗IMG) resulteerde in meetbare prestatiedalingen, wat de noodzaak van beide componenten bevestigt voor hoog-fideliteit synthese en trouw.
Generalisatie: Het model toonde het vermogen om plausibele uitkomsten te genereren voor ongekende interactiegeometrieën, waaronder nieuwe tool-binnendringingsrichtingen en tool-combinaties die niet in de trainingsdata aanwezig waren.
Downstream Nut: Wanneer gebruikt als generatief data-augmentatietool voor chirurgische faseherkenning (met MS-TCN++), verbeterde SWoMo de nauwkeurigheid en F1-scores in vergelijking met training uitsluitend op echte data en in vergelijking met augmentatie met andere generatieve methoden.

Betekenis
Het artikel stelt dat SWoMo de afweging tussen fysische onderbouwing en visueel realisme aanpakt, die de klinische toepasbaarheid van chirurgische wereldmodellen heeft belemmerd. Door een regelgebaseerde simulator voor dynamiek te combineren met een diffusiemodel voor verschijning, voldoet SWoMo aan de drie belangrijkste criteria: het bereikt hoge visuele realisme, waarborgt fysisch onderbouwde interacties en generaliseert naar scenario's buiten de trainingsverdeling. De auteurs benadrukken dat deze aanpak de implementatie-inspanning voor simulatoren vermindert (door de noodzaak om complexe texturen handmatig te modelleren te elimineren) terwijl precieze controle over chirurgische acties wordt behouden, waardoor effectievere trainingsomgevingen en de ontwikkeling van autonome chirurgische agenten mogelijk worden.