SurgFormer: Scalable Learning of Organ Deformation with Resection Support and Real-Time Inference

Deze paper introduceert SurgFormer, een schaalbaar multiresolutie-gated transformer-model dat op basis van XFEM-gegenereerde data realistische en real-time voorspellingen van orgaandeformatie en resectie mogelijk maakt voor chirurgische simulaties.

De kern

SurgFormer: De slimme, snelle 'virtuele chirurg' die weefsels in 3D begrijpt

Stel je voor dat je een chirurg bent die een operatie moet oefenen. In het echte leven is menselijk weefsel (zoals een lever of een blindedarm) zacht, rekbaar en soms zelfs nodig om weg te snijden. Op een computer is dit echter een enorme uitdaging.

Normaal gesproken gebruiken supercomputers ingewikkelde wiskunde om te berekenen hoe weefsel reageert op een snijbeweging. Dit is als het proberen te voorspellen hoe een honderdduizend stukjes pudding op elkaar reageren als je er met een lepel in roert. Het resultaat is heel nauwkeurig, maar het duurt te lang om in een live operatie of een real-time trainingssimulator te gebruiken.

Wat is SurgFormer?
De onderzoekers hebben SurgFormer bedacht. Je kunt dit zien als een slimme, snelle "virtuele assistent" die is getraind om te voorspellen wat die zware wiskunde zou doen, maar dan in een flits. Het is een kunstmatige intelligentie die speciaal is ontworpen voor 3D-modellen van organen.

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. De "Lego-bak" aan verschillende groottes

Stel je een orgaan voor als een bouwwerk van miljoenen kleine Lego-blokjes (de "mesh"). Als je één blokje duwt, bewegen er duizenden andere mee.

• Het probleem: Als je probeert te berekenen hoe elk blokje beweegt door naar alle andere te kijken, wordt het te traag.
• De SurgFormer-oplossing: SurgFormer gebruikt een multiresolutie-systeem. Het kijkt naar het orgaan alsof het een foto is die je inzoomt:
  • Op kleine schaal (dichtbij) kijkt het naar de directe buren van een blokje (alsof je zegt: "Als ik hier duw, beweegt mijn directe buur mee").
  • Op grote schaal (ver weg) kijkt het naar het hele orgaan als één geheel (alsof je zegt: "Als ik hier duw, voelt de hele lever het").
  • Door deze twee niveaus slim te combineren, is het snel én nauwkeurig.

2. De "Slimme Poortwachters" (De Gaten)

Dit is het meest creatieve deel. SurgFormer heeft geen vaste regels over welke informatie belangrijk is. In plaats daarvan heeft het lerende poortwachters (gates) bij elk blokje.

• De analogie: Stel je voor dat je een team hebt dat een reportage schrijft. Sommige leden kijken alleen naar de directe omgeving (lokale nieuws), anderen kijken naar het wereldnieuws (globale context).
• SurgFormer heeft een slimme editor die voor elk blokje beslist: "Moet ik nu vooral kijken naar mijn directe buren, of moet ik kijken naar wat er aan de andere kant van het orgaan gebeurt?"
• Deze editor past zich continu aan. Soms is lokale informatie belangrijker, soms de globale. Hierdoor blijft het systeem flexibel en snel, zelfs bij enorme organen.

3. Het "Snij-en-Verander"-probleem

De echte kracht van SurgFormer is dat het niet alleen kan voorspellen hoe weefsel reageert op druk, maar ook wat er gebeurt als je weefsel wegsnijdt (zoals bij het verwijderen van een galblaas of blindedarm).

• Het oude probleem: Als je een stukje van een computermodel weghaalt, breekt de wiskunde vaak. Het is alsof je een web van draden hebt en er één doorsnijdt; de rest van het web valt in elkaar of de computer raakt in de war.
• De SurgFormer-oplossing: Het model krijgt een extra "geheugen" of stempel op de blokjes. Het leert: "Ah, dit blokje hoort bij het stuk dat eraf gaat." Hierdoor kan het model in één keer begrijpen: "Oké, dit stuk is weg, hoe reageren de rest?"
• Dit maakt het de eerste AI die zowel het duwen als het snijden in één systeem kan simuleren, zonder dat je twee verschillende programma's nodig hebt.

4. Waarom is dit belangrijk?

• Snelheid: Het werkt in real-time. Je kunt een chirurgische simulator bouwen die reageert net zo snel als je hand beweegt.
• Veiligheid: Chirurgen kunnen oefenen op complexe operaties (zoals het wegsnijden van een tumor) zonder risico voor echte patiënten.
• Realisme: Omdat het getraind is op data van zeer nauwkeurige (maar trage) simulaties, ziet het eruit en voelt het alsof het echt is.

Samenvattend:
SurgFormer is als een meester-chef die een recept uit zijn hoofd kent. In plaats van elke keer de ingrediënten opnieuw af te wegen en de tijd te meten (wat de oude computers deden), kijkt de chef naar de situatie, beslist hij snel welke handeling nodig is (lokale of globale kennis), en voert hij de taak uit in een flits. Hierdoor kunnen we in de toekomst realistische, veilige en snelle virtuele operatiescholen hebben.

Technische samenvatting

Probleemstelling

De nauwkeurige modellering van vervorming van zacht weefsel is essentieel voor chirurgische training, planning en gidsystemen. Traditionele methoden, zoals de Finite Element Method (FEM), bieden hoge nauwkeurigheid maar zijn te rekenintensief voor interactieve toepassingen (real-time simulatie), vooral bij complexe scenario's met contact en veranderende randvoorwaarden.

Bestaande leer-gestuurde vervangers (surrogates) hebben twee belangrijke beperkingen:

1. Ze zijn vaak beperkt tot continue vervorming en kunnen topologieveranderingen (zoals snijden of resectie) niet goed modelleren binnen een unified pipeline.
2. Ze hebben moeite met het balanceren van lokale interacties en langeafstandsafhankelijkheden op grote, onregelmatige volumetrische mesh-netwerken zonder de inferentiesnelheid te verliezen.

Het doel is een model te ontwikkelen dat zowel standaard vervorming als snij-gedreven vervorming (resectie) in real-time kan voorspellen op basis van XFEM (Extended Finite Element Method) gegenereerde data.

Methodologie: SurgFormer

SurgFormer is een multiresolutie, getransformeerde architectuur (gated transformer) die is ontworpen voor volumetrische mesh-netwerken. De kern van de methode omvat de volgende componenten:

1. Data Generatie en Voorbereiding:

• De auteurs genereren datasets voor twee chirurgische procedures: cholecystectomie (gallengangverwijdering) en appendectomie (blinddarmverwijdering).
• De data wordt gegenereerd met behulp van XFEM (Extended Finite Element Method), wat expliciete sprongen in het verplaatsingsveld toestaat bij snijvlakken zonder dat het mesh hoeft te worden herschikt.
• De dataset bevat zowel intacte weefselvervorming als scenario's met resectie (topologieverandering).

2. Architectuur:

• Vaste Multiresolutie Hiërarchie: Het model bouwt een vaste mesh-hiërarchie op door middel van Farthest Point Sampling (FPS). Dit creëert coarser niveaus bovenop het fijne mesh.
• Encoder-Decoder Structuur:
  • Encoder: Verwerkt het mesh van fijn naar grof via channel-wise max pooling.
  • Decoder: Verwerkt het mesh van grof naar fijn via broadcast upsampling.
  • Skip Connections: Er zijn verbindingen tussen corresponderende niveaus van encoder en decoder.
• Multibranch Blokken (SurgFormer Block): Op elk niveau worden drie takken parallel verwerkt en gefuseerd:
  1. Lokale Message Passing: Gebruikt Graph Attention Networks (GAT) voor lokale interacties tussen mesh-nodes.
  2. Globale Self-Attention: Toepassing van Multi-Head Attention op de coarser niveaus om langeafstandsrelaties te modelleren zonder de kosten van volledige globale attention op het fijnste niveau.
  3. Feedforward Updates: Puntpuntsgewijze updates (MLP) voor niet-lineaire transformaties.
• Learned Gating Mechanisme: Een cruciale innovatie is het gebruik van geleerde per-node, per-kanaal poorten (gates). Deze poorten bepalen adaptief hoe de output van de drie bovenstaande takken wordt gefuseerd. Dit stelt het model in staat om dynamisch te kiezen tussen lokale precisie en globale context.

3. Snij-Conditionering (Cut Conditioning):

• Om topologieveranderingen te modelleren, wordt een leerbaar embedding toegevoegd aan de inputfeatures van elke node.
• Deze embedding geeft aan of een node zich in een "resecteerd" (verwijderd) of "intact" gebied bevindt.
• Het model leert hierdoor om de vervorming te voorspellen op basis van de huidige snijtoestand, wat een unified model mogelijk maakt voor zowel snijden als niet-snijden.

Belangrijkste Bijdragen

1. SurgFormer Architectuur: De introductie van een schaalbare, multiresolutie gated transformer die lokale en globale informatie efficiënt combineert voor volumetrische weefselsimulatie.
2. Unified Pipeline voor Resectie: Het is het eerste geleerde volumetriske vervangersmodel dat zowel standaard vervorming als snij-gedreven (cut-conditioned) vervorming binnen één architectuur en evaluatiepipeline behandelt, gebruikmakend van XFEM-supervisie.
3. Nieuwe Datasets: Publicatie van twee procedure-niveau datasets (cholecystectomie en appendectomie) met zowel snij- als niet-snij gevallen, gegenereerd onder een uniek protocol.
4. Robuustheid en Efficiëntie: Het model biedt real-time inferentie (onder 1 ms) met hoge nauwkeurigheid en toont robuustheid tegen adversariële verstoringen van de tool-signalen.

Resultaten

De prestaties van SurgFormer zijn geëvalueerd tegen state-of-the-art baselines zoals GAOT, NIN, MGN-T, PointNet en PVCNN.

• Zachtweefsel Vervorming: SurgFormer behaalde de beste algehele nauwkeurigheid met een DCM (Deformation Capture Metric) van 97,21%, een RMSE van 0,018 en een inferentietijd van slechts 0,64 ms. Dit is sneller dan de meeste concurrenten en nauwkeuriger.
• Snij-Conditionering (Cholecystectomie): Bij het voorspellen van vervorming na resectie verbeterde SurgFormer de DCM aanzienlijk van 66,85% (zonder conditionering) naar 83,61% (met conditionering). Het overtrof alle andere modellen, met name GAOT (72,26%).
• Appendectomie (Gemengde taken): Op een dataset met zowel snij- als niet-snij gevallen behaalde SurgFormer een DCM van 87,61%, wat vergelijkbaar is met de beste concurrenten (PVCNN: 88,74%), maar met een 3x snellere inferentie.
• Ablatie Studies:
  • De volledige fusie van lokale, globale en feedforward takken gaf de beste resultaten.
  • Het verwijderen van de lokale tak veroorzaakte de grootste daling in prestaties, wat aangeeft dat lokale geometrische aggregatie het meest kritiek is.
  • Het gebruik van learned gates (in plaats van uniforme mixing) verbeterde de prestaties aanzienlijk, wat aantoont dat adaptieve weging essentieel is.
• Transfer Learning: Pre-training op vervormingstaken hielp bij het leren van snij-gedreven taken, maar volledige fine-tuning was noodzakelijk voor optimale prestaties.

Betekenis en Impact

SurgFormer vertegenwoordigt een belangrijke stap voorwaarts in de computergestuurde chirurgie. Door het vermogen om topologieveranderingen (snijden) en continue vervorming in real-time te simuleren op grote, onregelmatige mesh-netwerken, maakt het model interactieve chirurgische training en planning mogelijk die eerder te rekenintensief was.

De introductie van een unified pipeline voor XFEM-gegenereerde data met snij-conditionering vult een gat in de literatuur, waar de meeste bestaande modellen zich beperken tot continue vervorming. De combinatie van hoge nauwkeurigheid, real-time snelheid en robuustheid maakt SurgFormer tot een praktische ruggengraat voor toekomstige systemen voor chirurgische simulatie en robotica.