FoundationPose-Initialized 3D-2D Liver Registration for Surgical Augmented Reality

Dit artikel presenteert een lichtgewicht pipeline voor 3D-2D registratie van de lever in chirurgische augmented reality, die foundation pose-schatting combineert met niet-rigide ICP om complexe eind-elementenmodellen te vervangen en zo een klinisch nauwkeurige en engineering-vriendelijke oplossing biedt.

De kern

Stel je voor dat een chirurg een operatie doet aan de lever, maar dan via een klein gaatje in de buik (laparoscopie). De chirurg kijkt door een camera, maar ziet alleen het oppervlak van de lever. De tumor en belangrijke bloedvaten zitten binnenin, onzichtbaar. Het is alsof je probeert een schat te vinden in een donkere kamer door alleen naar de muren te kijken.

Om dit op te lossen, gebruiken artsen Augmented Reality (AR). Ze projecteren een 3D-kaart van de lever (gemaakt van een CT-scan voor de operatie) over het live-beeld van de camera. Maar hier zit een probleem: de lever is geen stenen muur. Het is een zacht, slap orgaan dat beweegt, vervormt en rekt door de lucht die erin wordt gepompt en door de zwaartekracht. Als de 3D-kaart niet perfect past, kan de chirurg per ongeluk een bloedvat raken.

Deze paper beschrijft een nieuwe, slimme manier om die 3D-kaart perfect op de levende lever te laten passen. Hier is hoe ze dat doen, vertaald in alledaagse taal:

1. De "GPS" voor de Lever (Rigid Initialisatie)

Eerst moet de computer weten waar de lever ongeveer zit.

• Het oude probleem: Eerdere methoden keken alleen naar de contour (de randlijn) van de lever op het scherm. Dat is als proberen een auto te parkeren in de regen terwijl je alleen naar de silhouet van de auto kijkt. Het is vaag en makkelijk fout te gaan.
• De nieuwe oplossing: De auteurs gebruiken een slimme AI genaamd FoundationPose. Deze AI is getraind om niet alleen naar de rand te kijken, maar ook naar de diepte (hoe ver iets weg is).
• De analogie: Stel je voor dat je een puzzel legt. De oude methode keek alleen naar de vorm van de stukjes (de randen). De nieuwe methode kijkt ook naar de kleur en de textuur (de diepte). Hierdoor weet de computer veel sneller en nauwkeuriger waar de lever precies staat, zelfs als het licht verandert of als er instrumenten voor de lever staan.

2. De "Klei" die mee beweegt (Non-Rigid Registratie)

Zodra de computer weet waar de lever zit, moet hij rekening houden met de vervorming. De lever is als een stuk natte klei of gelei: als je erop duwt, verandert de vorm.

• Het oude probleem: Vroeger gebruikten ze complexe fysieke modellen (zoals in een supercomputer) om te berekenen hoe de klei zou vervormen. Dit was extreem rekenkrachtig, duur en vereiste veel kennis over de "stijfheid" van de lever van die specifieke patiënt.
• De nieuwe oplossing: In plaats van een zware fysieke simulatie, gebruiken ze een slimme statistische methode. Ze hebben duizenden voorbeelden van hoe levers vervormen verzameld en deze "samengeperst" tot een paar basisbewegingen (zoals de belangrijkste knoppen op een synthesizer).
• De analogie: In plaats van elke druppel water in een golf te berekenen (fysiek model), kijken ze naar de grote golven die al bekend zijn (statistisch model). Ze gebruiken een slim algoritme (CMA-ES) dat als een blind proefloper werkt: het probeert een paar keer een vorm aan te passen, kijkt of het beter past, en doet het dan weer net iets anders, totdat het perfect zit. Dit is veel sneller en lichter dan de oude methoden.

3. Het Resultaat: Een Perfecte Match

Door deze twee stappen te combineren (de slimme GPS + de snelle klei-aanpassing), krijgen ze een resultaat dat bijna perfect is:

• De foutmarge is gedaald tot ongeveer 8,5 mm. Dat is ongeveer de dikte van een vinger. Voor chirurgie is dit een enorme verbetering.
• Het werkt sneller en vereist minder dure hardware dan de oude methoden.

Waarom is dit belangrijk?

Voorheen was het moeilijk om een 3D-kaart op een levende, bewegende lever te plakken zonder dat het beeld "drijft" of scheef staat. Met deze nieuwe methode kunnen chirurgen zich beter oriënteren, tumoren preciezer vinden en de operatie veiliger maken.

Kort samengevat:
De auteurs hebben een systeem bedacht dat werkt als een slimme navigatiecomputer die niet alleen naar de wegkanten kijkt, maar ook naar de diepte, en die vervolgens een slimme, flexibele deken over de lever trekt die zich automatisch aanpast aan elke krimp of rek van het orgaan. Het is sneller, slimmer en maakt de operatie veiliger voor de patiënt.

Technische samenvatting

Probleemstelling

Bij laparoscopische leverchirurgie is het lokaliseren van tumoren en grote bloedvaten uiterst moeilijk omdat interne structuren niet direct zichtbaar zijn. Hoewel intraoperatieve echografie (US) helpt, is dit afhankelijk van de operator en verhoogt het de cognitieve belasting. Augmented Reality (AR) kan pre-operatieve CT-scans overleggen op intraoperatieve endoscopische beelden om de chirurg te helpen, maar dit vereist nauwkeurige registratie.

De uitdagingen zijn:

1. Vormverandering (Deformatie): De lever verandert van vorm door pneumoperitoneum (gas in de buikholte), zwaartekracht en contact met instrumenten.
2. Beperkt zicht: Tijdens de operatie is slechts een klein deel van het leveroppervlak zichtbaar.
3. Complexiteit van bestaande methoden: Bestaande pipelines voor niet-rigide (vervormbare) registratie maken vaak gebruik van Finite Element (FE) modellen. Deze zijn echter rekenkundig zwaar, vereisen complexe patient-specifieke materiaaleigenschappen (zoals stijfheid) en zijn moeilijk te implementeren zonder diepgaande expertise.
4. Onzekerheid in initialisatie: Bestaande methoden voor rigide initialisatie vertrouwen vaak alleen op contouren, wat onnauwkeurig kan zijn bij variërende belichting of deformatie.

Methodologie

De auteurs stellen een hybride registratie-pipeline voor die bestaat uit twee hoofdstadia:

1. Rigide Initialisatie met FoundationPose

In plaats van traditionele contour-matching, gebruiken de auteurs een aangepaste versie van FoundationPose, een state-of-the-art foundation model voor 6D-pose schatting.

• Input: Het model neemt drie soorten data als input:
  1. Contourkaarten (ribben, ligamenten, silhouet).
  2. Volledige levermaskers (inclusief gebieden bedekt door instrumenten).
  3. Monoculaire dieptekaarten gegenereerd door Depth Anything V2.
• Architectuur: Ze passen het RefineNet-component van FoundationPose aan voor het voorspellen van pose-offsets.
• Training: Om het domeinverschil tussen synthetische en echte data te overbruggen, wordt uitgebreide data-augmentatie toegepast (random dilatie, erosie, instrument-occlusie simulatie, en dieptevervorming).
• Verliesfunctie: In plaats van MSE voor rotatie/translatie, gebruiken ze een Surface MSE loss die de gemiddelde kwadratische fout berekent tussen het getransformeerde 3D-mesh en het referentiemesh.

2. Niet-Rigide Registratie (Deformatie)

Voor het aanpassen van de levervorm gebruiken ze een lichtgewicht alternatief voor FE-modellen:

• Statistische Vormmodel: Ze bouwen een model op basis van Principal Component Analysis (PCA) van 398 lever-meshes. Dit reduceert de deformatie tot een lineaire combinatie van de eerste 10 hoofdcomponenten.
• NICP (Non-rigid Iterative Closest Point): In plaats van FE-modellen gebruiken ze NICP om de mesh te laten vervormen terwijl de topologische structuur behouden blijft.
• Optimalisatie: Omdat de gebruikte Hausdorff-distance (afstand tussen contour en masker) niet differentieerbaar is, gebruiken ze CMA-ES (Covariance Matrix Adaptation Evolution Strategy). Dit is een gradiënt-vrije, stochastische optimalisatiealgoritme dat de pose en de PCA-coëfficiënten simultaan optimaliseert om de afstand tussen het gerenderde model en de intraoperatieve labels te minimaliseren.

Belangrijkste Bijdragen

1. Integratie van Diepte: Ze tonen aan dat het toevoegen van geschatte monoculaire dieptekaarten aan FoundationPose de nauwkeurigheid van de rigide initialisatie significant verbetert ten opzichte van methoden die alleen op contouren vertrouwen.
2. Lichtgewicht Deformatiemodel: Ze introduceren een nieuwe pipeline die de zware computationele last van Finite Element Analysis (FEA) elimineert door NICP in combinatie met CMA-ES en PCA te gebruiken. Dit vereenvoudigt de engineering en maakt het minder afhankelijk van onzekere patient-specifieke materiaaleigenschappen.
3. State-of-the-art Prestaties: De methode bereikt klinisch relevante nauwkeurigheid op echte patientdata, met een gemiddelde registratiefout van 9,91 mm (zonder Patient 2) en 8,52 mm na niet-rigide optimalisatie.

Resultaten

De methode werd getest op data van vier patienten (uit de dataset van Rabbani et al.).

• Patient 2: Deze patient werd uitgesloten van de kwantitatieve evaluatie omdat de lever tijdens de opname extreme torsie onderging, wat registratie onmogelijk maakt (zelfs voor experts).
• Vergelijking: De FoundationPose-initialisatie (met diepte) presteerde beter dan eerdere methoden (zoals LMR, NM, Opt-B) en handmatige initialisatie.
  • FoundationPose + niet-rigide optimalisatie: 8,52 mm gemiddelde fout.
  • FoundationPose alleen (rigide): 9,91 mm gemiddelde fout.
• Interessant inzicht: Curieus genoeg verslechterde de prestatie soms bij alleen rigide optimalisatie (van 9,91 mm naar 11,43 mm) omdat contour-optimalisatie zonder diepte-informatie kan leiden tot 3D-discrepanties. De niet-rigide stap herstelde dit en leverde de beste resultaten op.
• Snelheid: De rigide initialisatie convergeert binnen enkele seconden. De niet-rigide verfijning duurt 30-60 seconden, maar voor vervolgframes kan de tracking in real-time worden bijgewerkt zolang de deformatie statisch blijft.

Betekenis en Conclusie

Dit paper biedt een praktische en efficiënte oplossing voor 3D-2D registratie in de leverchirurgie.

• Klinische relevantie: De bereikte nauwkeurigheid (<10 mm) is klinisch relevant voor AR-gestuurde chirurgie.
• Toepasbaarheid: Door het vermijden van complexe FE-modellen en het gebruik van een "engineering-vriendelijke" NICP/CMA-ES benadering, wordt de drempel voor implementatie verlaagd.
• Toekomstperspectief: Hoewel de methode uitstekend werkt voor oppervlakte-uitlijning, merkt de auteurs op dat het minder effectief is voor het volgen van interne tumoren die niet direct op het oppervlak zichtbaar zijn (een beperking van NICP ten opzichte van FE-modellen). Toekomstig werk zal gericht zijn op het combineren van de rekenkundige eenvoud van hun aanpak met de nauwkeurigheid van FEA voor interne structuren.

Samenvattend bewijst deze studie dat een combinatie van diepteverrijkte foundation-modellen voor initialisatie en statistische vormmodellen voor vervorming een krachtig alternatief biedt voor traditionele, zware biomechanische modellen in de chirurgische AR.