Rapid patient-specific neural networks for intraoperative X-ray to volume registration

Technische Samenvatting: Snelle Patiëntspecifieke Neuronale Netwerken voor Intraoperatieve X-ray-naar-Volume Registratie

Probleemstelling
Beeldgestuurde interventies en chirurgische robotica zijn afhankelijk van de nauwkeurige uitlijning van 3D preoperatieve volumes (bijv. CT, MRI) met 2D intraoperatieve X-ray beelden (bijv. fluoroscopie). Echter, bestaande 2D/3D registratiemethoden ondervinden aanzienlijke beperkingen bij klinische implementatie. Traditionele op intensiteit gebaseerde optimalisatoren zijn gevoelig voor initialisatiefouten en convergeren vaak naar onjuiste oplossingen als de startpositie zelfs maar enkele centimeters afwijkt. Omgekeerd vereisen deep learning-benaderingen doorgaans uitgebreide handmatig gelabelde datasets en zijn ze beperkt tot de specifieke anatomieën waarop ze getraind zijn. Deze supervised methoden worstelen met generalisatie over diverse patiëntenpopulaties, pathologieën en niet-standaard intraoperatieve weergaven, wat leidt tot falen bij out-of-distribution situaties. Bovendien creëert de schaarste aan ground-truth C-arm posities in klinische dossiers een dataflesnek voor het trainen van supervised modellen.

Methodologie: Het xvr Framework
De auteurs introduceren xvr, een self-supervised framework ontworpen om patiëntspecifieke neuronale netwerken te trainen voor snelle 2D/3D rigide registratie. De aanpak integreert fysisch gebaseerde simulatie met op gradiënten gebaseerde optimalisatie om de behoefte aan handmatige annotatie te elimineren.

1. Differentieerbare Synthetische Data Synthese:
   xvr maakt gebruik van een differentieerbare X-ray renderer om synthetische trainingsdata direct te genereren vanuit de eigen preoperatieve 3D volume van een patiënt. Door C-arm posities te simuleren (rotaties $\alpha, \beta, \gamma$ en translaties $x, y, z$) en synthetische X-stralen te renderen via ray casting (met behulp van trilineaire interpolatie of de methode van Siddon), genereert het systeem onbeperkte trainingsparen met bekende ground-truth posities. Dit proces ondersteunt ook het renderen van specifieke anatomische structuren als 3D labelkaarten beschikbaar zijn.

2. Fundamentmodel en Transfer Learning:
   Om de lange trainingtijden die gepaard gaan met patiëntspecifieke modellen aan te pakken, pretrainen de auteurs een fundamentmodel op een corpus van meer dan 2.000 CT- en MR-volumes van het hele lichaam. Dit model leert een representatie van de menselijke anatomie en C-arm positedistributies op populatieniveau.

   • Architectuur: Het netwerk gebruikt een ResNet34 backbone om de C-arm positie te regresseren. Om om te gaan met de manifold-natuur van rigide transformaties ($SE(3)$), regresseert het model de quaternion adjugate, een continue representatie die discontinuïteiten inherent aan Euler-hoeken en standaard quaternions oplost.
   • Aanpassing: Voor een nieuwe patiënt wordt het fundamentmodel gefinetuned op synthetische X-stralen gegenereerd vanuit de preoperatieve scan van die specifieke patiënt. Dit reduceert de traintijd van uren (vereist voor training vanaf nul) tot ongeveer 5 minuten.

3. Robuustheid tegen Domain Shifts:
   Om variabele intraoperatieve acquisitieparameters (bijv. C-arm panning, veranderingen in gezichtsveld) te hanteren, hanteert xvr een geometrische resamplingstrategie. Intraoperatieve X-stralen worden opnieuw bemonsterd om te matchen met de canonieke intrinsieke parameters die tijdens het training werden gebruikt, voordat ze aan het netwerk worden aangeboden. Tijdens de verfijningsfase rendert het systeem synthetische X-stralen met behulp van de originele, hoog-resolutie intrinsieke parameters van het klinische beeld.

4. Iteratieve Positie-Verfijning:
   Hoewel het neuronale netwerk een nauwkeurige initiële positie-schatting biedt, maakt het systeem gebruik van een op gradiënten gebaseerde optimalisator om deze schatting te verfijnen. Met behulp van de differentieerbare renderer maximaliseert de optimalisator de gelijkenis tussen de echte intraoperatieve X-ray en de synthetische X-ray. De auteurs combineren multiscale genormaliseerde kruiscorrelatie (mNCC) voor robuustheid in gebieden met grote fouten en gradiënt genormaliseerde kruiscorrelatie (gradNCC) voor precisie in diepteschatting, waardoor nauwkeurigheid op millimeter-niveau wordt bereikt.

Belangrijkste Bijdragen

• Self-Supervised Patiëntspecifieke Training: Een framework dat ground-truth trainingsdata genereert vanuit de eigen scan van een patiënt, waardoor de afhankelijkheid van handmatige landmark-annotatie of grote gecureerde datasets wordt verwijderd.
• Fundamentmodel voor Snelle Aanpassing: Een voorgetraind model dat in staat is om zich aan te passen aan elk anatomisch gebied (bekken, femur, neurovasculatuur, schedel) in slechts 5 minuten finetuning, met een nauwkeurigheid die vergelijkbaar is met training vanaf nul gedurende 12 uur.
• Differentieerbare Rendering Pipeline: Een hoog-snelheids, differentieerbare X-ray renderer die duizenden synthetische beelden per minuut kan genereren, wat zowel schaalbare pretraining als real-time verfijning mogelijk maakt.
• Hantering van Variabele Intrinsieke Parameters: Een geometrische resamplingtechniek die het mogelijk maakt dat één enkel netwerk diverse C-arm acquisitieparameters aankan zonder hertraining.

Resultaten
De auteurs evalueerden xvr op vijf datasets die meerdere ziekenhuizen, patiëntenpopulaties en anatomische structuren omvatten, waaronder DeepFluoro (bekken cadaver), Femur (cadaver), Ljubljana (neurovasculair) en interne klinische datasets (neonatale Vein of Galen malformaties en volwassen neurochirurgie).

• Nauwkeurigheid: xvr presteerde significant beter dan bestaande methoden. Op de DeepFluoro dataset bereikte het gefinetuned model een mediane Target Registration Error (mTRE) van 1,1 mm, vergeleken met 352,2 mm voor vaste initialisatie en 82,1 mm voor supervised landmark-regressie.
• Generalisatie: Het framework toonde robuustheid tegen extreme out-of-distribution verschuivingen. Het slaagde erin intraoperatieve DSA's van neonatale patiënten met Vein of Galen malformaties (een pathologie afwezig in het uitsluitend volwassen pretraining corpus) te registreren na 5 minuten finetuning, met een mediane mTRE van 2,3 mm.
• Efficiëntie: Het systeem bereikt hoge nauwkeurigheid in seconden. De initiële positie-schatting door het gefinetuned netwerk duurt seconden, en de daaropvolgende iteratieve verfijning voegt slechts 1–8 seconden latentie toe.
• Vergelijking: In de grootste evaluatie van 2D/3D registratie van echte fluoroscopie tot nu toe, verbeterde xvr de nauwkeurigheid van bestaande methoden met een orde van grootte. Het bereikte consistent success rates op sub-millimeter-niveau (SMSR) waar andere methoden faalden, met name in niet-standaard weergaven en complexe anatomische scenario's.

Betekenis en Claims
De auteurs claimen dat xvr "pan-anatomische 2D/3D rigide registratie toegankelijk maakt voor brede klinische en onderzoeksgemeenschappen". Door differentieerbare rendering te combineren met snelle finetuning van voorgetrainde modellen, adresseert het framework de dataflesnek en generalisatieproblemen die de adoptie van AI in beeldgestuurde chirurgie hebben gehinderd. De auteurs benadrukken dat hun aanpak betrouwbare, nauwkeurige en anatomisch generieke registratie mogelijk maakt over diverse medische specialismen zonder bestaande klinische workflows te verstoren. Het framework is vrijgegeven als open-source software om verder onderzoek en klinische integratie te faciliteren. De auteurs merken bescheiden op dat hoewel hun evaluatie de grootste en meest diverse tot nu toe is, grotere prospectieve studies nodig zijn om de robuustheid over alle mogelijke klinische scenario's volledig te valideren.