NeRFscopy: Neural Radiance Fields for in-vivo Time-Varying Tissues from Endoscopy

Dit paper introduceert NeRFscopy, een zelftoezichts-pijplijn die gebruikmaakt van Neural Radiance Fields om uit monoscopische endoscopische video's nauwkeurige 3D-reconstructies en nieuwe weergaven van vervormbaar, tijdsvariërend weefsel te genereren zonder afhankelijk te zijn van vooraf getrainde modellen.

De kern

NeRFscopy: De "Tijdmachine" voor Medische Beelden

Stel je voor dat je een arts bent die door een camera in het lichaam van een patiënt kijkt. Dit heet een endoscopie. Het probleem is dat deze camera vaak maar één oog heeft (monoculair) en het weefsel waar hij naar kijkt – zoals maagwanden of longen – is zacht, beweegt, rekt uit en krimpt, net als een deken in de was.

Vroeger was het heel moeilijk om van zo'n bewegend, vervormend stukje weefsel een stabiel 3D-kaart te maken. Het was alsof je probeerde een foto te maken van een dansende gelatine terwijl de camera zelf ook trilt.

Wat is NeRFscopy?
De onderzoekers van dit papier hebben een slimme nieuwe tool bedacht, genaamd NeRFscopy. Je kunt dit zien als een magische 3D-tijdmachine die een gewone video omzet in een volledig bewerkbaar driedimensionaal model van het binnenste van het lichaam.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Klassieke Versie" vs. De "Vervormde Wereld"

Stel je een stuk klei voor.

• De oude manier: Probeerde te raden hoe de klei eruitzag door te kijken naar schaduwen en lijnen, maar als de klei werd uitgerekt, raakte de computer het kwijt.
• De NeRFscopy-methode: Ze hebben een twee-stappen-systeem bedacht:
  1. De "Ideale" Klei (Canoniek Veld): Ze maken eerst een virtueel model van hoe het weefsel eruit zou zien als het perfect stil en glad zou liggen. Dit is hun basisplaatje.
  2. De "Dansen" (Vervormingsveld): Vervolgens laten ze die ideale klei dansen. Ze gebruiken een wiskundige formule (SE(3)) die precies beschrijft hoe elk puntje van de klei roteert en verschuift om de echte beweging na te bootsen.

Het is alsof je eerst een poppetje maakt van klei, en dan een robotarm gebruikt die precies weet hoe je dat poppetje moet buigen, draaien en rekken om het te laten lijken op de echte, levende maagwand in de video.

2. Waarom is dit zo slim?

Normaal gesproken hebben computers hulp nodig om te weten hoe een camera beweegt. Maar in een maag of long is alles donker, glad en beweegt het vanzelf.

• Zelflerend: NeRFscopy is een autodidact. Het heeft geen vooraf gemaakte kaart nodig. Het kijkt gewoon naar de video en leert zelf: "Ah, dit stukje beeld wordt lichter, dus dat moet een plooitje zijn dat oplicht."
• De Diepte-Boog: Omdat de camera maar één oog heeft, is het lastig om diepte te zien (net als met één oog is het lastig om een bal te vangen). De software gebruikt slimme hulpmiddelen (diepte-schattingen) om te "gokken" hoe ver weg dingen zijn, en corrigeert die gokken steeds opnieuw totdat het beeld scherp is.

3. Wat levert het op?

Dit is het tofste deel: Nieuwe Hoekjes.
Stel je voor dat de arts tijdens de operatie alleen recht vooruit heeft kunnen kijken. Met NeRFscopy kan de arts later, achter de computer, de video "opnieuw bekijken" alsof hij of zij:

• Om de hoek van het weefsel zou kunnen kijken.
• Van bovenaf zou kunnen neerkijken op een knobbeltje.
• Zou kunnen zien hoe een structuur eruitzag toen het weefsel nog niet zo sterk was uitgerekt.

Het is alsof je een video van een dansende danser hebt, en je kunt later de camera verplaatsen om te kijken hoe de danser eruitzag vanuit de hoek van het publiek, terwijl je dat in de originele video nooit zag.

4. De Resultaten

De onderzoekers hebben dit getest op echte operaties (zoals hartoperaties en longoperaties).

• Het werkt beter dan de huidige beste methoden.
• Het maakt scherpe 3D-modellen, zelfs als het weefsel erg vervormt.
• Het is nog niet supersnel (het duurt even om te rekenen), maar het is wel zeer nauwkeurig.

Kortom:
NeRFscopy is als een slimme vertaler die een chaotische, bewegend video van een orgel vertaalt naar een rustig, 3D-model. Hierdoor kunnen artsen later rustig rondkijken in het lichaam van de patiënt, alsof ze een virtuele tour maken, wat helpt bij het stellen van een betere diagnose of het plannen van een behandeling. Het maakt het onzichtbare zichtbaar en het onbeweeglijke bewegend.

Technische samenvatting

Probleemstelling

Endoscopie is een cruciale techniek in de medische beeldvorming voor diagnose, prognose en behandeling. Het huidige gebruik van monocular (eénoog) endoscopen biedt echter beperkingen voor het begrijpen van de 3D-structuur van in-vivo weefsels. De belangrijkste uitdagingen zijn:

• Deformeerbaarheid: Biologische weefsels zijn niet-stijf en veranderen voortdurend van vorm.
• Beperkte data: Het gebruik van monocular camera's maakt het moeilijk om diepte en beweging te onderscheiden (het probleem is inherent slecht gesteld).
• Visuele ruis: Endoscopische video's bevatten vaak reflecties (specularities), occlusies (door het instrument of lichaamsvloeistoffen), gebrek aan textuur, onverwachte camerabewegingen en bewegingsonscherpte.
• Bestaande methoden: Traditionele methoden (zoals Structure from Motion) en recente ontwikkelingen zoals Neural Radiance Fields (NeRF) en 3D Gaussian Splatting zijn vaak ontworpen voor stijve objecten of vereisen vooraf bekende camera-trajecten en kalibratie, wat niet direct toepasbaar is op dynamische endoscopische scènes.

Methodologie: NeRFscopy

De auteurs stellen NeRFscopy voor, een zelftoezicht (self-supervised) pijplijn voor nieuwe weergavesynthese (novel view synthesis) en 3D-reconstructie van vervormbare endoscopische weefsels, uitsluitend gebaseerd op een monocular video.

Kerncomponenten:

1. Architectuur:

   • Het model gebruikt een canonieke radiance field ($F_\Theta$) die de statische vorm van het weefsel leert.
   • Een tijdsafhankelijk vervormingsveld ($G_\Phi$) parameteriseert de beweging. In tegenstelling tot eerdere werken die een verplaatsingsveld (displacement field) gebruiken, introduceert NeRFscopy een dicht SE(3)-vervormingsveld. Dit veld encodeert een stijve transformatie (rotatie en translatie) via een as van draaiing en een rotatiehoek, wat efficiënter is voor het vastleggen van complexe, gelijktijdige rotaties in verschillende gebieden van de scène met minder parameters.
   • Het model bestaat uit één enkele MLP (Multi-Layer Perceptron) in plaats van een hiërarchisch model (coarse/fine), omdat dieptegestuurde steekproeven de samples concentreren rond het geschatte oppervlak.

2. Dieptesturing:

   • Om de ambiguïteit tussen camerabeweging en weefselvervorming op te lossen zonder voorafgaande kennis, wordt aangenomen dat de camerabeweging nul is (alle beweging komt van het weefsel).
   • Er worden vooringestelde monocular dieptebestemmingsalgoritmen (zoals DPT of Depth-Anything) gebruikt om relatieve dieptekaarten te genereren die dienen als leidraad voor het steekproefproces.

3. Optimalisatie en Verliesfuncties:
   Het model wordt getraind door een totale verliesfunctie te minimaliseren die bestaat uit:

   • Fotometrisch verlies ($L_C$): Vergelijkt de gerenderde pixelkleuren met de waargenomen kleuren.
   • Diepteverlies ($L_D$): Straft afwijkingen tussen de voorspelde en de vooraf berekende dieptekaart.
   • Jacobiaan-verlies ($L_J$): Straft afwijkingen van nul in de logaritme van de singuliere waarden van de Jacobiaan van het vervormingsveld. Dit zorgt ervoor dat de vervorming lokaal en fysiek plausibel blijft (voorkomt extreme vervormingen).
   • Dieptegradient-regulering ($L_g$): Moedigt scherpe discontinuïteiten in de geschatte diepte aan, vergelijkbaar met de invoer.
   • Dieptegladheid ($L_s$): Zorgt ervoor dat naburige pixels vergelijkbare dieptewaarden hebben, gewogen door de Laplacian van de kleur (om randen te respecteren).
   • Temporale Total Variation ($L_{tv}$): Zorgt voor temporal coherentie door vervormingen tussen opeenvolgende frames gelijkaardig te houden.

Belangrijkste Bijdragen

• SE(3) Vervormingsveld: Introductie van een SE(3)-gebaseerd vervormingsmodel voor NeRF, wat beter geschikt is voor complexe weefselbewegingen dan eenvoudige verplaatsingsvelden.
• Zelftoezicht zonder template: Het systeem leert een 3D impliciete weergave uitsluitend uit data, zonder vooraf getrainde modellen of templates voor specifieke weefsels.
• Robuuste Pijplijn: Een complete oplossing die omgaat met de specifieke uitdagingen van endoscopie (occlusies, reflecties, variërende belichting) door geavanceerde regularisatietermen.
• Universele Toepasbaarheid: De methode is ontworpen als een generieke oplossing voor diverse endoscopische procedures (gastroscopie, laparoscopie, bronchoscopie).

Resultaten

De auteurs hebben NeRFscopy geëvalueerd op vier real-world in-vivo video's (TECAB-hartoperaties, longlobectomie, bronchoscopie) en de EndoNeRF-dataset.

• Kwantitatieve prestaties:
  • NeRFscopy overtreft consistent concurrenten zoals EndoNeRF, EndoSurf, LerPlane-32k en EndoGaussian-monocular op de EndoNeRF-dataset, met name in PSNR (37.204 vs 36.429) en LPIPS (0.054 vs 0.089).
  • In de ablatiestudies bleek dat de combinatie van gradient- en smoothness-regularisatie de beste resultaten opleverde. De temporale regularisatie ($L_{tv}$) bleek soms contraproductief bij scènes met hoge frequentie details of artefacten, wat leidde tot een lichte daling in prestaties in sommige gevallen.
• Kwalitatieve prestaties:
  • De methode produceert visueel overtuigende nieuwe weergaven en 3D-reconstructies die fysiek plausibel zijn.
  • Het model kan "nieuwe" vervormingstoestanden genereren die niet in de originele video voorkwamen, wat nuttig is voor chirurgische planning.
• Efficiëntie: De huidige implementatie is niet real-time (0.14 FPS), maar prioriteert nauwkeurigheid boven snelheid.

Betekenis en Toekomstperspectief

NeRFscopy vertegenwoordigt een significante stap voorwaarts in het toepassen van neurale rendering op dynamische medische beeldvorming.

• Klinische Impact: Het kan chirurgen helpen bij het visualiseren van anatomische structuren in 3D, het plannen van ingrepen en het maken van betere diagnoses door nauwkeurige metingen van knobbels of structuren.
• Toekomstig werk: De auteurs plannen om camerabeweging expliciet in de formulering op te nemen (momenteel wordt deze genegeerd of als nul aangenomen) en de computatiekosten te verlagen om real-time toepassing mogelijk te maken.

Samenvattend biedt NeRFscopy een krachtige, datagedreven aanpak om de complexe, vervormende aard van in-vivo weefsels te modelleren, wat de weg vrijmaakt voor geavanceerde 3D-visualisatie in de endoscopie.