EndoDDC: Learning Sparse to Dense Reconstruction for Endoscopic Robotic Navigation via Diffusion Depth Completion

Deze paper introduceert EndoDDC, een methode die gebruikmaakt van een diffusiemodel om nauwkeurige, dichte dieptekaarten te genereren uit schaarse data voor endoscopische robotnavigatie, waardoor problemen zoals zwakke texturen en lichtreflectie worden opgelost en de prestaties verbeteren ten opzichte van bestaande modellen.

De kern

EndoDDC: Het Voltooien van de Diepte-Puzzel in de Maag

Stel je voor dat een chirurgische robot een klein avonturier is die door de donkere, glibberige gangen van een menselijk lichaam reist (zoals de darmen). Om veilig te navigeren en niet tegen de wanden aan te botsen, moet deze robot precies weten hoe ver alles weg is. Dit noemen we "dieptewaarneming".

Het probleem? Het binnenste van het lichaam lijkt op een gladde, witte muur zonder details. Voor een camera is dit een nachtmerrie: zonder patronen of schaduwen is het moeilijk om te zeggen of iets dichtbij of ver weg is.

Hier komt EndoDDC om de hoek kijken. Laten we uitleggen hoe dit werkt, zonder ingewikkelde wiskunde, maar met een paar leuke vergelijkingen.

1. Het Probleem: Een onvolledige puzzel

Normaal gesproken proberen robots om een volledig 3D-beeld te maken door alleen naar een foto te kijken.

• De oude manier: Het is alsof je probeert een 3D-puzzel te maken, maar je hebt alleen een zwart-witfoto van de randen. Je moet raden waar de stukjes zitten. Soms lukt het, maar vaak maak je fouten, vooral als de "wand" glad en saai is.
• De nieuwe input: Soms heeft de robot een paar exacte meetpunten (zoals een laser die op 5 plekken de afstand meet). Maar dit zijn slechts een paar stipjes op een heel groot vel papier. Het is een onvolledige puzzel.

2. De Oplossing: EndoDDC als de "Slimme Puzzelmaker"

EndoDDC is een slimme computer die deze onvolledige puzzel (de paar meetpunten) en de foto (de afbeelding) neemt en het gat opvult tot een perfect, scherp 3D-beeld.

Het doet dit in drie stappen, met een magische truc:

Stap 1: De "Schets" maken (Feature Extraction)

De robot kijkt eerst naar de foto en de paar meetpunten. Hij zoekt naar kleine hints, zoals de richting van de plooien in het weefsel.

• Vergelijking: Het is alsof een schilder eerst de contouren van een landschap schetst en kijkt waar de lichte en donkere plekken zijn, voordat hij begint met verven.

Stap 2: De "Richtingwijzer" (Gradient Fusion)

Dit is het geheime wapen van EndoDDC. De robot kijkt niet alleen naar de afstand, maar ook naar hoe de afstand verandert.

• Vergelijking: Stel je voor dat je in het donker loopt en je voelt de muur met je hand. Je voelt niet alleen waar de muur is, maar ook of hij recht loopt of of hij een hoek maakt. EndoDDC doet hetzelfde met wiskundige lijnen (gradiënten). Het zegt: "Hier loopt het vlak, daar buigt het scherp af." Dit helpt de robot om de vorm van de darmwanden veel nauwkeuriger te begrijpen.

Stap 3: De "Magische Verf" (Diffusion Model)

Dit is het meest interessante deel. De robot gebruikt een techniek die Diffusie heet.

• De Analogie: Stel je voor dat je een schilderij hebt dat een beetje wazig is (de ruwe schets). Je wilt het perfect maken.
  • Normale methoden proberen het beeld direct te "repareren".
  • EndoDDC doet het anders: Het neemt het wazige beeld en voegt er eerst ruis (statische ruis, alsof het beeld door een storm waait) aan toe. Vervolgens leert het model stap voor stap die ruis weer weg te halen, terwijl het de "richtingwijzers" (uit stap 2) als kompas gebruikt.
  • Door dit proces van "ruis toevoegen en weer verwijderen" te herhalen, ontdekt de robot de meest logische en natuurlijke vorm van het weefsel. Het is alsof je een beeld uit een droom haalt en het langzaam scherper maakt totdat het echt lijkt.

Waarom is dit zo geweldig?

1. Het werkt in het donker en op gladde plekken: Omdat de robot gebruikmaakt van de "richtingwijzers" en de "magische verf", maakt hij minder fouten op plekken waar de camera normaal verdwaalt (zoals glimmende, natte weefsels).
2. Het is robuust: Of de robot nu 5 meetpunten heeft of 50.000, EndoDDC maakt er altijd een goed beeld van. Het is als een meester-puzzelaar die zelfs met heel weinig stukjes het hele plaatje kan zien.
3. Veiligheid: Voor een chirurgische robot betekent een betere dieptewaarneming dat hij niet per ongeluk tegen een kwetsbaar orgaan botst. Het maakt de operatie veiliger en preciezer.

Conclusie

Kortom: EndoDDC is een slimme assistent voor chirurgische robots. Hij neemt een paar ruwe meetpunten en een foto, gebruikt slimme wiskunde om de vorm van het lichaam te "voelen" (gradiënten), en gebruikt een creatief proces (diffusie) om een perfect, scherp 3D-kaartje te tekenen. Hierdoor kunnen robots zich veiliger en slimmer bewegen in het complexe landschap van het menselijk lichaam.

Technische samenvatting

Probleemstelling

Accurate diepteschatting is cruciaal voor de navigatie van endoscopische chirurgische robots, omdat het de basis vormt voor 3D-reconstructie en veilige instrumentgeleiding. Echter, het verkrijgen van nauwkeurige dieptedata in endoscopische omgevingen is een groot probleem vanwege:

• Gebrek aan ground truth: Het fine-tunen van bestaande modellen vereist datasets met precieze diepteannotaties, wat moeilijk te verkrijgen is vanwege privacy en veiligheidsregels.
• Beperkingen van bestaande methoden:
  • Zelftoezicht (Self-supervised) methoden: Lijden aan schaalambiguïteit en presteren slecht in omgevingen met weinig textuur en variabele belichting (typisch voor endoscopie). Ze leveren vaak onvolledige of ongeldige dieptekaarten op.
  • Dieptemetingen (ToF/Stereo): Leveren slechts zeer spaarzame (sparse) en onvolledige metingen. Hoewel deze punten accuraat zijn, zijn ze ontoereikend om een volledig 3D-beeld te reconstrueren zonder verdere verwerking.
• Huidige Diepte-aanvulling (Depth Completion): Bestaande methoden voor diepte-aanvulling (vaak gebruikt in autonoom rijden) zijn niet optimaal voor endoscopie vanwege de specifieke uitdagingen zoals reflecties en gladde weefsels.

Methodologie: EndoDDC

De auteurs stellen EndoDDC voor, een nieuw systeem voor diepte-aanvulling dat spaarzame dieptekaarten omzet in dichte (dense) kaarten door gebruik te maken van een diffusiemodel. Het systeem bestaat uit vier hoofdcomponenten:

1. Feature Extractie en Diepte-Gradient Fusie:

   • Het systeem neemt een RGB-afbeelding en een bijbehorende spaarzame dieptekaart als input.
   • Een backbone-netwerk (gebaseerd op PVT en CompletionFormer) extraheren multi-scale features.
   • Een Depth Grad Fusion module gebruikt Convolutional Gated Recurrent Units (ConvGRU) om iteratief dieptewaarden en dieptegradienten te verwerken. Dit module combineert de geometrische informatie van de gradiënten met de dieptekaart om een robuustere feature-representatie te creëren.

2. Dieptediffusie (Depth Diffusion):

   • In plaats van een directe voorspelling te doen, gebruikt EndoDDC een Denoising Diffusion Implicit Model (DDIM).
   • Het proces start met een ruwe, initiële dieptekaart (coarse depth) als startpunt.
   • Een conditioneel diffusiemodel (gebaseerd op U-Net) voert een iteratief denoising-proces uit. Cruciaal hierbij is dat het model wordt geconditioneerd op de dieptegradienten (afgeleid uit de fusiemodule). Dit fungeert als een geometrische leidraad die het model helpt lokale ambiguïteiten op te lossen en de globale coherentie te behouden, zelfs bij zwakke texturen.

3. Diepte-Verbetering en Upsampling:

   • De geoptimaliseerde ruwe dieptekaart (op 1/4 resolutie) wordt omhoog geschaald (upsampled) naar volledige resolutie.
   • Een Spatial Propagation Network (SPN) wordt gebruikt voor de finale verfijning, waarbij de ruimtelijke samenhang van de dieptewaarden wordt verbeterd.

4. Verliesfuncties:

   • Het model wordt getraind met een combinatie van L1- en L2-loss voor de dieptekaarten.
   • Er wordt een specifieke Gradient Loss gebruikt om de nauwkeurigheid van de dieptegradienten te waarborgen.
   • Een Diffusion Loss (L2) optimaliseert het voorspellen van ruis tijdens het denoising-proces.

Belangrijkste Bijdragen

• EndoDDC Pipeline: Een nieuwe aanpak voor spaar-naar-dicht (sparse-to-dense) reconstructie die specifiek is ontworpen voor endoscopische robots, waardoor de beperkingen van fine-tuning en zelftoezicht worden overwonnen.
• Gradient Fusion: Een multi-scale feature-extractie en gradient-fusiemodule die geometrische richtlijnen biedt voor de reconstructie.
• Diffusiestrategie: De introductie van een dieptediffusiestrategie die wordt geconditioneerd op dieptegradienten en initiële ruwe diepte. Dit zorgt voor een iteratieve optimalisatie die robuust is tegen reflecties en textuurloze oppervlakken.
• Uitgebreide Validatie: Experimenten op twee publieke datasets (C3VD en StereoMIS) tonen aan dat de methode de state-of-the-art (SOTA) modellen overtreft.

Resultaten

De prestaties zijn getest op de C3VD (Colonoscopy 3D Video Dataset) en StereoMIS datasets.

• Kwantitatieve Prestaties: EndoDDC behaalde de beste resultaten op alle metrieken (RMSE, MAE, REL en $\delta$-accuracy) vergeleken met SOTA-methoden zoals DepthAnything-v2, EndoDAC, Marigold-DC, CompletionFormer en OGNI-DC.
  • Op de C3VD-dataset verbeterde EndoDDC de RMSE met ongeveer 5,28% en de REL met 10,44% ten opzichte van de beste concurrent (OGNI-DC).
  • Op de StereoMIS-dataset was de verbetering in nauwkeurigheid ($\delta$) zelfs 25,55% ten opzichte van EndoDAC.
• Robuustheid: Het model presteerde consistent goed over verschillende niveaus van spaarsheid (van 50 tot 50.000 punten). Hoewel het bij extreem lage spaarsheid (50 punten) iets minder presteerde dan een model dat is getraind op enorme visuele priors (Marigold-DC), overtrof het alle andere modellen zodra er meer geometrische data beschikbaar was.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat EndoDDC minder fouten maakt bij randen en gebieden met grote diepteveranderingen, wat essentieel is voor de veiligheid van chirurgische robots.

Betekenis en Impact

EndoDDC biedt een significante doorbraak voor de autonome navigatie van chirurgische robots. Door het probleem van onnauwkeurige dieptewaarneming in complexe, reflecterende en textuurloze endoscopische omgevingen op te lossen, kan dit systeem:

• De veiligheid van ingrepen verhogen door betere 3D-bewustzijn en instrumentgeleiding.
• De efficiëntie van robotassisterende chirurgie verbeteren door betrouwbare real-time navigatie.
• Een praktische oplossing bieden voor het gebrek aan grote datasets met ground-truth diepte, door effectief gebruik te maken van spaarzame sensorgegevens.

De code is beschikbaar gesteld, wat de adoptie en verdere ontwikkeling in de medische robotica-gemeenschap zal stimuleren.