Multi-Modal Monocular Endoscopic Depth and Pose Estimation with Edge-Guided Self-Supervision

Dit paper introduceert PRISM, een zelftoezichtend leerframework dat anatomische en verlichtingspriors, zoals randdetectie en luminantie-decoupling, benut om monokulaire diepte- en pose-schatting in colonoscopie te verbeteren, waarbij experimenten aantonen dat training op real-world data superieur is aan gesuperviseerde training op fasedata en dat de videofrequentie een kritieke factor is voor de prestaties.

De kern

Stel je voor dat een endoscopist (de arts die een camera door je darmen duurt) een blindeman is die probeert een donkere, glibberige grot te verkennen. Hij heeft alleen een kleine zaklamp. Het probleem? De wanden van de grot zijn vaak glad en egaal (geen textuur), het licht van de zaklamp maakt rare reflecties, en soms is het gewoon te donker om te zien hoe ver iets weg is.

In de medische wereld heet dit koloscopie. De artsen willen graag weten: "Hoe ver is die plooitjeswand?" en "Waar beweegt de camera precies naartoe?" Dit heet diepte- en positieschatting. Tot nu toe was dit heel lastig voor computers, omdat er geen perfecte "antwoordenboekjes" (ground truth) bestaan voor echte darmen in levende mensen.

De auteurs van dit paper, een team van het UCL in Londen, hebben een slimme nieuwe manier bedacht om dit op te lossen. Ze noemen hun systeem PRISM.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Glibberige Grot"

Stel je voor dat je probeert een foto te maken van een gladde, witte muur in een donkere kamer. Als je camera beweegt, ziet het eruit alsof de muur beweegt, maar je weet niet of de muur dichtbij of ver weg is.

• De uitdaging: Darmweefsel is vaak glad en roze. Het licht van de endoscoop maakt glinsteringen (reflecties) die de computer in de war brengen.
• Het oude probleem: Computers leerden vaak op "speelgoed-darmen" (fantomdata). Dat is als leren autorijden op een virtuele simulator. Het ziet er mooi uit, maar op de echte, natte, glibberige weg (de echte darm) faalt de auto.

2. De Oplossing: PRISM (De Slimme Gids)

PRISM is een computerprogramma dat zichzelf leert zonder dat iemand handmatig de afstanden moet meten. Het doet dit door twee extra "zintuigen" te gebruiken die andere programma's niet hebben:

A. De "Schaduw-Decoder" (Luminance)

Stel je voor dat je in een donkere kamer staat. Als je ziet dat een hoekje donkerder is, denk je: "Ah, daar is het licht minder sterk, of het is een hoek."

• Hoe het werkt: PRISM splitst het beeld op in twee delen: het eigenlijke licht (hoe helder het is) en de schaduwen/reflecties.
• De analogie: Het is alsof de computer een bril opzet die de glinsterende druppels water (reflecties) filtert en alleen kijkt naar hoe het licht valt op de plooien. Hierdoor begrijpt de computer beter hoe diep de grot is, puur op basis van hoe het licht erop valt.

B. De "Randen-Scanner" (Edge Maps)

Stel je voor dat je in het donker een muur voelt met je handen. Je voelt de randen van de tegels, maar niet de gladde vlakken ertussen.

• Hoe het werkt: PRISM gebruikt een speciaal hulpmiddel dat alleen kijkt naar de randen van de darmplooien. Het negeert de saaie, gladde plekken en focust op de scherpe lijnen.
• De analogie: Het is alsof de computer een potloodpapiertekening maakt van de darm. Door alleen naar de lijnen te kijken, weet hij precies waar de plooien beginnen en eindigen, zelfs als de kleuren in de war zijn door het licht.

3. De Leerstrategie: Drie Stappen

PRISM leert niet in één keer, maar in drie fases, zoals een student die eerst theorie leert en dan praktijk:

1. Fase 1 (De Oefeningen): Het systeem leert eerst alleen maar randen te tekenen en licht te analyseren. Het wordt een expert in "randen zien" en "licht begrijpen".
2. Fase 2 (De Praktijk): Nu leert het de diepte en positie te schatten, maar het gebruikt de kennis van Fase 1 als hulpmiddel. Het kijkt naar het beeld én de randen én het licht.
3. Fase 3 (De Finishing Touch): Hier komt het slimme deel. De auteurs merkten dat het systeem soms de diepte goed schatte, maar de beweging (positie) verwarde. Dus, ze "bevriezen" het diepte-gedeelte en laten het systeem alleen nog maar oefenen op het volgen van de randen om de beweging perfect te maken. Het is alsof je een schutter laat oefenen op het vasthouden van je arm, terwijl je de rest van je houding niet verandert.

4. De Grote Ontdekkingen (De "Aha!" Momenten)

Het team deed een experiment dat heel belangrijk is voor de toekomst:

• Echte Darmen vs. Speelgoed: Ze leerden het systeem op echte video's van mensen (zonder antwoordenboekje) en op video's van plastic darmen (met antwoordenboekje).

  • Het verrassende resultaat: Het systeem dat leerde op echte, rommelige video's was veel beter dan het systeem dat leerde op de perfecte plastic modellen.
  • De les: Een computer leert beter van de echte, chaotische wereld dan van een perfect, maar onrealistisch model. "Realiteit" is belangrijker dan "perfecte antwoorden".

• De Snelheid van de Video: Ze ontdekten dat het belangrijk is hoe snel de beelden worden opgehaald. Als de camera te traag beweegt, ziet het systeem geen veranderingen en leert hij niets. Als hij te snel beweegt, wordt het een wazige brij. Het team vond de perfecte "snelheid" om te trainen, afhankelijk van hoe de arts beweegt.

Samenvatting

PRISM is als een slimme navigator voor een endoscoop die:

1. Geen antwoordenboekje nodig heeft (zelflerend).
2. Kijkt naar randen en lichtschaduwen om diepte te begrijpen, in plaats van alleen naar kleuren.
3. Beter presteert door te leren van echte, rommelige video's dan van perfecte simulaties.

Dit betekent dat artsen in de toekomst minder "blinde vlekken" zullen hebben tijdens een koloscopie, waardoor ze poliepen sneller vinden en patiënten veiliger zijn. Het is een stap in de richting van een endoscopie die zichzelf beter kan oriënteren in het donkere, glibberige universum van onze darmen.

Technische samenvatting

Probleemstelling

Monoculaire diepte- en pose-schatting (bepaling van de camera-positie en oriëntatie) is cruciaal voor het ontwikkelen van navigatiesystemen voor colonoscopie. Dit kan helpen bij het verminderen van "blinde vlekken", het minimaliseren van het risico op gemiste laesies en het verbeteren van de volledigheid van het onderzoek. Echter, deze taak is uiterst uitdagend vanwege:

• Textuurloze oppervlakken: Het darmslijmvlies heeft vaak weinig texturen, wat visuele kenmerken voor matching beperkt.
• Complexe verlichting: Reflecties (speculaire highlights) en variaties in belichting verstoren de geometrische consistentie.
• Gebrek aan grondwahrheid (Ground Truth): Er zijn geen betrouwbare datasets met echte diepte- en pose-labels voor in-vivo endoscopie.
• Domeinverschuiving: Bestaande methoden die zijn getraind op synthetische of phantom-data (fysieke modellen) generaliseren vaak slecht naar echte patiëntdata.

Methodologie: PRISM

De auteurs stellen PRISM (Pose-Refinement with Intrinsic Shading and edge Maps) voor, een zelftoezichtend (self-supervised) leerframework dat anatomische en verlichtingspriors integreert om het geometrische leren te sturen. Het framework bestaat uit vier hoofdcomponenten en een drie-traps trainingsstrategie.

1. Netwerkcomponenten

Het systeem gebruikt vier netwerken die samenwerken:

• LumNet (Luminance Extractor): Gebaseerd op de SHADeS-methode. Dit netwerk ontkoppelt de invoer afbeelding in luminantie, albedo en speculairiteit. Alleen de luminantiekaart wordt gebruikt als extra invoer voor de diepte- en pose-schatters. Dit helpt het model om te onderscheiden tussen schaduwen (die diepte suggereren) en echte geometrie, en onderdrukt storende reflecties.
• EdgeNet (Edge Detector): Een op DexiNed gebaseerd netwerk dat is getraind op de SegCol-dataset om dunne, hoogfrequente randen van darmplooien te detecteren. Deze randkaarten dienen als structurele gids.
• DepthNet: Schat de scene-diepte. De invoer bestaat uit de ruwe RGB-frames en de luminantiekaarten.
• PoseNet: Schat de relatieve 6-DoF camera-pose. De invoer bestaat uit de RGB-frames en de randkaarten om de uitlijning tussen beelden te verbeteren.

2. Drie-traps Trainingsstrategie

• Fase 1 (Pre-training): LumNet en EdgeNet worden vooraf getraind en hun gewichten worden vervolgens bevriezen. Ze genereren de structurele en verlichtingspriors.
• Fase 2 (Joint Training): DepthNet en PoseNet worden gezamenlijk getraind met een zelftoezichtend fotometrisch verlies (fotometrische reprojectie en gladheidsverlies), vergelijkbaar met MonoDepth2, maar met de toevoeging van luminantie- en randkaarten als invoer.
• Fase 3 (PoseNet Refinement): Er wordt geobserveerd dat Fase 2 de dieptenauwkeurigheid verbetert ten koste van de pose-accuraatheid. Daarom wordt PoseNet in Fase 3 verder fijngefineerd (met DepthNet bevroren) met een extra randgeleid structuurverlies (Edge-Guided Structural Consistency Loss). Dit verlies vergelijkt de geroteerde randkaarten van bronframes met de doelrandkaarten om de geometrische uitlijning te verbeteren zonder de dieptekwaliteit te verstoren.

Belangrijkste Bijdragen

1. Multi-modaal Zelftoezichtend Framework: Integratie van luminantie- en randinformatie in diepte- en pose-schatting, specifiek afgestemd op endoscopische priors.
2. Stage-wise Training Strategie: Een unieke aanpak waarbij randkaarten niet alleen als invoer dienen, maar ook als supervisie-signaal via een randverlies in een latere trainingsfase. Dit biedt de beste balans tussen pose- en dieptenauwkeurigheid.
3. Systematische Analyse van Training: Een grondig onderzoek naar de invloed van trainingsdomein (echt vs. synthetisch), temporele sampling (videofrequentie) en supervisiemethoden.

Resultaten

De prestaties zijn geëvalueerd op meerdere datasets, waaronder het synthetische C3VD-dataset (met grondwahrheid) en het echte Hyper-Kvasir-dataset.

• Diepteschatting: PRISM presteert state-of-the-art op het C3VD-dataset (synthetisch) en toont superieure robustheid op echte data (EndoMapper/Hyper-Kvasir). Het produceert scherperere dieptecontrasten rond plooien en minder artefacten door reflecties vergeleken met bestaande methoden zoals MonoDepth2, MonoViT en SHADeS.
• Poseschatting: PRISM bereikt vergelijkbare prestaties met de beste methoden op synthetische data en toont verbeterde robustheid op echte data. De pose-accuraatheid wordt aanzienlijk verbeterd door de randgeleid verfijning in Fase 3.
• Ablatie-studies:
  • Het combineren van luminantie voor DepthNet en randen voor PoseNet (configuratie DLPE) bleek het meest robuust.
  • Het gebruik van randverlies alleen in Fase 3 (zonder DepthNet mee te trainen) is cruciaal voor het verbeteren van de trajectreconstructie zonder de dieptekwaliteit te verslechteren.

Significante Inzichten en Conclusies

Het paper levert twee praktische en belangrijke inzichten op die verder gaan dan de modelarchitectuur zelf:

1. Realiteit vs. Grondwahrheid: Zelftoezichtend trainen op echte data (Hyper-Kvasir) presteert beter dan toezichtend trainen op realistische phantom-data (C3VD), zelfs wanneer de evaluatie plaatsvindt op de synthetische testset. Dit benadrukt dat domeinrealisme (echte beweging en verlichting) belangrijker is dan de beschikbaarheid van grondwahrheid, vooral omdat synthetische grondwahrheid vaak ruis bevat of onvolledig is in verduisterde gebieden.
2. Belang van Videofrequentie: De videofrequentie (frame rate) en de tussenliggende beweging zijn kritieke factoren. Voor synthetische datasets met trage beweging is een sterke subsampling (bijv. factor 10) nodig om voldoende beweging tussen frames te creëren voor effectief zelftoezichtend leren. Voor echte datasets met rijkere bewegingsstatistieken is dit minder kritiek.

Conclusie:
PRISM demonstreert dat het integreren van structurele (randen) en verlichtingspriors (luminantie) in een zelftoezichtend framework leidt tot robuustere en nauwkeurigere navigatie voor colonoscopie. De studie onderstreept dat voor toekomstige endoscopische AI-systemen de keuze van de trainingsdata (echt vs. synthetisch) en de temporele samplingstrategie minstens zo belangrijk zijn als de modelarchitectuur zelf.