🤖 AI

CoGE: Sim-to-Real Online Geometric Estimation for Monocular Colonoscopy

Dit artikel presenteert CoGE, een nieuw raamwerk voor online monokulaire geometrische schatting in colonoscopie dat gebruikmaakt van een verlichtingsbewuste supervisiemodule en een structuurbewuste perceptiemodule om state-of-the-art prestaties te behalen op real-world data, terwijl het uitsluitend wordt getraind op gesimuleerde data.

Oorspronkelijke auteurs: Liangjing Shao, Beilei Cui, Hongliang Ren

Gepubliceerd 2026-05-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Liangjing Shao, Beilei Cui, Hongliang Ren

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een donkere, smalle en kronkelende tunnel te navigeren met slechts één zaklamp. Dat is in wezen wat een chirurg tijdens een colonoscopie tegenkomt. De camera is een tiny, eenogig oog dat kijkt in een lange, gesloten buis. Om veilig te bewegen en het juiste pad te vinden, moet de chirurg de 3D-vorm van de tunnel begrijpen: hoe diep het is, waar de wanden krommen en waar obstakels zich bevinden.

Dit artikel introduceert CoGE, een nieuwe "slimme assistent" voor deze camera. Zijn taak is om direct het platte, 2D-video van de camera om te zetten in een 3D-kaart van het binnenste van de colon.

Hieronder wordt uitgelegd hoe CoGE werkt, via eenvoudige analogieën:

1. Het Grote Probleem: De "Trainingskloof"

Meestal moet je, om een computer 3D te leren zien, duizenden echte video's tonen waarbij je al precies weet hoe de 3D-vorm eruitziet (de "ground truth"). Maar in een echte colon kun je de exacte 3D-vorm niet makkelijk meten, omdat de ruimte te krap en gesloten is.

Dus leerden de onderzoekers CoGE met gesimuleerde data (een perfecte, computergegenereerde videospelversie van een colon).

De Uitdaging: Een videospel-colon ziet er heel anders uit dan een echte. Echte hebben vreemde verlichting, glanzende plekken (glare) en rommelige texturen. Het is alsof je een bestuurder leert rijden op een zonnig, perfect circuit, maar hen daarna direct vraagt te rijden in een regenachtige, mistige stad. Meestal raakt de bestuurder dan in de war.

2. De Oplossing: Drie Speciale "Brillen"

CoGE is speciaal omdat het die training uit het "perfecte videospel" kan toepassen op de "rommelige echte wereld", zonder extra training op echte data. Het doet dit met drie slimme trucs:

De "Wavelet"-Bril (Het Skelet Zien):
Stel je voor dat je naar een foto van een colon kijkt. Sommige delen zijn gladde curves (lage frequentie), en sommige zijn kleine rimpels of randen (hoge frequentie).
CoGE gebruikt een techniek genaamd Wavelet Decomposition. Denk hierbij aan het dragen van speciale brillen die het beeld scheiden in zijn "skelet" (de grote vormen) en zijn "details" (de kleine rimpels). Het leert dat het skelet van een colon er hetzelfde uitziet, of het nu in een videospel of in het echt is, zelfs als de verlichting anders is. Dit helpt het om de structuur te herkennen, ongeacht de rommeligheid.
De "Lichtdetective"-Bril (Glare Ignoreren):
Echte colonoscopie-video's zijn lastig omdat het licht weerkaatst op natte oppervlakken, waardoor helderwitte vlekken ontstaan (speculaire reflecties) die de camera in de war brengen.
CoGE gebruikt een module gebaseerd op Retinex-theorie (een manier om te begrijpen hoe onze ogen kleur van licht scheiden). Het fungeert als een detective die zegt: "Die heldere vlek is gewoon een glare, geen echte wand." Het vertelt het systeem: "Vertrouw de diepteberekening in deze heldere vlek niet; het is slechts een reflectie." Dit voorkomt dat het systeem in de val loopt door de verlichting.
De "Geheugenfilter" (Het Verleden Vergeten):
Terwijl de camera door de lange colon beweegt, bouwt het een geheugen op van wat het heeft gezien. Maar soms raakt dat geheugen vol met oude, irrelevante informatie die niet overeenkomt met het huidige beeld.
CoGE heeft een Geheugenvergetelmechanisme. Stel je voor dat je door een gang loopt en terugkijkt naar een deur die je 10 seconden geleden passeerde. Als die deur nu geblokkeerd is door een nieuwe muur, zou je brein die oude deur moeten "vergeten" om je te focussen op de nieuwe muur. CoGE doet dit wiskundig: het controleert zijn geheugen, ziet wat niet meer relevant is, en verwijdert het zodat het niet in de war raakt.

3. De Resultaten: "Spel-Perfecte" Training, "Echte Wereld"-Prestaties

De onderzoekers testten CoGE en vonden iets verbazingwekkends:

Ze trainden het alleen op gesimuleerde (videospel) data.
Ze testten het op echte colonoscopie-video's (die het nog nooit had gezien).
Het Resultaat: CoGE presteerde beter dan andere top-methoden die waren getraind op enorme hoeveelheden echte data. Het kon nauwkeurige 3D-kaarten en diepteschattingen in real-time maken (meer dan 15 beelden per seconde), wat snel genoeg is voor een chirurg om te gebruiken tijdens het bewegen.

Samenvatting

Kortom, CoGE is een systeem dat leert 3D-diepte in een colon te zien door een perfecte simulatie te bestuderen. Het gebruikt speciale "brillen" om slechte verlichting te negeren, belangrijke vormen te scheiden van ruis en zijn geheugen op te schonen. Hierdoor kan het perfect werken in de rommelige, echte wereld, zonder dure, moeilijk te verkrijgen trainingdata uit de echte wereld nodig te hebben.

Technische Samenvatting: CoGE – Online Geometrische Schatting van Simulatie naar Realiteit voor Monoculaire Colonoscopie

Probleemstelling

Geometrische schatting, omvattend dieptebepaling en scenes reconstructie, is essentieel om chirurgen 3D ruimtelijke waarneming en navigatie te bieden tijdens colonoscopie. Het verkrijgen van geometrische grondwahrheid (dieptekaarten, puntwolken, cameraparameters) in real-world colonoscopie is echter onbetaalbaar moeilijk en kostbaar vanwege de nauwe, afgesloten aard van de colon. Hoewel zelftoezichtmethoden bestaan, presteren ze vaak minder goed dan toezichtmodellen. Omgekeerd vereisen toezichtmodellen doorgaans grote datasets met grondwahrheid, die schaars zijn in realistische settingen. Hoewel simulatiesoftware (bijv. VR-Caps) geometrische grondwahrheid kan genereren, bestaat er een aanzienlijke "feature gap" tussen gesimuleerde data en realistische data als gevolg van artefacten en diversiteit in verlichting. Bovendien vertrouwen bestaande benaderingen van simulatie naar realiteit vaak op stijlvertaalnetwerken om realistische data voor te verwerken, wat de inferentie-efficiëntie vermindert en de prestaties over verschillende scènes kan verslechteren.

Methodologie

De auteurs stellen CoGE voor, een raamwerk gebaseerd op fundamentele modellen, ontworpen voor online monoculaire geometrische schatting dat uitsluitend is getraind op gesimuleerde data maar effectief presteert op realistische scènes. Het raamwerk werkt op een paar observaties (gecacheerde vorige frame $I_{t-1}$ en huidige frame $I_t$ ) om puntkaarten, cameraposes, verlichtingskaarten en betrouwbaarheidskaarten te genereren.

1. Structuurbewuste Perceptie (SAP)

Om de feature gap aan te pakken en gemeenschappelijke structurele kenmerken over gesimuleerde en realistische scènes te extraheren, embedden de auteurs een Structuurbewuste Perceptie-blok gebaseerd op golfkleurtransformatie.

Decompositie: Invoerafbeeldingen worden via Discrete Golfkleurtransformatie (DWT) ontbonden in vier sub-banden: Laag-Laag (benadering), Laag-Hoog (horizontale details), Hoog-Laag (verticale details) en Hoog-Hoog (diagonale details).
Kenmerkextractie: Het model maakt gebruik van Window-based Multi-Head Self-Attention (W-MHSA) om kenmerken te extraheren uit het laagfrequente (Laag-Laag) component, terwijl het specifieke convolutiekernen ( $7\times1$ , $1\times7$ en $3\times3$ ) inzet om hoogfrequente lokale details uit de andere banden te extraheren.
Fusie: Kenmerken uit verschillende golfkleursamenstellingen worden gefuseerd en gereconstrueerd via Inverse DWT om de uiteindelijke structurele representatie te vormen.

2. Verlichtingsbewuste Supervisie (IAS)

Om te gaan met de diverse en onstabiele verlichtingsomstandigheden in de colon, wordt een zelftoezicht Verlichtingsbewuste Supervisemodule geïntroduceerd.

Theorie: Gebaseerd op Retinex-theorie, gaat de module ervan uit dat het intrinsieke component van een afbeelding invariant is voor verlichting in het gradiëntdomein.
Mechanisme: De IAS-module genereert een lichtinvloedkaart ( $L_t$ ) en een intrinsiek grafiek ( $A_t$ ). Tijdens training wordt $L_t$ gebruikt om de betrouwbaarheidskaart ( $C_t$ ) van de geschatte resultaten aan te passen, waardoor het vertrouwen van het model effectief wordt gestuurd op basis van lichtverdeling om verlichtingsinterferentie te mitigeren.

3. Geheugen Vergeten Mechanisme

Gegeven de lange sequenties die typisch zijn voor colonoscopie, maakt het raamwerk gebruik van een geheugensysteem met een vergeten mechanisme om redundante informatie te beheren.

Lezen: Vorige kenmerken halen relevante informatie op uit sleutel ( $M_k$ ) en waarde ( $M_v$ ) geheugencaches.
Vergeten: Een op drempelwaarden gebaseerd mechanisme filtert geheugentokens. Als een geheugentoken aandachtsgewichten onder een specifieke drempelwaarde (5e-4) heeft voor minder dan 5% van de kenmerktokens, wordt deze als irrelevant beschouwd en verwijderd. Dit voorkomt de accumulatie van redundant geheugen dat de huidige observaties zou kunnen verstoren.
Bijwerken: Nieuw geheugen wordt gecodeerd vanuit geheugen-gerelateerde kenmerken en geconcateneerd met de gefilterde cache.

4. Architectuur Overzicht

De backbone maakt gebruik van zes ViT-L-blokken gevolgd door het SAP-blok. De decoder bestaat uit zes blokken die self-attention en cross-attention gebruiken om huidige en geheugen-gerelateerde kenmerken te verwerken. Downstream heads (DPT) genereren de uiteindelijke puntkaarten, cameraposes en betrouwbaarheidskaarten.

Belangrijkste Bijdragen

Structuurbewuste Perceptie: Een nieuw blok dat golfkleurtransformatie gebruikt om gemeenschappelijke structurele en lokale kenmerken (randen) te extraheren die worden gedeeld tussen gesimuleerde en realistische colonoscopie-scènes.
Verlichtingsbewuste Supervisie: Een module die het vertrouwen van geometrische schattingen aanpast op basis van lichtverdeling, waardoor de uitdaging van diverse verlichting op het colonoppervlak wordt aangepakt.
Geheugen Vergeten Mechanisme: Een strategie om redundante en irrelevante geheugentokens te filteren, waardoor interferentie van eerdere observaties in lange sequenties wordt verminderd.
Prestaties van Simulatie naar Realiteit: Een model dat uitsluitend is getraind op gesimuleerde data en state-of-the-art prestaties bereikt op zowel ongezette gesimuleerde scènes als realistische colonoscopiedatasets, zonder dat stijlvertaling voorverwerking vereist is.

Experimentele Resultaten

Het model is getraind op 24 gesimuleerde sequenties van VR-Caps (SimCol3D) en geëvalueerd op realistische datasets (C3VD, C3VDv2) en eigen afbeeldingen.

Monoculaire Dieptebepaling: Op de SimCol-dataset behaalde CoGE een Abs Rel van 0.027 en een $\delta < 1.25$ nauwkeurigheid van 0.995, waarmee het andere fundamentele modellen zoals STream3R, MonST3R en CUT3R overtrof. Op realistische datasets (C3VD en C3VDv2) behaalde het consistent de laagste foutpercentages (bijv. Abs Rel 0.083 op C3VD) en hoogste nauwkeurigheidsmetrieken in vergelijking met SOTA-methoden.
3D Reconstructie: Met behulp van gemiddelde Euclidische Afstand (mED) en de verhouding van punten binnen een specifieke foutdrempel ( $\delta < N$ ), toonde CoGE superieure reconstructienauwkeurigheid. Bijvoorbeeld, op C3VD behaalde het een mED van 3.957 en een $\delta < 4.0$ verhouding van 0.645, waarmee het concurrenten zoals STream3R en CUT3R aanzienlijk overtrof.
Ablatiestudies: Het verwijderen van het SAP-blok, de IAS-module of het Geheugen Vergeten Mechanisme resulteerde in meetbare prestatiedegradatie over alle datasets, wat de noodzaak van elk component bevestigt.

Betekenis en Claims

Het artikel beweert dat CoGE een aanzienlijke vooruitgang vertegenwoordigt in geometrische schatting van simulatie naar realiteit voor endoscopie. Door uitsluitend te trainen op gesimuleerde data, omzeilt de methode de behoefte aan kostbare en moeilijk te verkrijgen real-world geometrische grondwahrheid. Het raamwerk slaagt erin de domein-kloof te overbruggen via specifieke architecturale innovaties (golfkleur-gebaseerde structuurextractie en verlichtingsbewuste vertrouwenscontrole) in plaats van te vertrouwen op inefficiënte stijltranslatie voorverwerking.

De auteurs merken op dat hoewel het model real-time inferentie bereikt (>15 FPS), de opname van structuurbewuste perceptieblokken de efficiëntie iets verlaagt in vergelijking met lichtere modellen. Daarnaast erkennen ze dat prestaties kunnen verslechteren bij aanwezigheid van bewegingsonscherpte, acute dynamische veranderingen of specifieke laesie-weefsels, wat uitdagingen blijven voor toekomstig werk. De primaire bijdrage is het aantonen dat hoogwaardige, online 3D-waarneming in colonoscopie haalbaar is met uitsluitend gesimuleerde trainingsdata wanneer het model expliciet is ontworpen om om te gaan met structurele gemeenschappelijkheden en variatie in verlichting.