Technische Samenvatting: Geometrie-consistente Endoscopische Representaties voor Beeldgestuurde Navigatie via Gestructureerde Adaptatie van Foundation Modellen

1. Probleemstelling

Nauwkeurige visuele navigatie in monoculaire endoscopie (bijv. bronchoscopie, sinuschirurgie, colonoscopie) wordt gehinderd door een gebrek aan dieptekenmerken, zwakke weefseltexturen, niet-rigide deformaties en significante verschijningsvariaties over verschillende klinische domeinen heen. Deze factoren compliceren pose-estimatie, dieptevoorspelling en beeld-naar-anatomie uitlijning. Hoewel recente vision foundation models (FM's) krachtige vooraf getrainde representaties bieden, missen ze vaak de geometrie-consistente kenmerken die nodig zijn voor stabiele ruimtelijke redenering. Bovendien is het aanpassen van deze grote modellen aan endoscopische scènes moeilijk vanwege de schaarste aan grootschalige, gelabelde klinische datasets die voorzien zijn van precieze geometrische supervisie (bijv. camerapozes, 3D-structuur, dichte diepte). Bestaande methoden richten zich ofwel op semantische perceptie zonder geometrische consistentie af te dwingen, of vertrouwen op domeinspecifieke pretraining die gevoelig blijft voor cross-domein verschuivingen in hardware en verlichting.

2. Methodologie

De auteurs stellen een verenigd framework voor om geometrie-consistente en domein-robuuste beeldrepresentaties te leren via drie kerncomponenten:

A. Synthetische Datapipeline met Multi-Level Domein-Randomisatie

Om het gebrek aan klinische geometrische labels te overwinnen, maakt het framework gebruik van een specifiek ontwikkelde synthetische dataset gegenereerd vanuit CT-afgeleide anatomische modellen.

• Generatie: Virtuele endoscopische weergaven worden gerenderd langs gesamplede cameratrajecten om gepaarde beelden te produceren met grondwaarheid (ground-truth) diepte en relatieve poses.
• Augmentatie: Om de sim-to-real kloof te overbruggen, gebruikt de pipeline CycleGAN voor realistische verschijningsvertaling en bevat het vier beeldmodaliteiten (RGB, synthetische RGB, gerenderde diepte en off-the-shelf dispariteit-voorspellingen).
• Randomisatie: Training omvat uitgebreide randomisatie, inclusioneel fotometrische transformaties, vervaging, ruis, thin-plate spline deformaties en paar-niveau herschikking om domein-invariantie te garanderen.

B. Hiërarchie-bewuste Geometrie–Semantische Adaptatie (HGSA)

In plaats van de volledige foundation model uniform te finetunen, introduceren de auteurs HGSA, een gestructureerde adaptatiestrategie die selectief low-rank adapters (LoRA) in specifieke lagen van een vooraf getrainde Vision Transformer plaatst.

• Hiërarchische Zoektocht: Het framework gebruikt een coarse-to-fine zoektocht om de optimale adapterconfiguratie te bepalen, inclusief:
  1. Laagplaatsing: Identificeren welke transformerlagen ($L_a$) het meeste baat hebben bij adaptatie (bijv. lagen 5–12 bleken optimaal).
  2. Doelmodules: Selecteren welke aandachtsprojecties ($V, QV, QVK, QVKO$) aangepast moeten worden.
  3. Capaciteit: Afstemmen van de adapter rank ($r$) en schaleringsfactor ($\alpha$).
• Ratio: Deze aanpak stemt de adaptatie af op de inherente hiërarchie van de transformer, waardoor tussenliggende lagen worden aangemoedigd om geometrische correspondenties te leren terwijl de semantische abstractie in diepere lagen behouden blijft.

C. Hiërarchie-bewuste Supervisie-objectieven

Het trainingsdoel combineert drie verliestermen om zowel geometrische consistentie als semantische robuustheid af te dwingen:

1. Geometrie-bewuste Feature-correspondentie ($L_{ms}$): Toegepast op tussenliggende features, gebruikt deze verliesfunctie een multi-scale dense token loss die PatchNCE en cosine reprojection loss combineert. Het vervormt (warpt) features van de ene naar de andere view met behulp van grondwaarheid flow-velden afgeleid van synthetische diepte, wat ruimtelijke consistentie afdwingt.
2. Semantiek-bewuste Representatie-regularisatie ($L_{InfoNCE}$): Toegepast op globale tokens in diepere lagen, zorgt deze instance-level contrastieve verlies de scene-level embeddings van gepaarde views uit, wat semantische consistentie over domeinen heen garandeert.
3. Teacher Distillatie ($L_{Gram}$): Een Gram-gebaseerde regularisatie met behulp van een bevroren DINO teacher model om de correlatiestructuur van patch-features te behouden, wat voorkomt dat het model te veel focust op globale semantiek ten koste van ruimtelijke getrouwheid.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

• Verenigde Pipeline: Een end-to-end framework dat een synthetische geometrische dataset, de HGSA-mechanisme en hiërarchie-bewuste, laag-specifieke objectieven integreert om endoscopische representaties te leren die zowel geometrisch consistent als domein-robuust zijn.
• HGSA Effectiviteit: Gecontroleerde experimenten die aantonen dat HGSA een effectieve adaptatiestrategie is die de kwaliteit van de representatie verbetert. De resulterende representaties ondersteunen downstream navigatietaken (pose en diepte estimatie) en blijven bruikbaar over verschillende endoscopische domeinen heen.
• Generalisatie en Schaalbaarheid:
  • Sim-to-Real Transfer: Heeft sterke transfer aangetoond van synthetische bronchoscopie data naar echte patiëntvideo's zonder extra encoder-adaptatie.
  • Cross-Domain Transfer: Toonde het vermogen om bronchoscopie-getrainde encoders aan te passen aan sinus en colonoscopie datasets onder beperkt toezicht.
  • Schaalbaarheid: Valideerde dat het framework gunstig schaalt met grotere backbone modellen (ViT-S tot ViT-L) en grotere hoeveelheden trainingsdata.

4. Experimentele Resultaten

Het framework werd geëvalueerd op bronchoscopie, sinus en colonoscopie datasets met behulp van linear probing en downstream navigatietaken.

• Representatiekwaliteit (Probing):

  • HGSA-configuraties (specifiek Cfg 7.4.8: lagen 5–12, QVKO modules, rank 32, scale 64) behaalden de hoogste gecombineerde probing scores ($S_{probe}$), waarbij een balans werd gevonden tussen semantische nauwkeurigheid (scène classificatie) en geometrische nauwkeurigheid (diepte estimatie).
  • Ablatie-studies bevestigden dat het verwijderen van een component (HGSA, warp supervisie, contrastieve losses) de prestaties verslechterde, waarbij $L_{InfoNCE}$ cruciaal was voor semantische scheidbaarheid en $L_{ms}$ voor geometrische consistentie.
  • Token-level geometrische correspondentie metrieken (PCK@1, Cosine Similarity) lieten zien dat de voorgestelde methode zowel vanilla DINO als full LoRA baselines overtrof.

• Downstream Navigatietaken:

  • Pose Estimatie: Op echte bronchoscopie video's bereikte de voorgestelde encoder superieure rendering-image alignment (NC, DS, SI metrieken) vergeleken met baselines, wat wijst op een nauwkeurigere pose optimalisatie.
  • Diepte Estimatie: De methode produceerde meer structureel consistente dieptekaarten.
  • Cross-Domain Transfer: Wanneer aangepast aan sinus en colonoscopie met beperkte doel-data, presteerde het framework consequent beter dan vanilla en full LoRA baselines in diepte estimatie. Verbeteringen in pose estimatie waren significant voor colonoscopie maar bescheidener voor sinus, toegeschreven aan de beperkte omvang van de sinus dataset voor finetuning.

• Schaalbaarheid: Prestaties verbeterden monotoon met grotere backbones (ViT-L > ViT-B > ViT-S) en grotere hoeveelheden trainingsdata (100% > 50% > 25%), wat suggereert dat er geen vroege verzadiging optreedt.

5. Betekenis en Claims

De auteurs positioneren dit werk als een praktische benadering voor endoscopische representatie-leren die de kritieke kloof tussen algemene purpose foundation models en de specifieke geometrische vereisten van chirurgische navigatie adresseert.

• Praktisch Nut: Het framework biedt een schaalbare weg naar robuuste navigatie-instrumenten zonder dat er dichte klinische annotaties nodig zijn, door gebruik te maken van synthetische data en gestructureerde adaptatie.
• Bescheiden Claims over Generalisatie: De auteurs merken expliciet op dat hoewel het framework veelbelovende transferbaarheid naar sinus en colonoscopie vertoont, de resultaten gebaseerd zijn op beperkte target-domein adaptatie in plaats van zero-shot generalisatie. Ze erkennen dat prestatievariaties (bijv. in sinus endoscopie) de noodzaak benadrukken van extra data of gerichte adaptatie in specifieke domeinen.
• Kerninzicht: Het artikel betoogt dat "hiërarchie-bewuste, geometrie-gestuurde adaptatie" essentieel is om generieke visuele features te transformeren naar representaties die in staat zijn om stabiele, geometrie-consistente redenering te ondersteunen in de uitdagende omgeving van endoscopie.