Riepilogo Tecnico: Rappresentazioni Endoscopiche Geometricamente Coerenti per la Navigazione Guidata dalle Immagini tramite l'Adattamento di Modelli Fondativi Strutturati

1. Definizione del Problema

La navigazione accurata basata sulla visione nella endoscopia monoculare (ad es., broncoscopia, chirurgia dei seni nasali, colonscopia) è ostacolata dalla mancanza di indizi di profondità, texture tissutali deboli, deformazioni non rigide e variazioni significative dell'aspetto tra diversi domini clinici. Questi fattori complificano la stima della posa, la predizione della profondità e l'allineamento immagine-anatomia. Sebbene i recenti modelli fondativi della visione (FM) offrano rappresentazioni pre-addestrate potenti, essi spesso mancano di caratteristiche geometricamente coerenti necessarie per un ragionamento spaziale stabile. Inoltre, l'adattamento di questi grandi modelli alle scene endoscopiche è difficile a causa della scarsità di dataset clinici su larga scala, etichettati con precisioni supervisioni geometriche (ad es., pose della telecamera, struttura 3D, profondità densa). I metodi esistenti si concentrano spesso sulla percezione semantica senza imporre la coerenza geometrica o si affidano a pre-addestramenti specifici per il dominio che rimangono sensibili ai cambiamenti di dominio relativi all'hardware e all'illuminazione.

2. Metodologia

Gli autori propongono un framework unificato per apprendere rappresentazioni d'immagine geometricamente coerenti e robuste rispetto al dominio attraverso tre componenti principali:

A. Pipeline di Dati Sintetici con Randomizzazione del Dominio Multi-livello

Per superare la mancanza di etichette geometriche cliniche, il framework utilizza un dataset sintetico creato appositamente, generato da modelli anatomici derivati da TC.

• Generazione: Viste endoscopiche virtuali vengono renderizzate lungo traiettorie di telecamera campionate per produrre immagini accoppiate con profondità ground-truth e pose relative.
• Augmentation: Per colmare il divario sim-to-real, la pipeline impiega CycleGAN per una traslazione realistica dell'aspetto e include quattro modalità di immagine (RGB, RGB sintetico, profondità renderizzata e predizioni di disparità standard).
• Randomizzazione: L'addestramento prevede una vasta randomizzazione, inclusi trasformazioni fotometriche, sfocatura, rumore, deformazioni spline a placche sottili e rimescolamento a livello di coppia per garantire l'invarianza del dominio.

B. Adattamento Semantico-Geometrico Consapevole della Gerarchia (HGSA)

Invece di perfezionare uniformemente l'intero modello fondativo, gli autori introducono l'HGSA, una strategia di adattamento strutturato che inserisce adattatori a basso rango (LoRA) selettivamente in specifici strati di un Vision Transformer pre-addestrato.

• Ricerca Gerarchica: Il framework impiega una ricerca coarse-to-fine per determinare la configurazione ottimale dell'adattatore, includendo:
  1. Posizionamento degli Strati: Identificazione degli strati del transformer ($L_a$) che beneficiano maggiormente dell'adattamento (ad es., gli strati 5–12 sono stati trovati ottimali).
  2. Moduli Target: Selezione di quali proiezioni dell'attenzione ($V, QV, QVK, QVKO$) modificare.
  3. Capacità: Regolazione del rango dell'adattatore ($r$) e del fattore di scala ($\alpha$).
• Razionale: Questo approccio allinea l'adattamento alla gerarchia intrinseca del transformer, incoraggiando gli strati intermedi a imparare le corrispondenze geometriche preservando l'astrazione semantica negli strati più profondi.

C. Obiettivi di Supervisione Consapevoli della Gerarchia

L'obiettivo di addestramento combina tre termini di perdita per imporre sia la coerenza geometrica che la robustezza semantica:

1. Corrispondenza di Caratteristiche Geometriche-Consapevoli ($L_{ms}$): Applicata alle caratteristiche intermedie, questa perdita utilizza una perdita di token densa multi-scala che combina PatchNCE e perdita di riproiezione del coseno. Distorce le caratteristiche da una vista all'altra utilizzando campi di flusso ground-truth derivati dalla profondità sintetica, imponendo la coerenza spaziale.
2. Regolarizzazione della Rappresentazione Semantica-Consapevole ($L_{InfoNCE}$): Applicata ai token globali negli strati più profondi, questa perdita contrastiva a livello di istanza allinea gli embedding della scena tra le viste accoppiate, garantendo la coerenza semantica attraverso i domini.
3. Distillazione del Teacher ($L_{Gram}$): Una regolarizzazione basata su Gram utilizzando un modello teacher DINO congelato per preservare la struttura di correlazione delle caratteristiche dei patch, evitando che il modello si concentri eccessivamente sulla semantica globale a scapito della fedeltà spaziale.

3. Contributi Chiave

Il paper rivendica i seguenti contributi:

• Pipeline Unificata: Un framework end-to-end che integra un dataset geometrico sintetico, il meccanismo HGSA e obiettivi gerarchici per strati, per apprendere rappresentazioni endoscopiche che siano sia geometricamente coerenti che robuste rispetto al dominio.
• Efficacia di HGSA: Esperimenti controllati dimostrano che HGSA è una strategia di adattamento efficace che migliora la qualità della rappresentazione. Le rappresentazioni risultanti supportano compiti di navigazione a valle (stima della posa e della profondità) e rimangono utili attraverso diversi domini endoscopici.
• Generalizzazione e Scalabilità:
  • Trasferimento Sim-to-Real: Dimostrato un forte trasferimento dai dati di broncoscopia sintetica a video di pazienti reali senza ulteriore adattamento dell'encoder.
  • Trasferimento Cross-Domain: Mostrato la capacità di adattare gli encoder addestrati su broncoscopia a dataset di sinus e colonscopia con supervisione limitata.
  • Scalabilità: Validato che il framework scala favorevolmente con modelli backbone più grandi (da ViT-S a ViT-L) e l'aumento delle dimensioni dei dati di addestramento.

4. Risultati Sperimentali

Il framework è stato valutato su dataset di broncoscopia, sinus e colonscopia utilizzando il linear probing e compiti di navigazione a valle.

• Qualità della Rappresentazione (Probing):

  • Le configurazioni HGSA (specificamente Cfg 7.4.8: strati 5–12, moduli QVKO, rank 32, scala 64) hanno ottenuto il punteggio combinato di probing ($S_{probe}$) più elevato, bilanciando l'accuratezza semantica (classificazione della scena) e l'accuratezza geometrica (stima della profondità).
  • Gli studi di ablazione hanno confermato che la rimozione di qualsiasi componente (HGSA, supervisione di warping, perdite contrastive) degrada le prestazioni, con $L_{InfoNCE}$ che risulta critico per la separabilità semantica e $L_{ms}$ per la coerenza geometrica.
  • Le metriche di corrispondenza geometrica a livello di token (PCK@1, Similarità del Coseno) hanno mostrato che il metodo proposto supera sia il vanilla DINO che i baseline full LoRA.

• Compiti di Navigazione a Valle:

  • Stima della Posa: Nei video reali di broncoscopia, l'encoder proposto ha ottenuto un allineamento immagine-rendering superiore (metriche NC, DS, SI) rispetto ai baseline, indicando un'ottimizzazione della posa più accurata.
  • Stima della Profondità: Il metodo ha prodotto mappe di profondità strutturalmente più coerenti.
  • Trasferimento Cross-Domain: Quando adattato a sinus e colonscopia con dati target limitati, il framework ha costantemente superato i baseline vanilla e full LoRA nella stima della profondità. I miglioramenti nella stima della posa sono stati significativi per la colonscopia ma più modesti per i seni nasali, a causa delle dimensioni limitate del dataset dei seni nasali per il fine-tuning.

• Scalabilità: Le prestazioni sono migliorate monotonicamente con backbone più grandi (ViT-L > ViT-B > ViT-S) e maggiori quantità di dati di addestramento (100% > 50% > 25%), suggerendo l'assenza di una saturazione precoce.

5. Significato e Rivendicazioni

Gli autori posizionano questo lavoro come un approccio pratico per l'apprendimento di rappresentazioni endoscopiche che affronta il divario critico tra i modelli fondativi generici e i requisiti geometrici specifici della navigazione chirurgica.

• Utilità Pratica: Il framework fornisce una via scalabile verso strumenti di navigazione robusti senza richiedere annotazioni cliniche dense, sfruttando dati sintetici e adattamento strutturato.
• Rivendicazioni Modeste sulla Generalizzazione: Gli autori sottolineano esplicitamente che, sebbene il framework mostri una promettente trasferibilità a sinus e colonscopia, i risultati si basano su un adattamento limitato al dominio target piuttosto che su una generalizzazione zero-shot. Riconoscono che le variazioni di prestazione (ad es., nell'endoscopia dei seni nasali) evidenziano la necessità di ulteriori dati o di un adattamento mirato in domini specifici.
• Insight Centrale: Il paper sostiene che l'"adattamento guidato dalla geometria e consapevole della gerarchia" sia essenziale per trasformare le caratteristiche visive generiche in rappresentazioni capaci di supportare un ragionamento stabile e geometricamente coerente nell'ambiente impegnativo dell'endoscopia.