3D Consistency Optimization for Self-Supervised Monocular Video Depth Estimation

Sintesi Tecnica: Ottimizzazione della Consistenza 3D per la Stima della Profondità Monoculare da Video Auto-Supervisionata

Definizione del Problema
La stima affidabile della profondità da video monoculare è essenziale per il ragionamento 3D a valle e per l'IA incarnata (embodied AI) nella navigazione endoscopica, inclusi la ricostruzione densa, la guida assistita dai robot e la comprensione della scena chirurgica. Tuttavia, l'implementazione clinica è ostacolata dai vincoli hardware; la maggior parte degli endoscopi standard è monoculare e priva di un tracciamento affidabile della posa della telecamera. Gli approcci auto-supervisionati esistenti trattano tipicamente i fotogrammi video come entità indipendenti o si affidano a una debole regolarizzazione temporale. Questi metodi non riescono a catturare la geometria 3D olistica della scena chirurgica, portando a previsioni geometricamente inconsistenti, un grave drift (deriva) tra i fotogrammi e sfarfallio temporale (flickering). Tali errori si accumulano rapidamente in condizioni endoscopiche impegnative, minando l'affidabilità di qualsiasi ricostruzione 3D a valle.

Metodologia
Gli autori propongono un cambio di paradigma che riconsidera la stima della profondità da video sequenziale come un problema di ricostruzione 3D multi-vista non vincolato. Invece di elaborare i fotogrammi isolatamente, il metodo tratta un video endoscopico come una collezione di osservazioni multi-vista ancorate a una scena 3D condivisa. Questo approccio sfrutta i priori geometrici di recenti modelli di fondazione 3D senza richiedere pose della telecamera con verità fondamentale (ground-truth).

Il framework consiste in due fasi principali:

1. Rete di Comprensione della Geometria 3D:

   • Architettura: La rete utilizza un Transformer con Attenzione Alternata (Alternating-Attention Transformer) che alterna l'attenzione intra-view a livello di fotogramma con l'attenzione inter-view globale per imporre la coerenza spazio-temporale. Le immagini in input sono tokenizzate utilizzando le feature DINOv2.
   • Rappresentazione della Scena: La scena sottostante è rappresentata da un insieme di primitivi Gaussiani 3D ($P$), parametrizzati da centri 3D, opacità, covarianza anisotropa e coefficienti di armoniche sferiche.
   • Head (Teste): La rete impiega tre teste specializzate:
     • Camera Head: Predice le pose estrinseche per fotogramma ($T_t$) e le intrinseche ($K$).
     • Depth Head: Predice una mappa di profondità iniziale per pixel ($D^{init}_t$) utilizzata esclusivamente per proiettare all'indietro i pixel dell'immagine nello spazio 3D, fornendo l'inizializzazione per i centri gaussiani.
     • Gaussian Head: Fonde le feature del transformer con feature di aspetto CNN superficiali per predire gli altri attributi gaussiani.
   • Rendering: Un meccanismo di Gaussian Splatting differenziabile renderizza le immagini RGB attese ($\hat{I}_t$) e le mappe di profondità ($\hat{D}_t$) a partire dai Gaussiani 3D e dai parametri della telecamera predetti.

2. Framework di Ottimizzazione della Consistenza 3D:
   Il network viene addestrato tramite un obiettivo auto-supervisionato che ottimizza congiuntamente le mappe di profondità e le pose della telecamera, imponendo tre vincoli sinergici sugli output renderizzati:

   • Consistenza Fotometrica a livello di Immagine ($L_{rgb}$): Minimizza la differenza $L_1$ tra il fotogramma di input $I_t$ e l'immagine renderizzata $\hat{I}_t$, garantendo consistenza di aspetto e strutturale.
   • Allineamento Geometrico in Coordinate Mondiali ($L_{3D}$): Questo è il meccano centrale per eliminare il drift spaziale. Esso proietta all'indietro i punti di profondità renderizzati dal fotogramma $t$ in un sistema di coordinate mondiali unificato e li riproietta sui fotogrammi vicini ($t'$). Una perdita di consistenza è calcolata tra la profondità riproiettata e la profondità renderizzata del fotogramma target, rigorosamente su set di pixel validi (gestendo occlusioni e proiezioni fuori dai bordi). Viene applicata una penalità Huber robusta per mitigare il movimento dei tessuti dinamici e gli outlier.
   • Consistenza del Gradiente Temporale Multi-Scala ($L_{temp}$): Per sopprimere lo sfarfallio temporale preservando al contempo le discontinuità consapevoli della geometria, questa perdita penalizza il mismatch assoluto dei gradienti spaziali tra fotogrammi adiacenti su più scale.

L'obiettivo di addestramento finale è una somma pesata di queste tre perdite. Fondamentalmente, questa ottimizzazione è un obiettivo strettamente legato al tempo di addestramento; durante l'inferenza, il modello predice la profondità in un singolo passaggio feed-forward senza ottimizzazione al tempo di test.

Contributi Chiave

1. Nuovo Paradigma: Gli autori introducono un framework auto-supervisionato che riformula la stima della profondità da video monoculare come un problema di ottimizzazione della consistenza 3D multi-vista senza necessità di pose, sbloccando il potenziale dei modelli di fondazione 3D per l'endoscopia clinica.
2. Strategia di Ottimizzazione Unificata: Propongono una strategia caratterizzata da un esplicito allineamento in coordinate mondiali e vincoli di gradiente temporale multi-scala. Ciò ancora efficacemente i fotogrammi sequenziali a una geometria globalmente coerente, eliminando il drift 3D tra i fotogrammi.
3. Prestazioni allo Stato dell'Arte: Il metodo raggiunge una precisione superiore sui benchmark pubblici e dimostra una robusta generalizzazione zero-shot in ambienti clinici non vincolati.

Risultati
Il framework è stato valutato su due dataset chirurgici pubblici: SCARED (con profondità e pose ground-truth) e Hamlyn (procedure in vivo complesse, utilizzata per la valutazione zero-shot).

• Prestazioni Quantitative: Sul dataset SCARED, il metodo proposto ha superato i recenti baseline (EndoDAC, VDA, EndoDAV e AnySplat) in tutte le metriche. Nello specifico, ha ridotto l'Errore Assoluto Relativo (Abs Rel) da 0.100 (AnySplat) a 0.060 e l'RMSE da 10.400 a 5.503, raggiungendo al contempo una precisione $\delta_1$ di 0.978.
• Generalizzazione Zero-Shot: Sul dataset Hamlyn, il metodo ha ottenuto i migliori risultati in tutte le metriche, riducendo l'Abs Rel da 0.299 a 0.108 e l'RMSE da 29.938 a 10.535.
• Analisi Qualitativa: I confronti visivi hanno mostrato che il metodo preserva meglio la struttura della scena ed evita gli errori anormali e le inconsistenze temporali (flickering) osservati nei metodi esistenti, particolarmente in scenari con grande movimento.
• Studi di Ablazione: Gli esperimenti hanno confermato che tutti e tre i componenti della perdita ($L_{rgb}$, $L_{3D}$, $L_{temp}$) forniscono benefici complementari. L'inclusione dei vincoli geometrici ($L_{3D}$) e temporali ($L_{temp}$) ha migliorato significativamente la precisione spaziale e la stabilità rispetto ai baseline. Inoltre, l'applicazione del modulo di ottimizzazione della consistenza a diversi backbone (VDA e AnySplat) ha costantemente migliorato le loro prestazioni.

Significato
Il documento sostiene che trasformando la problematica mal posta della stima della profondità da video monoculare in un robusto problema di ricostruzione 3D multi-vista, il framework proposto colma efficacemente il divario tra i potenti modelli di fondazione 3D e l'endoscopia clinica senza necessità di pose. I risultati dimostrano che l'imposizione esplicita della consistenza 3D globale e della coerenza temporale consente una stima della profondità affidabile in ambienti operatori reali, riducendo significativamente il drift geometrico e l'instabilità temporale rispetto ai metodi allo stato dell'arte. Questo progresso apre la strada ad applicazioni a valle più affidabili nella chirurgia mini-invasiva, come la ricostruzione densa e la guida assistita dai robot.