NeRFscopy: Neural Radiance Fields for in-vivo Time-Varying Tissues from Endoscopy

Il paper presenta NeRFscopy, una pipeline auto-supervisionata basata su Neural Radiance Fields che ricostruisce in modo accurato tessuti endoscopici deformabili e variabili nel tempo da video monoculare, superando le sfide di illuminazione e occlusione per migliorare la visualizzazione e la diagnosi medica.

L'essenziale

Immagina di dover ricostruire la mappa di una grotta misteriosa e in continua trasformazione, ma hai a disposizione solo una singola torcia e una videocamera che si muove in modo imprevedibile. Inoltre, le pareti della grotta non sono di roccia fissa, ma sono fatte di gelatina che si muove, si piega e cambia forma ogni secondo.

Questo è esattamente il problema che affrontano gli autori del paper NeRFscopy. Ecco una spiegazione semplice di cosa fanno e come lo fanno, usando qualche analogia creativa.

Il Problema: La "Gelatina" che si Muove

L'endoscopia è come guardare dentro il corpo umano con una telecamera minuscola. È fondamentale per i medici, ma c'è un grosso ostacolo: i tessuti interni (come lo stomaco o i polmoni) non sono rigidi come i muri di una casa. Sono deformabili: respirano, si contraggono e si muovono.

I metodi tradizionali per creare modelli 3D funzionano bene con oggetti fermi (come una sedia), ma falliscono miseramente quando l'oggetto è vivo e si muove. È come cercare di fare un calco in gesso di un palloncino che sta venendo sgonfiato e gonfiato mentre lo guardi.

La Soluzione: NeRFscopy (Il "Fotografo Magico")

Gli autori hanno creato un sistema chiamato NeRFscopy. Immaginalo come un fotografo magico che guarda un video endoscopico e, invece di fermarsi a guardare solo le immagini piatte, "sogna" il mondo 3D dietro di esse.

Ecco come funziona, passo dopo passo:

1. La "Stanza dei Sogni" (Il Campo Canonico):
   Immagina che il sistema abbia una "stanza ideale" dove i tessuti sono fermi e perfetti. Questa è la radiance field canonica. È come se avessimo un modello 3D statico di un polmone o di uno stomaco.

2. Il "Trucco del Movimento" (Il Campo di Deformazione SE(3)):
   Poiché il tessuto reale si muove, il sistema non cerca di ricostruire ogni singolo frame da zero. Invece, usa un "trucco matematico" (chiamato trasformazione SE(3)) che agisce come un regista di animazione.

   • Invece di dire: "Questo punto si sposta di 1 centimetro a destra", il sistema dice: "L'intero gruppo di punti ruota e si sposta come un'unità solida".
   • Analogia: Pensa a un'orchestra. Invece di far muovere ogni musicista in modo casuale e caotico, il direttore d'orchestra (il campo di deformazione) dà un segnale a tutto il gruppo per spostarsi insieme in modo coordinato. Questo rende il calcolo molto più veloce e preciso.

3. Imparare guardando (Auto-supervisionato):
   Il sistema non ha bisogno di un manuale di istruzioni o di un modello pre-costruito. Impara guardando il video da solo. Usa l'intelligenza artificiale per capire: "Se muovo la telecamera qui, e vedo questo cambiamento di luce e forma, allora il tessuto deve essere fatto così". È come un bambino che impara la forma di un oggetto giocando con esso, senza che nessuno gli spieghi la geometria.

4. I "Freni" e i "Regolatori" (Le Funzioni di Perdita):
   Per evitare che l'IA inventi cose strane (come tessuti che si sciolgono come neve al sole), gli autori hanno aggiunto delle regole matematiche:

   • Regola della profondità: "Se sembra che ci sia un buco, assicurati che sia un buco vero, non un'illusione".
   • Regola della fluidità: "I tessuti non possono saltare da un punto all'altro istantaneamente; devono muoversi in modo fluido".
   • Regola della coerenza nel tempo: "Ciò che succede nel frame 10 deve essere simile a ciò che succede nel frame 11, altrimenti il video sembrerà un filmato rotto".

Perché è Importante? (Il Risultato)

Grazie a questo sistema, i medici possono:

• Vedere l'invisibile: Creare una visione 3D di un organo che sta venendo esaminato.
• Guardare da angolazioni impossibili: Anche se il medico ha guardato solo da un lato durante l'operazione, il sistema può "generare" una vista dal lato opposto, come se la telecamera si fosse teletrasportata.
• Prendere decisioni migliori: Vedere la forma esatta di un nodulo o di una lesione in 3D aiuta a pianificare meglio la cura.

In Sintesi

NeRFscopy è come un architetto virtuale che prende un video confuso di un organo vivo che si muove e, usando l'IA, ricostruisce un modello 3D preciso e fluido. Non ha bisogno di sensori speciali o di telecamere multiple; basta una singola telecamera endoscopica e un po' di "magia" matematica per trasformare un video piatto in un mondo tridimensionale esplorabile.

Il paper dimostra che questo metodo funziona meglio di quelli precedenti su diversi tipi di interventi (cuore, polmoni, bronchi), offrendo ai medici una "lente" 3D per vedere il corpo umano in un modo completamente nuovo.

Sommario tecnico

1. Il Problema

L'endoscopia è fondamentale per la diagnosi, la prognosi e il trattamento medico, ma la ricostruzione 3D dinamica delle immagini endoscopiche presenta sfide significative:

• Natura dei tessuti: I tessuti biologici in vivo sono deformabili (non rigidi), rendendo il problema intrinsecamente mal posto.
• Vincoli di acquisizione: L'uso di endoscopi monococulari, cambiamenti di illuminazione, occlusioni (da strumenti o fluidi corporei), mancanza di texture e movimenti imprevisti della telecamera.
• Limitazioni degli approcci esistenti: I metodi tradizionali (come SfM per oggetti non rigidi) richiedono corrispondenze esplicite e prior. Le recenti tecniche di Neural Radiance Fields (NeRF) e 3D Gaussian Splatting sono state adattate per l'endoscopia, ma spesso richiedono calibrazione SfM, modelli pre-addestrati o sono limitate a scene rigide.

L'obiettivo del lavoro è proporre un metodo generico, universale e auto-supervisionato per la sintesi di nuove viste e la ricostruzione 3D di tessuti deformabili da un singolo video endoscopico, senza dipendere da conoscenze a priori o modelli pre-addestrati specifici.

2. Metodologia: NeRFscopy

Il framework proposto, NeRFscopy, è una pipeline auto-supervisionata basata su NeRF che modella scene dinamiche deformabili.

Rappresentazione del Campo

Il modello utilizza due campi principali:

1. Campo di Radiance Canonico ($F_\Theta$): Un MLP (Multilayer Perceptron) che rappresenta la forma e l'aspetto del tessuto in uno spazio "canonico" (tempo $t=0$ o stato di riferimento).
2. Campo di Deformazione Temporale ($G_\Phi$): Un campo dipendente dal tempo che mappa i punti dallo spazio canonico allo spazio osservato al tempo $t$.

Innovazione Chiave: Deformazione SE(3)

A differenza di lavori precedenti che usano campi di spostamento (displacement fields), NeRFscopy utilizza un campo di deformazione denso basato su SE(3) (gruppo delle trasformazioni rigide 3D).

• Motivazione: Un semplice campo di spostamento calcola una traslazione diversa per ogni punto, ma fatica a catturare rotazioni complesse e simultanee in diverse regioni della scena.
• Implementazione: Il campo $G_\Phi$ codifica una trasformazione rigida attraverso un asse elicoidale (screw axis) $S = (\hat{a}, \hat{b})$, dove $\hat{a}$ è l'asse di rotazione e $\hat{b}$ è legato alla traslazione. Questo permette di rappresentare deformazioni complesse con meno parametri e maggiore efficienza.
• Input: Il modello assume che il movimento della telecamera sia nullo (o lo ignora) per focalizzarsi sulla cattura dei tessuti non rigidi, utilizzando una maschera binaria per escludere gli strumenti chirurgici.

Campionamento e Loss Function

• Campionamento guidato dalla profondità: Per adattarsi agli input monoculari, il sistema utilizza mappe di profondità relative pre-calcolate da algoritmi di stima della profondità monoculare (es. DPT, Depth-Anything) per guidare il campionamento dei raggi vicino alla superficie del tessuto, eliminando la necessità di un campionamento gerarchico complesso.
• Funzione di Perdita (Loss Function): L'ottimizzazione avviene minimizzando una combinazione di termini:
  • $L_C$: Perdita fotometrica (differenza tra colori renderizzati e osservati).
  • $L_D$: Perdita di profondità (differenza tra profondità predetta e stimata).
  • $L_J$: Penalizzazione della deviazione degli autovalori della matrice Jacobiana di $G_\Phi$ da zero. Questo forza la deformazione a rimanere locale e rigida (vicino all'identità), evitando deformazioni non fisiche.
  • $L_g$: Regularizzazione del gradiente di profondità per preservare i bordi netti.
  • $L_s$: Perdita di smoothness della profondità (basata su gradienti di secondo ordine).
  • $L_{tv}$: Variazione totale temporale per garantire coerenza tra frame consecutivi (evitando cambiamenti bruschi).

3. Risultati Sperimentali

Il metodo è stato valutato su quattro video reali in vivo (TECAB, lobectomia polmonare, broncoscopia) e sul dataset EndoNeRF.

• Confronto Quantitativo: NeRFscopy supera costantemente i metodi concorrenti (EndoNeRF, EndoSurf, LerPlane-32k, EndoGaussian) in termini di PSNR (Peak Signal-to-Noise Ratio) e LPIPS (Learned Perceptual Image Patch Similarity), mantenendo prestazioni competitive su SSIM.
  • Esempio: Sul dataset EndoNeRF, NeRFscopy ottiene un PSNR di 37.204 contro i 29.831 di EndoNeRF.
• Analisi dei Componenti: Uno studio di ablazione mostra che l'aggiunta dei termini di gradiente e smoothness migliora la baseline, mentre la regolarizzazione temporale totale ($L_{tv}$) ha talvolta effetti negativi su scene con dettagli ad alta frequenza o artefatti, rendendo la regolarizzazione troppo vincolante.
• Qualità Visiva: La sintesi di nuove viste (novel view synthesis) produce risultati fisicamente plausibili, con ricostruzioni 3D coerenti e dettagliate, come dimostrato nelle valutazioni qualitative.
• Profondità: L'uso di diversi estimatori di profondità pre-addestrati (DPT, IID-SfmLearner, Depth-Anything) ha mostrato che Depth-Anything fornisce i risultati visivamente più accurati e dettagliati.

4. Contributi Chiave

1. Pipeline Auto-Supervisionata Generica: Un metodo che non richiede template, modelli pre-addestrati specifici per l'endoscopia o conoscenza a priori del movimento della telecamera.
2. Campo di Deformazione SE(3): L'introduzione di una rappresentazione basata su trasformazioni rigide (SE(3)) per modellare i tessuti non rigidi, superando i limiti dei semplici campi di spostamento.
3. Integrazione di Termini Sophisticati: L'uso combinato di loss fotometriche, di profondità, e regolarizzazioni geometriche (Jacobian, gradienti, smoothness) per apprendere una rappresentazione 3D implicita accurata solo dai dati.
4. Superiorità Sperimentale: Dimostrazione empirica che il metodo supera lo stato dell'arte (SOTA) in scenari endoscopici reali e complessi.

5. Significato e Impatto

NeRFscopy rappresenta un passo avanti significativo per l'analisi medica assistita da computer:

• Diagnosi e Pianificazione: Permette ai chirurghi di visualizzare strutture anatomiche in 3D e di ottenere nuove viste di tessuti dopo la procedura, facilitando decisioni più informate.
• Monitoraggio: Consente il confronto temporale delle misurazioni (es. dimensioni di noduli) per tracciare la progressione di una malattia.
• Versatilità: Essendo un metodo generico, può essere applicato a diverse procedure (gastroscopia, laparoscopia, broncoscopia) senza bisogno di ri-addestramento specifico per ogni tipo di tessuto.

Limitazioni e Lavori Futuri: Attualmente il metodo non è in tempo reale (0.14 FPS), ma ha prioritizzato l'efficacia. Il lavoro futuro si concentrerà sull'ottimizzazione computazionale e sull'integrazione esplicita del movimento della telecamera nella formulazione del modello.