ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting

Sintesi Tecnica: ExtraGS

Problematica
La chirurgia mininvasiva assistita da robot si affida fortemente alla percezione endoscopica, eppure gli endoscopi convenzionali soffrono di un campo visivo (FOV) limitato a causa dei vincoli hardware e degli spazi anatomici ristretti. Questa limitazione crea punti ciechi visivi, portando potenzialmente a diagnosi errate e costringendo i chirurghi a fare affidamento sulla memoria spaziale. Sebbene le recenti tecniche di rendering neurale come i Neural Radiance Fields (NeRF) e il 3D Gaussian Splatting (3DGS) consentano la sintesi di nuove viste da video endoscopici, esse incontrano difficoltà significative durante l'estrapolazione della vista. Quando una telecamera virtuale si sposta lontano dalla traiettoria di addestramento verso regioni anatomiche non osservate, la mancanza di input d'immagine reali impedisce alle perdite fotometriche standard e ai priori geometrici di fornire una supervisione efficace. Di conseguenza, questi metodi producono gravi distorsioni geometriche, artefatti caotici e incompletezza strutturale, rendendo le viste estrapolate clinicamente inaffidabili.

Metodologia: Framework ExtraGS
Gli autori propongono ExtraGS, un framework che migliora l'estrapolazione della vista endoscopica integrando il 3D Gaussian Splatting guidato dalla diffusione. La pipeline consiste in quattro fasi primarie:

1. Inizializzazione della Scena e Stima della Regione Fattibile:
   Il processo inizia ottimizzando una rappresentazione grossolana di Gaussian 3D ($G_c$) utilizzando le immagini RGB e di profondità endoscopiche sparse in input. Da questa ricostruzione, viene estratta una mesh superficiale per definire un volume di delimitazione. Viene quindi costruito un reticolo di occupazione per distinguere tra regioni anatomiche occupate e spazio libero, limitando la successiva esplorazione della telecamera virtuale ad aree fattibili e non osservate all'interno della scena.

2. Campionamento della Telecamera Virtuale Guidato dall'Incertezza:
   Per esplorare attivamente i punti ciechi e massimizzare il guadagno di informazioni, il metodo impiega una nuova strategia di campionamento della telecamera virtuale all'interno della regione fattibile. Questa strategia è adattata alle scene endoscopiche e incorpora:

   • Esplorazione consapevole dell'illuminazione: privilegia direzioni allineate con le regioni più scure dell'immagine corrente, poiché queste aree sono spesso meno vincolate e soggette a errori di ricostruzione.
   • Controllo della posa consapevole delle pieghe: penalizza i cambiamenti bruschi del punto di vista per garantire un movimento fluido della telecamera, prevenendo l'instabilità in strutture anatomiche complesse e ripiegate.
   • Guadagno di copertura: traccia il numero di coppie Gaussian-direzione appena osservate per garantire una copertura completa della scena.

3. Miglioramento della Vista Guidato dalla Diffusione:
   I rendering iniziali dalle viste virtuali campionate contengono spesso artefatti (ad es., buchi, "floaters", sfocature). Invece di affidarsi esclusivamente all'interpolazione, il framework utilizza un modello di diffusione video 2D come prior per raffinare queste immagini. Il modello di diffusione prende il rendering grossolano e la vista reale più vicina (come ancora visiva) per generare pseudo-osservazioni ad alta fedeltà. Questo passaggio "allucina" efficacemente strutture anatomiche plausibili per le regioni non osservate, preservando al contempo indizi affidabili dai dati reali.

4. Fine-Tuning Congiunto Pesato sulla Confidenza:
   Per evitare che le pseudo-osservazioni generate degradino le regioni già ben ricostruite, gli autori introducono una strategia di ottimizzazione pesata sulla confidenza. Ciò comporta due livelli di pesatura:

   • Confidenza a livello di immagine: basata sulla Gaussian Intersection over Union (G-IoU), che misura la sovrapposenza tra le Gaussian visibili nella vista virtuale rispetto alla vista di riferimento. Una minore sovrapposenza genera un peso maggiore, enfatizzando le informazioni complementari.
   • Confidenza a livello di pixel: basata sulle differenze percettive (LPIPS) tra il rendering grossolano e l'immagine potenziata dalla diffusione, concentrando il raffinamento sui pixel in cui il modello di diffusione ha apportato correzioni significative.
     Il modello 3DGS viene quindi sottoposto a fine-tuning congiunto utilizzando sia le osservazioni reali originali che le pseudo-osservazioni pesate sulla confidenza.

Contributi Chiave

• Framework ExtraGS: Un'integrazione innovativa di priori di diffusione 2D nel 3DGS endoscopico per risolvere i gravi problemi di artefatti durante l'estrapolazione della vista a lungo raggio.
• Campionamento Guidato dall'Incertezza: Un meccanismo che mira attivamente ai punti ciechi anatomici utilizzando strategie consapevoli di illuminazione e delle pieghe per massimizzare il guadagno di informazioni.
• Fine-Tuning Pesato sulla Confidenza: Una strategia di pesatura a doppio livello che incorpora il contenuto generato dalla diffusione per colmare le aree non osservate preservando l'integrità delle strutture 3D ricostruite accuratamente.
• Prestazioni allo Stato dell'Arte: Valutazioni esaustive che dimostrano prestazioni superiori sia nella sintesi di nuove viste che nei compiti di estrapolazione a lungo raggio rispetto ai metodi esistenti.

Risultati Sperimentali
Il metodo è stato valutato sul dataset C3VDv2, un dataset colonscopico caratterizzato da strutture tubulari strette, pieghe ripetitive e auto-occlusioni. Gli autori hanno confrontato ExtraGS con lo standard 3DGS, GaussianPancakes e UCNeRF sotto due scenari impegnativi: disponibilità di viste sparse (Cecum t1) e traiettorie distanziate/complesse (Ascending t2).

• Prestazioni Quantitative: ExtraGS ha raggiunto il più alto rapporto segnale-rumore di picco (PSNR) e l'indice di somiglianza strutturale (SSIM) in entrambi gli scenari. Ad esempio, nello scenario sparso Cecum t1, ExtraGS ha ottenuto un PSNR di 20,23 dB e un SSIM di 0,769, superando UCNeRF (19,22 dB, 0,541) e lo standard 3DGS (18,74 dB, 0,673). Nello scenario distanziato Ascending t2, ha mantenuto un robusto PSender di 18,75 dB e un SSIM di 0,857, mentre GaussianPancakes ha subito un drastico calo a 10,39 dB.
• Prestazioni Qualitative: I confronti visivi hanno mostrato che, mentre i metodi di base presentavano artefatti rumorosi, eccessivo smoothing o sfocature catastrofiche, ExtraGS ha ricostruito con successo topologie tissutali complesse, reti vascolari fini e riflessi speculari con alta fedeltà.
• Studi di Ablazione: La rimozione delle componenti consapevoli di illuminazione e delle pieghe ha causato un lieve degrado delle prestazioni, confermando l'utilità di queste specifiche scelte di progettazione per gli ambienti endoscopici.

Significatività e Rivendicazioni
L'articolo afferma che ExtraGS riduce significativamente gli artefatti di estrapolazione e raggiunge prestazioni allo stato dell'arte nella sintesi di nuove viste endoscopiche. Sfruttando i priori generativi per fornire supervisione nelle aree non osservate, il framework espande efficacemente il campo visivo utilizzabile e migliora l'affidabilità della ricostruzione. Gli autori suggeriscono che questa capacità possa avere un valore potenziale per la pianificazione preoperatoria, la navigazione intraoperatoria e la diagnosi retrospettiva nella chirurgia mininvasiva assistita da robot.

Tuttovegli, gli autori rimangono modesti riguardo l'attuale ambito del lavoro. Essi dichiarano esplicitamente che il framework assume scene relativamente statiche e non è ancora stato validato per l'esecuzione in tempo reale, l'illuminazione dinamica, l'occlusione degli strumenti o la deformazione dei tessuti. Pertanto, i risultati attuali dimostrano il potenziale dell'approccio piuttosto che una validata affidabilità intraoperatoria, con la necessità di lavori futuri per affrontare questi fattori dinamici per una ricostruzione 4D robusta.