MedGS: Gaussian Splatting for Multi-Modal 3D Medical Imaging

1. Il Problema

L'imaging medico tridimensionale (3D) multimodale, derivante da ultrasuoni (US), risonanza magnetica (MRI) e tomografia computerizzata (CT), è fondamentale per la visualizzazione anatomica non invasiva. Tuttavia, la ricostruzione accurata delle superfici e l'interpolazione tra frame consecutivi presentano sfide significative:

• Rumore e dati incompleti: I dati medici reali sono spesso affetti da rumore e le acquisizioni possono essere sparse (poche fette tra loro distanti).
• Limiti dei metodi tradizionali: I metodi classici (es. Marching Cubes) soffrono di artefatti di connettività e dipendono dalla risoluzione della segmentazione.
• Limiti delle INR (Implicit Neural Representations): Sebbene le INR offrano alta fedeltà, sono computazionalmente costose, difficili da interpretare e modificare manualmente, il che le rende poco adatte alla registrazione deformabile e alla chirurgia assistita.
• Mancanza di continuità geometrica: I metodi che trattano separatamente l'interpolazione delle immagini e la segmentazione spesso falliscono nel mantenere una coerenza geometrica, specialmente in scenari con pochi frame di input.

2. Metodologia: MedGS

Il paper introduce MedGS, un framework basato su Gaussian Splatting (GS) progettato per la ricostruzione 3D ad alta fedeltà di strutture anatomiche. L'approccio si distingue per un'architettura multi-task unificata.

Rappresentazione Geometrica Unificata

MedGS modella i dati medici come una sequenza di sezioni piane 2D immerse in uno spazio 3D. Al centro del modello vi è una collezione di Gaussiani Flessi (Folded-Gaussians) che condividono gli stessi parametri geometrici (posizione e deformazione temporale) ma possiedono due rami di attributi di colore distinti:

1. $c_{img}$: Ricostruisce l'intensità in scala di grigi della scansione medica (compito di interpolazione/visualizzazione).
2. $c_{seg}$: Ricostruisce la maschera di occupazione binaria della struttura anatomica (compito di segmentazione).

Questa condivisione dei parametri geometrici impone un prior strutturale forte: le primitive geometriche che definiscono il confine dell'organo nella segmentazione sono le stesse che generano la texture visiva nell'interpolazione.

Meccanismi Chiave

• Folded-Gaussian Distributions: Basato su VeGaS (Video Gaussian Splatting), utilizza distribuzioni Folded-Gaussian per catturare cambiamenti temporali e spaziali non lineari. Ogni elemento è condizionato ai timestamp dei frame, permettendo di modellare sia caratteristiche persistenti che eventi transitori.
• In-Between Frame Regularization (IBFR): Per mitigare il rumore e la scarsità dei dati, il modello genera frame interpolati sintetici ($I_{t\alpha}$) tra frame consecutivi reali. Una funzione di perdita di regolarizzazione ($L^*_{interp}$) forza le Gaussiane a approssimare fluidamente le transizioni tra le fette, prevenendo l'overfitting sul rumore o il collasso in strati discreti.
• Ottimizzazione Multi-Task: Il modello ottimizza simultaneamente la geometria condivisa e i due rami di colore. La perdita totale combina:
  • $L_{img}$: Perdita di ricostruzione dell'immagine (L1, SSIM, IBFR).
  • $L_{seg}$: Perdita di segmentazione (differenza tra maschere renderizzate e ground truth).
  • $L_{\sigma}$: Regolarizzazione temporale per evitare che le Gaussiane siano troppo sparse o diffuse nel tempo.

Varianti del Modello

Il framework supporta scenari clinici con dati incompleti:

• MedGSi: Ottimizzato solo per l'interpolazione e il denoising (senza maschere di segmentazione).
• MedGSs: Ottimizzato solo per l'estrazione della superficie (senza immagini originali), utile per dimostrare l'importanza dell'apprendimento congiunto.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset di ultrasuoni (prostata) e MRI (cervello, cuore, polmone, rene).

• Interpolazione: Su dati MRI con campionamento sparso (ogni 2°, 3°, 5° frame), MedGS supera costantemente i baseline (interpolazione lineare e flusso ottico) in termini di PSNR e SSIM. Qualitativamente, mantiene bordi anatomici nitidi, mentre i metodi basali mostrano sfocature o distorsioni.
• Ricostruzione della Mesh:
  • MedGS ottiene i punteggi più bassi per Chamfer Distance (CD) e Hausdorff Distance al 95° percentile (HD95) rispetto a metodi come FUNSR, Poisson Reconstruction e l'estrazione diretta delle iso-superfici.
  • La versione multi-task (MedGS) supera la versione single-task (MedGSs), confermando che la guida visiva migliora la continuità geometrica, specialmente nelle regioni a basso contrasto.
• Applicazioni Cliniche: Il paper dimostra la capacità di MedGS di localizzare con precisione tumori renali e caratterizzare aneurismi aortici, supportando la pianificazione chirurgica (es. scelta tra nefrectomia parziale o radicale) e il monitoraggio longitudinale della progressione della malattia.

4. Contributi Chiave

1. Primo Framework GS per Imaging Medico Sequenziale: Introduzione di MedGS, che adatta il Gaussian Splatting alla ricostruzione 3D di organi da dati medici sequenziali.
2. Strategia Multi-Task Unificata: Un approccio innovativo che regolarizza la ricostruzione della superficie guidata dalla segmentazione utilizzando segnali densi dalla sintesi delle immagini, risolvendo il problema della discontinuità geometrica in dati sparsi.
3. Interpretabilità ed Efficienza: A differenza delle INR, MedGS offre una rappresentazione esplicita e interpretabile, addestrabile in circa 20 minuti e capace di estrarre mesh in pochi secondi, facilitando la manipolazione diretta delle primitive.
4. Robustezza al Rumore: La capacità di produrre mesh di alta qualità e segmentazioni accurate anche partendo da un numero limitato di slice di input.

5. Significato e Impatto

MedGS rappresenta un passo avanti significativo verso l'uso pratico dell'IA nella chirurgia assistita e nella ricerca clinica.

• Monitoraggio Longitudinale: Permette un confronto coerente nel tempo delle patologie (es. crescita di tumori o espansione di aneurismi), supportando decisioni terapeutiche personalizzate.
• Pianificazione Chirurgica: Fornisce visualizzazioni 3D ad alta fedeltà che aiutano i chirurghi a valutare la fattibilità di approcci minimamente invasivi e a selezionare le dimensioni dei dispositivi.
• Limiti: Il paper nota che MedGS fornisce stime strutturali e non misurazioni dirette dei tessuti; pertanto, i risultati devono essere considerati come strumenti di supporto decisionale da integrare con la valutazione clinica esperta.

In sintesi, MedGS combina l'efficienza e l'interpretabilità del Gaussian Splatting con una potente regolarizzazione multi-task, superando i limiti delle tecniche attuali nella ricostruzione 3D da dati medici sparsi e rumorosi.