Sintesi Tecnica: Render-FM

Definizione del Problema

La resa volumetrica fotorealistica delle scansioni TC (Tomografia Computerizzata) è fondamentale per migliorare la valutazione diagnostica, la pianificazione chirurgica e la comunicazione con il paziente. Tuttavia, gli appronsi di rendering neurale esistenti, specificamente i Neural Radiance Fields (NeRF) e il 3D Gaussian Splatting (3DGS), affrontano una barriera fondamentale all'adozione clinica: tempi di ottimizzazione per scansione proibitivi.

Mentre NeRF richiede ore o giorni e lo standard 3DGS richiede circa 30 minuti per caso (escludendo il tempo per generare le viste di addestramento basate sulla fisica), i flussi di lavoro clinici richiedono risultati immediati. Inoltre, i parametri ottimizzati in questi metodi sono non trasferibili; non possono generalizzare ad anatomie non viste, nuove funzioni di trasferimento (definizioni di colore/opacità) o alla visualizzazione compositiva degli organi senza una nuova ottimizzazione. Il Direct Volume Rendering (DVR) convenzionale offre un'interazione in tempo reale, ma manca del fotorealismo fornito dall'illuminazione globale e dallo scattering sottosuperficiale, che sono essenziali per un aspetto realistico dei tessuti.

Metodologia

Gli autori propongono Render-FM, un modello feedforward progettato per eliminare l'imbuto dell'ottimizzazione per scansione, regredendo direttamente i parametri del 6D Gaussian Splatting (6DGS) da un volume CT in un singolo passaggio in avanti (forward pass).

Architettura Core

• Backbone: Il modello utilizza un'architettura 3D U-Net ispirata a nnU-Net, rinomata per la sua robustezza nella segmentazione di immagini mediche. Questa struttura encoder-decoder elabora caratteristiche multi-scala per gestire la variabilità nelle risoluzioni e nei campi visivi delle CT.
• Rappresentazione dell'Input: La rete accetta un volume a 6 canali ($V \in \mathbb{R}^{6 \times D \times H \times W}$):
  1. Intensità CT normalizzata (Unità Hounsfield).
  2. Una maschera di segmentazione che identifica le strutture del primo piano.
  3. Quattro canali RGBA derivati da funzioni di trasferimento predefinite, che codificano il colore base e l'opacità per classe anatomica.
• Output: La rete predice un volume denso di 37 canali per voxel ($\Psi$), che rappresentano i parametri per potenziali primitive Gaussiane a 6D. Questi parametri includono:
  • Direzione media ($\mu_d$).
  • Colore dipendente dalla vista tramite coefficienti di Spherical Harmonic (gradi $L=0, 1$).
  • Offset di opacità.
  • I 21 elementi triangolari superiori di una matrice di covarianza $6 \times 6$ (ricostruiti tramite decomposizione di Cholesky per garantire la semi-definitività positiva).
• Rendering: Durante l'inferenza, i voxel del primo piano vengono istanziati come Gaussiane 6D. Un meccanismo di slicing della covarianza differenziabile e dipendente dalla vista (basato su [12]) adatta la forma e l'opacità della Gaussiana per ogni punto di vista per catturare riflessioni anisotrope e scattering sottosuperficiale. Questi vengono renderizzati tramite un rasterizzatore basato su tile adattato da 3DGS.

Anatomy-Guided Priming (AGP)

Un'innovazione critica è l'Anatomy-Guided Priming (AGP), che colma il divario di dominio tra la ricostruzione di scene naturali e il rendering volumetrico medico.

• Meccanismo: Invece di apprendere geometria e aspetto da zero (come nel 3DGS standard), l'AGP fornisce un prior strutturato. Le posizioni delle Gaussiane sono ancorate alle coordinate del mondo dei voxel; i colori base e le opacità sono derivati dalle funzioni di trasferimento; e le etichette semantiche sono assegnate dalle maschere di segmentazione.
• Ruolo: La rete è addestrata per predire raffinamenti residui sopra questi prior significativi piuttosto che parametri assoluti. Questo è essenziale affinché il modello feedforward converga, trasformando un problema sotto-determinato in uno trattabile.

Addestramento e Inferenza

• Addestramento: Il sistema è addestrato end-to-end utilizzando il rendering 6DGS differenziabile. La funzione di perdita combina la perdita L1 a livello di pixel e la perdita strutturale SSIM, supervisionata rispetto a immagini di ground-truth fisicamente basate renderizzate offline tramite PBRT.
• Inferenza: Il processo prevede un singolo passaggio in avanti (circa 2,8 secondi) per generare i parametri delle Gaussiane. Non è richiesta alcuna ottimizzazione per il rendering immediato in tempo reale. Una fase opzionale di fine-tuning leggero (circa 89 secondi) può ulteriormente migliorare la qualità.

Contributi Chiave

1. Architettura del Modello Feedforward: Un'integrazione innovativa dei principi di nnU-Net con le capacità 6DGS, che consente la regressione diretta dei parametri 6DGS dai volumi CT. Ciò riduce il tempo di preparazione da ~1 ora a 2,8 secondi (un'accelerazione di 500×) eliminando l'ottimizzazione per scansione.
2. Anatomy-Guided Priming (AGP): Una strategia che sfrutta le maschere di segmentazione e le funzioni di trasferimento per fornire prior strutturali e di aspetto. È identificata come una condizione necessaria affinché il modello feedforward converga e generalizzi efficacemente tra i pazienti.
3. Addestramento e Valutazione End-to-End: Una metodologia completa che dimostra come Render-FM raggiunga una qualità di rendering comparabile o superiore ai baseline ottimizzati per scansione. Supporta la modifica dinamica delle funzioni di trasferimento e la visualizzazione compositiva degli organi (ad esempio, isolando organi specifici) con tempo di preparazione aggiuntivo nullo.

Risultati Sperimentali

Il modello è stato valutato su due dataset: TotalSegmentator (in-domain) e CT-ORG (out-of-domain).

• Velocità: Render-FM raggiunge un tempo di preparazione di 2,8 secondi (in-domain) e 2,6 secondi (out-of-domain), rispetto ai ~1.460 secondi del baseline 6DGS.
• Qualità (In-Domain, Funzioni di Trasferimento Viste):
  • Render-FM (senza fine-tuning): PSNR 27,30, SSIM 0,919.
  • Baseline 6DGS: PSNR 26,63, SSIM 0,912.
  • Render-FM + Fine-tuning (89s): PSNR 31,67, SSIM 0,937, superando tutti i baseline.
• Generalizzazione (Out-of-Domain e Funzioni di Trasferimento Non Viste): Render-FM mantiene prestazioni robuste su distribuzioni di dati non viste e nuove funzioni di trasferimento senza necessità di riaddestramento, mentre il 6DGS richiede l'ottimizzazione per scansione per ogni nuovo caso.
• Componibilità: Render-FM consente la visualizzazione di gruppi anatomici specifici (ad esempio, solo lo scheletro) istantaneamente (0,0s di tempo aggiuntivo), mentre il 6DGS richiede un intero passaggio di ri-ottimizzazione (aumentando il tempo da ~1,5k a ~5k secondi).
• Prestazioni in Tempo Reale: Il modello supporta il rendering interattivo a 328+ FPS (in-domain) senza fine-tuning.

Significato e Rivendicazioni

L'articolo sostiene che Render-FM rappresenti un cambiamento trasformativo per il rendering volumetrico clinico, risolvendo il conflitto tra qualità fotorealistica e vincoli di tempo clinico.

• Viabilità Clinica: Riducendo i tempi di preparazione da ore a secondi, Render-FM rende il rendering ad alta fedeltà e dipendente dalla vista fattibile per i flussi di lavoro clinici di routine, la pianificazione chirurgica e la comunicazione con il paziente.
• Generalizzazione: A differenza dei metodi basati sull'ottimizzazione, Render-FM generalizza ad anatomie e funzioni di trasferimento non viste, consentendo l'esplorazione immediata dei dati del paziente senza addestramento specifico per il caso.
• Fondamento per il Lavoro Futuro: Gli autori pongono Render-FM come un framework generalizzabile che, sebbene dimostrato su CT, può estendersi ad altre modalità volumetriche come la RM, dati i parametri di input e le funzioni di trasferimento appropriati.

Il lavoro stabilisce che i modelli feedforward, quando combinati con i prior specifici del dominio (AGP) e tecniche di rendering avanzate (6DGS), possono superare le prestazioni dei metodi tradizionali di ottimizzazione per scena sia in termini di velocità che di flessibilità.