Multivariate Gaussian NeRF for Wide Field-of-View Ultrasound Reconstruction

1. Enunciato del Problema

La Sfida dell'Ecografia a Campo Visivo Ampio (WFoV):
L'ecografia clinica, in particolare l'uso di sonde convesse, è essenziale per catturare grandi strutture anatomiche (ad esempio, nell'ecocardiografia intracardiaca). Tuttavia, le singole acquisizioni sono limitate a un Campo Visivo (FoV) ristretto. Per visualizzare grandi strutture, è necessario unire (stitching) più scansioni 3D sovrapposte.

Limiti dei Metodi Attuali:

• Stitching Tradizionale: I metodi convenzionali si basano su registrazioni basate su caratteristiche o intensità seguite da composizione spaziale. Ciò introduce significativi artefatti di composizione e aliasing a causa dei cambiamenti di risoluzione dipendenti dalla profondità.
• NeRF Esistenti: Sebbene i recenti NeRF per ecografia (ad esempio, Ultra-NeRF, NeRF-US) offrano rappresentazioni continue, assumono tipicamente un campionamento di punti equidistanti lungo raggi infinitamente sottili.
• Il Disallineamento Fisico Fondamentale: Le sonde convesse emettono fasci acustici divergenti. Il volume fisico campionato dall'impulso si espande proporzionalmente con la profondità. Le approssimazioni standard a raggio sottile ignorano questa impronta in espansione, portando a:
  • Aliasing nel campo lontano.
  • Perdita di risoluzione dipendente dalla profondità.
  • Anisotropia non affrontata lungo gli assi spaziali (assiale, laterale ed elevazionale).

2. Metodologia: Ultra-Wide-NeRF

Gli autori propongono Ultra-Wide-NeRF, un framework che collega i NeRF alla geometria specifica delle sonde ecografiche convesse utilizzando Gaussiane 3D Multivariate (MVG).

A. Strategia di Campionamento Informata dalla Fisica

Invece di campionare punti su raggi sottili, il metodo modella il fascio acustico come un tronco di cono divergente.

• Geometria: Il sistema modella la sonda utilizzando coordinate polari $(r, \theta)$ con un angolo di apertura $\Theta$, raggio interno $R_{in}$ e raggio esterno $R_{out}$.
• Estensione 3D: Il volume 3D è costruito impilando fette a fascio a ventaglio. La dimensione elevazionale è definita implicitamente dalle differenze di posa tra le fette, catturando la scansione dell'acquisizione.

B. Gaussiane 3D Multivariate (MVG)

Per affrontare la natura mal posta dell'approssimazione delle interazioni acustiche come punti discreti, il metodo sostituisce le stime puntuali con Gaussiane 3D continue.

• Anisotropia: Riconoscendo che la risoluzione ecografica differisce nelle direzioni assiale, laterale ed elevazionale, le Gaussiane sono anisotrope.
• Costruzione della Matrice di Covarianza: La matrice di covarianza $\Sigma$ è costruita da tre varianze distinte:
  1. $\sigma^2_{ray}$: Lungo la direzione del raggio.
  2. $\sigma^2_{lateral}$: Perpendicolare al raggio all'interno del piano di imaging.
  3. $\sigma^2_{depth}$: Perpendicolare al raggio nella direzione elevazionale (fuori dal piano).
• Codifica Posizionale Integrata (IPE): Il metodo applica l'IPE a queste impronte gaussiane. A differenza della codifica posizionale standard che valuta le caratteristiche in un singolo punto, l'IPE media le caratteristiche sull'impronta gaussiana.
  • Meccanismo Anti-Aliasing: Le alte frequenze sono naturalmente soppresse quando l'impronta è grande (campo lontano/bassa risoluzione), mentre le basse frequenze sono preservate. Questo agisce come un filtro anti-aliasing intrinseco, incorporando l'impronta di campionamento direttamente nell'input della rete.

C. Funzione di Perdita

L'obiettivo di addestramento combina perdite di ricostruzione standard con vincoli consapevoli del 3D:

• $L_{MSE}$: Errore quadratico medio tra i volumi renderizzati e quelli ground truth.
• $L_{SSIM}$: Indice di Similarità Strutturale per preservare la coerenza strutturale.
• $L_{grad}$: Perdita di magnitudine del gradiente a differenze finite per preservare la nitidezza dei bordi e la texture della speckle.
• Regolarizzazione: Include la regolarizzazione Ultra-NeRF per imporre la coerenza attraverso il volume panoramico.

3. Contributi Chiave

1. Modellazione Esplicita del Fascio: Primo approccio basato su NeRF a modellare esplicitamente l'impronta spaziale in espansione dei fasci ecografici convesi divergenti utilizzando un campionamento volumetrico dipendente dalla distanza.
2. Rappresentazione a Gaussiana Multivariata: Introduzione di Gaussiane 3D anisotrope per catturare le differenze fondamentali di risoluzione nelle direzioni assiale, laterale ed elevazionale, sostituendo l'approssimazione difettosa a raggio sottile.
3. Anti-Aliasing Intrinseco: L'uso della Codifica Posizionale Integrata sulle impronte gaussiane fornisce una soluzione basata sulla fisica all'aliasing nel campo lontano senza richiedere post-elaborazione.
4. Doppia Capacità: Il framework raggiunge sia la ricostruzione panoramica WFoV senza soluzione di continuità (fusione di più scansioni) sia la sintesi di nuove viste ad alta fedeltà da traiettorie virtuali arbitrarie.

4. Risultati Sperimentali

Il metodo è stato validato su dataset di Ecocardiografia Intracardiaca (ICE):

• Dataset: Un fantoccio in silicio statico e un dataset in vivo su maiale. Entrambi hanno coinvolto cateteri con FoV di 360° che attraversavano la Vena Cava Inferiore (IVC), l'Atrio Destro e la Vena Cava Superiore (SVC).
• Confronti: Confrontato con la registrazione/composizione basata sulla geometria all'avanguardia (SOTA) e con un modello NeRF ablatato che utilizza il campionamento puntuale standard.

Risultati Chiave:

• Riduzione degli Artefatti: Ultra-Wide-NeRF ha eliminato con successo gli artefatti di giunzione e l'aliasing osservati nei metodi di composizione tradizionali.
• Robustezza della Risoluzione: Anche quando i dati di input sono stati sottocampionati di un fattore 2 nella direzione elevazionale (0,6 mm), Ultra-Wide-NeRF ha recuperato il contesto anatomico con bordi più nitidi rispetto alla baseline SOTA operante su dati a piena risoluzione.
• Studio di Ablazione: Il modello ablatato con campionamento puntuale ha prodotto bordi eccessivamente lisci e dettagli sbiaditi, dimostrando la necessità della formulazione MVG continua.
• Sintesi di Nuove Viste: Il modello ha sintetizzato con successo:
  • Volumi tenuti fuori (Hold-out): Contesti spaziali non osservati tra le scansioni di addestramento.
  • Viste fuori traiettoria: Immagini B-mode da posizioni virtuali della sonda strettamente esterne al percorso di acquisizione originale, abilitando prospettive diagnostiche interattive.
• Efficienza: Il metodo è riportato essere 10–20 volte più veloce da addestrare rispetto ai metodi di ricostruzione accurata, a seconda del fattore di sottocampionamento.

5. Significato e Impatto

• Navigazione Clinica: Fornendo una vista panoramica senza soluzione di continuità e priva di artefatti, il metodo migliora il contesto spaziale necessario per la navigazione intraoperatoria, in particolare nelle procedure cardiache complesse.
• Esplorazione Virtuale: La capacità di sintetizzare viste da angoli non osservati trasforma il volume ricostruito in uno strumento diagnostico interattivo, consentendo ai clinici di focalizzarsi su regioni specifiche o di visualizzare l'anatomia da angoli ottimali e non registrati.
• Generalizzabilità: Sebbene validato su dati cardiaci, la strategia di campionamento geometrico è applicabile a qualsiasi dominio clinico che utilizza sonde convesse, inclusa l'imaging addominale e ostetrico.
• Cambiamento di Paradigma: Sposta la ricostruzione ecografica dall'unione di voxel discreti a una rappresentazione neurale continua e consapevole della fisica che rispetta le proprietà fondamentali di propagazione delle onde della modalità di imaging.