Multivariate Gaussian NeRF for Wide Field-of-View Ultrasound Reconstruction

Aquí se presenta un resumen técnico detallado del artículo "Multivariate Gaussian NeRF for Wide Field-of-View Ultrasound Reconstruction" (Ultra-Wide-NeRF).

1. Planteamiento del Problema

El Desafío del Campo de Visión Amplio (WFoV) en Ultrasonido:
El ultrasonido clínico, particularmente el uso de sondas convexas, es esencial para capturar grandes estructuras anatómicas (por ejemplo, en ecocardiografía intracardíaca). Sin embargo, las adquisiciones individuales están limitadas a un Campo de Visión (FoV) estrecho. Para visualizar estructuras grandes, múltiples barridos 3D superpuestos deben ensamblarse.

Limitaciones de los Métodos Actuales:

• Ensamblaje Tradicional: Los métodos convencionales dependen del registro basado en características o intensidad, seguido de una composición espacial. Esto introduce artefactos de composición significativos y aliasing debido a cambios en la resolución dependientes de la profundidad.
• Campos de Radiación Neuronal (NeRF) Existentes: Aunque los NeRF de ultrasonido recientes (por ejemplo, Ultra-NeRF, NeRF-US) ofrecen representaciones continuas, típicamente asumen muestreo de puntos equidistantes a lo largo de rayos infinitesimalmente delgados.
• La Incompatibilidad Física Central: Las sondas convexas emiten haces acústicos divergentes. El volumen físico muestreado por el pulso se expande proporcionalmente con la profundidad. Las aproximaciones estándar de rayos delgados ignoran esta huella expansiva, lo que conduce a:
  • Aliasing en el campo lejano.
  • Pérdida de resolución dependiente de la profundidad.
  • Anisotropía no abordada a través de los ejes espaciales (axial, lateral y elevacional).

2. Metodología: Ultra-Wide-NeRF

Los autores proponen Ultra-Wide-NeRF, un marco que conecta los NeRF con la geometría específica de las sondas de ultrasonido convexas utilizando Gaussianas 3D Multivariadas (MVG).

A. Estrategia de Muestreo Informada por la Física

En lugar de muestrear puntos en rayos delgados, el método modela el haz acústico como un tronco de cono divergente.

• Geometría: El sistema modela la sonda utilizando coordenadas polares $(r, \theta)$ con un ángulo de apertura $\Theta$, radio interno $R_{in}$ y radio externo $R_{out}$.
• Extensión 3D: El volumen 3D se construye apilando rebanadas de haz en abanico. La dimensión elevacional se define implícitamente por las diferencias de pose entre las rebanadas, capturando el barrido de la adquisición.

B. Gaussianas 3D Multivariadas (MVG)

Para abordar la naturaleza mal planteada de aproximar las interacciones acústicas como puntos discretos, el método reemplaza las estimaciones puntuales con Gaussianas 3D continuas.

• Anisotropía: Reconociendo que la resolución del ultrasonido difiere en las direcciones axial, lateral y elevacional, las Gaussianas son anisotrópicas.
• Construcción de la Covarianza: La matriz de covarianza $\Sigma$ se construye a partir de tres varianzas distintas:
  1. $\sigma^2_{ray}$: A lo largo de la dirección del rayo.
  2. $\sigma^2_{lateral}$: Perpendicular al rayo dentro del plano de imagen.
  3. $\sigma^2_{depth}$: Perpendicular al rayo en la dirección elevacional (fuera del plano).
• Codificación Posicional Integrada (IPE): El método aplica IPE a estas huellas de Gaussianas. A diferencia de la codificación posicional estándar que evalúa características en un solo punto, la IPE promedia las características sobre la huella de la Gaussiana.
  • Mecanismo de Anti-Aliasing: Las frecuencias altas se suprimen naturalmente cuando la huella es grande (campo lejano/baja resolución), mientras que las frecuencias bajas se preservan. Esto actúa como un filtro de anti-aliasing inherente, incrustando la huella de muestreo directamente en la entrada de la red.

C. Función de Pérdida

El objetivo de entrenamiento combina pérdidas de reconstrucción estándar con restricciones conscientes del 3D:

• $L_{MSE}$: Error Cuadrático Medio entre los volúmenes renderizados y los de referencia (ground truth).
• $L_{SSIM}$: Índice de Similitud Estructural para preservar la coherencia estructural.
• $L_{grad}$: Pérdida de magnitud de gradiente por diferencias finitas para preservar la nitidez de los bordes y la textura de la mancha (speckle).
• Regularización: Incluye la regularización de Ultra-NeRF para imponer consistencia a través del volumen panorámico.

3. Contribuciones Clave

1. Modelado Explícito del Haz: Primer enfoque basado en NeRF que modela explícitamente la huella espacial expansiva de los haces de ultrasonido convexos divergentes utilizando muestreo volumétrico dependiente de la distancia.
2. Representación de Gaussianas Multivariadas: Introducción de Gaussianas 3D anisotrópicas para capturar las diferencias fundamentales de resolución en las direcciones axial, lateral y elevacional, reemplazando la aproximación defectuosa de rayos delgados.
3. Anti-Aliasing Inherente: El uso de Codificación Posicional Integrada sobre huellas de Gaussianas proporciona una solución basada en la física al aliasing en el campo lejano sin requerir post-procesamiento.
4. Capacidad Dual: El marco logra tanto la reconstrucción panorámica WFoV sin costuras (fusionando múltiples barridos) como la síntesis de vistas novedosas de alta fidelidad desde trayectorias virtuales arbitrarias.

4. Resultados Experimentales

El método fue validado en conjuntos de datos de Ecocardiografía Intracardíaca (ICE):

• Conjuntos de Datos: Un fantoma de silicona estático y un conjunto de datos in vivo de cerdo. Ambos involucraron catéteres de 360° de FoV que atravesaron la Vena Cava Inferior (IVC), la Aurícula Derecha y la Vena Cava Superior (SVC).
• Comparaciones: Se comparó contra métodos de registro/composición basados en geometría de última generación (SOTA) y un modelo NeRF ablatado que utiliza muestreo de puntos estándar.

Hallazgos Clave:

• Reducción de Artefactos: Ultra-Wide-NeRF eliminó con éxito los artefactos de ensamblaje y el aliasing observados en los métodos tradicionales de composición.
• Robustez de Resolución: Incluso cuando los datos de entrada se submuestrearon por un factor de 2 en la dirección elevacional (0.6 mm), Ultra-Wide-NeRF recuperó el contexto anatómico con bordes más nítidos que la línea base SOTA que operaba con datos de resolución completa.
• Estudio de Ablación: El modelo de ablación muestreado por puntos produjo bordes excesivamente suavizados y detalles desvanecidos, demostrando la necesidad de la formulación continua MVG.
• Síntesis de Vistas Novedosas: El modelo sintetizó con éxito:
  • Volúmenes de retención: Contextos espaciales no observados entre los barridos de entrenamiento.
  • Vistas fuera de trayectoria: Imágenes B-mode desde posiciones de sonda virtuales estrictamente fuera de la ruta de adquisición original, permitiendo perspectivas diagnósticas interactivas.
• Eficiencia: Se reporta que el método es 10–20 veces más rápido de entrenar que los métodos de reconstrucción precisa, dependiendo del factor de submuestreo.

5. Significado e Impacto

• Navegación Clínica: Al proporcionar una vista panorámica sin costuras y libre de artefactos, el método mejora el contexto espacial requerido para la navegación intraoperatoria, particularmente en procedimientos cardíacos complejos.
• Exploración Virtual: La capacidad de sintetizar vistas desde ángulos no observados transforma el volumen reconstruido en una herramienta diagnóstica interactiva, permitiendo a los clínicos centrarse en regiones específicas o visualizar la anatomía desde ángulos óptimos no registrados.
• Generalizabilidad: Aunque validado en datos cardíacos, la estrategia de muestreo geométrico es aplicable a cualquier dominio clínico que utilice sondas convexas, incluida la imagenología abdominal y obstétrica.
• Cambio de Paradigma: Mueve la reconstrucción de ultrasonido del ensamblaje discreto de vóxeles a una representación neuronal continua y consciente de la física que respeta las propiedades fundamentales de propagación de ondas del modo de imagen.