MedGS: Gaussian Splatting for Multi-Modal 3D Medical Imaging

Resumen Técnico: MedGS

1. El Problema

La visualización anatómica no invasiva mediante imágenes médicas 3D multimodales (ecografía, resonancia magnética - MRI, y tomografía computarizada - CT) es fundamental para la planificación quirúrgica y el análisis. Sin embargo, la reconstrucción de superficies precisas a partir de estas imágenes enfrenta dos desafíos principales:

• Ruido e información incompleta: Los métodos tradicionales a menudo luchan con el ruido de la imagen y la falta de datos entre marcos esparsos (pocas secciones de corte).
• Limitaciones de los métodos existentes:
  • Los métodos clásicos (como Marching Cubes) sufren de artefactos de conectividad y dependen de la resolución.
  • Las Representaciones Neuronales Implícitas (INRs) ofrecen alta fidelidad pero son computacionalmente costosas, difíciles de editar y poco interpretables para tareas como el registro deformable.
  • Los enfoques de interpolación y segmentación suelen tratarse como tareas desacopladas, lo que lleva a una falta de continuidad geométrica en secuencias esparsas.

2. Metodología: MedGS

El authors proponen MedGS, un marco novedoso basado en Gaussian Splatting (GS) diseñado para la reconstrucción 3D de alta fidelidad. La arquitectura se distingue por los siguientes componentes:

• Representación Geométrica Unificada:

  • MedGS modela los datos médicos como una secuencia de cortes 2D en el espacio 3D utilizando Gaussians Plegados (Folded-Gaussians).
  • A diferencia de los modelos estáticos, utiliza la extensión VeGaS (Video Gaussian Splatting) para capturar cambios temporales y no lineales mediante funciones aprendibles que modulan la media y la covarianza de los Gaussians en el tiempo.

• Arquitectura Multi-Tarea (Dual-Branch):

  • El núcleo del modelo es un conjunto de primitivas Gaussianas que comparten parámetros geométricos únicos (posición, deformación temporal, opacidad).
  • Sin embargo, poseen dos ramas de color (aparición) separadas:
    1. $c_{img}$: Reconstruye la intensidad en escala de grises de la imagen médica (interpolación de cuadros).
    2. $c_{seg}$: Reconstruye la máscara de ocupación binaria (segmentación).
  • Esta configuración fuerza a que la geometría que define el borde del órgano en la segmentación sea la misma que genera la textura visual en la interpolación, creando un prior estructural fuerte.

• Regularización de Cuadros Intermedios (IBFR):

  • Para mitigar el ruido y la escasez de datos, el modelo genera cuadros sintéticos intermedios ($I_{t\alpha}$) mediante una combinación lineal de cuadros consecutivos.
  • Se introduce una pérdida de regularización ($L^*_{interp}$) que obliga a los Gaussians a aproximar suavemente las transiciones entre cortes, evitando el sobreajuste al ruido o el colapso en capas discretas.

• Extracción de Malla:

  • Una vez entrenado, el modelo renderiza un campo escalar 3D continuo (probabilidad de ocupación) a partir de la rama de segmentación.
  • Se aplica el algoritmo Marching Cubes sobre este campo super-resuelto para extraer una malla 3D de alta fidelidad.

• Variantes del Modelo:

  • MedGSi: Solo interpolación (sin máscaras de anotación).
  • MedGSs: Solo reconstrucción de malla (sin guía de imagen).
  • MedGS (Completo): Entrenamiento conjunto que demuestra la superioridad de la optimización dual.

3. Contribuciones Clave

1. Primer marco basado en Gaussian Splatting para imágenes médicas secuenciales 3D, permitiendo la modelización precisa de estructuras anatómicas complejas.
2. Estrategia de aprendizaje multi-tarea que regulariza la reconstrucción de superficies impulsada por segmentación, mejorando significativamente los resultados en entornos ruidosos o con datos esparsos.
3. Interpretabilidad y eficiencia: A diferencia de las INRs, MedGS ofrece una representación explícita que permite la manipulación directa de primitivas y un entrenamiento rápido (~20 minutos por objeto).
4. Validación clínica: Demostración de la capacidad del modelo para el seguimiento longitudinal de patologías (ej. expansión de aneurismas, crecimiento de tumores renales) y la planificación quirúrgica precisa.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos de ecografía de próstata, MRI cerebral y CT de órganos (corazón, pulmón, riñón).

• Interpolación de Cuadros:

  • MedGS superó consistentemente a la interpolación lineal y al flujo óptico en métricas PSNR y SSIM, incluso con muestreo esparsos (entrenando en cada 2º, 3º o 5º cuadro).
  • Mantuvo bordes anatómicos nítidos, mientras que los métodos base mostraron borrosidad o distorsión.

• Reconstrucción de Malla:

  • En el conjunto de datos de próstata, MedGS logró los valores más bajos en Distancia de Chamfer (CD) y Distancia de Hausdorff al 95% (HD95), superando a métodos como Poisson, ISO-surface y FUNSR (método neuronal implícito).
  • La malla generada es más suave, preserva mejor la topología y mantiene la continuidad de los bordes en condiciones de muestreo esparsos donde otros métodos fallan.

• Estudio de Ablación:

  • Se demostró que eliminar la regularización de cuadros intermedios ($L^*_{interp}$) o la regularización temporal ($L_\sigma$) degrada significativamente la calidad de la reconstrucción, confirmando la importancia de ambos componentes.

5. Significado e Impacto

MedGS representa un avance significativo en la visualización médica al combinar la eficiencia de las representaciones explícitas (Gaussian Splatting) con la precisión necesaria para aplicaciones clínicas.

• Apoyo a la Decisión Clínica: Facilita la planificación quirúrgica (ej. selección entre nefrectomía parcial vs. radical, o reparación endovascular de aneurismas) al proporcionar localización 3D precisa y orientación de tumores y aneurismas.
• Monitoreo Longitudinal: Permite comparaciones consistentes a lo largo del tiempo, mejorando la evaluación de la progresión de enfermedades.
• Viabilidad: Al ser eficiente y robusto ante datos ruidosos, es una herramienta prometedora para la investigación clínica y la asistencia en cirugía, aunque los autores advierten que sus estimaciones estructurales deben usarse como herramientas de apoyo junto con la evaluación clínica experta.

El código fuente está disponible públicamente en GitHub, fomentando la reproducibilidad y la adopción en la comunidad de visión por computadora médica.