Learning Neural Parametric 3D Breast Shape Models for Metrical Surface Reconstruction From Monocular RGB Videos

Título: Aprendizaje de Modelos de Forma 3D Paramétricos Neuronales para la Reconstrucción de Superficies Metríicas a partir de Videos RGB Monoculares

1. El Problema

La reconstrucción 3D precisa de la forma del seno femenino es crucial en aplicaciones médicas como la estimación de volumen, la simulación de cirugía plástica y la planificación de tratamientos. Sin embargo, existen barreras significativas:

• Hardware costoso: Las soluciones comerciales actuales (ej. Artec Eva, Vectra H2) requieren hardware especializado y software propietario, con costos que oscilan entre 10.000 y 20.000 dólares/euros, limitando su acceso a grandes hospitales.
• Limitaciones de métodos de bajo costo: Las alternativas basadas en hardware de consumo (como iPhones con LiDAR o cámaras TrueDepth) a menudo dependen de software cerrado, tienen baja resolución espacial (perdiendo detalles finos como pliegues cutáneos o pezones) o requieren dispositivos específicos.
• Falta de modelos públicos: La mayoría de los modelos paramétricos 3D existentes no son de código abierto, y los pocos disponibles (como el RBSM clásico o el iRBSM implícito) tienen limitaciones en la captura de detalles anatómicos finos debido a su representación global única.

2. Metodología

Los autores proponen un pipeline completo que combina un nuevo modelo paramétrico neuronal con una técnica de reconstrucción basada en video.

A. Modelo Neuronal Paramétrico (liRBSM):

• Representación Implícita Localizada: A diferencia del modelo previo iRBSM que utiliza una única Red Neuronal de Función de Distancia Signada (SDF) global, este trabajo introduce el liRBSM (localized iRBSM).
• Descomposición Espacial: Inspirado en modelos faciales de vanguardia, el dominio implícito del seno se divide en múltiples regiones más pequeñas.
• Arquitectura:
  • Se utilizan 6 puntos de anclaje ($a_1...a_6$) ubicados en hitos anatómicos (ej. pezones, surco esternal, proceso coracoides).
  • Cada región se modela mediante una MLP local (Red Neuronal de Capas Densas) condicionada por un código latente local ($z_{loc}$) y un código latente global ($z_{glob}$).
  • Se añade una MLP de fondo para capturar el contexto global lejos de los anclajes.
  • La SDF final se obtiene mediante una mezcla ponderada (blending) de las salidas de todas las MLPs utilizando un kernel gaussiano.
• Entrenamiento: Se entrena en modo "auto-decoder" sobre un conjunto de 168 escaneos 3D de alta calidad, optimizando tanto los parámetros de la red como los códigos latentes para cada muestra.

B. Pipeline de Reconstrucción de Superficie:

• Entrada: Un único video RGB monoculares (capturado con cualquier dispositivo, ej. smartphone).
• Paso 1: Structure-from-Motion (SfM): Se extraen frames del video y se utiliza el pipeline VGGSfM (State-of-the-Art) para obtener parámetros de cámara y una nube de puntos esparsa.
• Paso 2: Alineación y Limpieza:
  • El usuario marca 6 puntos de referencia 2D en una sola imagen del video.
  • Estos puntos se retroproyectan a 3D utilizando los parámetros de cámara estimados.
  • La nube de puntos se alinea con la forma media del modelo y se eliminan los puntos de fondo (ruido) mediante un umbral de distancia.
• Paso 3: Ajuste del Modelo (Fitting): Se optimiza el código latente ($z$) del modelo liRBSM para que la superficie implícida coincida con la nube de puntos alineada.
• Paso 4: Escala Métrica: Se recupera la escala del mundo real utilizando o bien una distancia de referencia conocida (ej. distancia entre pezones) o un factor de escala estadístico promedio.

3. Contribuciones Clave

1. Nuevo Modelo Paramétrico (liRBSM): Es el primer modelo de seno que utiliza una representación implícita neuronal localizada. Esto permite capturar detalles anatómicos de alta frecuencia (pliegues de la piel, pezones) que los modelos globales pierden.
2. Pipeline de Bajo Costo y Accesible: Un sistema de reconstrucción 3D que requiere solo un video RGB y hardware de consumo (sin sensores de profundidad ni cámaras especiales).
3. Código Abierto y Transparente: A diferencia de la mayoría de las soluciones médicas, tanto el modelo como el pipeline de reconstrucción, junto con una interfaz gráfica de usuario (GUI), se publican como código abierto.
4. Rendimiento Rápido: El proceso completo de reconstrucción toma menos de 6 minutos en una computadora estándar con una tarjeta gráfica de consumo.

4. Resultados

Los experimentos se realizaron comparando el liRBSM con el modelo basado en mallas (RBSM) y el modelo implícito global (iRBSM), utilizando un conjunto de prueba de 10 sujetos con escaneos 3D de ground truth (Vectra H2) y videos RGB.

• Precisión Métrica: El pipeline propuesto logra una reconstrucción con un error de distancia de Chamfer (CD) de < 2 mm (1.96 mm en evaluación métrica) en comparación con el ground truth. Esto supera al iRBSM (2.28 mm) y al RBSM (3.40 mm).
• Detalle Superficial: El modelo liRBSM recupera exitosamente estructuras finas como pliegues cutáneos y la forma del pezón, algo que el modelo global no logra.
• Robustez:
  • Es robusto a la selección de puntos de referencia: un ruido de hasta 10 píxeles en la selección de landmarks tiene un impacto negligible en la calidad.
  • Funciona bien con pocas vistas: incluso con solo 3 frames del video, el error se mantiene por debajo de 3 mm.
• Velocidad: La inferencia del modelo tarda ~15 segundos; el cuello de botella es el paso de SfM, que tarda unos 5-6 minutos para 30 frames.

5. Significado e Impacto

• Democratización de la Tecnología Médica: Este trabajo elimina la barrera de entrada económica y técnica para la obtención de modelos 3D precisos del seno, permitiendo que clínicas más pequeñas y centros de investigación accedan a estas herramientas sin invertir en equipos costosos.
• Avance en Modelado Paramétrico: La transición de modelos globales a representaciones neuronales localizadas demuestra ser una estrategia superior para capturar la complejidad anatómica de superficies biológicas no rígidas y sin características distintivas claras.
• Transparencia y Reproducibilidad: Al publicar el código, los datos de entrenamiento (modelos) y la herramienta de reconstrucción, los autores fomentan la colaboración abierta en un campo donde la opacidad ha sido la norma, facilitando futuras investigaciones y aplicaciones clínicas (como la planificación quirúrgica personalizada o el diseño de prótesis).

En resumen, el artículo presenta una solución integral, rápida y de alta precisión que transforma un video simple de un smartphone en un modelo 3D métrico y detallado del seno, superando las limitaciones de hardware y software de las tecnologías actuales.