Automatic Segmentation of 3D CT scans with SAM2 using a zero-shot approach

Título: Segmentación Automática de Escaneos 3D de CT usando SAM2 con un Enfoque Zero-Shot

1. El Problema

La segmentación de imágenes médicas 3D (como tomografías computarizadas o CT) ha dependido tradicionalmente de modelos de aprendizaje profundo supervisados (como U-Net o V-Net). Estos modelos requieren grandes conjuntos de datos con anotaciones píxel a píxel, lo que crea un "cuello de botella de anotación" costoso y limita su generalización a nuevas clases sin reentrenamiento.

Aunque los modelos fundacionales como SAM (Segment Anything Model) han demostrado gran capacidad de generalización en imágenes naturales 2D, su aplicación directa a volúmenes médicos 3D es limitada debido a que procesan las imágenes slice por slice de forma independiente, perdiendo la coherencia espacial 3D. La versión SAM2 introduce mecanismos de memoria para video, pero está diseñada para secuencias temporales, no para volúmenes espaciales. La principal limitación al aplicar SAM2 a CT es la falta de "conciencia volumétrica": las estructuras anatómicas no evolucionan suavemente en el tiempo (como en un video), sino que pueden cambiar abruptamente en el espacio entre cortes adyacentes, lo que confunde los mecanismos de memoria temporal del modelo.

2. Metodología

Los autores proponen un enfoque estrictamente zero-shot (sin ajuste de pesos ni entrenamiento adicional) para adaptar SAM2 a volúmenes 3D. La estrategia se basa en reinterpretar el volumen CT como un "pseudo-video", donde el eje de profundidad (eje Z) se trata como la dimensión temporal.

Componentes Clave de la Metodología:

• Reinterpretación del Flujo: Se trata cada corte axial como un "frame" de video. El modelo utiliza su mecanismo de memoria de video para propagar segmentaciones desde cortes anotados (prompts) a los adyacentes.
• Modificaciones de Inferencia (Sin Entrenamiento): Dado que los pesos del modelo están congelados, se realizan cambios arquitectónicos y procedimentales solo en la fase de inferencia:
  • Preprocesamiento: Se aplica un windowing de intensidad específico para tejido óseo y normalización, eliminando el ruido de otras densidades de tejido.
  • Estrategias de Prompting: Se evalúan diferentes formas de seleccionar qué cortes se usan como puntos de referencia (prompts). Se propone una selección estructurada (SPS) que limita la memoria a cortes prompts cercanos espacialmente para evitar confusión con estructuras similares lejanas.
  • Gestión de la Memoria: Se analiza el tamaño del banco de memoria. Se descubre que los embeddings temporales intermedios son redundantes. Se propone una estrategia de "Corte Inteligente" (Intelligent Slicing - IS) que retiene solo los dos frames más recientes con embeddings temporales extremos (inicio y fin), mejorando la eficiencia y la precisión.
  • Propagación Multi-eje: Para reducir el sesgo direccional, se ejecuta la segmentación independientemente a lo largo de los ejes axial, coronal y sagital, fusionando los resultados finales mediante un promedio de las probabilidades (logits).

3. Contribuciones Clave

• Validación Zero-Shot: Demuestran que es posible lograr segmentaciones 3D coherentes en datos médicos sin fine-tuning, preservando la naturaleza de propósito general del modelo fundacional.
• Análisis de la Brecha Espacio-Temporal: Identifican y abordan la incompatibilidad entre la suposición de evolución temporal suave de SAM2 y la variabilidad espacial abrupta de los datos médicos 3D.
• Optimización de Inferencia: Proponen modificaciones específicas (SPS, IS, propagación multi-eje) que mejoran significativamente el rendimiento sin tocar los parámetros del modelo.
• Estudio Ablativo Sistemático: Realizan una evaluación exhaustiva en el conjunto de datos TotalSegmentator, analizando el impacto de cada componente de la tubería de inferencia.

4. Resultados

Los experimentos se realizaron en el conjunto de datos TotalSegmentator, enfocándose en estructuras óseas (104 estructuras anatómicas, seleccionadas específicamente huesos).

• Rendimiento General: La configuración óptima (combinando Windowing, Selección de Prompts Estructurada - SPS, y Corte Inteligente - IS) logró un Dice Similarity Coefficient (DSC) promedio de 0.841 y un IoU de 0.778 en una muestra de 2,500 volúmenes.
• Mejoras Específicas:
  • La estrategia de selección de prompts (SPS) mejoró el rendimiento en un ~2% al evitar la inclusión de cortes lejanos en la memoria.
  • La estrategia de memoria inteligente (IS) mejoró el rendimiento en un ~4% adicional y redujo el tiempo de ejecución.
  • La propagación multi-eje demostró ser superior cuando se dispone de un presupuesto mayor de prompts (9 prompts en total, 3 por eje), superando a la propagación unidireccional.
• Caso de Estudio (Vértebras): Las vértebras, que presentan cambios abruptos entre cortes, mostraron la mayor mejora (+12.5% en Dice), pasando de segmentar incorrectamente estructuras similares lejanas (en el modelo base) a mantener la coherencia de la estructura correcta a lo largo del volumen.
• Eficiencia: El enfoque reduce la necesidad de recursos computacionales masivos al evitar el entrenamiento, aunque la inferencia sigue siendo intensiva en memoria GPU.

5. Significado e Impacto

Este trabajo es significativo porque:

1. Demuestra la viabilidad del Zero-Shot en 3D: Establece que los modelos fundacionales de video pueden adaptarse a la medicina 3D mediante ingeniería de inferencia, reduciendo la barrera de entrada para la anotación médica.
2. Reduce la Dependencia de Datos Etiquetados: Al no requerir fine-tuning, el método es aplicable a dominios médicos donde los datos anotados son escasos o costosos.
3. Insights de Diseño: Proporciona directrices claras sobre cómo adaptar modelos de visión basados en video a datos volumétricos, destacando que la "conciencia volumétrica" puede emerger de la configuración de inferencia (selección de memoria y prompts) sin alterar la arquitectura del modelo.
4. Limitaciones y Futuro: Aunque los resultados son prometedores, el artículo reconoce que el rendimiento aún está limitado por el diseño original del modelo y que mejoras futuras podrían requerir adaptaciones arquitectónicas específicas para el dominio médico.

En resumen, el artículo presenta un marco robusto para utilizar SAM2 en segmentación médica 3D sin entrenamiento, logrando resultados competitivos mediante una gestión inteligente de la memoria y la propagación de información a través del volumen.