Opportunistic Promptable Segmentation: Leveraging Routine Radiological Annotations to Guide 3D CT Lesion Segmentation

Resumen Técnico: Segmentación Oportunista con Prompts mediante SAM2CT

Planteamiento del Problema
El desarrollo de modelos de aprendizaje automático robustos para imágenes de TC está limitado por la escasez de conjuntos de datos de segmentación 3D de gran escala y alta calidad. Si bien los sistemas clínicos de archivo y comunicación de imágenes (PACS) contienen vastos repositorios de imágenes de TC e informes, la generación de segmentaciones 3D requiere típicamente un contorneado manual extensivo por parte de los radiólogos, lo cual es costoso y requiere mucho tiempo. Por el contrario, los radiólogos generan rutinariamente anotaciones dispersas durante las lecturas clínicas estándar —como mediciones de líneas (por ejemplo, el diámetro de una lesión) y flechas para resaltar hallazgos— que se almacenan como objetos DICOM de estado de presentación de copia suave en escala de grises (GSPS). Actualmente, estas ricas anotaciones existentes están subutilizadas para el entrenamiento de modelos de segmentación 3D porque ningún modelo de segmentación basado en prompts existente puede interpretar directamente estos formatos GSPS específicos (flechas y líneas) para generar máscaras 3D.

Metodología
Los autores proponen un nuevo paradigma denominado Segmentación Oportunista con Prompts, que aprovecha las anotaciones GSPS existentes como prompts para generar automáticamente segmentaciones 3D. Para permitir esto, introducen SAM2CT, el primer modelo de segmentación con prompts diseñado para convertir las anotaciones de los radiólogos (flechas y líneas) en segmentaciones de TC 3D.

• Arquitectura: SAM2CT se basa en la arquitectura del Segment Anything Model 2 (SAM2). Mantiene los componentes principales de SAM2 (codificador de imagen, codificador de prompts, atención de memoria, codificador de memoria, banco de memoria y decodificador de máscara), pero introduce dos modificaciones críticas:
  1. Codificador de Prompts Mejorado: El codificador de prompts se extiende con tres parámetros aprendibles para interpretar los extremos de las líneas y los puntos de inicio/final de las flechas, permitiendo que el modelo procese entradas de estilo GSPS directamente.
  2. Memorias Condicionadas por Memoria (MCM): En el SAM2 estándar, los tokens de memoria se generan utilizando embeddings de imagen sin condicionar. SAM2CT modifica esto alimentando el codificador de memoria con embeddings de imagen condicionados (aquellos que han pasado por la atención de memoria). Esto crea tokens de memoria que son más específicos para la lesión objetivo, mejorando la consistencia de la segmentación a través de volúmenes 3D.
• Estrategia de Entrenamiento: El modelo fue ajustado (fine-tuned) de extremo a extremo en un conjunto de datos curado de cinco conjuntos de datos públicos de segmentación de lesiones de TC (que cubren 8 tipos de tumores). Para simular el uso oportunista de los datos GSPS, los autores sintetizaron prompts de flechas y líneas a partir de máscaras de verdad fundamental (ground-truth) durante el entrenamiento. El entrenamiento utilizó subvolúmenes de 8 cortes para gestionar los costes computacionales.
• Comparadores: El estudio compara SAM2CT contra una variante de SAM2 ajustada (SAM2 FT) que admite prompts de flecha/línea pero carece de MCM, así como arquitecturas estándar basadas en UNet (DynUNet y Swin UNETR) donde los prompts se codifican como canales de máscara binaria.

Contribuciones Clave

1. Nuevo Paradigma: El artículo define y demuestra la "Segmentación Oportunista con Prompts", un método para minar datos históricos de GSPS de PACS para la generación de conjuntos de datos 3D sin esfuerzo adicional del médico.
2. Modelo SAM2CT: El desarrollo del primer modelo capaz de interpretar anotaciones clínicas de líneas y flechas para producir segmentaciones 3D.
3. Innovación Arquitectónica: La introducción de Memorias Condicionadas por Memoria (MCM), una estrategia que demuestra mejorar la segmentación volumétrica 3D al codificar características específicas de la lesión en el banco de memoria. Los autores demuestran que MCM mejora el rendimiento no solo en SAM2CT, sino también cuando se aplica como adaptación en tiempo de prueba a otros modelos basados en SAM2 sin necesidad de un ajuste adicional.
4. Generación de Prompts Sintéticos: Una metodología para sintetizar prompts de flechas y líneas realistas a partir de máscaras de verdad fundamental para entrenar modelos en datos que originalmente carecían de tales anotaciones.

Resultados

• Rendimiento de Referencia (Benchmark): En conjuntos de prueba de reserva públicos, SAM2CT alcanzó un rendimiento de vanguardia (state-of-the-art) entre los modelos con prompts. Obtuvo un Coeficiente de Similitud de Dice (DSC) de 0.649 para prompts de flecha y 0.757 para prompts de línea, superando a SAM2 (FT), MedSAM2, DynUNet y Swin UNETR en diversos tipos de lesiones (riñón, hígado, páncreas, ganglios linfáticos, etc.).
• Utilidad Clínica (Oncología): Aplicado a 60 casos oncológicos reales de PACS clínicos, los radiólogos calificaron las máscaras generadas por SAM2CT como clínicamente aceptables (no requieren modificación) o que requieren solo ajustes menores en el 87% de los casos.
• Generalización Zero-Shot: El modelo demostró un sólido rendimiento zero-shot en hallazgos del Departamento de Emergencias (ED) no presentes en los datos de entrenamiento. Logró un DSC de 0.610 para abscesos y 0.725 para cálculos biliares utilizando prompts GSPS originales.
• Precisión RECIST: SAM2CT logró el menor porcentaje de error promedio en las mediciones RECIST 1.1 (11.1%) en comparación con otros modelos, lo que indica una alta relevancia clínica para la cuantificación de la carga tumoral.
• Adaptación en Tiempo de Prueba: La aplicación de la estrategia MCM a otros modelos (SAM2, MedSAM2) en el tiempo de prueba produjo mejoras significativas en el rendimiento sin entrenamiento adicional, validando a MCM como una mejora arquitectónica robusta para la segmentación médica 3D.

Significado y Reivindicaciones
Los autores afirman que SAM2CT representa una solución escalable para generar conjuntos de datos de segmentación de TC 3D a gran escala al desbloquear la "riqueza de prompts" ya almacenada en los sistemas PACS. Al convertir las anotaciones rutinarias y dispersas de los radiólogos en máscaras 3D densas, este enfoque elimina la necesidad de un contorneado manual costoso para la creación de conjuntos de datos. El artículo postula que este método facilita la construcción de conjuntos de datos multimodales y fundamentados (vinculando máscaras 3D con informes de texto libre), los cuales son esenciales para desarrollar modelos avanzados de visión y lenguaje en radiología. El estudio concluye que la segmentación oportunista con prompts es una estrategia viable para acelerar el desarrollo de la IA médica aprovechando los flujos de trabajo clínicos existentes.