Learning from Noisy Prompts: Saliency-Guided Prompt Distillation for Robust Segmentation with SAM

Resumen Técnico: Aprendizaje a partir de Prompts Ruidosos (SPD)

Título original: Learning from Noisy Prompts: Saliency-Guided Prompt Distillation for Robust Segmentation with SAM

1. El Problema: La Fragilidad de los Prompts en el Entorno Clínico

Aunque modelos fundacionales como el Segment Anything Model (SAM) han demostrado capacidades extraordinarias de segmentación zero-shot, su rendimiento en imágenes médicas es altamente sensible a la calidad de los prompts (indicaciones).

En la práctica clínica real, los prompts rara vez son precisos (como puntos exactos o cajas delimitadoras perfectas). En su lugar, los radiólogos suelen utilizar anotaciones genéricas, como líneas centrales (centerlines), que son ruidosas, ambiguas y pueden extenderse hacia anatomías adyacentes o dejar fuera regiones críticas. Debido a que SAM sigue estrictamente las regiones indicadas, estos prompts ruidosos desvían al modelo, provocando segmentaciones incompletas o incorrectas.

2. Metodología: El Marco SPD (Saliency-Guided Prompt Distillation)

Para solucionar esto, los autores proponen SPD, un marco de dos etapas diseñado para emular el razonamiento de un experto médico, quien utiliza el contexto de las rebanadas (slices) adyacentes para validar una estructura.

Etapa I: Aprendizaje de Prioris Anatómicos (Anatomical Prior Learning)

• Se entrena un cabezal de saliencia (saliency head) ligero junto con adaptadores LoRA en el codificador de SAM.
• El objetivo no es realizar la segmentación final, sino aprender mapas de saliencia que identifiquen dónde se encuentra la estructura anatómica de manera confiable.
• Se utiliza una combinación de Dice Loss y Focal Loss para manejar el desequilibrio de clases y capturar regiones de interés.

Etapa II: Segmentación Guiada por Prompts (Prompt-Guided Segmentation)
Esta etapa utiliza los mapas de saliencia para realizar la Destilación de Prompts Contextuales (CPD), que consta de tres pasos:

1. Validación de Prompts Locales: Se filtran los prompts ruidosos de la rebanada actual, manteniendo solo aquellos que caen en regiones de alta saliencia según el mapa aprendido en la Etapa I.
2. Enriquecimiento de Prompts Contextuales: Si los prompts locales son insuficientes, el modelo busca en las rebanadas vecinas (anteriores y posteriores). Los prompts de estas rebanadas se validan contra la saliencia de la rebanada actual para asegurar que sean relevantes.
3. Formulación del Conjunto de Consenso: Se crea un conjunto de prompts robusto y "limpio" (combinando los locales validados y los contextuales enriquecidos) que se entrega al decodificador de SAM para la segmentación final.

Consistencia de Rebanada por Pares (Pairwise Slice Consistency - PSC):
Para asegurar que la segmentación sea coherente a lo largo del volumen 3D, se añade una función de pérdida que minimiza la diferencia entre las predicciones de rebanadas adyacentes, evitando errores de discontinuidad anatómica.

3. Contribuciones Clave

• Identificación de un nuevo cuello de botella: El estudio identifica que el problema no es solo la falta de datos, sino la falta de fiabilidad de los prompts en flujos de trabajo clínicos reales.
• Marco de Destilación de Prompts: La introducción de CPD permite transformar señales ruidosas en guías precisas mediante el uso de información contextual y saliencia anatómica.
• Robustez Volumétrica: El uso de la pérdida PSC garantiza la coherencia espacial sin imponer restricciones de suavidad global excesivas que podrían propagar errores.

4. Resultados Experimentales

El modelo fue evaluado en cuatro conjuntos de datos desafiantes (MRI y CT) que incluyen segmentación de íleon terminal (TI), tejido cicatricial cardíaco (Scar), embolia pulmonar (FUMPE) y riñones/tumores (KiTS).

• Superioridad sobre el estado del arte: SPD superó consistentemente a métodos supervisados convencionales (como nnUNet o TransUNet) y a adaptaciones de SAM (como MedSAM o MSA).
• Ganancias significativas: En el conjunto de datos de íleon terminal (TI), SPD logró un aumento del 11.08% en el coeficiente Dice (DSC) y una reducción drástica del error de distancia de Hausdorff (HD95) en comparación con los mejores métodos existentes.
• Efectividad del Consenso: Los experimentos de ablación demostraron que los prompts de consenso generados por el modelo son significativamente más efectivos que utilizar todos los puntos de las anotaciones clínicas originales (que son ruidosas).

5. Significado y Conclusión

La importancia de este trabajo radica en su aplicabilidad clínica. Al permitir que modelos potentes como SAM funcionen con anotaciones imperfectas y genéricas, SPD abre un camino práctico para desplegar modelos fundacionales en hospitales, donde la precisión absoluta en la anotación inicial es costosa y difícil de obtener, pero la información anatómica general está disponible.