Seeing Through the Tool: A Controlled Benchmark for Occlusion Robustness in Foundation Segmentation Models

1. El Problema

En el entorno clínico de la endoscopia, los modelos de segmentación de imágenes basados en fundamentos (como la familia SAM) enfrentan un desafío crítico y subexplorado: la oclusión. Las estructuras anatómicas objetivo (como pólipos) a menudo están parcialmente ocultas por instrumentos quirúrgicos o tejidos superpuestos.

El problema central identificado es que las métricas de evaluación estándar (basadas en la superposición completa de la máscara, o amodal) son engañosas y potencialmente peligrosas en este contexto:

• Un modelo que "alucina" tejido sobre un instrumento quirúrgico puede obtener una puntuación alta de Dice (DSC) si coincide accidentalmente con la verdad fundamental oculta.
• Un modelo que rechaza correctamente el instrumento y segmenta solo el tejido visible puede ser penalizado injustamente por no cubrir la parte oculta.
• Actualmente, no existe un benchmark sistemático que cuantifique la robustez de estos modelos frente a la oclusión por instrumentos quirúrgicos en endoscopia.

2. Metodología

Los autores introducen OccSAM-Bench, un marco de trabajo controlado para evaluar modelos de segmentación bajo condiciones de oclusión sintética.

A. Generación de Oclusión Controlada

Se implementa un pipeline sintético que inyecta dos tipos de oclusión en tres niveles de severidad calibrados (Bajo: 0-20%, Medio: 20-40%, Alto: 40-60% del área objetivo):

1. Superposición de Instrumentos Quirúrgicos: Se utilizan máscaras binarias reales de instrumentos (del dataset Kvasir-Instrument) que se superponen, escalan y rotan sobre las imágenes de pólipos. Esto simula la confusión visual y la presencia de objetos extraños.
2. Recorte (Cutout): Se elimina contenido de la imagen dentro de la región objetivo sin introducir objetos externos, aislando el efecto de la falta de datos.

B. Protocolo de Evaluación de Tres Regiones

Para superar las limitaciones de las métricas tradicionales, proponen un protocolo que descompone el rendimiento en tres máscaras complementarias:

1. Máscara Visible ($M_{vis}$): La verdad fundamental que es realmente visible. Evalúa si el modelo segmenta el tejido visible y rechaza el instrumento (evitando falsos positivos en el área del instrumento).
2. Máscara Invisible ($M_{inv}$): La verdad fundamental oculta detrás del oclusor. Evalúa la capacidad del modelo para predecir en regiones no visibles (completación amodal).
3. Máscara Completa ($M_{full}$): La unión de ambas. Se demuestra que esta métrica puede ser engañosa si el modelo predice incorrectamente sobre el instrumento.

Héurística clave: Un alto puntaje en la región invisible solo se considera una "completación amodal" genuina si el modelo mantiene simultáneamente un alto puntaje en la región visible. De lo contrario, indica una sobre-segmentación descontrolada.

C. Conjuntos de Datos y Modelos

• Datasets: Tres benchmarks públicos de pólipos (CVC-300, CVC-ColonDB, ETIS-LaribPolypDB).
• Modelos: Se evalúan 7 modelos zero-shot (sin ajuste fino en los datasets objetivo):
  • Propósito General: SAM, SAM 2, SAM 3.
  • Adaptados a Medicina: MedSAM, SAM-Med2D, MedSAM2, MedSAM3.

3. Contribuciones Clave

1. OccSAM-Bench: El primer benchmark diseñado específicamente para evaluar la robustez de modelos fundacionales frente a la oclusión por instrumentos quirúrgicos en endoscopia.
2. Protocolo de Evaluación de Tres Regiones: Una métrica novedosa que penaliza la sobre-segmentación clínicamente peligrosa (predecir tejido sobre instrumentos) y revela comportamientos que las métricas estándar ocultan.
3. Identificación de Arquetipos de Comportamiento: La demostración de que la robustez no es uniforme y que la selección del modelo debe guiarse por la intención clínica (seguridad vs. inferencia de anatomía oculta).

4. Resultados Principales

El análisis revela dos arquetipos de comportamiento distintos y un modelo que no se ajusta a ninguno:

A. Modelos Conscientes del Oclusor (Occluder-Aware)

• Modelos: SAM, SAM 2, SAM 3, MedSAM3.
• Comportamiento: Rechazan el instrumento como fondo y priorizan la delimitación precisa del tejido visible.
• Rendimiento: Logran los mejores puntajes en la métrica Visible-Only DSC. SAM 3 se destaca como el más robusto en general, manteniendo un alto rendimiento incluso bajo oclusión severa.
• Implicación: Ideales para navegación robótica segura donde es crítico no tocar instrumentos ni predecir tejido inexistente.

B. Modelos Ignorantes del Oclusor (Occluder-Agnostic)

• Modelos: MedSAM, MedSAM2.
• Comportamiento: Predicen activamente en las regiones ocultas, mostrando una tendencia a la completación amodal.
• Rendimiento: Obtienen altos puntajes en la métrica Invisible DSC, pero a menudo a costa de una precisión visible menor (sobre-segmentación).
• Caso Especial (MedSAM2): Es el único modelo que logra un equilibrio notable: mantiene una precisión visible competitiva mientras logra altos puntajes en la región invisible, probablemente debido a su estrategia de ajuste fino basada en video.
• Riesgo: Pueden ser peligrosos si se usan para navegación, ya que podrían "ilusionar" tejido sobre instrumentos.

C. Modelos con Rendimiento Deficiente

• Modelo: SAM-Med2D.
• Comportamiento: No se ajusta a ninguno de los arquetipos anteriores y sufre un colapso catastrófico en el rendimiento (degradación del 41-60% en DSC visible bajo alta oclusión). Esto sugiere una vulnerabilidad crítica introducida durante el ajuste fino en datasets médicos limpios, donde el modelo se sobreajusta a bordes de tejido no obstruidos.

D. Sensibilidad al Prompt

• Los prompts de caja (bounding box) superan consistentemente a los prompts de punto único.
• MedSAM colapsa casi por completo con prompts de punto único (DSC ~0.02), ya que fue entrenado principalmente con cajas, mientras que funciona aceptablemente con cajas.

5. Significado y Conclusión

El estudio demuestra que la dependencia de las puntuaciones de Dice completas (amodales) en la segmentación médica es engañosa y puede llevar a la selección de modelos clínicamente inseguros.

• Elección Clínica: La selección del modelo no debe basarse solo en el rendimiento en imágenes limpias, sino en la intención clínica:
  • Si el objetivo es la seguridad y la navegación (evitar colisiones con instrumentos), se deben elegir modelos Conscientes del Oclusor (ej. SAM 3, MedSAM3).
  • Si el objetivo es la estimación de anatomía oculta (diagnóstico de extensión de tejido), modelos como MedSAM2 podrían ser preferibles, siempre que se interpreten con cautela.
• Futuro: Se identifica una brecha crítica en los paradigmas de entrenamiento actuales: optimizar para imágenes limpias degrada la robustez composicional. Se requiere investigación futura para integrar la física óptica real y la oclusión dinámica en el entrenamiento de modelos fundacionales médicos.