Resumen Técnico: Detección de Objetos Camuflados Débilmente Supervisada Basada en el Modelo SAM y Guía de Máscaras

1. Declaración del Problema

La Detección de Objetos Camuflados (COD) implica la segmentación a nivel de píxel de objetos que se funden perfectamente con su entorno en términos de textura, color y forma. Aunque el aprendizaje profundo ha avanzado en COD, los métodos totalmente supervisados existentes dependen de anotaciones a nivel de píxel intensivas en mano de obra, las cuales son costosas de obtener. Por el contrario, los métodos débilmente supervisados (WSCOD) que utilizan anotaciones gruesas (puntos, garabatos o cajas delimitadoras) a menudo sufren degradación del rendimiento, manifestándose específicamente como bordes ambiguos y detecciones omitidas de objetos pequeños o altamente similares. Además, aunque el Modelo Segmentar Cualquier Cosa (SAM) ofrece capacidades generales de segmentación potentes, lucha con las tareas de COD debido a la alta similitud intrínseca entre los objetos camuflados y los fondos, clasificando a menudo regiones de fondo como objetos (predicciones redundantes).

2. Metodología

Los autores proponen un marco que comprende dos componentes principales: BoxSAM para la generación de pseudoetiquetas de alta calidad y MGNet (Red Guiada por Máscaras) para la tarea de segmentación.

2.1. BoxSAM: Generación de Pseudoetiquetas

Para abordar el desafío de la supervisión débil, los autores introducen BoxSAM, que aprovecha las anotaciones de cajas delimitadoras como prompts para el Modelo Segmentar Cualquier Cosa (SAM).

• Estrategia de Anotación: Se utilizan cajas delimitadoras en lugar de garabatos o puntos porque son menos susceptibles a factores subjetivos humanos (por ejemplo, la longitud del garabato o la colocación del punto) y definen la caja envolvente mínima del objeto.
• Estrategia de Procesamiento de Redundancia (RPS): Dado que SAM a menudo genera predicciones de fondo redundantes en escenarios de COD, se emplea una estrategia de postprocesamiento.
  1. Las pseudoetiquetas iniciales son generadas por SAM utilizando prompts de cajas delimitadoras.
  2. Las etiquetas donde el número de objetos detectados coincide con la cantidad de anotaciones se utilizan directamente para el entrenamiento.
  3. Las etiquetas con cantidades desajustadas (que indican redundancia) se procesan utilizando una MGNet entrenada. Las máscaras predichas se utilizan para filtrar la salida inicial de SAM: los píxeles en las regiones redundantes que no se superponen con la predicción de MGNet se establecen en cero, mientras que las regiones superpuestas se retienen. Esto refina las pseudoetiquetas en una supervisión a nivel de píxel de alta calidad.

2.2. MGNet: Segmentación Guiada por Máscaras

MGNet está diseñado para refinar la segmentación utilizando las máscaras generadas por el pipeline de BoxSAM como guía. Consiste en tres módulos novedosos:

• Decodificador de Máscaras en Cascada (CMD): Este módulo fusiona progresivamente características multiescala del codificador (PVTv2). Integra información semántica de alto nivel (mediante remuestreo y concatenación) con información de detalle de bajo nivel (procesada mediante CBAM) para generar una máscara inicial ($P_4$). Esta máscara sirve como una guía global para el refinamiento posterior.
• Módulo de Mejora del Contexto (CEM): Para mitigar las detecciones omitidas causadas por la pérdida de información durante el submuestreo, CEM emplea capas convolucionales con tasas de dilatación variables para expandir el campo receptivo. También incorpora un mecanismo de Atención de Bloque (BA) para mejorar la extracción de detalles de alta frecuencia, compensando el contexto perdido.
• Módulo de Agregación de Características Guiado por Máscaras (MFAM): Este módulo aborda la ambigüedad de los bordes. Utiliza la máscara inicial ($P_4$) para generar mapas de atención de primer plano y fondo. Estos mapas guían la agregación de características de diferentes niveles, fusionando características de niveles adyacentes para producir predicciones con bordes mejorados.

2.3. Entrenamiento y Pérdida

El modelo se entrena utilizando una función de pérdida híbrida que combina la Entropía Cruzada Binaria Ponderada (wBCE) y la Intersección sobre Unión Ponderada (wIoU). En el escenario débilmente supervisado, la verdad fundamental ($G$) se reemplaza por las pseudoetiquetas refinadas generadas por BoxSAM.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. BoxSAM: Un método WSCOD que integra anotaciones de cajas delimitadoras con el modelo SAM. Introduce una Estrategia de Procesamiento de Redundancia para filtrar las predicciones de fondo erróneas de SAM, generando pseudoetiquetas de alta calidad para el entrenamiento.
2. MGNet: Una arquitectura de red novedosa que utiliza máscaras iniciales como guía. Cuenta con el Decodificador de Máscaras en Cascada (CMD) para la generación progresiva de máscaras, el Módulo de Mejora del Contexto (CEM) para reducir las detecciones omitidas y el Módulo de Agregación de Características Guiado por Máscaras (MFAM) para resolver la ambigüedad de los bordes mediante la fusión guiada de características.
3. Rendimiento: El método logra un rendimiento de vanguardia (SOTA) en WSCOD en tres conjuntos de datos estándar (CAMO, COD10K, NC4K) y demuestra resultados superiores en SOD débilmente supervisado utilizando supervisión de cajas delimitadoras. Además, los autores validan la generalizabilidad del modelo en tareas de segmentación de pólipos y detección de defectos industriales.

4. Resultados Experimentales

Se realizaron experimentos extensos en tres conjuntos de datos de COD y cuatro conjuntos de datos de SOD.

• Rendimiento WSCOD: BoxSAM superó a los métodos débilmente supervisados existentes (que utilizan supervisión por puntos, garabatos y cajas delimitadoras). En el conjunto de datos CAMO, mejoró la métrica $S_\alpha$ en un 2.6% sobre el método de caja delimitadora subóptimo (SAM-COD) y en un 3.8% sobre el método subóptimo basado en puntos.
• Rendimiento Totalmente Supervisado: MGNet, cuando se entrena con verdad fundamental, superó a los métodos actuales SOTA de COD basados en CNN y Transformer. Por ejemplo, utilizando PVTv2_B2 como columna vertebral, logró mejoras promedio de 1.3% en $S_\alpha$ y 2.3% en $F_\beta$ sobre el método subóptimo MSCAF-Net.
• Estudios de Ablación:
  • Eliminar la Estrategia de Procesamiento de Redundancia (RPS) resultó en una caída del rendimiento, confirmando su necesidad para la calidad de las etiquetas.
  • Reemplazar MGNet con otras columnas vertebrales (SINet, HitNet, etc.) produjo resultados inferiores, validando el diseño específico de MGNet.
  • Las ablaciones individuales de módulos confirmaron que CMD, CEM y MFAM contribuyen significativamente a la claridad de los bordes y la completitud de la detección.
• Eficiencia: MGNet demostró una complejidad computacional (FLOPs) menor y menos parámetros en comparación con varios competidores basados en Transformer.
• Aplicaciones: El modelo mostró un rendimiento mejorado en la segmentación de pólipos (CVC-ColonDB, CVC-ClinicDB) y la detección de defectos (CDS2K) en comparación con modelos SOTA especializados en esos dominios.

5. Significado y Limitaciones

Los autores afirman que su trabajo proporciona un compromiso viable entre la eficiencia de anotación y la precisión de detección para objetos camuflados. Al aprovechar las capacidades de generalización de SAM y refinar sus salidas mediante una estrategia de redundancia especializada y una red guiada por máscaras, el método equilibra efectivamente la compensación entre el costo de la anotación a nivel de píxel y la necesidad de una segmentación precisa.

Sin embargo, el artículo reconoce modestamente las limitaciones. Si bien la estrategia de procesamiento de redundancia mejora la salida de SAM, SAM aún presenta casos de fallo en COD, como errores de segmentación o la incapacidad de identificar objetos altamente camuflados cuando se le solicita con cajas delimitadoras. Los autores sugieren que la investigación futura debería centrarse en mejorar la precisión de las pseudoetiquetas iniciales, potencialmente combinando múltiples métodos de anotación como prompts para modelos grandes.