S3OD: Towards Generalizable Salient Object Detection with Synthetic Data

Resumen Técnico: S3OD: Hacia la detección de objetos salientes generalizable con datos sintéticos

Planteamiento del Problema
La Detección de Objetos Salientes (SOD, por sus siglas en inglés) está fundamentalmente limitada por la escasez de datos. La creación de conjuntos de datos diversos y representativos requiere anotaciones manuales costosas y de precisión a nivel de píxel que pueden tomar hasta 10 horas por muestra. Además, las anotaciones suelen presentar ambigüedades e inconsistencias inherentes, ya que diferentes anotadores interpretan la saliencia de la escena de manera distinta. Esta escasez obliga a la comunidad a entrenar modelos separados para subtareas especializadas como la Segmentación de Imágenes Dicotómicas (DIS) y la SOD de Alta Resolución (HR-SOD), lo que conduce al sobreajuste específico de la tarea en lugar de a principios generalizables. Los enfoques de datos sintéticos existentes sufren limitaciones críticas: el etiquetado pseudo mediante el cual se trabaja tradicionalmente está limitado por las capacidades del modelo profesor, la predicción directa de máscaras mediante modelos de difusión suele generar bordes ruidosos e inconsistentes, y la generación condicionada por máscaras tiene dificultades con la diversidad. Además, la mayoría de las arquitecturas actuales imponen predicciones deterministas de salida única, ignorando la ambigüedad inherente de la tarea.

Metodología
Los autores proponen S3OD, un marco que comprende un conjunto de datos sintéticos a gran escala, un pipeline de generación iterativo y una arquitectura consciente de la ambigüedad.

1. Pipeline de Difusión de Conjunto de Datos Multimodal:
   En lugar de depender de modelos profesores externos o de la extracción de atención ruidosa, el pipeline aprovecha el proceso generativo mismo para extraer la supervisión. Utilizando un transformador de difusión FLUX, el sistema genera imágenes y simultáneamente extrae tres modalidades complementarias para decodificar máscaras de alta calidad:

   • Mapas de Características de FLUX DiT: Extraídos de capas específicas del transformador de flujo único para codificar la comprensión espacial multiescala y la composición estructural.
   • Mapas de Atención de Conceptos: Derivados de tokens de conceptos estáticos (por ejemplo, "objeto" frente a "fondo") para proporcionar una localización semántica interpretable.
   • Características Visuales de DINO-v3: Extraídas de las imágenes generadas para capturar la semántica de nivel de objeto detallada mediante el aprendizaje autosupervisado.
     Estas modalidades se fusionan y se alimentan a un decodificador DPT para producir anotaciones a nivel de píxel, asegurando una fuerte alineación entre la imagen y la etiqueta.

2. Marco de Generación Iterativa:
   La generación de datos no es estática. Un bucle de retroalimentación iterativo ajusta dinámicamente la distribución de muestreo basándose en el rendimiento del modelo descendente. Tras entrenar con un lote sintético, el modelo se evalúa en categorías no incluidas en el entrenamiento. Las categorías donde el modelo tiene un desempeño pobre reciben un mayor peso en la siguiente ronda de generación, priorizando los casos desafiantes y evolucionando continuamente el conjunto de datos para abordar las debilidades del modelo.

3. Arquitectura Consciente de la Ambigüedad (S3ODNet):
   El modelo adopta un backbone DPT ligero inicializado con pesos de DINO-v3. Para abordar la ambigüedad inherente de la SOD (donde pueden existir múltiples interpretaciones válidas), la arquitectura emplea un decodificador de múltiples máscaras. En lugar de una única salida determinista, predice $N$ candidatas de máscara y un vector correspondiente de puntuaciones de IoU estimadas.

   • Entrenamiento: La función de pérdida aplica una estrategia de "mejor coincidencia" donde la pérdida primaria apunta a la predicción con el mayor IoU respecto a la verdad de campo (ground truth). Para evitar que las ramas no utilizadas se degeneren, se aplica una pérdida de asignación relajada con decaimiento exponencial en todas las ramas.
   • Inferencia: El modelo estima las puntuaciones de IoU para todas las predicciones y selecciona la máscara con la puntuación más alta.

Contribuciones Clave

• Conjunto de Datos S3OD: Un conjunto de datos sintéticos a gran escala que contiene más de 139,000 imágenes de alta resolución con anotaciones a nivel de píxel. Este volumen supera el tamaño combinado de todos los conjuntos de datos de SOD existentes. El conjunto de datos se genera mediante el pipeline de difusión multimodal y se refina a través de un proceso de filtrado de calidad de múltiples etapas (comprobaciones de consistencia, evaluación de calidad de máscara mediante VLM y validación semántica).
• Síntesis de Datos Iterativa: Un marco impulsado por retroalimentación que prioriza las categorías difíciles, asegurando que la distribución de los datos sintéticos evolucione para cubrir las debilidades del modelo.
• Arquitectura Consciente de la Ambigüedad: Un decodificador de múltiples máscaras simplificado que maneja múltiples interpretaciones válidas de la saliencia, yendo más allá de las predicciones deterministas.
• Generalización entre Tareas: El enfoque unifica DIS y HR-SOD, demostrando que un solo modelo entrenado con datos sintéticos puede generalizar eficazmente a través de diferentes dominios de resolución y tareas.

Resultados Experimentales

• Generalización entre Conjuntos de Datos: Los modelos entrenados únicamente con el conjunto de datos sintético S3OD logran una reducción del 20 al 50% en el error (MAE) en comparación con los modelos entrenados con conjuntos de datos de subtareas del mundo real (DIS-5K o benchmarks de SOD) cuando se evalúan en benchmarks de transferencia de conjunto de datos.
• Rendimiento de Vanguardia (SOTA): Cuando se ajustan con datos reales, S3ODNet alcanza nuevos resultados de vanguardia en DIS-5K y varios benchmarks de HR-SOD (UHRSOD, HRSOD-TE, DUTS-TE, DUT-OMRON), superando a métodos como BiRefNet e InSPyReNet.
• Transferencia Zero-Shot: El modelo entrenado solo con datos sintéticos de S3OD demuestra una fuerte generalización zero-shot a la Detección de Objetos Camuflados (COD), superando a los modelos entrenados con conjuntos de datos reales de COD. El ajuste fino con datos de COD produce además resultados SOTA.
• Estudios de Ablación:
  • Modalidades: Combinar las tres fuentes de características (DiT, Concepto, DINO-v3) es esencial; las modalidades individuales son insuficientes para la decodificación de máscaras de alta resolución.
  • Generación Iterativa: Tres rondas de generación iterativa mejoran consistentemente el rendimiento en comparación con la generación de una sola ronda.
  • Arquitectura: El decodificador de múltiples máscaras con 3 ramas y el backbone DINO-v3 supera a las variantes de salida única y a los backbones basados en Swin.

Significancia y Reivindicaciones
El artículo afirma que el cuello de botella fundamental en la SOD es la escasez de datos, no la complejidad del modelo. Al aprovechar los modelos generativos para crear un conjunto de datos sintéticos masivo y de alta calidad, y una arquitectura que respeta la ambigüedad de la tarea, los autores demuestran que los datos sintéticos pueden complementar e incluso superar a las anotaciones manuales para impulsar la generalización. El trabajo sugiere que el rendimiento "saturado" en los pequeños y específicos benchmarks académicos es a menudo un resultado del sobreajuste, y que el verdadero progreso requiere evaluar la generalización entre dominios. El pipeline propuesto ofrece una solución escalable para tareas de predicción densa donde la obtención de la verdad de campo es la barrera principal.