S3OD: Towards Generalizable Salient Object Detection with Synthetic Data

Resumo Técnico: S3OD: Rumo à Detecção de Objetos Salientes Generalizável com Dados Sintéticos

Problema
A Detecção de Objetos Salientes (SOD - Salient Object Detection) é fundamentalmente limitada pela escassez de dados. Criar conjuntos de dados diversos e representativos exige anotações manuais caras e de precisão pixel a pixel, que podem levar até 10 horas por amostra. Além disso, as anotações frequentemente exibem ambiguidades e inconsistências inerentes, pois diferentes anotadores interpretam a saliência da cena de formas distintas. Essa escassez força a comunidade a treinar modelos separados para subtarefas especializadas, como Segmentação de Imagem Dicotômica (DIS) e SOD de Alta Resolução (HR-SOD), levando ao overfitting de tarefas específicas em vez de princípios generalizáveis. As abordagens atuais de dados sintéticos sofrem de limitações críticas: a rotulagem pseudo-etiquetada tradicional é limitada pelas capacidades do modelo professor, a predição direta de máscara via modelos de difusão frequentemente gera bordas ruidosas e inconsistentes, e a geração condicionada a máscaras luta com a diversidade. Adicionalmente, a maioria das arquiteturas atuais impõe predições determinísticas de saída única, ignorando a ambiguidade inerente da tarefa.

Metodologia
Os autores propõem o S3OD, um framework composto por um conjunto de dados sintéticos de larga escala, um pipeline de geração iterativo e uma arquitetura consciente da ambiguidade.

1. Pipeline de Difusão de Conjunto de Dados Multimodal:
   Em vez de depender de modelos professores externos ou extração de atenção ruidosa, o pipeline aproveita o próprio processo generativo para extrair supervisão. Utilizando um transformador de difusão FLUX, o sistema gera imagens e simultaneamente extrai três modalidades complementares para decodificar máscaras de alta qualidade:

   • Mapas de Características FLUX DiT: Extraídos de camadas específicas de transformer de fluxo único para codificar compreensão espacial de múltiplas escalas e composição estrutural.
   • Mapas de Atenção de Conceito: Derivados de tokens de conceitos estáticos (ex: "objeto" vs. "fundo") para fornecer localização semântica interpretável.
   • Características Visuais DINO-v3: Extraídas das imagens geradas para capturar semântica de nível de objeto detalhada via aprendizado autossupervisionado.
     Estas modalidades são fundidas e alimentadas em um decodificador DPT para produzir anotações pixel a pixel, garantindo um forte alinhamento entre imagem e rótulo.

2. Framework de Geração Iterativa:
   A geração de dados não é estática. Um loop de feedback iterativo ajusta dinamicamente a distribuição de amostragem com base no desempenho do modelo downstream. Após o treinamento em um lote sintético, o modelo é avaliado em categorias retidas (held-out); categorias onde o modelo apresenta baixo desempenho recebem pesos maiores na próxima rodada de geração, priorizando casos desafiadores e evoluindo continuamente o conjunto de dados para endereçar as fraquezas do modelo.

3. Arquitetura Consciente da Ambiguidade (S3ODNet):
   O modelo adota um backbone DPT leve inicializado com pesos DINO-v3. Para lidar com a ambiguidade inerente da SOD (onde múltiplas interpretações válidas podem existir), a arquitetura emprega um decodificador de múltiplas máscaras. Em vez de uma única saída determinística, ele prediz $N$ candidatos de máscara e um vetor correspondente de pontuações de IoU estimadas.

   • Treinamento: A função de perda aplica uma estratégia de "melhor correspondência" (best-match), onde a perda primária visa a predição com o maior IoU em relação ao ground truth. Para evitar que os ramos não utilizados degenerem, uma perda de atribuição relaxada com decaimento exponencial é aplicada a todos os ramos.
   • Inferência: O modelo estima as pontuações de IoU para todas as predições e seleciona a máscara de maior pontuação.

Principais Contribuições

• Dataset S3OD: Um conjunto de dados sintéticos de larga escala contendo mais de 139.000 imagens de alta resolução com anotações pixel a pixel. Este volume excede o tamanho combinado de todos os datasets de SOD existentes. O dataset é gerado via o pipeline de difusão multimodal e refinado através de um processo de filtragem de qualidade em múltiplos estágios (verificações de consistência, avaliação de qualidade de máscara via VLM e validação semântica).
• Síntese de Dados Iterativa: Um framework baseado em feedback que prioriza categorias difíceis, garantindo que a distribuição de dados sintéticos evolua para cobrir as fraquezas do modelo.
• Arquitetura Consciente da Ambiguidade: Um decodificador de múltiplas máscaras simplificado que lida com múltiplas interpretações válidas de saliência, indo além das predições determinísticas.
• Generalização entre Tarefas: A abordagem unifica DIS e HR-SOD, demonstrando que um único modelo treinado em dados sintéticos pode generalizar efetivamente através de diferentes domínios de resolução e tarefas.

Resultados Experimentais

• Generalização Cross-Dataset: Modelos treinados unicamente no dataset sintético S3OD alcançam uma redução de 20–50% no erro (MAE) em comparação com modelos treinados em datasets de subtarefas do mundo real (DIS-5K ou benchmarks de SOD) quando avaliados em benchmarks de cross-dataset.
• Desempenho de Estado da Arte (SOTA): Quando ajustados (fine-tuned) em dados reais, o S3ODNet atinge novos resultados de estado da arte em DIS-5K e vários benchmarks de HR-SOD (UHRSOD, HRSOD-TE, DUTS-TE, DUT-OMRON), superando métodos como BiRefNet e InSPyReNet.
• Transferência Zero-Shot: O modelo treinado apenas com os dados sintéticos S3OD demonstra forte generalização zero-shot para Detecção de Objetos Camuflados (COD), superando modelos treinados em datasets reais de COD. O ajuste fino em dados de COD produz, adicionalmente, resultados SOTA.
• Estudos de Ablação:
  • Modalidades: Combinar as três fontes de características (DiT, Conceito, DINO-v3) é essencial; modalidades individuais são insuficientes para a decodificação de máscaras de alta resolução.
  • Geração Iterativa: Três rodadas de geração iterativa melhoram consistentemente o desempenho em relação à geração de rodada única.
  • Arquitetura: O decodificador de múltiplas máscaras com 3 ramos e o backbone DINO-v3 supera variantes de saída única e backbones baseados em Swin.

Significância e Alegações
O artigo afirma que o gargalo fundamental na SOD é a escassez de dados, não a complexidade do modelo. Ao alavancar modelos generativos para criar um conjunto de dados sintéticos massivo e de alta qualidade, e uma arquitetura que respeita a ambiguidade da tarefa, os autores demonstram que dados sintéticos podem complementar e até superar anotações manuais no impulsionar da generalização. O trabalho sugere que o desempenho "saturado" em benchmarks acadêmicos pequenos e específicos é frequentemente um resultado de overfitting, e que o progresso real requer a avaliação da generalização cross-domain. O pipeline proposto oferece uma solução escalável para tarefas de predição densa onde a obtenção de ground truth é a principal barreira.