Resumo Técnico: Detecção de Objetos Camuflados com Supervisão Fraca Baseada no Modelo SAM e Orientação por Máscaras

1. Declaração do Problema

A Detecção de Objetos Camuflados (COD) envolve a segmentação ao nível de pixel de objetos que se misturam perfeitamente com o seu entorno em termos de textura, cor e forma. Embora o aprendizado profundo tenha avançado a COD, os métodos totalmente supervisionados existentes dependem de anotações ao nível de pixel intensivas em mão de obra, que são custosas de obter. Por outro lado, os métodos com supervisão fraca (WSCOD) que utilizam anotações grosseiras (pontos, rabiscos ou caixas delimitadoras) frequentemente sofrem degradação de desempenho, manifestando-se especificamente como bordas ambíguas e falhas na detecção de objetos pequenos ou altamente similares. Além disso, embora o Modelo Segmentar Qualquer Coisa (SAM) ofereça capacidades poderosas de segmentação geral, ele luta em tarefas de COD devido à alta similaridade intrínseca entre objetos camuflados e fundos, classificando frequentemente erroneamente regiões de fundo como objetos (previsões redundantes).

2. Metodologia

Os autores propõem um framework composto por dois componentes principais: BoxSAM para geração de pseudo-rótulos de alta qualidade e MGNet (Rede Orientada por Máscaras) para a tarefa de segmentação.

2.1. BoxSAM: Geração de Pseudo-rótulos

Para abordar o desafio da supervisão fraca, os autores introduzem o BoxSAM, que aproveita anotações de caixas delimitadoras como prompts para o Modelo Segmentar Qualquer Coisa (SAM).

• Estratégia de Anotação: Caixas delimitadoras são usadas em vez de rabiscos ou pontos porque são menos suscetíveis a fatores subjetivos humanos (por exemplo, comprimento do rabisco ou colocação do ponto) e definem a caixa delimitadora mínima que envolve o objeto.
• Estratégia de Processamento de Redundância (RPS): Como o SAM frequentemente gera previsões de fundo redundantes em cenários de COD, uma estratégia de pós-processamento é empregada.
  1. Pseudo-rótulos iniciais são gerados pelo SAM usando prompts de caixa delimitadora.
  2. Rótulos onde o número de objetos detectados corresponde à contagem de anotações são usados diretamente para treinamento.
  3. Rótulos com contagens incompatíveis (indicando redundância) são processados usando uma MGNet treinada. As máscaras previstas são usadas para filtrar a saída inicial do SAM: pixels nas regiões redundantes que não se sobrepõem à previsão da MGNet são definidos como zero, enquanto as regiões sobrepostas são mantidas. Isso refina os pseudo-rótulos em supervisão ao nível de pixel de alta qualidade.

2.2. MGNet: Segmentação Orientada por Máscaras

A MGNet é projetada para refinar a segmentação usando as máscaras geradas pelo pipeline BoxSAM como orientação. Ela consiste em três módulos inovadores:

• Decodificador de Máscara em Cascata (CMD): Este módulo funde progressivamente características multi-escala do codificador (PVTv2). Ele integra informações semânticas de alto nível (via amostragem para cima e concatenação) com informações de detalhe de baixo nível (processadas via CBAM) para gerar uma máscara inicial ($P_4$). Esta máscara serve como um guia global para o refinamento subsequente.
• Módulo de Aprimoramento de Contexto (CEM): Para mitigar falhas na detecção causadas pela perda de informação durante a amostragem para baixo, o CEM emprega camadas convolucionais com taxas de dilatação variadas para expandir o campo receptivo. Ele também incorpora um mecanismo de Atenção de Bloco (BA) para aprimorar a extração de detalhes de alta frequência, compensando o contexto perdido.
• Módulo de Agregação de Características Orientado por Máscara (MFAM): Este módulo aborda a ambiguidade de bordas. Ele utiliza a máscara inicial ($P_4$) para gerar mapas de atenção de primeiro plano e de fundo. Esses mapas orientam a agregação de características de diferentes níveis, fundindo características de níveis adjacentes para produzir previsões com bordas aprimoradas.

2.3. Treinamento e Perda

O modelo é treinado usando uma função de perda híbrida combinando Entropia Cruzada Binária Ponderada (wBCE) e Interseção sobre União Ponderada (wIoU). No cenário de supervisão fraca, a verdade fundamental ($G$) é substituída pelos pseudo-rótulos refinados gerados pelo BoxSAM.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. BoxSAM: Um método WSCOD que integra anotações de caixas delimitadoras com o modelo SAM. Ele introduz uma Estratégia de Processamento de Redundância para filtrar previsões de fundo errôneas do SAM, gerando pseudo-rótulos de alta qualidade para treinamento.
2. MGNet: Uma arquitetura de rede inovadora que utiliza máscaras iniciais como orientação. Ela apresenta o Decodificador de Máscara em Cascata (CMD) para geração progressiva de máscaras, o Módulo de Aprimoramento de Contexto (CEM) para reduzir falhas na detecção e o Módulo de Agregação de Características Orientado por Máscara (MFAM) para resolver a ambiguidade de bordas através da fusão de características guiada.
3. Desempenho: O método alcança desempenho state-of-the-art (SOTA) em WSCOD em três conjuntos de dados padrão (CAMO, COD10K, NC4K) e demonstra resultados superiores em SOD com supervisão fraca usando supervisão por caixa delimitadora. Além disso, os autores validam a generalizabilidade do modelo em tarefas de segmentação de pólipos e detecção de defeitos industriais.

4. Resultados Experimentais

Extensos experimentos foram conduzidos em três conjuntos de dados de COD e quatro conjuntos de dados de SOD.

• Desempenho WSCOD: O BoxSAM superou métodos com supervisão fraca existentes (usando supervisão por ponto, rabisco e caixa delimitadora). No conjunto de dados CAMO, ele melhorou a métrica $S_\alpha$ em 2,6% sobre o método de caixa delimitadora subótimo (SAM-COD) e em 3,8% sobre o método baseado em ponto subótimo.
• Desempenho Totalmente Supervisionado: A MGNet, quando treinada com verdade fundamental, superou os métodos atuais SOTA de COD baseados em CNN e Transformer. Por exemplo, usando PVTv2_B2 como backbone, ela alcançou melhorias médias de 1,3% em $S_\alpha$ e 2,3% em $F_\beta$ sobre o método subótimo MSCAF-Net.
• Estudos de Ablação:
  • A remoção da Estratégia de Processamento de Redundância (RPS) resultou em queda de desempenho, confirmando sua necessidade para a qualidade do rótulo.
  • Substituir a MGNet por outros backbones (SINet, HitNet, etc.) produziu resultados inferiores, validando o design específico da MGNet.
  • Ablações de módulos individuais confirmaram que CMD, CEM e MFAM contribuem significativamente para a clareza das bordas e a completude da detecção.
• Eficiência: A MGNet demonstrou menor complexidade computacional (FLOPs) e menos parâmetros em comparação com vários concorrentes baseados em Transformer.
• Aplicações: O modelo mostrou desempenho aprimorado na segmentação de pólipos (CVC-ColonDB, CVC-ClinicDB) e detecção de defeitos (CDS2K) em comparação com modelos SOTA especializados nesses domínios.

5. Significado e Limitações

Os autores afirmam que seu trabalho fornece um compromisso viável entre eficiência de anotação e precisão de detecção para objetos camuflados. Ao aproveitar as capacidades de generalização do SAM e refinar suas saídas através de uma estratégia de redundância especializada e uma rede orientada por máscaras, o método equilibra efetivamente o trade-off entre o custo da anotação ao nível de pixel e a necessidade de segmentação precisa.

No entanto, o artigo reconhece modestamente limitações. Embora a estratégia de processamento de redundância melhore a saída do SAM, o SAM ainda exibe casos de falha em COD, como erros de segmentação ou a incapacidade de identificar objetos altamente camuflados quando solicitado com caixas delimitadoras. Os autores sugerem que pesquisas futuras devem focar em melhorar a precisão dos pseudo-rótulos iniciais, potencialmente combinando múltiplos métodos de anotação como prompts para grandes modelos.