OilSAM2: Memory-Augmented SAM2 for Scalable SAR Oil Spill Detection

1. Problema e Contexto

A detecção de derrames de óleo em imagens de Radar de Abertura Sintética (SAR) é fundamental para o monitoramento ambiental e resposta a emergências, dada a capacidade do SAR de operar independentemente de condições climáticas e de luz. No entanto, a segmentação automática enfrenta desafios significativos:

• Variabilidade de Aparência: Os derrames de óleo apresentam heterogeneidade em múltiplas escalas (textura fina, padrões estruturais e representações semânticas).
• Falta de Continuidade Temporal: Ao contrário de vídeos, as coleções de imagens SAR para monitoramento são frequentemente desordenadas e não possuem coerência temporal estrita.
• Limitações dos Modelos Atuais:
  • Modelos baseados em CNNs e Transformers (como U-Net, DeepLab) têm alto custo computacional ou dificuldade em capturar dependências de longo alcance eficientemente.
  • Modelos Foundation como o Segment Anything Model (SAM) operam em imagens isoladas, não reutilizando informações entre cenas.
  • Variantes com memória como o SAM2 assumem coerência temporal; quando aplicados a coleções SAR desordenadas, sofrem de deriva semântica (semantic drift), onde informações irrelevantes (como ruído de speckle ou estado do mar específico) são reutilizadas incorretamente, degradando o desempenho.

2. Metodologia: OILSAM2

O artigo propõe o OilSAM2, uma arquitetura baseada no SAM2, mas adaptada especificamente para o monitoramento de derrames de óleo em imagens SAR desordenadas. O framework introduz duas inovações principais:

A. Banco de Memória Hierárquico Consciente de Recursos (Hierarchical Feature-Aware Memory Bank)

Para lidar com a heterogeneidade das características dos derrames de óleo, o modelo não utiliza um único espaço de memória. Em vez disso, ele organiza a memória em três níveis distintos, correspondentes às saídas do codificador de imagem:

1. Nível de Textura (tex): Captura estatísticas de speckle e texturas finas para detectar manchas fragmentadas.
2. Nível de Estrutura (str): Captura padrões morfológicos de médio nível (formas alongadas).
3. Nível Semântico (sem): Captura representações de alto nível para suprimir fenômenos visualmente semelhantes (look-alikes).
   Cada nível de característica interage exclusivamente com seu grupo de memória correspondente via atenção, preservando a especificidade de cada nível.

B. Fusão Adaptativa de Escala

Como as contribuições de cada nível de memória variam dependendo do estado do mar e da morfologia do óleo, o modelo introduz um módulo de fusão adaptativa:

• Realiza a recuperação de memória independentemente em cada nível.
• Calcula uma pontuação de resposta baseada na norma L1 das características recuperadas.
• Normaliza essas pontuações para obter pesos de fusão dinâmicos ($\gamma$), combinando as representações de textura, estrutura e semântica de forma ponderada antes da decodificação final.

C. Estratégia de Atualização de Memória Consistente em Estrutura-Semântica

Para mitigar a deriva semântica causada pela natureza desordenada das imagens SAR, o modelo não atualiza a memória após cada previsão. Em vez disso, utiliza uma estratégia de atualização seletiva baseada em confiabilidade:

• Descritores: Mantém protótipos leves de estrutura e semântica da memória atual.
• Métricas de Discrepância: Calcula a diferença semântica (distância cosseno) e a variação estrutural (magnitude do gradiente) entre a imagem atual e a memória.
• Atualização Condicional: A memória é atualizada apenas se as discrepâncias ultrapassarem certos limiares ($\tau$). Quando atualizada, utiliza uma média móvel exponencial (EMA) para suavizar as mudanças e evitar saltos abruptos devido ao ruído SAR.

3. Contribuições Principais

1. Primeira Adaptação do SAM2 para SAR: Propõe o primeiro framework baseado em memória (SAM2) especificamente projetado para coleções de imagens SAR desordenadas, superando a limitação de coerência temporal.
2. Design de Memória Estruturada: Introduz um banco de memória multi-escala que separa explicitamente texturas, estruturas e semântica, permitindo a reutilização robusta de informações cruzadas entre imagens.
3. Mecanismo de Atualização Robusto: Desenvolve uma estratégia de atualização que previne a propagação de artefatos específicos da cena (como estados do mar), garantindo estabilidade em cenários de monitoramento ruidosos.
4. Desempenho Superior: Demonstra que a combinação de fusão adaptativa e atualização controlada supera significativamente os métodos baseados em CNN, Transformers e outros modelos SAM.

4. Resultados Experimentais

O OilSAM2 foi avaliado em dois conjuntos de dados públicos: M4D e Deep-SAR Oil Spill (SOS).

• Conjunto de Dados M4D:

  • O OilSAM2 alcançou um mIoU de 72,62%, superando o estado da arte anterior (SAM-OIL com 69,52% e OSDMamba com 70,25%).
  • Houve um aumento de 14,32% no IoU específico para "Oil Spill" em comparação com o SAM-OIL, demonstrando eficácia na segmentação de morfologias complexas.
  • O modelo manteve desempenho competitivo em outras categorias (terra, navios, look-alikes), indicando boa generalização.

• Conjunto de Dados SOS (PALSAR e Sentinel-1):

  • O modelo obteve o melhor desempenho em todas as métricas (mIoU, F1-score, Recall, Precisão).
  • No PALSAR, alcançou 84,20% de mIoU, superando modelos como U-Net (81,63%), DeepLabv3 (81,79%) e até o Medical SAM2 (82,14%).
  • Os resultados qualitativos mostraram bordas mais claras e melhor detecção de manchas pequenas e fragmentadas sob condições marinhas complexas.

• Estudo de Ablação:

  • A análise confirmou que os três componentes (Fusão Multi-escala, Banco de Memória Multi-escala e Atualização Consistente) são complementares.
  • A combinação de todos os componentes resultou no melhor desempenho, provando que a estruturação da memória e o controle de atualização são essenciais para a robustez.

5. Significado e Impacto

O trabalho OilSAM2 representa um avanço significativo na detecção de derrames de óleo via SAR. Ao resolver o problema da deriva semântica em dados desordenados e ao explorar a heterogeneidade de características através de uma memória hierárquica, o modelo oferece uma solução escalável e robusta para o monitoramento ambiental em larga escala. A capacidade de reutilizar informações entre imagens sem a necessidade de coerência temporal torna o sistema ideal para operações reais de monitoramento, onde os dados são frequentemente processados como coleções de imagens independentes. O código fonte foi disponibilizado publicamente, facilitando a reprodutibilidade e o avanço futuro na área.