Remote SAMsing: From Segment Anything to Segment Everything

1. Declaração do Problema

A aplicação do Modelo Segmentar Qualquer Coisa 2 (SAM2) a imagens de Sensoriamento Remoto (SR) em grande escala enfrenta dois gargalos críticos que impedem seu uso em ambientes de produção:

1. O Compromisso entre Qualidade e Cobertura: O Gerador Automático de Máscaras (AMG) do SAM2 filtra previsões com base nos escores previstos de Interseção sobre União (IoU) e estabilidade.
   • Limites estritos produzem máscaras de alta qualidade, mas deixam grandes porções da imagem não segmentadas (baixa cobertura, frequentemente 30–68%).
   • Limites relaxados aumentam a cobertura, mas introduzem máscaras de baixa qualidade e ruidosas.
   • Abordagens existentes de passagem única não conseguem alcançar simultaneamente alta cobertura e alta precisão sem ajuste manual.
2. Inconsistência Espacial (Artefatos de Telhas): Imagens de SR frequentemente abrangem dezenas de milhares de pixels, exigindo que sejam divididas em telhas (por exemplo, 1024×1024) para processamento.
   • Objetos que cruzam os limites das telhas são fragmentados.
   • Métodos padrão de costura frequentemente falham em reconciliar esses fragmentos em uma segmentação globalmente consistente, levando a "mega-segmentos" (fusões espúrias) ou objetos desconectados.

2. Metodologia: Remote SAMsing

Os autores propõem o Remote SAMsing, um pipeline de código aberto e zero-shot que resolve esses problemas sem modificar a arquitetura do SAM2 ou exigir dados de treinamento. O pipeline consiste em três componentes principais:

A. Segmentação Adaptativa Multi-Pass (Resolvendo a Cobertura)

Em vez de uma única passagem, o pipeline itera sobre cada telha usando uma estratégia de simplificação progressiva da cena:

• Mascaramento Preto: Após cada passagem, os pixels pertencentes às máscaras aceitas são pintados de preto. Isso remove objetos já segmentados, simplificando a cena para a próxima iteração.
• Solicitação em Grade Densa: Pontos de solicitação são colocados em uma grade uniforme $k \times k$, mas pontos que caem em pixels já segmentados (pretos) são descartados. Isso garante que as solicitações se concentrem em áreas residuais não segmentadas.
• Decaimento Adaptativo do Limiar: O pipeline começa com limites de qualidade estritos ($\tau_{start}$). Os limites são relaxados apenas (decrementados por $\Delta$) quando os ganhos de cobertura estagnam (caem abaixo de um limite $\epsilon$). Isso garante que os objetos mais salientes sejam capturados primeiro com alta precisão, enquanto passagens posteriores capturam áreas residuais com limites mais baixos.

B. Consistência Espacial via Preenchimento Contextual e Mesclagem (Resolvendo a Fragmentação)

• Preenchimento Contextual: As telhas são extraídas com uma sobreposição ($p$ pixels) em todos os lados. A segmentação é realizada na janela preenchida, mas apenas o núcleo central é mantido. Isso garante que objetos próximos às bordas sejam totalmente segmentados, permitindo que o algoritmo de mesclagem detecte contatos através dos limites das telhas.
• Mesclagem de Melhor Correspondência sem Parâmetros:
  • Em vez de mesclar todos os segmentos tocantes (o que causa fusões espúrias), o algoritmo utiliza uma estrutura Union-Find.
  • Para cada segmento em um limite de telha, ele identifica o vizinho com a maior área de contato (melhor correspondência).
  • Os segmentos mesclam apenas com seu único melhor vizinho. Isso lida com divisões 1:1 e divisões N:1 (um objeto fragmentado de um lado, inteiro do outro) sem exigir parâmetros ajustáveis.

C. Tamanho da Telha como Parâmetro de Escala Implícito

Os autores identificam que o tamanho da telha ($T$) atua como um parâmetro de escala. Como o SAM2 redimensiona as entradas para 1024×1024, reduzir o tamanho da telha efetivamente amplia os objetos no espaço de características, melhorando a detecção de objetos pequenos (por exemplo, carros) sem a necessidade do mecanismo multiescala embutido do SAM2 (crop_n_layers).

3. Contribuições Principais

1. Solução em Nível de Pipeline: Uma abordagem inovadora que alcança cobertura quase completa (91–98%) e alta consistência espacial sem ajuste fino do modelo fundamental.
2. Simplificação Iterativa: A estratégia de "máscara preta" rompe efetivamente o compromisso entre cobertura e qualidade, isolando regiões difíceis de segmentar para passagens subsequentes.
3. Reconciliação Robusta de Limites: Uma estratégia de mesclagem sem parâmetros que previne o problema de "mega-segmentos" comum na segmentação em telhas.
4. Avaliação Sistemática: A primeira análise abrangente do SAM2 em grandes imagens de SR em sete cenas, três resoluções espaciais (de 5 cm a 4,78 m) e duas composições espectrais (RGB e falso-color MNF).

4. Resultados Experimentais

O pipeline foi avaliado em ISPRS Potsdam (5 cm GSD), Brasília (24 cm GSD) e Agri-BR (4,78 m GSD, falso-color MNF).

• Cobertura: Aumentou de 30–68% (SAM2 de passagem única) para 91–98% em todas as cenas.
• Qualidade de Detecção (Det@0.5):
  • Objetos Discretos: Desempenho excelente em edifícios (95%), carros (82–93%) e campos agrícolas (95–100%).
  • Objetos Pequenos: Reduzir o tamanho da telha de 1.000 para 250 pixels melhorou a detecção de carros em Brasília de 56% para 85%, superando o mecanismo multiescala nativo do SAM2.
  • Classes Amorfas: Taxas de detecção mais baixas para classes "coisa" (por exemplo, vegetação baixa, superfícies impermeáveis) devido a limites difusos, mas alta Precisão Média do Segmento (ASA) (76–99%), indicando que os pixels são atribuídos corretamente mesmo que os limites dos objetos não sejam perfeitamente reconstruídos.
• Comparação com Baselines:
  • Superou significativamente os métodos de superpixels SLIC e Felzenszwalb em IoU de Limite (BIoU) e taxas de detecção.
  • Segmentos baseados no SAM2 alinham-se aos contornos dos objetos (estrutura aprendida) em vez de apenas gradientes espectrais.
• Escalabilidade: Processou com sucesso um mosaico de Potsdam de 1,94 bilhão de pixels (36.000 × 54.000 pixels) com 97% de cobertura e nenhuma degradação de qualidade, processando em ~20 horas em uma única GPU.
• Generalização: Alcançou 99,5% de ASA no Agri-BR usando imagens falso-color MNF, apesar do SAM2 ter sido treinado apenas em imagens RGB naturais.

5. Significado e Implicações

• Democratização da Análise de SR: O Remote SAMsing remove a necessidade de especialistas em domínio ajustarem manualmente parâmetros complexos do SAM2 (limites de IoU, densidade da grade). O pipeline é "plug-and-play" para imagens grandes.
• Geração de Superpixels para OBIA: A saída serve como uma entrada ideal de sobre-segmentação para Análise de Imagem Baseada em Objetos (OBIA). O alto BIoU garante que os segmentos não vazem através dos limites de classe, tornando-os adequados para classificação a jusante.
• Capacidade Zero-Shot: O método prova que modelos fundamentais podem ser aplicados a diversas modalidades de SR (incluindo falso-color e resoluções variadas) sem re-treinamento, desde que o pipeline de segmentação lide com questões de escala e cobertura.
• Trabalho Futuro: Os autores sugerem que, embora o pipeline resolva cobertura e consistência, melhorias futuras poderiam focar em processamento multiescala hierárquico para lidar melhor com cobertura do solo amorfa e objetos pequenos de muito alta resolução.

Em conclusão, o Remote SAMsing transforma o SAM2 de uma ferramenta de pesquisa baseada em patches em um motor pronto para produção para segmentação de sensoriamento remoto em grande escala, resolvendo os compromissos inerentes de cobertura, qualidade e consistência espacial através de um design de pipeline inteligente e sem parâmetros.