Towards Realistic Open-Vocabulary Remote Sensing Segmentation: Benchmark and Baseline

Resumo Técnico: Para uma Segmentação de Imagens de Sensoriamento Remoto com Vocabulário Aberto Realista

1. Problema e Motivação

A segmentação semântica de imagens de sensoriamento remoto (RS) enfrenta desafios significativos ao tentar migrar de cenários de "conjunto fechado" (categorias pré-definidas) para "vocabulário aberto" (OVS), onde o modelo deve segmentar objetos baseados em prompts de texto arbitrários, incluindo classes não vistas durante o treinamento.

Os principais gargalos identificados são:

• Falta de Benchmarks Realistas: Os benchmarks existentes (como o OVRSISBenchV1) são limitados em escala, diversidade de cenas e cobertura de tarefas, não refletindo adequadamente as demandas de aplicações geoespaciais do mundo real (ex: resposta a desastres, planejamento urbano).
• Discrepância de Domínio: Imagens de sensoriamento remoto possuem características visuais e geométricas distintas das imagens naturais (visão de topo vs. visão ao nível dos olhos, orientação de objetos, escalas variadas). Modelos OVS pré-treinados em dados naturais (como CLIP) falham ao não serem invariantes a rotações e ao lidar com fundos complexos típicos de RS.
• Escassez de Dados e Desequilíbrio: A falta de grandes conjuntos de dados balanceados e anotados para treinamento limita a generalização dos modelos.

2. Metodologia e Propostas

Os autores propõem uma solução tripartida composta por um novo dataset, um novo benchmark e uma nova arquitetura de modelo.

A. OVRSIS95K (Dataset de Treinamento)

• Um novo dataset de grande escala contendo aproximadamente 95.000 pares de imagem-máscara.
• Cobre 35 categorias semânticas comuns distribuídas em 5 tipos de cena representativos: urbano (town), industrial, floresta, zona costeira (waterfront) e área baldia (wasteland).
• Pipeline de Anotação: Utiliza um processo semi-automático escalável que combina geração de legendas por IA (captioning), extração de máscaras e verificação humana, garantindo alta qualidade e diversidade semântica.

B. OVRSISBenchV2 (Novo Benchmark)

• Uma plataforma de avaliação unificada e expandida que agrupa mais de 170.000 imagens anotadas e 128 categorias.
• Inclui 10 conjuntos de dados downstream heterogêneos (satélite e UAV) para testar a generalização cruzada.
• Protocolos Orientados a Tarefas: Além da segmentação semântica padrão, o benchmark avalia tarefas específicas críticas: extração de edifícios, extração de estradas e detecção de inundações.
• O protocolo de avaliação exige que o modelo seja treinado no OVRSIS95K e testado em datasets com conjuntos de categorias parcialmente disjuntos, simulando cenários de vocabulário aberto realistas.

C. Pi-Seg (Baseline Proposta)

• Conceito: Perturbation-injected Segmentation (Segmentação com Injeção de Perturbação).
• Mecanismo Central: Em vez de depender de múltiplos codificadores externos pesados (como no trabalho anterior RSKT-Seg), o Pi-Seg melhora a transferibilidade através de aprendizado de perturbação guiada semanticamente.
• Arquitetura:
  1. Utiliza codificadores CLIP congelados para extrair características visuais e textuais.
  2. Introduz dois módulos leves de perturbação:
     • Text-SPM: Adiciona ruído aprendível aos embeddings de texto para ampliar o vizinhança semântica das categorias.
     • Image-SPM: Gera perturbações espaciais sensíveis ao contexto, guiadas pelo texto, para regularizar as características visuais densas.
  3. Constrói um mapa de custo (correspondência pixel-texto) refinado e agrega informações espaciais e de classe para produzir a segmentação final.
• Vantagem: O mecanismo atua como um "incentivo positivo", expandindo o espaço de características para cobrir variações de orientação e escala sem destruir a estrutura espacial, tornando o modelo mais robusto a ruídos e mudanças de domínio.

3. Resultados Experimentais

Os experimentos foram conduzidos no OVRSISBenchV1, no novo OVRSISBenchV2 e nas tarefas downstream.

• Desempenho no OVRSISBenchV2: O Pi-Seg alcançou o melhor desempenho médio (m-mIoU e m-mACC) entre todos os métodos comparados (incluindo OVS clássicos, métodos training-free e outros modelos de RS), superando consistentemente a linha de base RSKT-Seg e modelos como CAT-Seg e GSNet.
• Generalização: O modelo demonstrou forte capacidade de generalização para classes não vistas (unseen classes) e em cenários de alta resolução, onde a precisão de bordas e a coerência semântica são críticas.
• Eficiência: O Pi-Seg é significativamente mais leve em termos de parâmetros (ex: ~155M vs ~398M do RSKT-Seg para backbone ViT-B) e evita a sobrecarga computacional de inferência por sliding-window, mantendo uma velocidade de inferência (FPS) comparável aos modelos mais leves.
• Análise de Perturbação: Estudos de ablação mostraram que a combinação de perturbação de texto e imagem é essencial. O ruído injetado não é aleatório, mas atua como um incentivo semântico que aumenta a correlação nas regiões de interesse e suprime falsos positivos no fundo.
• Visualização: As máscaras geradas pelo Pi-Seg apresentam maior completude de região e alinhamento mais preciso com as bordas dos objetos em comparação com métodos concorrentes.

4. Contribuições Principais

1. OVRSIS95K: A criação de um dataset de treinamento massivo e balanceado que resolve a escassez de dados e o desequilíbrio de classes em benchmarks de RS existentes.
2. OVRSISBenchV2: A estabelecimento de um benchmark unificado, de grande escala e orientado a aplicações, que inclui protocolos de avaliação para tarefas críticas (edifícios, estradas, inundações) e cenários de generalização mais rigorosos.
3. Pi-Seg: A proposta de uma nova baseline eficiente e robusta que utiliza perturbação semântica guiada para melhorar a transferência de domínio, eliminando a necessidade de codificadores externos pesados e alcançando estado da arte em cenários complexos.

5. Significado e Impacto

Este trabalho representa um marco fundamental para a pesquisa em Segmentação de Vocabulário Aberto em Sensoriamento Remoto (OVRSIS).

• Padronização: Ao fornecer um benchmark realista e desafiador, o trabalho permite uma comparação justa e sistemática entre diferentes abordagens, superando as limitações de avaliações anteriores fragmentadas.
• Aplicabilidade Prática: A inclusão de tarefas específicas (como detecção de inundações) e a validação em cenários do mundo real tornam a pesquisa mais relevante para aplicações de GIS, monitoramento de desastres e planejamento urbano.
• Direção Futura: A demonstração de que perturbações semânticas controladas podem melhorar a generalização sem aumentar drasticamente a complexidade computacional abre novas vias para o desenvolvimento de modelos leves e robustos para observação da Terra.

Em suma, o artigo estabelece uma nova fundação para o campo, provando que a combinação de dados de alta qualidade, benchmarks realistas e mecanismos de regularização inteligente (como o Pi-Seg) é essencial para viabilizar a segmentação de imagens de satélite e drones em cenários de mundo aberto.