Open-Vocabulary Semantic Segmentation in Remote Sensing via Hierarchical Attention Masking and Model Composition

O artigo apresenta o ReSeg-CLIP, um método de segmentação semântica de vocabulário aberto para dados de sensoriamento remoto que, sem necessidade de treinamento adicional, supera o estado da arte ao combinar máscaras hierárquicas do SAM para refinar a atenção do CLIP e uma composição de modelos baseada em pesos derivados da qualidade representacional de prompts de texto.

O essencial

Imagine que você tem um super-herói chamado CLIP. Ele é extremamente inteligente e consegue olhar para uma foto e dizer o que está nela (um cachorro, um carro, uma árvore) apenas lendo uma descrição de texto. O problema é que esse herói foi treinado apenas com fotos do dia a dia (cachorros no parque, pessoas na rua). Quando você mostra a ele uma foto de satélite ou uma vista aérea de uma cidade, ele fica um pouco confuso. Ele vê as coisas de um jeito estranho, como se estivesse tentando entender um mapa de uma cidade olhando para um prato de macarrão.

Além disso, quando ele tenta pintar o mapa inteiro (dizer o que é cada pedacinho da foto), ele às vezes "alucina". Ele pode olhar para um pedaço de telhado e, em vez de focar apenas no telhado, começar a prestar atenção em uma árvore que está longe, porque a conexão mental dele está bagunçada.

Os autores deste artigo criaram uma nova ferramenta chamada ReSeg-CLIP para consertar esses problemas, e o melhor de tudo: sem precisar treinar o herói de novo (o que seria como ter que mandá-lo para a escola por meses). Eles fizeram isso usando duas "mágicas" principais:

1. O "Óculos de Foco Hierárquico" (Hierarchical Attention Masking)

Pense no CLIP original como alguém tentando entender uma foto de satélite olhando para ela de um avião, mas sem óculos. Ele vê tudo misturado. Às vezes, ele foca no lugar errado.

Os autores usaram um assistente chamado SAM (Segment Anything Model), que é como um "pintor automático" muito rápido. O SAM olha para a foto e desenha linhas ao redor de objetos (como se fosse um desenho de contorno de uma casa, de um carro ou de um campo).

A ideia genial foi usar esses contornos como máscaras para o CLIP:

• A Analogia: Imagine que você está em uma sala cheia de gente conversando (a foto). O CLIP original tenta ouvir tudo ao mesmo tempo e fica confuso. O ReSeg-CLIP coloca "cortinas" invisíveis ao redor de cada grupo de pessoas.
• Como funciona: Eles criam máscaras em diferentes tamanhos.
  • Em alguns momentos, eles usam máscaras grandes (como se olhasse para um bairro inteiro) para entender o contexto geral.
  • Em outros momentos, usam máscaras pequenas e detalhadas (como se olhasse para uma única janela) para ver os detalhes finos.
• O Resultado: O CLIP é forçado a prestar atenção apenas no que está dentro da "cortina" certa. Se ele está olhando para um prédio, ele ignora o carro que está longe. Isso evita que ele se distraia com partes da imagem que não têm nada a ver com o que ele está analisando.

2. O "Comitê de Especialistas" (Model Composition)

Agora, vamos falar sobre a inteligência do herói. O CLIP original é bom, mas não é especialista em mapas aéreos. Existem outros dois "heróis" (chamados RemoteCLIP e GeoRSCLIP) que foram treinados especificamente com fotos de satélites e drones.

• O Problema: Cada um desses especialistas é bom em coisas diferentes. Um pode ser ótimo em ver estradas, o outro em ver florestas. Usar apenas um deles pode deixar lacunas.
• A Solução: Em vez de escolher um, eles decidiram fundir os cérebros dos três heróis em um único "Super-Cérebro".
• A "Balança de Sabedoria" (PVSM): Mas como saber quanto de cada herói colocar na mistura? Não é apenas jogar tudo junto. Eles criaram uma régua de medição chamada PVSM.
  • A Analogia: Imagine que você quer saber quem é o melhor tradutor de um grupo. Você não olha para a foto deles, mas sim para como eles respondem a perguntas variadas sobre o mesmo assunto. Se um especialista consegue explicar "árvore" de 100 maneiras diferentes (uma árvore alta, uma árvore verde, uma árvore frondosa) e todas as respostas fazem sentido, ele ganha mais peso na mistura.
  • Eles usam essa régua para dar mais "voto" ao especialista que entende melhor os conceitos e menos voto ao que é mais confuso.

O Resultado Final

Ao combinar essas duas técnicas:

1. Foco: O modelo olha para a foto através das "cortinas" certas, sem se distrair.
2. Sabedoria Coletiva: O modelo é uma fusão ponderada dos melhores especialistas em imagens de satélite.

O resultado é que o ReSeg-CLIP consegue olhar para uma foto de satélite complexa e dizer: "Aqui é uma casa, aqui é um carro, aqui é um campo", com uma precisão incrível, sem precisar de nenhum treinamento extra e sem gastar meses aprendendo novos dados.

É como se você pegasse um guia turístico que conhece o mundo, desse a ele um mapa detalhado desenhado por um especialista local e um conjunto de óculos que só deixam ele ver o que importa. De repente, ele se torna o melhor guia de turismo do mundo para aquela cidade específica, instantaneamente.

Resumo técnico

---

1. Problema

A segmentação semântica em Sensoriamento Remoto (SR) enfrenta dois desafios fundamentais:

1. Dependência de Dados: Métodos existentes geralmente exigem grandes conjuntos de dados rotulados para treinamento, o que é custoso e difícil de obter em SR.
2. Generalização: Modelos treinados em um domínio específico (ex: uma cidade específica) frequentemente falham ao generalizar para outros domínios ou classes não vistas durante o treinamento.

Embora os Modelos Visão-Linguagem (VLMs), como o CLIP, ofereçam capacidades de "zero-shot" (sem treinamento adicional) para classificação de imagens, sua aplicação direta à Segmentação Semântica de Vocabulário Aberto (OVSS) em SR é problemática devido a:

• Interações de Atenção Inadequadas: O CLIP original tende a atribuir alta atenção a patches irrelevantes ("outliers") em vez de focar em regiões semanticamente relacionadas, prejudicando a previsão pixel a pixel.
• Lacuna de Domínio: O CLIP é pré-treinado em imagens naturais, não em imagens de satélite/aéreas, levando a um desempenho inferior em SR.
• Falta de Soluções sem Treinamento: A maioria das abordagens para OVSS em SR exige algum tipo de ajuste fino (fine-tuning) ou módulos de upsampling treináveis, o que limita a flexibilidade e a generalização.

2. Metodologia: ReSeg-CLIP

Os autores propõem o ReSeg-CLIP, um método totalmente sem treinamento (training-free) que combina duas estratégias principais para superar as limitações do CLIP em imagens de alta resolução de SR.

A. Mascaramento de Atenção Hierárquica (Hierarchical Attention Masking)

Para corrigir as interações errôneas entre patches no codificador de visão do CLIP, o método utiliza o Segment Anything Model (SAM) para gerar máscaras que restringem a atenção.

• Estratégia Hierárquica: Diferente de trabalhos anteriores que usam máscaras em uma única escala, o ReSeg-CLIP aplica máscaras geradas pelo SAM em múltiplos níveis (escalas) dentro das camadas finais do codificador de visão do CLIP.
• Mecanismo:
  • O SAM gera máscaras com diferentes configurações de hiperparâmetros (granularidade).
  • Máscaras mais grosseiras são aplicadas em camadas iniciais (para capturar contexto amplo) e máscaras mais finas em camadas finais (para capturar estruturas semânticas detalhadas).
  • Essas máscaras são convertidas em máscaras de atenção binárias que forçam os tokens de patches a atenderem apenas a outros tokens dentro da mesma região semântica definida pelo SAM, suprimindo a atenção para regiões irrelevantes.

B. Composição de Modelos via PVSM (Prompt Variant Separation Margin)

Para mitigar a lacuna de domínio e melhorar a generalização, o método combina (faz merging de) vários modelos CLIP adaptados para SR (especificamente RemoteCLIP e GeoRSCLIP).

• Fusão de Parâmetros: Em vez de treinar um novo modelo, os parâmetros de múltiplos modelos pré-treinados são combinados através de uma média ponderada: $\phi_f = \sum w_o \phi_o$.
• Nova Métrica de Ponderação (PVSM): Os autores introduzem o Prompt Variant Separation Margin (PVSM) para calcular os pesos ($w_o$) de forma dinâmica e sem treinamento.
  • O PVSM avalia a qualidade representacional de cada modelo gerando múltiplas variações de prompts de texto (sinônimos, prefixos, sufixos) para a mesma classe.
  • Calcula-se a similaridade intra-classe (entre variações da mesma classe) e inter-classe (entre classes diferentes).
  • Um modelo que produz embeddings de texto mais consistentes e distintos para variações do mesmo conceito recebe um peso maior. Isso permite selecionar automaticamente os modelos mais robustos semanticamente para a fusão.

3. Principais Contribuições

1. Primeiro Método OVSS sem Treinamento para SR: O ReSeg-CLIP é apresentado como a primeira solução totalmente livre de treinamento para segmentação semântica de vocabulário aberto em imagens de sensoriamento remoto de alta resolução.
2. Estratégia de Mascaramento Hierárquico: Uma abordagem inovadora que utiliza máscaras do SAM em múltiplas escalas dentro do codificador de visão do CLIP para refinar a atenção e melhorar a precisão pixel a pixel.
3. Método de Composição de Modelos Baseado em PVSM: Uma técnica de fusão de modelos que utiliza uma métrica baseada em texto (PVSM) para ponderar a combinação de diferentes variantes de CLIP adaptadas para SR, melhorando a generalização sem necessidade de dados de treinamento.

4. Resultados

O método foi avaliado em três benchmarks de SR de alta resolução: Potsdam, UDD5 e OpenEarthMap.

• Desempenho Geral: O ReSeg-CLIP alcançou resultados competitivos, superando métodos sem treinamento existentes (como MaskCLIP, SCLIP, GEM) e competindo com métodos que exigem treinamento parcial (como SegEarth-OV).
  • No conjunto Potsdam, alcançou 38,3% de mIoU, superando o método de Cao et al. [2] em 8 pontos percentuais e superando outros métodos sem treinamento em todas as bases de dados.
  • Demonstrou maior consistência e robustez em comparação com métodos baseados apenas em CLIP nativo ou com atenção refinada sem orientação semântica.
• Análise de Classes: O método obteve bons resultados para classes grandes e estruturadas como Edifícios e Vegetação (cerca de 60% de IoU). As classes menores ou heterogêneas, como Veículos e Fundo, apresentaram desafios, o que é comum em métodos sem treinamento.
• Estudos de Ablação:
  • A fusão de RemoteCLIP e GeoRSCLIP usando pesos PVSM superou significativamente o uso de um único modelo ou fusão com pesos iguais.
  • A aplicação de máscaras de atenção em 6 camadas finais do codificador de visão mostrou-se o ponto ótimo; aplicar em mais camadas degradou o desempenho, indicando que a preservação do contexto global nas camadas iniciais é crucial.

5. Significado e Impacto

O trabalho é significativo por demonstrar que é possível realizar segmentação semântica de alta qualidade em sensoriamento remoto sem a necessidade de coletar e rotular grandes conjuntos de dados de treinamento.

• Eficiência: Elimina o custo computacional e de dados associado ao ajuste fino de modelos grandes.
• Generalização: A abordagem de composição de modelos baseada em PVSM oferece uma nova direção para melhorar a robustez de VLMs em domínios específicos (como SR) sem re-treinamento.
• Aplicabilidade: O método é particularmente útil para cenários onde novos tipos de cobertura terrestre precisam ser identificados rapidamente ou onde dados rotulados são escassos.

Em resumo, o ReSeg-CLIP avança o estado da arte ao combinar a capacidade de generalização de modelos de fundação (Foundation Models) com técnicas de refinamento de atenção e fusão de modelos inteligentes, tudo dentro de um paradigma estritamente sem treinamento.