Open-Vocabulary Semantic Segmentation Network Integrating Object-Level Label and Scene-Level Semantic Features for Multimodal Remote Sensing Images

1. Declaração do Problema

A segmentação semântica atual em sensoriamento remoto enfrenta três desafios principais:

• Limitações de Dados de Modalidade Única: Imagens de fonte única (por exemplo, ópticas) lutam contra ambiguidade espectral (por exemplo, distinguir asfalto de sombra) e são suscetíveis a condições climáticas. Embora existam abordagens multimodais (combinando Óptico e SAR), elas frequentemente dependem de concatenação simples de características ou média ponderada, falhando em capturar plenamente relações semânticas cruzadas complexas.
• Negligência de Conhecimento Não Visual: Frameworks multimodais existentes integram dados visuais (Óptico/SAR), mas ignoram dados textuais não visuais. Dados textuais contêm conhecimento rico do mundo real (contexto geográfico, propriedades de materiais) que pode preencher a lacuna semântica entre padrões visuais e conceitos.
• Taxonomias de Classes Rígidas: Modelos tradicionais são limitados a um conjunto fixo de classes pré-definidas. Eles não conseguem reconhecer categorias não vistas, limitando sua adaptabilidade a novos cenários ou necessidades de mapeamento definidas pelo usuário. É necessária uma Segmentação Semântica de Vocabulário Aberto (OVSS) para permitir classificação por meio de descrições em linguagem natural.

2. Metodologia: TSMNet

Os autores propõem o TSMNet, uma rede de segmentação semântica de vocabulário aberto multimodal supervisionada por texto. A arquitetura é projetada para alinhar características de imagem e texto em um espaço semântico unificado por meio de aprendizado hierárquico.

Componentes Principais:

1. Codificador Visual Multimodal:

   • Utiliza uma espinha dorsal Vision Transformer (ViT) para extrair características de múltiplos níveis de imagens Ópticas e SAR.
   • Módulo de Retificação de Características Multimodais (MFRM): Ajusta dinamicamente os pesos de canal e espacial entre características Ópticas e SAR para corrigir heterogeneidade e realçar informações complementares.
   • Módulo de Fusão de Características Multimodais (MFFM): Emprega um mecanismo de atenção cruzada para realizar interação e agregação semântica profunda em múltiplas escalas, preservando tanto detalhes locais quanto semânticas globais.

2. Codificador de Texto de Dupla Ramificação e Fusão:

   • Codificador de Texto: Baseado em CLIP (usando BERT para processamento de texto), extrai dois tipos distintos de informações textuais:
     • Rótulos de Nível de Objeto: Nomes de categorias específicas (por exemplo, "estrada", "árvore").
     • Semânticas de Nível de Cena: Descrições e contexto globais (por exemplo, "uma área urbana densa com edifícios de grande altura").
   • Prompting Consciente de Contexto: Em vez de templates estáticos, o modelo usa contextos de texto aprendíveis e mecanismos de atenção cruzada para refinar características textuais com base em pistas visuais.
   • Estratégia de Fusão:
     • Fusão de Nível de Objeto: Alinha características visuais em nível de pixel com incorporações de texto de categoria para gerar máscaras de segmentação.
     • Fusão de Nível de Cena: Utiliza um módulo de alinhamento global com aprendizado contrastivo (perda InfoNCE) para alinhar representações globais de imagem com descrições de cena, atuando como um prior para a tarefa de segmentação.

3. Funções de Perda:
   O objetivo de treinamento combina quatro perdas:

   • Perda de Rótulo de Nível de Objeto: Perda de entropia cruzada para alinhamento pixel-classe.
   • Perda Semântica de Nível de Cena: Perda contrastiva InfoNCE para alinhar pares globais imagem-texto.
   • Perda de Tarefa de Segmentação: Combinação de Entropia Cruzada e Perda Dice para garantir consistência da máscara.

4. Inferência:
   O modelo suporta inferência de Vocabulário Aberto. Os usuários podem inserir descrições arbitrárias em linguagem natural (não apenas classes pré-definidas). A rede calcula a similaridade cosseno entre características de pixel e as incorporações de texto codificadas para gerar máscaras de segmentação dinamicamente.

3. Contribuições Principais

1. Arquitetura Inovadora (TSMNet): Um framework que integra sinergicamente modalidades visuais (Óptico/SAR) e textuais, introduzindo um codificador de texto de dupla ramificação para lidar simultaneamente com rótulos de nível de objeto e semânticas de nível de cena.
2. Mecanismos de Fusão Avançados:
   • Desenvolvimento de MFRM e MFFM para fundir efetivamente dados heterogêneos Ópticos e SAR, abordando ruído e lacunas semânticas.
   • Implementação de um módulo de Fusão Semântica Visual Guiada por Texto que usa priores textuais para refinar características visuais para tomada de decisão interpretável por humanos.
3. Novos Conjuntos de Dados: Os autores construíram dois novos conjuntos de dados de visão-linguagem multimodais de alta qualidade para preencher a lacuna em recursos existentes:
   • SWJTU-Vision-Language: 2.712 pares de imagens Ópticas/SAR de quatro cidades chinesas com rótulos manuais em nível de pixel e descrições textuais detalhadas.
   • YESeg-OPT-SAR: 2.231 pares de imagens RGB/SAR de resolução 0,5m com anotações textuais detalhadas.
4. Capacidade de Vocabulário Aberto: O sistema permite o reconhecimento de categorias não vistas por meio de linguagem natural, superando as restrições de taxonomias fixas.

4. Resultados Experimentais

Os autores avaliaram o TSMNet contra modelos state-of-the-art (SOTA), incluindo modelos de modalidade única (Deeplab V3+), visuais multimodais (CMGFNet, MCANet) e modelos existentes de vocabulário aberto (DenseCLIP, TACOSS).

• Desempenho no SWJTU-Vision-Language:

  • O TSMNet alcançou 69,73% de Precisão Geral (OA) e 48,83% de mIoU.
  • Superou o segundo melhor modelo (DenseCLIP) em 1,64% em OA e 1,39% em mIoU.
  • Melhorias notáveis foram observadas em classes desafiadoras como "estradas" e "árvores".

• Desempenho no YESeg-OPT-SAR:

  • O TSMNet alcançou 85,33% de OA e 66,69% de mIoU.
  • Superou o DenseCLIP (85,13% de OA, 65,47% de mIoU) e outras bases multimodais.
  • Análise qualitativa mostrou que o TSMNet reduziu significativamente erros de classificação incorreta (por exemplo, confundir terra nua com vegetação baixa) em comparação com modelos que dependem apenas de características visuais.

• Estudos de Ablação:

  • A remoção da rede de fusão multimodal reduziu o mIoU em ~1,8%.
  • A remoção da orientação por linguagem natural (usando apenas dados visuais) fez o desempenho cair significativamente, provando que descrições textuais são críticas para preencher a lacuna semântica e melhorar a generalização.

5. Significado

• Mudança de Paradigma: Este trabalho estabelece um novo paradigma para análise de sensoriamento remoto explicável ao integrar conhecimento textual, tornando as decisões do modelo mais interpretáveis e alinhadas com a cognição humana (compreensão do global para o local).
• Generalização: Ao aproveitar capacidades de vocabulário aberto, o modelo pode adaptar-se a novos cenários geográficos e tipos de sensores sem retreinamento em conjuntos de classes fixas, simplesmente atualizando prompts de texto.
• Recurso de Dados: O lançamento de dois novos conjuntos de dados de visão-linguagem aborda um gargalo crítico no campo, fornecendo um benchmark para pesquisas futuras em sensoriamento remoto multimodal.
• Aplicação Prática: A capacidade de definir categorias por meio de linguagem natural permite que não especialistas gerem mapas de uso do solo personalizados, aumentando a utilidade do sensoriamento remoto no planejamento urbano, resposta a desastres e monitoramento ambiental.