Seeking Consensus: Geometric-Semantic On-the-Fly Recalibration for Open-Vocabulary Remote Sensing Semantic Segmentation

1. Formulação do Problema

A Segmentação Semântica de Vocabulário Aberto (OVSS) em sensoriamento remoto visa identificar categorias de cobertura do solo usando descrições textuais, sem exigir anotações em nível de pixel para cada nova categoria. Embora Modelos Visão-Linguagem (VLMs) como o CLIP tenham possibilitado isso, os métodos existentes enfrentam limitações críticas no domínio de sensoriamento remoto:

• Paradigma de Inferência Estático: Os métodos atuais aplicam um processo de inferência fixo a todas as imagens, ignorando a distribuição única e as características de cada cena específica.
• Ambiguidade Geométrica: Diferentemente de imagens naturais (centradas em objetos, orientação fixa), imagens de sensoriamento remoto (RSIs) são capturadas de uma visão de pássaro com orientações arbitrárias e layouts complexos. Modelos estáticos falham em manter a invariância à rotação, levando a uma ativação incompleta do primeiro plano (sub-ativação) quando os objetos são rotacionados.
• Viés Semântico: Categorias de cobertura do solo (por exemplo, "edifício") exibem alta heterogeneidade intraclasse (por exemplo, habitação densa versus arranha-céus). Descrições textuais estáticas (por exemplo, apenas o nome da categoria) são insuficientes para capturar essa diversidade, causando uma incompatibilidade entre o codificador de texto (pré-treinado em cenas naturais) e as características visuais das RSIs.

2. Metodologia: O Framework SeeCo

Os autores propõem o SeeCo, um framework plug-and-play e sem treinamento que aprimora modelos OVSS existentes durante a inferência (em tempo real) buscando consenso duplo: Geométrico e Semântico. Ele não requer o re-treinamento do modelo base, mas recalibra-o para cada cena específica.

Componentes Principais:

1. Aprendizado de Consenso Geométrico (GCL):

   • Objetivo: Impor uma representação invariante à rotação e aliviar a sub-ativação.
   • Mecanismo: A imagem de entrada é rotacionada $K$ vezes para simular observações multiview. O modelo gera mapas de segmentação para cada visão.
   • Alvo de Consenso: Esses mapas são transformados inversamente e agregados para criar um robusto Alvo de Consenso Geométrico ($Y_{GCL}$). Isso serve como uma máscara pseudo para supervisionar o modelo, garantindo uma representação consistente do objeto independentemente da orientação.

2. Aprendizado de Consenso Semântico (SCL):

   • Objetivo: Aliviar o viés semântico e enriquecer descrições textuais sem ajustar o codificador de texto congelado.
   • Mecanismo: É utilizada uma estratégia de Prompting Colaborativo Multimodal. Um Modelo de Linguagem de Grande Escala (LLM) é guiado por priores visuais (imagens de amostra) e conhecimento textual para gerar sinônimos ricos e diversos e descrições para cada categoria de cobertura do solo (por exemplo, expandindo "edifício" para "unidade residencial", "arranha-céu", etc.).
   • Recalibração Adaptativa: Um mecanismo de contexto adaptativo funde os embeddings de texto originais com esses embeddings enriquecidos para criar um Alvo de Consenso Semântico ($Y_{SCL}$), correspondendo melhor à diversidade visual específica da cena.

3. Injetor de Consenso Online (OCI):

   • Função: Um módulo leve que injeta o conhecimento de consenso no modelo OVSS base durante a inferência.
   • Estrutura:
     • Lado do Texto: Usa embeddings treináveis (contextos adaptativos à cena) para fundir o texto enriquecido.
     • Lado da Visão: Usa um ramo de Adaptação de Baixo RANK (LoRA) para ajustar finamente os últimos blocos Transformer do codificador de visão.
   • Otimização: O OCI é otimizado online via uma função de perda auto-supervisionada que minimiza a diferença entre as previsões atuais do modelo e os alvos de consenso Geométrico ($Y_{GCL}$) e Semântico ($Y_{SCL}$) construídos.
   • Saída Final: O mapa de segmentação final é uma combinação ponderada das previsões de consenso geométrico e semântico.

3. Contribuições Principais

• Framework Inovador (SeeCo): O primeiro framework plug-and-play para OVSS em sensoriamento remoto que realiza recalibração em tempo real durante a inferência, quebrando o paradigma estático.
• Mecanismo de Consenso Duplo: Introduz GCL (via consistência de rotação multiview) e SCL (via enriquecimento textual guiado por LLM) para abordar conjuntamente incompatibilidades geométricas e semânticas.
• Sem Treinamento e Universal: Não requer treinamento offline ou anotações manuais. Pode ser aplicado a qualquer modelo OVSS sem treinamento existente para impulsionar o desempenho.
• Design Leve: Utiliza um Injetor de Consenso Online com camadas de baixo rank, adicionando parâmetros e sobrecarga computacional mínimos.

4. Resultados Experimentais

O método foi avaliado em oito benchmarks diversos de sensoriamento remoto (incluindo OpenEarthMap, LoveDA, iSAID, Potsdam, Vaihingen, UAVid, UDD e VDD).

• Ganhos de Desempenho:
  • Quando integrado ao ProxyCLIP, o SeeCo alcançou uma nova média de mIoU state-of-the-art (SOTA) de 42,4%, superando o melhor anterior em 1,7%.
  • Mostrou melhorias significativas em conjuntos de dados desafiadores como Vaihingen (ganho de até 11,9%), efetivamente estreitando a lacuna de domínio entre o pré-treinamento em cenas naturais e dados de sensoriamento remoto.
  • Ganhos consistentes foram observados em todos os oito conjuntos de dados quando aplicados a diferentes modelos base (ClearCLIP, ProxyCLIP, SegEarth-OV).
• Estudos de Ablação:
  • Tanto GCL quanto SCL contribuíram positivamente. O GCL melhorou a robustez à rotação, enquanto o SCL impulsionou significativamente o desempenho em conjuntos de dados com alta heterogeneidade intraclasse.
  • A combinação de ambos os mecanismos produziu os melhores resultados, demonstrando sua natureza complementar.
• Eficiência:
  • Embora o tempo de inferência aumente ligeiramente devido à otimização em tempo real (por exemplo, de 0,023s para 0,518s por imagem no ClearCLIP), o aumento de parâmetros é negligenciável (por exemplo, +0,25M parâmetros).
  • O método reduz efetivamente a confusão de características e melhora a integridade das regiões segmentadas (visualizado via t-SNE e mapas qualitativos).

5. Significado

• Mudança de Paradigma: Move a OVSS de uma abordagem de inferência estática, única para todos para uma abordagem dinâmica e adaptativa à cena, o que é crucial para a natureza variável das imagens de sensoriamento remoto.
• Adaptação de Domínio: Conecta com sucesso a lacuna entre VLMs pré-treinados em imagens naturais e os desafios específicos do sensoriamento remoto (orientação arbitrária, diversidade intraclasse) sem re-treinamento dispendioso.
• Implantação Prática: Como uma solução plug-and-play, permite que modelos existentes sejam atualizados imediatamente para melhor desempenho em aplicações do mundo real, como planejamento urbano, avaliação de desastres e agricultura de precisão.