Dual Contrastive Network for Few-Shot Remote Sensing Image Scene Classification

Título: Rede de Duplo Contraste para Classificação de Cenas de Imagens de Sensoriamento Remoto com Poucos Exemplos (Few-Shot)

1. Problema e Desafios

A classificação de cenas de imagens de sensoriamento remoto (RSISC) com poucos exemplos (Few-Shot RSISC ou FS-RSISC) visa classificar imagens utilizando apenas um número limitado de amostras rotuladas. O artigo identifica dois desafios fundamentais inerentes às imagens de sensoriamento remoto que dificultam essa tarefa:

• Pequena Variância Interclasse: Diferentes classes de cenas (ex: áreas industriais vs. residenciais) podem ser visualmente muito semelhantes em termos de objetos e arranjos, tornando difícil distinguir entre elas.
• Grande Variância Intraclass: Imagens da mesma classe (ex: palácios) podem apresentar grandes diferenças em termos de fundo, iluminação, ângulo de visão e aparência, dificultando a generalização dentro da mesma categoria.

Métodos existentes baseados em meta-learning muitas vezes negligenciam a importância de um extrator de características robusto e não abordam adequadamente a relação complementar entre informações de contexto global e detalhes locais.

2. Metodologia Proposta: Dual Contrastive Network (DCN)

Os autores propõem uma abordagem baseada em transfer learning que incorpora duas ramificações auxiliares de aprendizado contrastivo supervisionado durante o treinamento. O objetivo é aprender representações de características que sejam ao mesmo tempo discriminativas (para separar classes) e invariantes (para agrupar a mesma classe).

A arquitetura da DCN consiste em:

• Ramo de Aprendizado Contrastivo Guiado por Contexto (CCL):

  • Objetivo: Aumentar a discriminabilidade entre classes (resolver a pequena variância interclasse).
  • Mecanismo: Utiliza uma Rede Condensadora (Condenser Network). Esta rede comprime e expande informações ao longo das dimensões dos canais (operações Squeeze e Expand) para capturar e realçar o contexto global relevante, ignorando informações irrelevantes.
  • Aprendizado: Aplica aprendizado contrastivo supervisionado sobre as características de contexto extraídas, forçando o modelo a agrupar amostras da mesma classe e separar classes diferentes no espaço de características.

• Ramo de Aprendizado Contrastivo Guiado por Detalhes (DCL):

  • Objetivo: Capturar detalhes locais invariantes (resolver a grande variância intraclass).
  • Mecanismo: Utiliza uma Rede Fundidora (Smelter Network). Inspirada no processo de fundição, esta rede localiza adaptativamente regiões locais significativas e funde as informações de detalhes. Ela emprega mecanismos de atenção espacial e de canal para destacar regiões importantes e suprimir ruídos.
  • Alinhamento de Características: Introduz um mecanismo de alinhamento baseado em self-attention para medir a similaridade entre amostras, focando em detalhes espaciais invariantes.
  • Aprendizado: Aplica aprendizado contrastivo supervisionado sobre os mapas de características detalhadas, incentivando o modelo a focar em detalhes locais que são consistentes dentro da mesma classe.

• Função de Perda Total:
  O modelo é otimizado minimizando uma perda composta pela perda de entropia cruzada (para classificação) e a perda de aprendizado contrastivo (combinando CCL e DCL), ponderada por hiperparâmetros ($\alpha, \beta, \gamma$).

3. Contribuições Principais

1. Arquitetura DCN: Proposição de uma rede com duas ramificações de aprendizado contrastivo (CCL e DCL) que exploram a complementaridade entre contexto global e detalhes locais para melhorar a generalização em tarefas de poucos exemplos.
2. Rede Condensadora (Condenser Network): Design de um módulo específico para o ramo CCL que integra e redistribui informações contextuais globais, gerando características mais discriminativas.
3. Rede Fundidora (Smelter Network): Criação de um módulo para o ramo DCL que localiza e realça regiões locais significativas, extraindo características de detalhes invariantes.
4. Mecanismo de Alinhamento: Introdução de um mecanismo de alinhamento de características baseado em self-attention para medir com precisão a similaridade entre amostras no ramo de detalhes.

4. Resultados Experimentais

O método foi avaliado em quatro conjuntos de dados públicos de sensoriamento remoto: WHU-RS19, UC Merced, NWPU-RESISC45 e AID.

• Desempenho Geral: A DCN alcançou desempenho competitivo, superando a maioria dos métodos state-of-the-art (SOTA) baseados em meta-learning e transferência.
• Comparação Específica:
  • No conjunto de dados NWPU-RESISC45 (configuração 5-way 5-shot), a DCN superou o segundo melhor método em 3,56%.
  • No conjunto de dados AID (configuração 5-way 5-shot), superou o segundo melhor em 5,38%.
  • Em conjuntos de dados menores (WHU-RS19 e UC Merced), também obteve os melhores resultados em configurações de 1-shot e 5-shot.
• Análise de Variância: Estudos visuais (Grad-CAM) e métricas mostraram que o ramo CCL aumentou a variância interclasse (distância entre classes diferentes), enquanto o ramo DCL reduziu a variância intraclass (agrupamento melhor de imagens da mesma classe com aparências diferentes).

5. Significado e Conclusão

O trabalho demonstra que, para a classificação de cenas de sensoriamento remoto com poucos exemplos, não basta apenas aprender "como aprender" (meta-learning); é crucial extrair representações de características robustas que considerem tanto o contexto global quanto os detalhes locais.

A abordagem de duplo contraste proposta pela DCN resolve eficazmente o dilema das imagens de sensoriamento remoto, onde classes diferentes são similares e imagens da mesma classe são diversas. Ao integrar o aprendizado contrastivo supervisionado em duas frentes complementares, o modelo consegue generalizar melhor para novas tarefas com poucos dados, estabelecendo um novo padrão de desempenho em benchmarks públicos. O trabalho sugere futuras investigações em cenários semi-supervisionados e fracamente supervisionados para aproveitar dados não rotulados.