SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment for Cross-Scene Hyperspectral Image Classification

Resumo Técnico: SoDa2: Adaptação de Domínio em Conjunto Aberto de Etapa Única via Alinhamento Desacoplado para Classificação de Imagens Hiperespectrais entre Cenas

Declaração do Problema
A classificação de imagens hiperespectrais (HSI) entre cenas é uma tarefa fundamental no sensoriamento remoto, mas enfrenta desafios significativos ao ser aplicada em cenários do mundo real. Os métodos tradicionais de aprendizado profundo assumem que os dados de treinamento (fonte) e de teste (alvo) são independentes e identicamente distribuídos. No entanto, variações nos sensores, condições de imageamento e efeitos atmosféricos causam "deslocamento de domínio", degradando o desempenho do modelo quando aplicado a novas cenas. Além disso, os domínios alvo do mundo real frequentemente contêm "classes desconhecidas" (categorias não presentes no domínio fonte), tornando os métodos padrão de adaptação de domínio (DA) de conjunto fechado ineficazes. As abordagens existentes de Adaptação de Domínio em Conjunto Aberto (OSDA) para HSI enfrentam duas limitações primárias:

1. Problemas de Alinhamento Híbrido: A maioria dos métodos alinha características espectrais e espaciais mistas em um espaço unificado. No entanto, as características espectrais e espaciais contribuem de maneira diferente para a classificação e são distribuídas independentemente; o alinhamento direto de características mistas pode comprometer a transferabilidade entre domínios.
2. Ineficiência Computacional: Os métodos OSDA atuais geralmente dependem de arquiteturas de duplo classificador com estratégias de treinamento em duas etapas (pré-treinamento seguido de treinamento conjunto), levando a procedimentos complexos e altos custos computacionais.

Metodologia: SoDa2
Os autores propõem o SoDa2, um método de adaptação de domínio em conjunto aberto de etapa única baseado em alinhamento desacoplado. O framework é projetado para extrair características invariantes ao domínio enquanto distingue adaptativamente entre classes conhecidas e desconhecidas, sem conhecimento prévio das categorias desconhecidas. A arquitetura consiste em três componentes principais:

1. Extração de Características de Dupla Modalidade Consciente da Contribuição:
   Em vez de fundir características precocemente, o método emprega ramos paralelos para extrair características espectrais e espaciais independentemente.

   • Ramo Espectral: Utiliza camadas convolucionais com conexões residuais entre camadas para preservar informações detalhadas de bandas e características espectrais de alto nível.
   • Ramo Espacial: Utiliza camadas convolucionais 3D para capturar estruturas globais e texturas locais, com conexões residuais para preservar detalhes superficiais.
   • Mecanismo de Atenção: Módulos de atenção de canal e atenção espacial são aplicados aos respectivos ramos para reponderar adaptativamente as características, enfatizando as bandas espectrais e localizações espaciais mais informativas para a tarefa de classificação.

2. Módulo de Alinhamento Desacoplado:
   Para abordar o deslocamento de domínio, o método minimiza a Discrepância de Média Máxima (MMD) entre os domínios fonte e alvo. Crucialmente, este alinhamento é desacoplado:

   • A MMD é calculada separadamente para características espectrais ($L_{spe}$) e características espaciais ($L_{spa}$).
   • Esta abordagem evita a confusão causada pelo alinhamento de características mistas heterogêneas, permitindo que o modelo aprenda representações invariantes ao domínio independentes para cada modalidade.
   • A perda total de alinhamento é a soma das perdas de MMD espectrais e espaciais.

3. Módulo de Reconhecimento em Conjunto Aberto (Framework de Etapa Única):
   O método utiliza um codificador de duplo ramo para o domínio alvo para distinguir classes conhecidas de desconhecidas em uma única etapa de treinamento:

   • Codificador de Características Alinhadas: Aprende características invariantes ao domínio constrangidas pela perda de MMD (semânticas compartilhadas entre fonte e alvo).
   • Codificador de Características Inerentes: Aprende características específicas do alvo sem restrições entre domínios, capturando características discriminativas de classes desconhecidas.
   • Medição de Consistência: O método calcula a similaridade cosseno ao quadrado entre as características alinhadas e inerentes para cada amostra alvo.
   • Modelo de Mistura Gaussiana (GMM): A distribuição dessas pontuações de similaridade é modelada usando um GMM com dois componentes (representando classes conhecidas e desconhecidas). As amostras são classificadas com base em qual componente gaussiano sua pontuação se alinha, permitindo o reconhecimento em conjunto aberto sem rótulos explícitos para classes desconhecidas.

Principais Contribuições

1. Estratégia de Alinhamento Desacoplado: O artigo introduz uma abordagem inovadora que alinha independentemente características espectrais e espaciais usando MMD, abordando as limitações do alinhamento híbrido em dados HSI onde as modalidades possuem características de distribuição distintas.
2. Framework de Treinamento de Etapa Única: Diferentemente dos métodos OSDA existentes em duas etapas, o SoDa2 integra extração de características, alinhamento de domínio e reconhecimento em conjunto aberto em um processo de treinamento unificado e economicamente eficiente.
3. Extração de Características Consciente da Contribuição: O design de ramos espectrais e espaciais paralelos com mecanismos de atenção permite o aprimoramento seletivo de características discriminativas de ambas as modalidades.
4. Reconhecimento em Conjunto Aberto Baseado em GMM: O método emprega um GMM para modelar as pontuações de consistência entre características alinhadas e inerentes, permitindo a separação automática de classes conhecidas e desconhecidas sem exigir conhecimento prévio das categorias desconhecidas.

Resultados Experimentais
Os autores avaliaram o SoDa2 em três conjuntos de dados HSI entre cenas:

• PU-PC: Universidade de Pavia (Fonte) para Centro de Pavia (Alvo).
• HU13-HU18: Houston 2013 (Fonte) para Houston 2018 (Alvo).
• ZY-GF: Ziyuan1-02D Yancheng (Fonte) para GaoFen-5 Yancheng (Alvo).

O método foi comparado com abordagens OSDA de última geração, incluindo OSBP, STA, DAMC, UADAL, ANNA, MTS e WGDT. O desempenho foi medido usando a Precisão Média das Classes Conhecidas ($OS^*$), Precisão das Classes Desconhecidas ($UNK$) e sua Média Harmônica ($HOS$).

• Desempenho: O SoDa2 alcançou desempenho superior em todos os três conjuntos de dados. Por exemplo, na tarefa PU-PC, alcançou uma $HOS$ de 80,7% e uma $UNK$ de 94,3%, superando o segundo melhor método (WGDT). Na tarefa ZY-GF, atingiu uma $HOS$ de 94,7%.
• Estudos de Ablação: Experimentos confirmaram que a combinação de perdas de alinhamento desacoplado espectrais e espaciais produz os melhores resultados, validando a necessidade da estratégia desacoplada. Além disso, a ordem específica de aplicação dos mecanismos de atenção antes da fusão de características mostrou-se mais eficaz do que fundir primeiro e depois aplicar atenção.
• Sensibilidade de Parâmetros: O estudo determinou que definir o número de componentes gaussianos ($K$) para 2 e o peso da perda de alinhamento ($\alpha$) para 10 forneceu o equilíbrio ótimo entre o reconhecimento de classes conhecidas e desconhecidas.

Significado e Alegações
O artigo alega que o SoDa2 aborda efetivamente os desafios duplos de deslocamento de domínio e identificação de classes desconhecidas na classificação de HSI entre cenas. Ao desacoplar o alinhamento de características espectrais e espaciais, o método preserva as características únicas de cada modalidade enquanto reduz discrepâncias de distribuição. O framework de etapa única oferece uma alternativa computacionalmente eficiente a estratégias complexas de treinamento em duas etapas. Os autores afirmam que o método alcança precisão de classificação superior e transferibilidade de modelo, fornecendo uma solução robusta para tarefas entre cenas em conjunto aberto em aplicações de sensoriamento remoto. O código do método está disponível para a comunidade.