Resumo Técnico: Melhorando a Predição de Imagens Hiperespectrais com Aprendizado Contrastivo em Regimes de Baixo Rótulo

Declaração do Problema

A análise de imagens hiperespectrais (HSI) enfrenta desafios significativos devido à escassez de dados rotulados, à alta dimensionalidade da informação espectral e à complexidade de treinar modelos de aprendizagem profunda. As abordagens tradicionais de aprendizagem supervisionada frequentemente exigem anotações extensas e laboriosas, que são dispendiosas e propensas a erros. Além disso, os métodos existentes concentram-se predominantemente na classificação de rótulo único ao nível do pixel, negligenciando frequentemente a influência contextual dos pixels vizinhos. Esta limitação é particularmente problemática para sinais espectrais mistos, onde um único pixel pode conter múltiplos materiais, ou para aplicações como classificação de cobertura do solo, onde identificar múltiplos objetos dentro de uma cena é crucial. Embora o aprendizado autossupervisionado (SSL) e o aprendizado contrastivo (CL) tenham mostrado promessa na visão computacional, sua aplicação à HSI permanece subexplorada, particularmente para tarefas de classificação multirrótulo ao nível de patch sob regimes de dados restritos.

Metodologia

O artigo propõe um framework de classificação simplificado de dois estágios que utiliza o aprendizado contrastivo autossupervisionado para melhorar o desempenho em cenários de baixo rótulo.

Estágio 1: Pré-treinamento Autossupervisionado
Os autores treinam um codificador base e uma rede de projeção utilizando dados não rotulados.

• Aumento de Dados: Para cada patch de entrada, duas visões aumentadas (pares positivos) são geradas através de rotações horizontais e verticais aleatórias.
• Arquitetura: O codificador consiste em camadas totalmente conectadas com ativação ReLU e dropout. Ele mapeia as visões aumentadas em representações ocultas ($h_1, h_2$). Uma cabeça de projeção (duas camadas totalmente conectadas) mapeia estas em embeddings vetoriais ($z_1, z_2$).
• Objetivo: O modelo é treinado usando a Perda de Entropia Cruzada com Escalonamento de Temperatura Normalizada (NT-Xent). Esta função de perda maximiza a similaridade entre os embeddings das duas visões aumentadas do mesmo patch, enquanto minimiza a similaridade com os embeddings de outros patches (pares negativos) dentro do lote.
• Resultado: O codificador aprende a extrair características invariantes e discriminativas dos dados não rotulados sem supervisão de classe explícita.

Estágio 2: Ajuste Fino Supervisionado
A cabeça de projeção é descartada e o codificador pré-treinado é integrado a um classificador.

• Estratégia de Treinamento: Os autores avaliam dois cenários:
  • CL-tune: As camadas do codificador são descongeladas, permitindo que os pesos sejam retreinados juntamente com o classificador usando dados rotulados.
  • CL-freeze: As camadas do codificador são congeladas, e apenas o classificador é treinado.
• Tarefas: O framework é avaliado em duas tarefas:
  • Classificação Multirrótulo: Os patches recebem rótulos indicando a presença de múltiplas classes (materiais mistos).
  • Classificação de Rótulo Único: Os patches recebem um rótulo baseado exclusivamente no pixel central, seguindo as práticas padrão.
• Funções de Perda: A Entropia Cruzada Binária com Logits é usada para tarefas multirrótulo, e a Entropia Cruzada é usada para tarefas de rótulo único.

Principais Contribuições

1. Robustez a Dados Limitados: O estudo demonstra que o método baseado em aprendizado contrastivo permanece robusto mesmo quando a quantidade de dados de treinamento rotulados é reduzida em até 50%. O método mantém um desempenho competitivo comparável às técnicas totalmente supervisionadas treinadas em conjuntos de dados completos.
2. Classificação Multirrótulo ao Nível de Patch: O trabalho aborda a área subexplorada da classificação multirrótulo ao nível de patch em HSI. Ao treinar em pequenos patches que contêm subconjuntos de uma cena, o método identifica múltiplos materiais dentro de um patch, capturando o contexto espacial e mitigando o impacto de sinais espectrais mistos.
3. Desempenho de Rótulo Único sem Pré-processamento: A abordagem alcança uma precisão de classificação de rótulo único superior aos métodos supervisionados tradicionais e a outras linhas de base autossupervisionadas, notavelmente sem exigir técnicas de pré-processamento complexas como Análise de Componentes Principais (PCA) ou perfis morfológicos.
4. Insights Qualitativos sobre Representações: Através da visualização t-SNE, os autores revelam que o codificador baseado em aprendizado contrastivo captura características contextuais e de transição (ex: proximidade espacial e similaridades de materiais) mesmo sem treinamento explícito nessas informações. Isso sugere que o modelo descobre implicitamente a informação espacial inerente aos dados.

Resultados Experimentais

A metodologia foi validada em quatro conjuntos de dados públicos: Pavia University (PaviaU), Salinas, Houston 2013 e Houston 2018.

• Desempenho Multirrótulo: A estratégia CL-tune superou significativamente a estratégia CL-freeze e três linhas de base totalmente supervisionadas (esquemas Iterativo, Conjunto e Cascata). Em PaviaU e Salinas, o CL-tune melhorou a precisão em 1,73%–4,37% e 1,25%–2,46%, respectivamente, sobre as melhores linhas de base supervisionadas. Crucialmente, quando treinado em apenas 50% dos dados rotulados, o modelo CL-tune alcançou uma precisão quase idêntica aos modelos totalmente supervisionados treinados com 100% dos dados.
• Desempenho de Rótulo Único: O classificador baseado em CL superou métodos estabelecidos, incluindo HSI-CNN, TRI-CNN, SSCL e 3D-CNN. Notavelmente, alcançou uma precisão maior que o método 3D-CNN enquanto utilizava um conjunto de dados significativamente menor (aprox. 9% das amostras rotuladas totais para PaviaU) e uma arquitetura mais simples sem PCA.
• Impacto da Redução de Dados: Embora o desempenho tenha declinado naturalmente com a redução de dados, modelos com tamanhos de representação oculta maiores (64 vs. 32) mostraram maior resiliência, particularmente em conjuntos de dados com alta diversidade de classes (PaviaU, Houston 2013).
• Parâmetro de Temperatura: Experimentos confirmaram que um parâmetro de escalonamento de temperatura ($T$) de 0,1 produziu a precisão ideal, equilibrando confiança do modelo e generalização.

Significância e Alegações

O artigo afirma que sua principal significância reside em demonstrar que uma arquitetura minimalista e simplificada, potencializada pelo aprendizado contrastivo autossupervisionado, pode efetivamente superar as limitações da escassez de dados rotulados em imagens hiperespectrais.

Os autores afirmam que seu método oferece uma alternativa viável a estruturas de aprendizagem profunda complexas (como ResNet) e pipelines de pré-processamento pesados. Ao permitir o retreinamento do codificador junto com o classificador (CL-tune), o modelo adapta suas capacidades de extração de características para os requisitos específicos da tarefa de jusante, levando a um melhor desempenho de classificação. Além disso, a análise qualitativa sugere que o aprendizado contrastivo promove inerentemente a aprendizagem de representações que codificam relações espaciais e contextuais, aumentando a capacidade do modelo de distinguir entre classes, mesmo em cenários de patches complexos e mistos. Esta abordagem é apresentada como uma solução robusta para aplicações do mundo real onde a aquisição de extensos conjuntos de dados rotulados é impraticável.