Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

Resumo Técnico: Transferência de Aprendizado de Modelos RGB para Imagens Hiperespectrais com Decomposições Tensoriais Treináveis

Declaração do Problema
A imagem hiperespectral (HSI) captura dados em centenas de comprimentos de onda espectrais, oferecendo informações ricas para tarefas em sensoriamento remoto, imagem médica e horticultura. No entanto, o treinamento de modelos de aprendizado profundo em HSI é prejudicado pela escassez de grandes e diversos conjuntos de dados em comparação com imagens RGB. Consequentemente, a transferência de aprendizado a partir de modelos de base (backbone) RGB pré-treinados (por exemplo, treinados no ImageNet) é uma estratégia desejável. Contudo, existe uma incompatibilidade fundamental: os modelos de base padrão esperam entradas RGB de 3 canais, enquanto as imagens hiperespectrais possuem dimensões de canal significativamente maiores ($\hat{C}_{in} > 3$).

As soluções existentes para essa discrepância dimensional sofrem de compromissos significativos:

1. Adaptação no lado da imagem: Reduzir imagens hiperespectrais para 3 canais por meio de redução de dimensionalidade (por exemplo, PCA) ou seleção de canais preserva a arquitetura do modelo, mas descarta informações espectrais cruciais.
2. Adaptação no lado do modelo: Substituir a primeira camada convolucional por uma com $\hat{C}_{in}$ canais de entrada preserva os dados da imagem, mas exige o treinamento de novos pesos do zero. Isso sacrifica os padrões espaciais pré-aprendidos dos filtros originais, aumenta o número de parâmetros treináveis e eleva o risco de sobreajuste em pequenos conjuntos de dados HSI.

Metodologia
Os autores propõem uma abordagem inovadora que preenche essa lacuna utilizando decomposições tensoriais parcialmente treináveis. A ideia central é que os filtros convolucionais em modelos de base podem ser decompostos em componentes espaciais e espectrais. Ao separá-los, o método pode reter os padrões espaciais aprendidos a partir de grandes conjuntos de dados RGB, adaptando simultaneamente os componentes espectrais ao domínio hiperespectral específico.

O processo envolve as seguintes etapas:

1. Decomposição: Os pesos da primeira camada convolucional ($W^1$) de uma base pré-treinada são decompostos utilizando decomposições tensoriais CP (Canonic Polyadic) ou Tucker.
   • Decomposição CP: Aproxima o filtro como uma soma de tensores de posto um, separando o filtro em um vetor espectral e dois vetores espaciais (horizontal e vertical).
   • Decomposição Tucker: Projeta o tensor em um tensor central de dimensão inferior por meio de multiplicações de matrizes. Os autores aplicam uma parcial decomposição Tucker, comprimindo apenas a dimensão espectral enquanto preservam a estrutura espacial.
2. Substituição de Componentes: Os componentes espectrais originais de 3 canais são descartados. Eles são substituídos por novos componentes espectrais treináveis de dimensão $\hat{C}_{in}$ (correspondendo à entrada hiperespectral).
3. Congelamento e Treinamento: Os componentes espaciais (derivados dos filtros pré-treinados originais) são congelados. Apenas os novos componentes espectrais e a camada final de classificação são treinados.
4. Implementação: As camadas decompostas são implementadas usando convoluções separáveis agrupadas. Para CP, isso envolve uma convolução pontual seguida de duas convoluções profundas; para Tucker, uma convolução pontual seguida de uma convolução 2D padrão.

Contribuições Principais

• Mecanismo de Transferência Inovador: O artigo introduz um método para adaptar bases RGB de 3 canais a entradas hiperespectrais sem sacrificar a informação espacial pré-treinada ou descartar dados espectrais.
• Eficiência de Parâmetros: Ao congelar os componentes espaciais, o método reduz drasticamente o número de parâmetros treináveis em comparação com o retreinamento da primeira camada do zero, mitigando assim os riscos de sobreajuste em cenários com escassez de dados.
• Preservação de Priors Espaciais: A abordagem mantém as "formas elípticas coloridas" e os comportamentos de detecção de borda característicos dos filtros de base pré-treinados, que são cruciais para tarefas robustas de visão.

Resultados Experimentais
Os autores avaliaram seu método em cinco conjuntos de dados: três de sensoriamento remoto (Botswana, Indian Pines, Kennedy Space Center) e dois de horticultura (Abacate, Folhas de Uva). Eles compararam suas abordagens CP e Tucker contra duas linhas de base:

• Reduzir: Redução de dimensionalidade para 3 canais.
• Do Zero: Substituição da primeira camada por uma nova camada treinada do zero.

Descobertas:

• Precisão: Os métodos CP e Tucker propostos superaram consistentemente a linha de base "Reduzir". Eles foram geralmente mais precisos que a linha de base "Do Zero", particularmente em conjuntos de dados complexos como 'Folhas de Uva', onde "Do Zero" performou mal.
• Robustez: Em experimentos de sobreajuste (variando taxas de aprendizado e treinando por épocas estendidas), o método "Do Zero" sobreajustou significativamente mais rápido do que as abordagens decompostas. Os métodos decompostos demonstraram maior estabilidade.
• Independência da Base: Os resultados mantiveram-se em diferentes arquiteturas de base (AlexNet, DenseNet, ResNet18).
• Sensibilidade ao Posto: Embora um posto de decomposição de $R=2$ geralmente tenha proporcionado o melhor equilíbrio, aumentar o posto para $R=3$ não produziu consistentemente melhorias adicionais, sugerindo a necessidade de ajuste de hiperparâmetros.

Significado e Alegações
O artigo afirma que essa abordagem resolve com sucesso a discrepância dimensional entre imagens hiperespectrais e bases RGB, preservando tanto a informação espectral da imagem quanto os priores espaciais do modelo. Os autores afirmam que seu método é mais preciso e mais robusto contra sobreajuste do que as abordagens existentes de transferência de aprendizado para hiperespectrais que comprimem a imagem ou retreinam o modelo do zero.

O trabalho posiciona-se como um passo rumo à criação de bases universais para imagem hiperespectral. No entanto, os autores permanecem modestos quanto às limitações, observando que camadas decompostas tensorialmente podem ser sensíveis à inicialização e a estratégias de otimização. Eles sugerem que trabalhos futuros poderiam focar em estratégias de otimização adaptadas especificamente para essas camadas e explorar métodos que, eventualmente, permitam transferência de aprendizado sem retropropagação através de toda a rede.