Resumo Técnico: LESSViT: Aprendizado de Representação Hiperespectral Robusto sob Deslocamento de Configuração Espectral

1. Declaração do Problema

A imagem hiperespectral (HSI) captura assinaturas espectrais de alta granularidade através de centenas de bandas de comprimento de onda contíguas, permitindo a caracterização detalhada de materiais, estados biofísicos e processos ambientais. No entanto, um desafio fundamental surge da variabilidade nas configurações espectrais entre diferentes sensores. Diferentemente de imagens naturais com canais RGB fixos, os sensores HSI diferem significativamente na cobertura de comprimento de onda, amostragem de bandas e dimensionalidade de canais. Consequentemente, modelos treinados em uma configuração espectral fixa frequentemente falham em generalizar para outros sensores, sofrendo com o "deslocamento espectral".

As abordagens existentes enfrentam um compromisso entre eficiência e expressividade:

• Modelagem Implícita: Vision Transformers (ViTs) padrão frequentemente colapsam a dimensão espectral na dimensão de canal ou utilizam embeddings de patch fixos. Embora computacionalmente eficientes, esses métodos assumem uma estrutura de canal fixa e falham em modelar explicitamente relações dependentes do comprimento de onda, limitando a generalização entre sensores.
• Modelagem Explícita: Tratar canais espectrais como tokens independentes e aplicar atenção espacial-espectral completa permite modelagem explícita, mas incorre em complexidade computacional proibitiva de $O(N^2C^2)$, onde $N$ é o número de tokens espaciais e $C$ é o número de canais espectrais. Isso torna o método intratável para entradas HSI de alta dimensionalidade.

2. Metodologia: LESSViT

Os autores propõem o LESSViT (Vision Transformer Espacial-Espectral Eficiente de Baixo Rango), uma arquitetura flexível a sensores projetada para alcançar generalização cruzada-espectral através de três componentes principais:

2.1 Tokenização Agnóstica a Canais (Embedding de Patch Acoplado)

Para suportar dimensionalidades espectrais variáveis, o LESSViT emprega uma camada de embedding de patch acoplado. Em vez de aprender pesos distintos para cada canal, o modelo utiliza pesos de projeção compartilhados em todos os canais. Dada uma entrada HSI de tamanho $C \times H \times W$, ela é particionada em patches e projetada em tokens usando um mapeamento linear compartilhado. Isso garante que o modelo possa processar entradas com diferentes números de canais espectrais sem retreinamento ou alterações arquitetônicas.

2.2 Atenção Espacial-Espectral Eficiente de Baixo Rango (Atenção LESS)

Para resolver o compromisso eficiência-expressividade, os autores introduzem a Atenção LESS, uma fatorização estruturada de baixo rango da atenção espacial-espectral.

• Decomposição: O método explora a separabilidade estrutural dos dados hiperespectrais, decompondo interações conjuntas em componentes apenas espaciais e apenas espectrais.
• Mecanismo: Os tokens de entrada são decompostos em tokens espaciais ($X_S$) e tokens espectrais ($X_C$) usando uma Camada de Pooling de Atenção. A atenção espacial e espectral ($A_S$ e $A_C$) é computada independentemente.
• Aproximação de Baixo Rango: A atenção espacial-espectral conjunta é aproximada via o produto de Kronecker desses componentes: $A = \sum_{i=1}^r A_C^i \otimes A_S^i$, onde $r$ é o posto da aproximação de baixo rango.
• Redução de Complexidade: Esta abordagem reduz a complexidade computacional de $O(N^2C^2D)$ para $O(r(N^2d_1 + C^2d_2 + NCD))$, onde $d_1$ e $d_2$ são subdimensões. Isso permite a modelagem explícita de dependências conjuntas sem computar a matriz de atenção completa sobre toda a grade espacial-espectral.

2.3 Codificação Posicional Consciente de Comprimento de Onda (SSRoPE)

Para modelar relações espectrais consistentemente sob configurações variáveis, os autores introduzem o Embedding Posicional Rotativo Espacial-Espectral (SSRoPE).

• Dimensão Espacial: Aplica RoPE 2D padrão sobre coordenadas espaciais $(u, v)$.
• Dimensão Espectral: Aplica RoPE 1D sobre a dimensão espectral usando comprimentos de onda físicos $\lambda$ em vez de índices de canal fixos.
• Benefício: Este design garante que a codificação posicional reflita a estrutura física do espectro, tornando o modelo robusto a mudanças na cobertura de comprimento de onda e na amostragem de bandas.

2.4 Pré-treinamento: HyperMAE

Para permitir pré-treinamento escalável, os autores propõem o HyperMAE (Autoencoder Mascarado Hiperespectral):

• Mascaramento Desacoplado: Em vez de mascaramento aleatório sobre tokens achatados, o HyperMAE aplica mascaramento independente a patches espaciais e canais espectrais (75% de mascaramento por dimensão). Isso preserva a estrutura separável requerida pela Atenção LESS.
• Amostragem Hierárquica de Canais (HCS): Durante o pré-treinamento, apenas um subconjunto de canais é amostrado aleatoriamente dentro de uma faixa de proporção predefinida. Isso reduz o custo de memória e computação do decodificador para reconstrução densa, mantendo a exposição a entradas diversas de canais parciais. Durante o ajuste fino e a inferência, o decodificador é removido, e o modelo processa entradas de canal completo eficientemente.

3. Contribuições Principais

1. Atenção LESS: Uma fatorização estruturada de baixo rango da atenção espacial-espectral que reduz a complexidade de modelar interações conjuntas de quadrática para quase linear em termos de contagem de canais, permitindo modelagem explícita em escala.
2. Arquitetura LESSViT: Um ViT agnóstico a canais com embeddings de patch acoplados e codificação posicional consciente de comprimento de onda (SSRoPE), projetado para modelagem consistente e robusta sob configurações espectrais variáveis.
3. Pré-treinamento HyperMAE: Um framework de pré-treinamento auto-supervisionado personalizado com mascaramento espacial-espectral desacoplado e amostragem hierárquica de canais, tornando o treinamento tratável para HSI de alta dimensionalidade.
4. Benchmark de Generalização Cruzada-Espectral: O estabelecimento de um protocolo de avaliação rigoroso no benchmark SpectralEarth que simula variabilidade entre sensores (deslocamento espectral, comprimentos de onda não vistos e expansão de canais) para avaliar sistematicamente a generalização.

4. Resultados Experimentais

Os autores avaliaram o LESSViT no benchmark SpectralEarth, treinando em uma configuração fixa ($C_{120VNIR+}$) e testando em quatro cenários: distribuição interna, deslocamento espectral, comprimentos de onda não vistos e expansão de canais.

• Robustez ao Deslocamento Espectral: O LESSViT superou consistentemente as linhas de base (SpectralViT, DOFA, HyperSigma) em configurações fora da distribuição. Por exemplo, sob a configuração "comprimentos de onda não vistos" ($C_{82}$), o LESSViT mostrou degradação de desempenho significativamente menor em comparação com o SpectralViT, que sofreu quedas de até 90% em certas tarefas.
• Desempenho em Distribuição Interna: Embora o SpectralViT tenha alcançado o desempenho mais alto em configurações de distribuição interna (provavelmente devido à sua especialização em canais fixos e tamanho de patch menor), o LESSViT permaneceu competitivo, ocupando o segundo lugar na maioria dos casos.
• Eficiência e Escalabilidade: O LESSViT demonstrou latência de inferência quase constante à medida que o número de canais aumentava. Em contraste, as linhas de base usando atenção completa explícita (como ChannelViT) exibiram latência aumentando rapidamente e falharam (Fora de Memória) em contagens de canais altas (por exemplo, $C=200$).
• Estudos de Ablação: Remover o SSRoPE ou usar codificação posicional SIREN padrão degradou o desempenho, particularmente em tarefas de segmentação, confirmando a importância da codificação consciente de comprimento de onda. A Amostragem Hierárquica de Canais mostrou-se capaz de melhorar a eficiência de treinamento (redução de 17% no tempo) com impacto mínimo no desempenho downstream.

5. Significado e Alegações

O artigo afirma que a modelagem espacial-espectral explícita e eficiente é essencial para aprendizado de representação hiperespectral escalável e generalizável.

• Abordando o Compromisso: O LESSViT reconcilia com sucesso o compromisso entre eficiência e expressividade. Ele evita as proibições computacionais da atenção espacial-espectral completa, ao mesmo tempo que supera as limitações da modelagem espectral implícita em ViTs padrão.
• Flexibilidade de Sensores: Ao desacoplar o custo computacional da dimensionalidade de canais e usar codificação de comprimento de onda físico, o LESSViT fornece um caminho para modelos generalizarem entre diferentes sensores sem retreinamento em cada configuração específica.
• Limitações: Os autores modestamente reconhecem que a generalização para configurações espectrais inteiramente não vistas ou altamente esparsas permanece desafiadora. Além disso, embora a Atenção LESS seja linear em complexidade, reduzir tamanhos de patch para melhorar a qualidade de segmentação ainda introduz contagens de tokens substanciais, o que pode ser computacionalmente exigente mesmo com o método proposto.

Em conclusão, o LESSViT oferece uma solução escalável para generalização cruzada-espectral, demonstrando que a fatorização estruturada de baixo rango e o design agnóstico a canais são críticos para IA hiperespectral robusta.