Resumo Técnico: Fusão Implícita Espaço-Frequência de Dados Hiperespectrais e LiDAR via Redes Kolmogorov-Arnold

Declaração do Problema

A classificação de imagens hiperespectrais (HSI) em cenas complexas enfrenta desafios significativos devido à ambiguidade espectral, heterogeneidade espacial e ao forte acoplamento entre propriedades dos materiais e estruturas geométricas. Embora os dados de Detecção e Medição por Luz (LiDAR) forneçam informações complementares de elevação e estrutura para mitigar a ambiguidade espectral, os métodos de fusão existentes apresentam limitações:

1. Restrições de Modelagem: A maioria das abordagens atuais depende de Redes Neurais Convolucionais (CNNs) ou Perceptrons Multicamada (MLPs) com funções de ativação fixas e pesos lineares. Essas redes têm dificuldade em modelar as descontinuidades estruturais do LiDAR, as características espectrais intrincadas da HSI e suas interações não lineares complexas.
2. Estratégia de Fusão: Os métodos existentes geralmente tratam a HSI e o LiDAR como ramos independentes, carecendo de um mecanismo onde a geometria do LiDAR guie ativamente a amostragem e o refinamento do contexto espectral.
3. Cobertura de Domínio: Embora a fusão de dados nos domínios espacial e frequencial mostre valor preliminar, permanece pouco explorada na literatura, particularmente sem heurísticas predefinidas.

Metodologia: IFGNet

Para abordar essas questões, os autores propõem a Rede de Fusão Implícita Frequência-Geometria (IFGNet). Esta estrutura aproveita as Redes Kolmogorov-Arnold (KANs) para realizar agregação implícita através dos domínios espacial e frequencial. A arquitetura consiste em quatro componentes principais:

1. Codificador Baseado em KAN

Em vez de MLPs tradicionais, a rede emprega KANs como codificadores para dados de HSI e LiDAR.

• Mecanismo: As KANs parametrizam mapeamentos não lineares usando funções B-spline aprendíveis, em vez de funções de ativação fixas e matrizes de pesos estáticas.
• Vantagem: Isso permite um ajuste não linear de alta fidelidade de variações espectrais sutis e sensibilidade local aprimorada a descontinuidades geométricas nos dados de elevação do LiDAR, fornecendo um espaço latente compartilhado para a fusão subsequente.

2. Unidade de Agregação Implícita Espacial (SIAU)

Este módulo realiza agregação consciente da geometria no espaço de características latentes.

• Processo: Para uma coordenada espacial de consulta $q$, a unidade identifica uma vizinhança local. Ela concatena a característica latente hiperespectral de um vizinho, a característica latente do LiDAR na posição de consulta e o deslocamento de coordenada relativo.
• Agregação: Esta entrada é alimentada em uma função implícita baseada em KAN para gerar características candidatas e pesos de agregação. Uma normalização softmax é aplicada aos pesos, e uma soma ponderada produz a representação final guiada espacialmente.
• Função: Isso atua como um operador implícito condicionado à geometria, permitindo que o modelo priorize regiões estruturalmente consistentes e preserve limites de elevação nítidos frequentemente borrados por convoluções padrão.

3. Agregação Implícita no Domínio da Frequência

Reconhecendo que cenas urbanas exibem fortes correlações entre a geometria dos objetos e as características de frequência, a estrutura estende a agregação implícita ao domínio da frequência.

• Processo: Uma Transformada Discreta de Fourier 2D (DFT) é aplicada às características latentes codificadas para extrair componentes reais e imaginários.
• Agregação: O mesmo operador de agregação geométrica implícita (SIA) é aplicado componente a componente às representações no domínio da frequência de ambas a HSI e o LiDAR.
• Reconstrução: Uma Transformada Discreta de Fourier Inversa (IDFT) reconstrói a representação guiada pela frequência, capturando padrões estruturais globais e dependências de longo alcance.

4. Fusão Final e Classificação

A representação guiada espacialmente ($F_{Spa}$) e a representação guiada pela frequência ($F_{Freq}$) são integradas por meio de uma estratégia de fusão aditiva ($\hat{z} = F_{Spa} + F_{Freq}$). A característica multimodal unificada é então passada para um cabeçalho de classificação leve.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Modelagem de Características Não Lineares Impulsionada por KAN: Os autores pioneiramente utilizam KANs para fusão HSI-LiDAR, substituindo pesos lineares rígidos por funções baseadas em splines aprendíveis. Isso permite a parametrização de operadores de fusão que capturam adaptativamente interações cruzadas complexas e não lineares condicionadas tanto ao conteúdo espectral quanto às coordenadas espaciais.
2. Agregação Implícita Espacial Guiada por LiDAR: Um mecanismo de agregação guiada é introduzido que usa pistas geométricas derivadas do LiDAR como referência estrutural. Ao amostrar características hiperespectrais vizinhas através de uma representação neural implícita, o modelo alcança fusão consciente da área que preserva limites de elevação nítidos.
3. Estrutura de Fusão Implícita de Duplo Domínio: O método modela simultaneamente a agregação geométrica no domínio espacial e as dependências estruturais no domínio da frequência. Isso evita heurísticas predefinidas e captura uma representação abrangente de informações de fase de alta frequência e consistência espectral global.

Resultados Experimentais

O IFGNet proposto foi avaliado em dois benchmarks: os conjuntos de dados Houston 2013 e MUUFL Gulfport. A estrutura foi comparada contra métodos de última geração, incluindo CALC, GLTNet, M2FNet, MS2CANet, S2ENet, MFT e ExViT.

• Desempenho: O IFGNet superou consistentemente todos os métodos existentes em Precisão Geral (OA), Precisão Média (AA) e coeficiente Kappa de Cohen.
  • Houston 2013: Alcançou 99,37% de OA, 99,50% de AA e 99,32% de Kappa.
  • MUUFL: Alcançou 92,67% de OA, 94,47% de AA e 90,45% de Kappa.
• Estudos de Ablação: Experimentos confirmaram que as variantes apenas espacial e apenas frequencial são individualmente eficazes, mas complementares. O modelo completo, integrando ambas, produziu o melhor desempenho, validando a necessidade de fusão implícita de duplo domínio.
• Análise de Parâmetros: Um tamanho de patch de 5×5 foi determinado como ideal para o conjunto de dados MUUFL, equilibrando contexto espacial-espectral suficiente contra informações de fundo redundantes.

Significado e Alegações

O artigo alega que o IFGNet oferece um avanço significativo na fusão HSI-LiDAR ao afastar-se de arquiteturas rígidas com pesos lineares em direção a aproximações de funções adaptativas baseadas em splines. Ao desacoplar a agregação espacial-geométrica da modelagem no domínio da frequência e uni-las sob uma estrutura de representação implícita, o método alcança fusão multimodal eficaz enquanto mantém uma arquitetura leve. Os autores afirmam que este design evita o peso computacional de redes profundas de transformadores e módulos de atenção pesados, tornando-o adequado para cenários práticos de sensoriamento remoto. Os ganhos consistentes de desempenho em dois benchmarks distintos sugerem forte robustez e capacidades de generalização para cenas urbanas complexas.