💻 computer science

Implicit spatial-frequency fusion of hyperspectral and lidar data via kolmogorov-arnold networks

本文提出了IFGNet，这是一种新颖的框架，利用柯尔莫哥洛夫-阿诺德网络和激光雷达引导的隐式聚合模块，在空间和频域中有效融合高光谱与激光雷达数据，从而在复杂场景下实现优于现有方法的分类性能。

原作者： Zekun Long, Judy X. Yang, Jing Wang, Ali Zia, Guanyiman Fu, Jun Zhou

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Zekun Long, Judy X. Yang, Jing Wang, Ali Zia, Guanyiman Fu, Jun Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅通过一张照片，在茂密的森林中识别不同种类的树木。有时，两种不同的树木在颜色（光谱数据）上几乎一模一样，使得它们难以区分。然而，如果你还拥有一张能精确显示它们高度和树枝形状的 3D 地图（激光雷达数据），这项工作就会变得容易得多。

本文旨在教导计算机做到这一点：将一张彩色的“平面”照片（高光谱图像）与一张"3D 高度图”（激光雷达）相结合，以极高的精度对场景中的物体进行分类。

以下是作者如何简单解释他们解决该问题的方法：

问题所在：旧工具过于僵化

以往的方法试图使用标准的“神经网络”（计算机用于学习的类脑软件）来融合这两种类型的数据。作者认为，这些旧工具就像僵硬的塑料模具。它们形状固定，只能略微拉伸。当数据变得杂乱无章时——例如突然中断的树枝，或拥有奇特屋顶的建筑物——这些僵硬的模具无法弯曲到足以捕捉细节的程度。它们也难以同时兼顾“大局”（全局模式）和“细微之处”（局部形状）。

解决方案：IFGNet（“智能黏土”网络）

作者创建了一个名为IFGNet的新系统。他们不再使用僵硬的塑料模具，而是采用了一种称为**柯尔莫哥洛夫 - 阿诺德网络（KANs）**的技术。

类比：将 KANs 想象成智能的、可变形的黏土。这种黏土不会被困在一种形状中，而是可以完美地贴合任何曲线或角落。它在学习过程中会适应数据的具体形状，而不是强行将数据塞入预先制作好的盒子中。这使得计算机能够理解图像颜色与物体高度之间复杂且曲折的关系。

工作原理：观察世界的两种方式

该系统并非简单地将两种数据类型混合，而是同时在两个不同的“域”（观察数据的方式）中融合它们：

空间域（“局部邻里”视角）：
- 想象你站在街角。你看着一栋建筑，问道：“我旁边是什么？”
- 系统利用激光雷达（高度图）作为指南。如果高度图显示出一个急剧的落差（如悬崖或建筑物边缘），系统就知道不要将另一侧的颜色混合进来。它利用高度信息保持边界清晰，防止旧方法中出现的“模糊”现象。
频率域（“音乐”视角）：
- 想象你在听一首歌。你可以听到单个音符（高频）以及整体的旋律或节奏（低频）。
- 系统将图像转换为“数学音乐”（使用称为傅里叶变换的过程）。这有助于它看到全局模式——例如一排房屋的重复节奏或公园的整体形状——这些模式如果只观察单个像素可能会被忽略。它将颜色的“音乐”与高度的“音乐”融合在一起。

结果：完美的融合

通过使用“智能黏土”（KANs）结合这两种视角（局部邻里指南和全局音乐模式），该系统创造了一幅比其各部分之和更清晰的统一图像。

论文声称他们取得的成果：

更高的精度：在两个真实世界数据集（一个来自休斯顿，一个来自格尔夫波特）上的测试表明，他们的新方法得分显著高于所有之前的“僵硬模具”方法。
高效性：尽管更智能，但该系统并不一定是一个庞大缓慢的怪物；它依然保持轻量级和高效。
鲁棒性：即使在物体颜色相似但形状截然不同的复杂城市场景中，它也能表现良好。

简而言之，论文指出：“停止试图将复杂的 3D 和颜色数据强行塞入僵硬的盒子中。利用灵活、可变形数学（KANs）在局部和全局层面上融合高度与颜色，你将获得一个更智能的分类器。”

技术摘要：基于 Kolmogorov-Arnold 网络的 hyperspectral 与 LiDAR 数据隐式空频融合

问题陈述

复杂场景中的高光谱图像（HSI）分类因光谱模糊性、空间异质性以及材料属性与几何结构之间的强耦合而面临重大挑战。虽然激光雷达（LiDAR）数据提供了互补的高程和结构信息以缓解光谱模糊，但现有的融合方法存在局限性：

建模约束：大多数现有方法依赖于具有固定激活函数和线性权重的卷积神经网络（CNN）或多层感知机（MLP）。这些方法难以建模 LiDAR 的结构不连续性、HSI 的复杂光谱特征，以及它们之间复杂的非线性相互作用。
融合策略：现有方法通常将 HSI 和 LiDAR 视为独立分支，缺乏一种机制让 LiDAR 几何信息主动引导光谱上下文的采样与细化。
领域覆盖：虽然在空间和频率域融合数据已显示出初步价值，但在文献中仍探索不足，特别是在没有预定义启发式规则的情况下。

方法论：IFGNet

为解决这些问题，作者提出了隐式频率 - 几何融合网络（IFGNet）。该框架利用 Kolmogorov-Arnold 网络（KANs）在空间和频率域执行隐式聚合。该架构由四个核心组件构成：

1. 基于 KAN 的编码器

网络摒弃了传统的 MLP，转而采用 KANs 作为 HSI 和 LiDAR 数据的编码器。

机制：KANs 使用可学习的 B 样条函数参数化非线性映射，而非固定激活函数和静态权重矩阵。
优势：这使得对细微光谱变化的高保真非线性拟合成为可能，并增强了对 LiDAR 高程数据中几何不连续性的局部敏感性，为后续融合提供了共享的潜在空间。

2. 空间隐式聚合单元（SIAU）

该模块在潜在特征空间中执行几何感知聚合。

过程：对于查询空间坐标 $q$ ，该单元识别一个局部邻域。它拼接邻居的高光谱潜在特征、查询位置的 LiDAR 潜在特征以及相对坐标偏移量。
聚合：该输入被送入基于 KAN 的隐式函数以生成候选特征和聚合权重。对权重应用 softmax 归一化，加权求和后生成最终的空间引导表示。
功能：这作为一个几何条件的隐式算子，使模型能够优先处理结构一致的区域，并保留通常被标准卷积模糊化的锐利高程边界。

3. 频域隐式聚合

鉴于城市场景在物体几何与频率特征之间存在强相关性，该框架将隐式聚合扩展至频域。

过程：对编码后的潜在特征应用二维离散傅里叶变换（DFT）以提取实部和虚部。
聚合：将相同的隐式几何聚合算子（SIA）逐分量地应用于 HSI 和 LiDAR 的频域表示。
重构：通过逆离散傅里叶变换（IDFT）重构频率引导表示，从而捕捉全局结构模式和长程依赖关系。

4. 最终融合与分类

空间引导表示（ $F_{Spa}$ ）和频率引导表示（ $F_{Freq}$ ）通过加法融合策略进行集成（ $\hat{z} = F_{Spa} + F_{Freq}$ ）。统一的多模态特征随后被送入轻量级分类头。

主要贡献

本文概述了三项主要贡献：

KAN 驱动的非线性特征建模：作者率先将 KANs 应用于 HSI-LiDAR 融合，用可学习的基于样条的函数取代了僵化的线性权重。这使得融合算子的参数化能够自适应地捕捉复杂的、非线性的跨模态相互作用，这些相互作用以光谱内容和空间坐标为条件。
LiDAR 引导的空间隐式聚合：引入了一种引导聚合机制，利用 LiDAR 衍生的几何线索作为结构参考。通过隐式神经表示对邻近高光谱特征进行采样，该模型实现了区域感知融合，保留了锐利的高程边界。
双域隐式融合框架：该方法同时建模了空间域的几何聚合和频域的结构依赖关系。这避免了预定义的启发式规则，并捕捉了高频相位信息和全局光谱一致性的综合表示。

实验结果

提出的 IFGNet 在两个基准数据集上进行了评估：Houston 2013 和 MUUFL Gulfport。该框架与包括 CALC、GLTNet、M2FNet、MS2CANet、S2ENet、MFT 和 ExViT 在内的最先进方法进行了比较。

性能：IFGNet 在总体精度（OA）、平均精度（AA）和 Cohen's Kappa 系数方面始终优于所有现有方法。
- Houston 2013：实现了 99.37% 的 OA、99.50% 的 AA 和 99.32% 的 Kappa。
- MUUFL：实现了 92.67% 的 OA、94.47% 的 AA 和 90.45% 的 Kappa。
消融研究：实验证实，仅空间域和仅频域的变体各自有效但具有互补性。整合两者的完整模型产生了最佳性能，验证了双域隐式融合的必要性。
参数分析：确定 5×5 的补丁大小对于 MUUFL 数据集是最优的，在足够的空间 - 光谱上下文与冗余背景信息之间取得了平衡。

意义与主张

本文声称，IFGNet 通过将架构从僵化的线性加权转向自适应的基于样条的函数逼近，为 HSI-LiDAR 融合带来了显著进步。通过将空间几何聚合与频域建模解耦，并在隐式表示框架下统一它们，该方法在保持轻量级架构的同时实现了有效的多模态融合。作者断言，这种设计避免了深度 Transformer 网络和重型注意力模块的计算负担，使其适用于实际的遥感场景。在两个不同基准上的一致性能提升表明，该方法对复杂城市场景具有强大的鲁棒性和泛化能力。