💻 computer science

LESSViT: Robust Hyperspectral Representation Learning under Spectral Configuration Shift

本文介绍了 LESSViT，这是一种传感器灵活的视觉 Transformer 架构，它采用低秩空谱注意力机制和专用的掩码自编码器，以在不同光谱配置下实现鲁棒、高效且可泛化的高光谱表示学习。

原作者： Haozhe Si, Yuxuan Wan, Yuqing Wang, Minh Do, Han Zhao

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Haozhe Si, Yuxuan Wan, Yuqing Wang, Minh Do, Han Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一台机器人利用“超视”相机来识别不同类型的土壤、作物或森林。这些并非只能看见红、绿、蓝（RGB）三种颜色的普通相机，而是高光谱相机。它们能看见数百种不同的“颜色”（波长），为图像中的每一个像素生成详细的化学指纹。

然而，存在一个大问题：并非所有相机的构造都相同。

相机 A 可能看见 100 种颜色，主要集中在红色和近红外范围。
相机 B 可能也看见 100 种颜色，但主要集中在红外范围。
相机 C 可能看见一套完全不同的 80 种颜色，而相机 A 从未见过这些颜色。

如果你用相机 A 的数据训练机器人，当你将其切换到相机 B 或 C 时，它通常会感到困惑。这就像只通过观察金毛寻回犬来教某人识别狗；当他们看到贵宾犬时，就不知道那是什么了。

本文介绍了一种名为LESSViT的新型机器人“大脑”，旨在解决这一确切问题。以下是其工作原理的通俗解释：

1. 问题：昂贵的“大脑”

此前让机器人理解这些相机的尝试只有两个糟糕的选项：

选项 A（懒惰法）： 机器人忽略颜色的具体顺序，仅仅将它们视为一堆杂乱的数据。这种方法很快，但它忘记了“红色”不同于“蓝色”，因此当相机改变时就会失败。
选项 B（过度思考法）： 机器人试图同时查看图像中的每一种颜色和每一个位置，以理解它们之间的关系。这非常聪明，但需要巨大的计算能力，导致当颜色数量达到数百种时，计算机会崩溃（或耗时极长）。

2. 解决方案：LESSViT（“智能整理者”）

作者创建了LESSViT，它使用了一种名为LESS 注意力机制的巧妙技巧。

类比：图书馆与书架
想象你有一个图书馆，里面有 $N$ 本书（空间位置），每本书有 $C$ 个章节（光谱颜色）。

旧方法： 为了理解故事，你试图将每一本书的每一页与其他每一页进行比对。如果你有 1,000 本书和 100 个章节，那就是万亿种组合。这不可能完成。
LESSViT 方法： LESSViT 意识到“故事”（空间）和“语言”（光谱）是相关但独立的，因此它不会一次性阅读所有内容。
- 它创建一个故事摘要（空间摘要）。
- 它创建一个语言摘要（光谱摘要）。
- 然后，它使用一种“低秩”捷径将这两个摘要结合起来。

这就像听一首歌。你不需要试图同时记住每种乐器演奏的每一个音符，而是分别学习旋律（空间）和节奏（光谱），然后将它们组合在一起。这使得数学计算变得快得多（从“不可能”变为“可行”），同时仍保持机器人足够聪明以理解细节。

3. 实现灵活性：“通用适配器”

为了处理不同的相机，LESSViT 具备两个特殊功能：

通道无关的块嵌入： 想象一个通用电源适配器。无论相机有 50 个插头还是 200 个插头，LESSViT 都能插上并工作。它不在乎相机看见了多少种“颜色”；它只是按原样处理它们。
波长感知的位置编码： 普通机器人认为“通道 1"总是第一种颜色。LESSViT 知道“通道 1"在一台相机上可能是 500 纳米（绿色），而在另一台相机上可能是 700 纳米（红色）。它关注的是实际的波长（物理颜色），而不仅仅是插槽编号。

4. 训练：“捉迷藏”游戏

为了在不依赖数百万个标记样本的情况下训练这台机器人，他们使用了一种名为HyperMAE的方法。

游戏： 他们向机器人展示一张图像，但隐藏（掩蔽）了大部分颜色和大部分位置。
挑战： 机器人必须猜测缺失的部分。
转折： 他们独立地隐藏颜色和位置。这迫使机器人学习到物体的“形状”和“化学颜色”是相互关联但 distinct 的，使其即使在相机改变时也能非常擅长猜测。

5. 结果：“变色龙”效应

研究人员在名为SpectralEarth的大型数据集上测试了 LESSViT。

测试： 他们在一种特定的相机设置（120 种颜色）上训练机器人，然后在以下设置中测试它：
1. 相同的设置（简单）。
2. 具有不同颜色的设置（困难）。
3. 具有机器人从未见过的全新颜色的设置（非常困难）。
4. 具有比训练时更多颜色的设置（扩展）。

结果：

旧模型： 当相机改变时，它们会感到困惑并严重失败（准确率有时下降 50-90%）。
LESSViT： 它保持强劲。即使相机改变为一套完全不同的颜色，它也只损失了少量准确率。它证明，通过明确理解空间与光之间的关系，机器人可以在无需从头重新训练的情况下适应新传感器。

总结

LESSViT 是一种新型人工智能，它学习通过高光谱相机观察世界。它不再僵化，不会因相机改变而崩溃，而是利用一种聪明、高效的数学技巧，将“事物在哪里”与“它们是什么颜色”分离开来。这使它能够可靠地在不同传感器上工作，使其成为从太空分析地球的稳健工具，无论拍摄照片的是哪颗卫星或无人机。

技术摘要：LESSViT：光谱配置偏移下的鲁棒高光谱表征学习

1. 问题陈述

高光谱图像（HSI）能够捕捉数百个连续波长波段中的细粒度光谱特征，从而实现对材料、生物物理状态和环境过程的详细表征。然而，一个根本性的挑战源于不同传感器之间光谱配置的变异性。与具有固定 RGB 通道的自然图像不同，HSI 传感器在波长覆盖范围、波段采样和通道维度上存在显著差异。因此，在固定光谱配置上训练的模型往往难以泛化到其他传感器，从而遭受“光谱偏移”的影响。

现有方法在效率与表达能力之间面临权衡：

隐式建模：标准视觉 Transformer（ViT）通常将光谱维度压缩至通道维度，或使用固定的块嵌入。虽然这些方法计算效率高，但它们假设通道结构固定，未能显式建模波长依赖关系，从而限制了跨传感器泛化能力。
显式建模：将光谱通道视为独立令牌并应用全空间 - 光谱注意力机制，虽能实现显式建模，但会产生 $O(N^2C^2)$ 的过高计算复杂度，其中 $N$ 为空间令牌数量， $C$ 为光谱通道数量。这使得该方法对于高维 HSI 输入而言难以处理。

2. 方法论：LESSViT

作者提出了 LESSViT（低秩高效空间 - 光谱 ViT），这是一种传感器灵活的架构，旨在通过三个核心组件实现跨光谱泛化：

2.1 通道无关的令牌化（共享块嵌入）

为了支持变化的光谱维度，LESSViT 采用共享块嵌入层。模型不使用针对每个通道学习的独立权重，而是对所有通道使用共享的投影权重。给定大小为 $C \times H \times W$ 的输入 HSI，将其划分为块，并使用共享的线性映射投影为令牌。这确保了模型能够处理具有不同光谱通道数量的输入，而无需重新训练或更改架构。

2.2 低秩高效空间 - 光谱注意力（LESS 注意力）

为了解决效率与表达能力之间的权衡，作者引入了 LESS 注意力，这是一种结构化的空间 - 光谱注意力低秩分解。

分解：该方法利用高光谱数据的结构可分离性，将联合交互分解为仅空间和仅光谱组件。
机制：输入令牌通过注意力池化层分解为空间令牌（ $X_S$ ）和光谱令牌（ $X_C$ ）。空间注意力和光谱注意力（ $A_S$ 和 $A_C$ ）独立计算。
低秩近似：联合空间 - 光谱注意力通过这两个组件的克罗内克积进行近似： $A = \sum_{i=1}^r A_C^i \otimes A_S^i$ ，其中 $r$ 为低秩近似的秩。
复杂度降低：该方法将计算复杂度从 $O(N^2C^2D)$ 降低至 $O(r(N^2d_1 + C^2d_2 + NCD))$ ，其中 $d_1$ 和 $d_2$ 为子维度。这使得在不计算整个空间 - 光谱网格的全注意力矩阵的情况下，也能对联合依赖关系进行显式建模。

2.3 波长感知的位置编码（SSRoPE）

为了在变化的配置下一致地建模光谱关系，作者引入了空间 - 光谱旋转位置嵌入（SSRoPE）。

空间维度：在空间坐标 $(u, v)$ 上应用标准的 2D RoPE。
光谱维度：在光谱维度上应用 1D RoPE，使用物理波长 $\lambda$ 而非固定的通道索引。
优势：该设计确保位置编码反映光谱的物理结构，使模型对波长覆盖范围和波段采样的变化具有鲁棒性。

2.4 预训练：HyperMAE

为了实现可扩展的预训练，作者提出了 HyperMAE（高光谱掩码自编码器）：

解耦掩码：HyperMAE 不对展平后的令牌进行随机掩码，而是对空间块和光谱通道分别应用独立掩码（每个维度 75% 的掩码率）。这保留了 LESS 注意力所需的可分离结构。
分层通道采样（HCS）：在预训练期间，仅在预定义的比例范围内随机采样部分通道。这降低了密集重建解码器的内存和计算成本，同时保持了对多样化部分通道输入的接触。在微调和推理期间，移除解码器，模型可高效处理全通道输入。

3. 主要贡献

LESS 注意力：一种结构化的空间 - 光谱注意力低秩分解，将联合交互建模的复杂度从通道数量的二次方降低至近线性，从而实现了可扩展的显式建模。
LESSViT 架构：一种通道无关的 ViT，具备共享块嵌入和波长感知的位置编码（SSRoPE），旨在应对变化的光谱配置，实现一致且鲁棒的建模。
HyperMAE 预训练：一种定制的自监督预训练框架，具备解耦的空间 - 光谱掩码和分层通道采样，使得高维 HSI 的训练变得可行。
跨光谱泛化基准：建立了在 SpectralEarth 基准上的严格评估协议，模拟跨传感器变异性（光谱偏移、未见波长和通道扩展），以系统性地评估泛化能力。

4. 实验结果

作者在 SpectralEarth 基准上评估了 LESSViT，在固定配置（ $C_{120VNIR+}$ ）上进行训练，并在四种场景下进行测试：分布内、光谱偏移、未见波长和通道扩展。

对光谱偏移的鲁棒性：LESSViT 在分布外设置中始终优于基线模型（SpectralViT、DOFA、HyperSigma）。例如，在“未见波长”设置（ $C_{82}$ ）下，LESSViT 的性能下降幅度显著小于 SpectralViT，后者在某些任务中性能下降高达 90%。
分布内性能：虽然 SpectralViT 在分布内设置中取得了最高性能（可能是由于其针对固定通道和小块大小的专业化），但 LESSViT 仍具有竞争力，在大多数情况下排名第二。
效率与可扩展性：随着通道数量的增加，LESSViT 表现出近乎恒定的推理延迟。相比之下，使用显式全注意力的基线模型（如 ChannelViT）表现出迅速增加的延迟，并在高通道数（例如 $C=200$ ）时失败（内存溢出）。
消融研究：移除 SSRoPE 或使用标准 SIREN 位置编码会降低性能，特别是在分割任务中，证实了波长感知编码的重要性。分层通道采样被证明能提高训练效率（时间减少 17%），且对下游性能的影响微乎其微。

5. 意义与主张

该论文主张，显式且高效的空间 - 光谱建模对于可扩展且可泛化的高光谱表征学习至关重要。

解决权衡：LESSViT 成功调和了效率与表达能力之间的权衡。它避免了全空间 - 光谱注意力的计算限制，同时克服了标准 ViT 中隐式光谱建模的局限性。
传感器灵活性通过将计算成本与通道维度解耦并使用物理波长编码，LESSViT 为模型在不同传感器之间泛化提供了一条途径，而无需针对每种特定配置进行重新训练。
局限性：作者谦逊地承认，向完全未见或高度稀疏的光谱配置泛化仍然具有挑战性。此外，虽然 LESS 注意力在复杂度上是线性的，但为了改善分割质量而减小块大小仍会引入大量的令牌数量，即使采用所提出的方法，这也可能带来巨大的计算需求。

总之，LESSViT 提供了一种可扩展的跨光谱泛化解决方案，证明了结构化低秩分解和通道无关设计对于鲁棒的高光谱人工智能至关重要。