SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment for Cross-Scene Hyperspectral Image Classification

技术摘要：SoDa2：基于解耦对齐的单阶段开放集域自适应用于跨场景高光谱图像分类

问题陈述
跨场景高光谱图像（HSI）分类是遥感领域的一项基础任务，但在应用于现实场景时面临重大挑战。传统的深度学习方法假设训练（源）数据和测试（目标）数据是独立同分布的。然而，传感器、成像条件和大气效应的变化会导致“域偏移”，使得模型在应用于新场景时性能下降。此外，现实世界的目标域通常包含“未知类别”（源域中不存在的类别），这使得标准的闭集域自适应（DA）方法失效。现有的针对 HSI 的开放集域自适应（OSDA）方法面临两个主要局限：

1. 混合对齐问题：大多数方法在统一空间中对混合的谱 - 空特征进行对齐。然而，谱特征和空特征对分类的贡献不同且独立分布；直接对齐混合特征可能会削弱跨域的可迁移性。
2. 计算效率低下：当前的 OSDA 方法通常依赖双分类器架构和两阶段训练策略（预训练后接联合训练），导致流程复杂且计算成本高昂。

方法：SoDa2
作者提出了 SoDa2，这是一种基于解耦对齐的单阶段开放集域自适应方法。该框架旨在提取域不变特征，同时自适应地区分已知和未知类别，而无需预先了解未知类别。该架构由三个核心组件组成：

1. 贡献感知双模态特征提取：
   该方法不采用早期特征融合，而是采用并行分支独立提取谱特征和空特征。

   • 谱分支：使用带有跨层残差连接的卷积层，以保留细粒度的波段信息和高阶谱特征。
   • 空分支：利用 3D 卷积层捕捉全局结构和局部纹理，并通过残差连接保留浅层细节。
   • 注意力机制：在各自分支上应用通道注意力和空间注意力模块，以自适应地重新加权特征，强调对分类任务最具信息量的谱波段和空间位置。

2. 解耦对齐模块：
   为了解决域偏移问题，该方法最小化源域和目标域之间的最大均值差异（MMD）。关键在于，这种对齐是解耦的：

   • 谱特征（$L_{spe}$）和空特征（$L_{spa}$）分别独立计算 MMD。
   • 这种方法避免了因对齐异构混合特征而导致的混淆，使模型能够为每种模态学习独立的域不变表示。
   • 总对齐损失是谱 MMD 损失和空 MMD 损失之和。

3. 开放集识别模块（单阶段框架）：
   该方法利用目标域的双分支编码器，在单个训练阶段区分已知和未知类别：

   • 对齐特征编码器：学习受 MMD 损失约束的域不变特征（源域和目标域之间的共享语义）。
   • 内在特征编码器：学习无跨域约束的目标特定特征，捕捉未知类别的判别性特征。
   • 一致性度量：该方法计算每个目标样本的对齐特征与内在特征之间的平方余弦相似度。
   • 高斯混合模型（GMM）：使用具有两个分量（分别代表已知和未知类别）的 GMM 对这些相似度分数的分布进行建模。样本根据其分数与哪个高斯分量对齐进行分类，从而在无需未知类别显式标签的情况下实现开放集识别。

主要贡献

1. 解耦对齐策略：本文提出了一种新颖的方法，利用 MMD 独立对齐谱特征和空特征，解决了 HSI 数据中混合对齐的局限性，因为不同模态具有独特的分布特征。
2. 单阶段训练框架：与现有的两阶段 OSDA 方法不同，SoDa2 将特征提取、域对齐和开放集识别整合到一个统一且具成本效益的单阶段训练过程中。
3. 贡献感知特征提取：带有注意力机制的并行谱和空分支设计，允许选择性地增强来自两种模态的判别性特征。
4. 基于 GMM 的开放集识别：该方法采用 GMM 对对齐特征与内在特征之间的一致性分数进行建模，实现了无需预先了解未知类别即可自动分离已知和未知类别。

实验结果
作者在三个跨场景 HSI 数据集上评估了 SoDa2：

• PU-PC：帕维亚大学（源）到帕维亚中心（目标）。
• HU13-HU18：休斯顿 2013（源）到休斯顿 2018（目标）。
• ZY-GF：资源一号 02D 盐城（源）到高分五号盐城（目标）。

该方法与最先进的 OSDA 方法进行了比较，包括 OSBP、STA、DAMC、UADAL、ANNA、MTS 和 WGDT。性能使用已知类别的平均准确率（$OS^*$）、未知类别的准确率（$UNK$）及其调和平均数（$HOS$）进行衡量。

• 性能：SoDa2 在所有三个数据集上均取得了优越的性能。例如，在 PU-PC 任务中，其 $HOS$达到 80.7$UNK$ 达到 94.3%，优于第二好的方法（WGDT）。在 ZY-GF 任务中，其 $HOS$ 达到 94.7%。
• 消融研究：实验证实，谱和空解耦对齐损失的组合产生了最佳结果，验证了解耦策略的必要性。此外，研究表明，在特征融合之前应用注意力机制的具体顺序，比先融合再应用注意力更有效。
• 参数敏感性：研究确定，将高斯分量数量（$K$）设置为 2，将对齐损失权重（$\alpha$）设置为 10，可在已知和未知类别识别之间提供最佳平衡。

意义与主张
本文声称，SoDa2 有效解决了跨场景 HSI 分类中域偏移和未知类别识别的双重挑战。通过解耦谱特征和空特征的对齐，该方法在保留每种模态独特特性的同时减少了分布差异。单阶段框架为复杂的两阶段训练策略提供了一种计算高效的替代方案。作者断言，该方法实现了卓越的分类准确率和模型可迁移性，为遥感应用中的开放集跨场景任务提供了稳健的解决方案。该方法的代码已向社区公开。