Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

技术摘要：利用可训练张量分解将 RGB 模型迁移学习至高光谱图像

问题陈述
高光谱成像（HSI）捕捉数百个光谱波长的数据，为遥感、医学成像和园艺学等领域的任务提供了丰富的信息。然而，与 RGB 图像相比，高光谱图像中大型多样化数据集的稀缺性阻碍了深度学习模型的训练。因此，从预训练的 RGB 骨干模型（例如在 ImageNet 上训练的模型）进行迁移学习成为一种理想的策略。然而，存在一个根本性的不兼容问题：标准骨干模型期望输入为 3 通道 RGB 数据，而高光谱图像具有显著更高的通道维度（$\hat{C}_{in} > 3$）。

现有解决这种维度不匹配的方案存在显著的权衡：

1. 图像端适配：通过降维（例如主成分分析 PCA）或通道选择将高光谱图像减少为 3 通道，虽然保留了模型架构，但丢弃了关键的光谱信息。
2. 模型端适配：将第一层卷积层替换为具有 $\hat{C}_{in}$ 输入通道的层，虽然保留了图像数据，但需要从零开始训练新的权重。这牺牲了原始滤波器中预学习到的空间模式，增加了可训练参数的数量，并提高了在小规模高光谱数据集上过拟合的风险。

方法论
作者提出了一种新颖的方法，利用部分可训练张量分解来弥合这一差距。核心见解在于，骨干模型中的卷积滤波器可以分解为空间分量和光谱分量。通过分离这些分量，该方法能够保留从大型 RGB 数据集中学习到的空间模式，同时将光谱分量适配到特定的高光谱领域。

该过程包含以下步骤：

1. 分解：使用CP（典型多线性）或Tucker张量分解，对预训练骨干的第一层卷积层权重（$W^1$）进行分解。
   • CP 分解：将滤波器近似为秩一张量的和，将滤波器分离为一个光谱向量和两个空间向量（水平和垂直）。
   • Tucker 分解：通过矩阵乘法将张量投影到更低维的核心张量。作者应用了部分Tucker 分解，仅压缩光谱维度，同时保留空间结构。
2. 分量替换：丢弃原始的 3 通道光谱分量。将其替换为新的、可训练的光谱分量，其维度为 $\hat{C}_{in}$（匹配高光谱输入）。
3. 冻结与训练：源自原始预训练滤波器的空间分量被冻结。仅训练新的光谱分量和最终的分类层。
4. 实现：分解后的层使用分组可分离卷积实现。对于 CP，这涉及一个逐点卷积后接两个深度卷积；对于 Tucker，则是一个逐点卷积后接一个标准 2D 卷积。

主要贡献

• 新颖的迁移机制：本文提出了一种方法，能够在不牺牲预训练空间信息或丢弃光谱数据的情况下，将 3 通道 RGB 骨干适配到高光谱输入。
• 参数效率：通过冻结空间分量，该方法与从零开始重新训练第一层相比，大幅减少了可训练参数的数量，从而缓解了数据稀缺场景下的过拟合风险。
• 空间先验的保留：该方法保持了预训练骨干滤波器特有的“彩色椭圆形形状”和边缘检测行为，这对于鲁棒的视觉任务至关重要。

实验结果
作者在五个数据集上评估了他们的方法：三个遥感数据集（博茨瓦纳、印第安纳松林、肯尼迪航天中心）和两个园艺数据集（牛油果、葡萄叶）。他们将他们的 CP 和 Tucker 方法与两个基线进行了比较：

• Reduce（降维）：降维至 3 通道。
• Scratch（从头训练）：用从零开始训练的新层替换第一层。

发现：

• 准确率：提出的 CP 和 Tucker 方法始终优于"Reduce"基线。它们通常比"Scratch"基线更准确，特别是在像"Grape leaves"（葡萄叶）这样复杂的数据集上，"Scratch"表现不佳。
• 鲁棒性：在过拟合实验（变化学习率并延长训练轮数）中，"Scratch"方法的过拟合速度明显快于分解方法。分解方法表现出更大的稳定性。
• 骨干独立性：结果在不同骨干架构（AlexNet、DenseNet、ResNet18）中均成立。
• 秩敏感性：虽然分解秩 $R=2$ 通常提供了最佳平衡，但将秩增加到 $R=3$ 并未一致地带来进一步的改进，这表明需要超参数调整。

意义与主张
本文主张，该方法成功解决了高光谱图像与 RGB 骨干之间的维度不匹配问题，同时保留了图像的光谱信息和模型的空间先验。作者断言，与现有的要么压缩图像要么从头重新训练模型的高光谱迁移学习方法相比，他们的方法更准确且对过拟合更具鲁棒性。

这项工作将自己定位为迈向创建高光谱成像通用骨干的一步。然而，作者对局限性保持谦逊，指出张量分解层可能对初始化和优化策略敏感。他们建议未来的工作可以专注于专门为这些层定制的优化策略，并探索可能最终允许在不通过整个网络进行反向传播的情况下进行迁移学习的方法。