技术摘要：对遥感多标签分类中设计选择的重要性研究

问题陈述

针对遥感图像（RSI）多标签分类（MLC）的深度学习（DL）模型基准测试通常会产生模型性能排名。然而，这些排名往往无法推广到评估所使用的特定数据集之外。深度学习模型的性能受多种因素的复杂相互作用影响，包括网络架构、训练策略（例如，微调与特征提取）以及初始化。此外，数据集的内在属性——如规模、空间分辨率和标签空间复杂度——也会显著影响哪些设计选择是有效的。目前的基准测试方法依赖于简单的性能排名，无法为“为什么”某些选择对特定数据集有效，或者这些选择如何相互作用提供具有启发性的见解。因此，需要从静态排名转向系统性理解设计选择及其相互作用如何导致不同数据机制下的性能差异。

方法论

作者采用函数方差分析（fANOVA），将模型性能的方差分解为来自单个设计选择及其相互作用的贡献。本研究利用扩展的 fANOVA 框架，对七个 RSI 数据集中的两个不同基准测试场景进行了应用。

实验场景

1. 场景 1（端到端 vs. 特征提取）： 基于 Stoimchev 等人 [9] 的研究，该场景评估了 48 个深度学习模型。它调查了作为端到端预测器的 CNN 是否优于作为特征提取器并结合树模型（随机森林、极端随机树）的模型。分析的设计选择包括：
   • 网络架构： VGG、ResNet、EfficientNet 变体。
   • 微调策略： 预训练（冻结层）与微调（更新所有层）。
   • 学习策略： 端到端学习与结合下游分类器的特征提取。
2. 场景 2（架构与初始化）： 基于 Dimitrovski 等人 [8] 的研究，该场景评估了 20 个深度学习模型，包括 CNN 和 Transformer（ViT、SwinT 等）。设计选择包括：
   • 网络架构： AlexNet、VGG、ResNet、DenseNet、EfficientNet、ViT、MLP-Mixer、ConvNeXt、SwinT。
   • 初始化策略： 从零开始训练（from scratch）与预训练。

分析流程

1. 数据集元表示（Meta-Representations）： 对于每个数据集，应用 fANOVA 到评估模型的性能得分上。这生成了一个元表示向量，捕捉了主效应（单个模块）和交互效应（成对及高阶交互）的重要性。
2. 聚类： 应用层次聚类对这些元表示进行分组，根据其“设计选择敏感性剖面”而非原始性能水平来对数据集进行分类。
3. 与元特征的相关性分析： 将得到的聚类结果与数据集内在的元特征（如样本量、空间分辨率、标签基数）进行对比分析，以识别模式。

主要贡献

本文做出了四个主要贡献：

1. 量化设计选择的影响： 在两个 MLC 基准测试场景（涉及 48 和 20 个模型）及七个 RSI 数据集上应用 fANOVA，量化了单个设计选择及其相互作用对性能差异的具体贡献。
2. 数据集元表示： 通过 fANOVA 重要性得分构建了元表示。对这些表示进行层次聚类表明，数据集是根据其对设计选择的敏感性进行分组的，而非根据整体性能大小进行分组。
3. 识别性能机制（Regimes）： 研究表明，主导性能的因素会随数据集机制的变化而转变：
   • 大规模数据集： 由微调策略和架构驱动。
   • 数据受限型数据集： 由初始化策略支配。
   • 中间规模数据集： 以架构与学习/初始化策略之间的相互作用为特征。
4. 重构基准测试结论： 将既有研究 [8, 9] 的结论重新解释为数据集相关的结论，从而提供了数据集感知的模型选择指南。

结果

分析揭示了设计选择如何影响不同数据集规模下性能的不同模式：

• 原始性能差异： 如 Ankara 和 AID 等数据集表现出紧凑的性能分布（对设计选择敏感度低），而 BigEarthNet 和 MLRSNet 等数据集则表现出宽泛的分布（对设计选择敏感度高）。
• 方差分解：
  • 在场景 1 中，单个效应占主导地位，在某些情况下，单一选择解释了超过 80% 的方差。成对交互虽然显著但程度较低；三路交互可以忽略不计。
  • 在场景 2 中，单个效应同样占主导，但成对交互仍然不可忽视（8–20%），这表明架构与初始化的组合显著影响性能。
• 聚类与机制分析：
  • 聚类 1（大规模：BigEarthNet-19/43, MLRSNet）： 性能主要由微调策略（场景 1）和架构选择（场景 2）驱动。适配预训练权重至关重要，且在这一机制下，微调在各种架构中都能一致地提升性能。
  • 聚类 2（数据受限型：Ankara, UCM, AID）： 在小规模数据集上，初始化（预训练）是决定性的因素。从零开始学习强大的表示非常困难；预训练能显著减少过拟合并提高泛化能力。在场景 1 中，架构的影响力在此变得更加显著，在低分辨率的小规模数据上，较简单的模型（如 VGG）有时会优于更深的模型。
  • 聚类 3（中间规模：DFC-15, PlanetUAS）： 架构与初始化/学习策略均很重要，且它们的相互作用变得不可忽视。例如，某些架构（如 ConvNeXt, VGG16）比其他架构（如 ResNet152）能从预训练中获益更多，这需要仔细的联合配置。

意义与主张

本文声称其发现提供了具有实际操作意义且感知数据集的见解，超越了传统的基准测试排名。通过识别设计选择的重要性并非普适，而是取决于数据集的内在属性（规模、分辨率、复杂度），本研究认为：

• 基准测试结论应被重新定义为以数据集机制为条件的结论。
• 从业者应在大规模数据集上优先考虑微调和架构容量。
• 对于数据受限型机制，初始化（预训练）的选择是最关键的因素。
• 对于中间规模机制，必须考虑模块间的相互作用。

作者指出了局限性，包括仅限于 CNN 和早期的 Transformer，未包含最新的视觉基础模型（Visual Foundation Models），以及依赖于先前研究中固定的训练要素（如数据增强、优化器）。他们建议未来的工作应侧重于直接从数据集元特征预测敏感性剖面，并将分析扩展到现代基础模型。