技术摘要：用于光学遥感目标分割的动态小波专家引导微调 (WEFT)

问题陈述

准确分割光学遥感图像（ORSI）中的目标对于从城市规划到灾害评估等应用至关重要。然而，ORSI 面临着独特的挑战，包括任意的目标方向、剧烈的尺度变化以及在复杂背景下的密集分布。

虽然大规模基础模型（如 UniPerceiver-L）与中等规模模型相比具有更优越的判别能力，但由于计算限制，这些模型在 ORSI 任务中的应用受到了阻碍。直接对这些大规模模型（例如超过 3 亿参数的模型）应用全参数微调（FPFT）会导致过高的 GPU 显存消耗、高昂的计算成本以及训练不稳定性，尤其是在处理高分辨率输入时。现有的方法通常依赖于较小的中等规模模型或复杂的优化策略，由于这些资源瓶颈，无法充分发挥更深层、更大规模架构的潜力。

方法论：WEFT 框架

为了解决这些局限性，作者提出了 WEFT（Wavelet Expert-guided Fine-Tuning，小波专家引导微调），这是一种全新的范式，旨在通过极少量的可训练参数，将大规模基础模型高效地适配到 ORSI 分割任务中。该框架保持预训练的基础模型冻结状态，并引入了一个轻量级的、可训练的并行分支。

该架构由四个关键组件组成：

1. 任务特定小波专家 (TWE) 提取器：

   • 该模块生成富含任务特定知识的可训练特征。
   • 它采用小波卷积来建模来自四个方向（HH、HL、LH、LL）的特征，捕捉标准卷积可能会遗漏的多样化频率成分和局部细节。
   • Top-k 专家路由器 (TER) 从七个专家的池中动态选择最相关的专家。这种选择基于源自输入的学习权重，确保仅激活具有适合特定目标尺度的适当感受野的专家。这避免了对于小目标而言感受野过大，或对于大目标而言理解不完整的歧义问题。
   • 该提取器生成一组层次化的多尺度可训练特征。

2. 专家引导条件 (EC) 适配器：

   • 该组件促进来自基础模型的冻结特征与来自 TWE 提取器的可训练特征之间的交互。
   • 它以迭代、分阶段的方式运行（对应于编码器块的四个阶段）。
   • 可变形注意力 (Deformable Attention)： 将任务特定信息从可训练特征注入冻结特征中，以增强语义对齐。
   • 边缘感知子空间标记优化器 (ESTO)： 解决语义歧义和结构感知不足的问题。它将特征拆分为子空间，在这些子空间内计算标记对标记（token-to-token）的注意力，并应用基于通道方差的边缘感知调制机制。这增强了具有结构显著性的区域，特别是物体边界。
   • 空间感知专家增强器 (SEE)： 更新可训练特征以加强空间感知。它利用三个分支：方向拉普拉斯滤波器（用于高频边界）、自适应最大池化（用于全局显著模式）以及多尺度操作（用于局部上下文）。这些分支被动态加权并融合。

3. 掩码解码器 (Mask Decoder)：

   • 一个轻量级的 Transformer 解码器处理优化后的特征，以生成最终的分割掩码。

4. 训练策略：

   • 模型使用结合了二元交叉熵（Binary Cross-Entropy）和 Dice 系数损失的复合损失函数进行优化。
   • 只有 TWE 提取器、EC 适配器和掩码解码器是可训练的，而大规模基础模型保持冻结。

核心贡献

• WEFT 范式： 一种新颖的微调策略，能够使大规模基础模型（如拥有 303.36M 参数的 UniPerceiver-L）有效地应用于 ORSI 分割，且仅需约 4.5% 的参数进行训练（14.37M）。
• TWE 提取器： 引入了一种任务特定的小波专家提取器，通过 Top-k 路由器自适应地组合小波专家，以生成具有判别力的、面向任务的特征。
• EC 适配器： 设计了一个专家引导的条件适配器，通过可变形注意力、子空间标记优化和空间增强，迭代地细化冻结特征和可训练特征，从而实现高效的信息集成。
• 效率与性能： 该方法显著降低了 GPU 显存消耗（约 26.41%）并提高了训练速度，同时保持甚至超过了全参数微调的性能。

实验结果

作者在三个主要的 ORSI 数据集（ORSSD、EORSSD、ORSIs-4199）上评估了 WEFT，并将验证扩展到了伪装、自然和医学场景。

• 定量性能： WEFT 在所有三个 ORSI 数据集上均优于 21 种先进的（SOTA）方法。
  • 在 ORSSD 数据集上，其 mIoU 比第二名提高了 2.70%，mDice 提高了 2.52%。
  • 在 EORSSD 数据集上，其 mIoU 提升了 2.88%，mDice 提升了 3.29%。
  • 它还在平均绝对误差（MAE）方面表现出卓越的性能，比竞争对手降低了 10% 以上。
• 参数效率： 凭借仅 14.37M 的可训练参数，WEFT 显著优于参数量大得多的方法（例如拥有 44.20M 参数的 DPU-Former 和 44.48M 参数的 VST）。
• 泛化能力： 该方法在包括伪装目标检测（COD）、显著性目标检测（SOD）和息肉分割在内的扩展应用中取得了最优结果，展示了在不同图像领域强大的泛化能力。
• 消融实验： 实验证实了每个组件（TWE、ESTO、SEE）的必要性，以及四个小波专家和四个子空间的最佳配置。与其他微调策略（LoRA、VPT、Adapter）的比较表明，WEFT 在参数效率和分割精度方面均具有优越性。

重要性与主张

论文声称 WEFT 为防止大规模模型在遥感领域部署的“资源瓶颈”提供了一个切实可行的解决方案。通过将沉重的预训练骨干网络与训练过程解耦，并引入轻量级的小波引导适配机制，作者证明了：

1. 大规模模型在 ORSI 中是可行的： 可以实现更深、更大规模模型带来的性能增益，而无需承担全参数微调的巨大成本。
2. 小波专业化是有效的： 通过小波变换建模特征并通过动态选择专家，为处理遥感目标的多尺度和多方向特性提供了一种鲁棒的机制。
3. 效率并不牺牲精度： 所提出的方法在大幅降低计算开销的同时实现了最先进的结果，使其成为现实世界遥感应用中一种高度高效的方法。

作者将 WEFT 定位为不仅仅是一个增量式的改进，而是如何将大规模模型适配到像光学遥感这样专业且数据密集型领域的根本性转变。