💻 computer science

On the Effectiveness of Adaptation Strategies for VLM-Based Federated Learning in Remote Sensing

本文提出了首个针对遥感数据在联邦学习环境下，评估全参数微调、编码器特定微调、提示学习以及 LoRA 自适应策略对视觉-语言模型影响的对比研究，通过分析它们在非独立同分布（non-IID）条件下的泛化能力、通信开销与计算复杂度之间的权衡，为策略选择提供实践指南。

原作者： Simon Lösche, Barış Büyüktaş, Mathis Adler, Angelos Zavras, Ioannis Papoutsis, Begüm Demir

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Simon Lösche, Barış Büyüktaş, Mathis Adler, Angelos Zavras, Ioannis Papoutsis, Begüm Demir

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：成千上万颗卫星在不断地为我们的地球拍摄照片，但拥有这些相机的组织之间却无法共享这些图片。这可能是因为隐私规则、法律限制，或者仅仅是因为互联网连接速度太慢。这就是**遥感（Remote Sensing）的现状：我们拥有海量的数据，但它们分散在不同的国家和组织手中，我们无法将它们全部放入一台巨大的计算机中来训练一个聪明的 AI。为了解决这个问题，科学家们使用了一个被称为联邦学习（Federated Learning）**的小技巧。把它想象成一群学生在各自的座位上独立参加考试。他们不需要把笔记本带给老师，而只需提交最终答案。老师通过整合这些答案来创建一份“超级学习指南”（全局模型），然后将其发回给每个人。这样，每个人都在变得更聪明，而无需展示自己的私人笔记。

但问题在于，这些学生学习的内容略有不同。一个在研究芬兰的森林，另一个在研究希腊的沙漠。这种混杂的情况被称为非独立同分布数据（non-IID data），它会让“超级学习指南”感到困惑，导致它在识别从未见过的事物时表现糟糕。为了解决这个问题，研究人员正在使用视觉-语言模型（Vision-Language Models, VLMs）。这些模型就像是超级聪明的 AI，通过阅读整个互联网，学会了同时理解图像和文字。它们非常擅长处理各种不同的数据，但它们也非常庞大且沉重。在学生和老师之间来回传输这些模型的整个“大脑”，会堵塞网络并耗费大量时间。所以，核心问题是：我们如何教这些庞大的 AI 识别卫星照片，而不至于撑爆互联网或让它们忘掉原有的知识？

伟大的卫星学校实验

在这篇论文中，一支来自柏林和雅典的研究团队决定进行一场大规模实验，旨在寻找最佳方法，教这些庞大的 AI 大脑（具体是一个名为 CLIP 的模型）如何在联邦学习的设置下阅读卫星照片。他们将不同国家的卫星数据视为拥有不同教科书的不同教室。他们的目标是观察哪种“教学方法”（适配策略）效果最好，既不会导致 AI 遗忘其原始知识，也不会导致网络崩溃。

他们测试了四种主要的 AI 更新方式：

全量微调（Full Fine-Tuning, FFT）： 这就像是告诉学生要从头到尾重写整本教科书。他们为了适应新课程，修改了书中的每一个字和每一句话。
特定编码器微调（Encoder-Specific Fine-Tuning）： 在这种情况下，学生只重写关于图片的章节（图像编码器）或关于文字的章节（文本编码器），而让另一半内容保持不变。
提示学习（Prompt Learning, CoOp）： 这是“极简主义”的方法。学生完全不动教科书，而是在封面贴上几张“便利贴”（提示词），以此来告诉书本如何解读新的图片。
LoRA（低秩适配，Low-Rank Adaptation）： 这就像是在教科书中插入一张小巧、高效的参考页。学生保留原书，但添加了一个微小的、专门的注释层，帮助他们解决新课程中的特定问题。

他们的发现：权衡取舍

研究人员在来自奥地利、比利时和芬兰等地的真实卫星数据上运行了这些方法，并测试了 AI 在识别从未见过的物体（如不同类型的土地甚至普通的猫狗照片）时的表现。以下是数据揭示的结果：

“重写一切”的陷阱 (FFT)
当 AI 尝试重写整个大脑（全量微调）时，它成为了识别特定卫星照片的高手。它在训练数据上的准确率达到了 78.3%。然而，它遭受了“灾难性遗忘”。它几乎忘掉了其他所有东西！当在通用照片数据集（ImageNet）上进行测试时，它的准确率骤降至仅 7.8%。这就像是一个学生为了应付某一场特定的考试而死记硬背，以至于最后连语言都不认识了。此外，这种方法最为昂贵，每次更新模型都需要交换 4.2762 亿个参数。

“便利贴”的局限 (Prompt Learning)
“便利贴”方法（CoOp）是最便宜、最快速的。它只需要发送 4.685 万个参数——与其他方法相比微不足道。但它在实际工作中的表现并不理想。它在卫星照片上的准确率仅为 66.5%。它太僵化了；仅仅添加几张便签不足以帮助 AI 理解卫星图像中复杂的细节。

“半本书”的折中方案 (Encoder-Specific)
只重写图片章节或文字章节是一种折中方案。它比重写一切要便宜，但仍然存在遗忘问题。例如，仅重写图片章节会导致 AI 识别通用照片的能力下降约 13%。

最终赢家：LoRA
LoRA 是明显的冠军。它找到了完美的平衡点。

性能： 它在卫星照片上获得了最高分 (79.1%)，甚至超过了“重写一切”的方法。
记忆力： 它几乎没有遗忘。在通用照片测试中，它保持了 75.1% 的准确率，这与 AI 原有的“零样本（zero-shot）”知识几乎不相上下。
效率： 它只需要发送 108 万个参数。这比“重写一切”的方法缩小了 400 多倍，使其对缓慢的互联网连接更加友好。

“插值”安全网

研究人员还尝试了一个巧妙的技巧来解决“重写一切”方法中的“遗忘”问题。他们使用了名为 PAINT 的技术，这就像是将旧教科书与新教科书进行混合。他们发现，如果你将原始的 AI 大脑与新训练的大脑进行混合，你可以在不丢失识别通用物体能力的前提下，获得优秀的卫星照片得分。然而，这只有在训练时间不太长的情况下才有效；如果训练过度，新知识会完全覆盖旧知识，此时混合也无法挽救。

最终结论：如何选择？

论文得出结论，并没有一种适用于所有情况的“最佳”方法，但存在明确的经验法则：

如果你面临缓慢的互联网连接： 不要使用“重写一切”。它太重了。请使用 LoRA 或 提示学习。
如果你需要 AI 对许多不同的事物都足够聪明： 避免使用“重写一切”，因为它会让 AI 遗忘其通识知识。LoRA 是最稳妥的选择，因为它能在教授新技能的同时保持 AI 原有大脑的完整性。
如果你只关心一个特定的任务且不在乎通用知识： “重写一切”（FFT）效果很好，但成本高昂且具有风险。

简而言之，研究人员建议，对于跨国界的卫星照片 AI 训练，LoRA 是金标准。它兼顾了两全之美：高水平的任务准确率、低廉的数据传输成本，以及保留 AI 已有知识的能力。这就像是给学生一份专门的参考页，而不是强迫他们重写整个图书馆。

技术摘要：面向遥感领域基于 VLM 的联邦学习中适配策略的有效性研究

1. 问题陈述

遥感（RS）产生了分布在各处去中心化存档中的海量图像数据。然而，法律法规、隐私担忧以及带宽限制往往阻碍了这些数据的集中化，使得传统的深度学习方法难以实施。联邦学习（FL）提供了一种去中心化的替代方案，即客户端进行本地训练并仅共享参数。在遥感领域的联邦学习中，一个关键挑战是数据异构性（non-IID）：地理、季节和传感器依赖性的变化导致不同客户端之间存在显著的分布偏移和标签不平衡。这通常会导致客户端特有的最优解，从而减慢收敛速度并降低聚合全局模型的泛化能力。

虽然视觉语言模型（VLM，如 CLIP）由于其从大规模图像-文本数据中学习到的可迁移表示，在应对分布偏移方面表现出强大的鲁棒性，但其在联邦学习中的应用受到其庞大参数规模的阻碍。对这些模型进行全量适配会产生极高的通信开销和本地计算复杂度。因此，目前缺乏关于在遥感图像分类的具体背景下，哪种 VLM 适配策略 能在泛化能力、通信效率和计算成本之间实现最佳平衡的指导。

2. 方法论

本文展示了针对遥感领域联邦学习框架下，对 VLM 适配策略进行的首次全面对比研究。该研究在 BigEarthNet-S2 数据集（联邦训练）上评估了四种不同的策略，并在 EuroSAT、RESISC45 和 ImageNet 上评估了其泛化能力。

研究的适配策略

全量微调 (Full Fine-Tuning, FFT)： 更新所有的图像和文本编码器参数 ( $\theta_{train} = \theta$ )。它提供了最大的表示灵活性，但会产生最高的通信和计算成本。
特定编码器微调 (Encoder-Specific Fine-Tuning)： 将更新限制在图像编码器 ( $\theta_{train} = \{\theta_v\}$ ) 或文本编码器 ( $\theta_{train} = \{\theta_t\}$ ) 中，并冻结另一个。与 FFT 相比，这降低了通信成本，但限制了跨模态的适配能力。
提示学习 (Prompt Learning, CoOp)： 仅优化附加在类别名称前的少量可学习上下文向量（软提示），同时保持编码器冻结。这最大限度地减少了通信开销和计算负载，但将适配能力限制在了提示层面。
低秩适配 (Low-Rank Adaptation, LoRA)： 冻结预训练权重，并在 Transformer 投影层中插入可训练的低秩矩阵。这允许模型适配到低秩子空间，在保留预训练表示的同时，显著减少了可训练参数的数量（相比于 FFT）。

实验设计

联邦设置： 客户端按国家（如奥地利、比利时、芬兰）进行划分，以模拟非独立同分布（non-IID）的数据分布。
基准模型： 包括从头开始训练的 ResNet-50 以及 Zero-shot CLIP 基准模型。
指标： 通过微平均/宏平均 mAP（分布内）以及 Top-1/Top-5 准确率/召回率（分布外）来衡量性能。复杂度通过 FLOPs/MACs 和传输参数量进行量化。
灾难性遗忘缓解： 研究调查了 PAINT 方法，该方法通过在预训练权重和微调权重之间进行线性插值，用以分析任务专业化与保留零样本泛化能力之间的权衡。

3. 关键结果

分布内性能 (BigEarthNet-S2)

所有适配策略的表现都显著优于 Zero-shot CLIP 基准模型和从头训练的 ResNet-50。

LoRA 和 FFT 取得了最高的性能，其中 LoRA 比 Zero-shot CLIP 在 micro-mAP 上提升了超过 52%。
特定编码器 策略显示出中度的增益，而 CoOp 提供的提升最小，这表明将更新限制在提示层面会约束模型与遥感数据巨大领域偏移相匹配的能力。

分布外性能与灾难性遗忘

在任务专业化与跨域泛化之间存在明显的权衡：

严重遗忘： FFT 表现出最严重的灾难性遗忘，在 ImageNet 上的 Top-1 准确率从 75.6%（Zero-shot）下降到了 7.8%。这表明对遥感数据的无限制适配破坏了预训练的表示。
保留能力： LoRA 保留了最多的预训练知识，在 ImageNet 上维持了 75.1% 的 Top-1 准确率（降幅小于 1%），同时在遥感数据集上也取得了强劲的表现。
编码器特性： 文本编码器微调比图像编码器微调能更好地保留视觉特征，从而在 EuroSAT 和 RESISC45 等数据集上表现出比仅图像微调更好的分布外性能。
PAINT 分析： 权重插值（PAINT）表明，最大化遥感任务性能的过程本质上会降低 ImageNet 的性能。然而，中间检查点和特定的插值系数可以提供一种平衡的折中方案。

复杂度与通信

通信成本： CoOp 最为高效，仅传输约 46.85K 个参数。LoRA 紧随其后，传输约 1.08M 个参数，比 FFT（427.62M）低了两个数量级。
计算复杂度：
- 无缓存模式： FFT 和特定编码器微调具有相似的高 FLOPs。CoOp 由于在文本特征构建中的操作较少，效率略高。
- 有缓存模式： 特定编码器微调能显著受益于冻结特征的缓存（例如在图像编码器微调时缓存文本特征），与 FFT 相比减少了约 387B 的 FLOPs。LoRA 从缓存中获益并不明显，因为注入的模块改变了特征流，导致其复杂度略高于 FFT。

4. 重要性与指南

本文确立了虽然 VLM 在遥感联邦学习中功能强大，但适配策略的选择决定了系统的可行性与性能。作者根据操作约束得出了以下指南：

文本编码器微调： 当主要目标是将知识迁移到相关的遥感数据集时，推荐使用此方法。它在具有中度通信成本的情况下，提供了在微调模型中最佳的跨数据集泛化能力。
提示学习 (CoOp)： 仅在通信带宽是主要约束条件时推荐使用。它将开销降至最低，但牺牲了任务准确性和泛化能力。
LoRA： 推荐作为需要兼顾高性能和通信效率场景下的最优折中方案。它在实现具有竞争力的分布内结果的同时，将通信开销比 FFT 降低了两个数量级，并缓解了灾难性遗忘。
FFT + PAINT： 当需要在将零样本模型扩展到新任务的同时，严格保留其在先前学习任务上的性能时，推荐使用此方法，尽管其通信成本很高。

5. 结论

研究结论指出，参数高效型适配策略，特别是 LoRA，非常适合用于遥感领域的联邦 VLM 训练。它们有效地缓解了通信成本和灾难性遗忘，同时保持了具有竞争力的性能。相反，无限制的全量微调（FFT）虽然对分布内任务有效，但会导致泛化能力大幅丧失，从而限制了其在需要跨域鲁棒性的场景中的适用性。未来的工作旨在将此分析扩展到特定领域的基座模型和多光谱传感器模态。