💻 computer science

Compressing Vision Transformers in Geospatial Transfer Learning with Manifold-Constrained Optimization

本文提出了一种流形约束优化框架（DLRT），用于在迁移学习过程中压缩基于视觉 Transformer 的大型地理空间基础模型，在实现显著参数缩减且精度损失极小化的同时，其性能优于用于高效边缘部署的标准低秩方法（如 LoRA）。

原作者： Thomas Snyder, H. Lexie Yang, Stefan Schnake, Steffen Schotthöfer

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Snyder, H. Lexie Yang, Stefan Schnake, Steffen Schotthöfer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：大到装不下兜里

想象你拥有一座巨大且极其聪明的图书馆（一个地理空间基础模型），它了解从太空观察到的地球的一切。它只需看一眼卫星照片，就能识别出森林、城市和灾区。

然而，这座图书馆规模庞大，甚至填满了一座摩天大楼。你无法把它装进兜里，也无法在野外的小型无人机或手持设备上运行它，因为这些设备的电池很小，处理器也很弱。

通常解决这个问题的方法是尝试缩小这座图书馆。但如果你只是随机删减页面来减小体积，你会丢失重要的信息，导致图书馆变得不再聪明。这篇论文探讨的是：我们该如何缩小这座巨大的图书馆，使其能装进兜里，同时又不丧失其阅读地图的能力？

解决方案：“流形约束”折叠技术

作者提出了一种名为流形约束优化（具体使用的是一种称为 DLRT 的方法）的新型模型缩小方法。

将模型的知识想象成一个巨大的、复杂的 3D 雕塑。

旧方法（如 LoRA）： 想象你试图通过从顶部向下挤压来压平这个雕塑。它确实变小了，但细节被挤压和扭曲了。
新方法 (DLRT)： 想象这个雕塑是由一种柔软的、神奇的织物制成的。这种方法不是简单地挤压它，而是寻找织物中承载最重要信息的特定“褶皱”。它沿着这些线条仔细地折叠织物，在移除中间多余空气的同时，保持了最关键部分的形状完整。

用技术术语来说，模型是通过强制其内部数学运算保持在特定的低维路径（即流形）上来进行“压缩”的。这确保了当模型学习新任务（例如识别某种特定类型的树木）时，它只更新模型中相关的部分，从而保持其余部分的紧凑。

实验：测试折叠后的图书馆

研究人员在三个涉及卫星图像的“谜题”（数据集）上对该方法进行了测试：

UCM： 一个关于美国城市的数据库。
AID： 一个包含许多不同场景的航空图像数据库。
NWPU： 一个拥有 45 个不同类别的庞大全球数据库。

他们使用了两种类型的“巨型图书馆”：

ImageNet 训练模型： 针对普通照片（如猫和狗）进行训练的模型。
OReole 模型： 专门针对卫星图像进行训练的模型。

他们尝试使用这种新的“折叠”方法 (DLRT) 来缩小这些图书馆，并将其与目前流行的缩减方法 (LoRA) 进行对比。

结果：体积更小，但同样聪明

研究结果非常明确：

大幅度减小体积： 新方法成功减少了模型 62% 到 82% 的体积。这就像把一座摩天大楼变成了一栋小房子。
准确率保持高水平： 即使在如此大幅度缩小模型后，它的正确率仍与巨大的未缩小版本几乎持平。
- 在城市数据集 (UCM) 上，新方法的表现与巨型版本几乎完全一致（仅有 0.5–1% 的微小准确率下降）。
- 在更难、更复杂的数据库上，新方法的表现仍然优于标准的缩减方法 (LoRA)。
“热身”技巧： 他们发现，对于卫星专用模型 (OReole)，在开始折叠过程之前，先让模型正常运行一轮会有所帮助。这种“热身”有助于模型做好准备，以便在不损坏的情况下进行折叠。

为什么这很重要

论文得出结论，这种方法使我们能够将这些功能强大、用于观测地球的巨型 AI 模型，真正运行在边缘设备（如无人机、卫星或手持传感器）上，而这些设备的内存和电力都非常有限。

我们不再需要依赖云端的超级计算机来分析灾区，本地设备现在可以立即运行一个高度准确的、经过压缩的模型。这篇论文证明了你不需要在“小体积”和“高智能”之间做选择；通过这种特定的折叠技术，你可以两者兼得。

技术摘要：通过流形约束优化压缩用于地理空间迁移学习的视觉 Transformer

问题陈述

在资源受限的边缘设备上部署地理空间基础模型（FMs）面临着一个关键瓶颈：虽然大规模视觉 Transformer（ViT）架构在土地覆盖制图和灾害响应等任务中实现了强大的泛化能力，但其庞大的参数量（数亿至数十亿）和计算需求使其在本地或边缘部署时显得并不实际。标准的模型压缩方法通常会引入一种模糊的权衡，即显著的参数减少会导致下游任务准确度和校准度的不可接受损失。现有的低秩自适应方法（如 LoRA）虽然提供了一条压缩路径，但在应用于复杂的地理空间基础模型（尤其是那些利用自监督预训练的模型）时，可能无法充分保持性能。

方法论

本文提出应用动态低秩训练（DLRT）——一种流形约束优化框架，用于在监督迁移学习过程中压缩基于 ViT 的地理空间基础模型。

核心框架

该方法将神经网络层的权重矩阵视为在低秩流形 $\mathcal{M}_r$ 上演化的元素。优化过程并非更新全秩权重，而是将更新限制在一个由因子分解 $W = USV^\top$ 定义的低维子空间内，其中 $U, V \in \mathbb{R}^{n \times r}$ 且 $S \in \mathbb{R}^{r \times r}$ 。DLRT 过程包含三个迭代步骤：

基底增强（Basis Augmentation）： 在每个优化步骤中，当前的正则正交基 $U_t$ 和 $V_t$ 会通过梯度动力学（ $\nabla_U \mathcal{L}, \nabla_V \mathcal{L}$ ）进行增强。这创建了一个秩为 $2r$ 的临时子空间，该空间包含了当前基底以及下一步的阶一近似，从而确保在增强阶段损失不会增加。
潜空间训练（Latent Space Training）： 训练动力学被投影到这个增强后的潜空间中。潜系数 $\tilde{S}$ 通过随机梯度下降（或类似优化器）进行 $s^*$ 次局部迭代更新。至关重要的是，全权重矩阵从未被重建；仅对低秩因子进行更新。
截断（收缩/Retraction）： 更新后的解通过截断奇异值分解（SVD）被收缩回流形 $\mathcal{M}_r$ （或新的秩 $r_1$ ）上。这一步丢弃了最小的奇异值，在维持流形约束的同时有效地压缩了表示。

实验设置

本研究在两类地理空间基础模型上评估了该方法：

ImageNet-21k 预训练 ViTs： 标准 ViT-B16 和 ViT-H14 模型。
OReole-MR FMs： 通过在未标记的 Million-AID 数据集上使用掩码自编码器（MAE）进行预训练的地理空间特定模型。

这些模型在三个具有小训练/验证比例的挑战性遥感基准测试集上进行了微调：UCM（21 类）、AID（30 类）和 NWPU（45 类）。DLRT 方法与以下方法进行了对比：

全秩基准迁移学习。
标准 LoRA（低秩自适应）。

一项特定的程序性发现是：为了获得最佳结果，OReole-MR 模型需要在应用低秩自适应之前进行一个“热身”轮次的标准未压缩迁移学习，而这对于 ImageNet 预训练的模型来说是不必要的。

关键结果

针对每种配置进行 10 次运行的实验得出了以下发现：

准确度保持： 在 UCM 数据集上，DLRT 始终能将准确度保持在全秩基准的 0.5–1% 以内，同时移除了 64–82% 的参数。
与 LoRA 的比较： 在数据比例较小的更具挑战性的数据集（AID 和 NWPU）上，低秩方法通常比基准模型出现更大的准确度下降。然而，DLRT 在这些数据集上的验证准确度比 LoRA 高出 1–6%。
压缩率： DLRT 实现了约 62% 至 82% 的压缩率，在保持高性能的同时显著减少了参数量。
模型敏感性： 基于 OReole-MR 的基础模型取得了最高的绝对验证准确度，但也被发现比基于 ImageNet 的模型更难压缩进低秩格式。这表明自监督预训练方案与低秩子空间之间存在不匹配，而热身策略缓解了这一问题。
超参数鲁棒性： 研究发现学习率是最关键的超参数，而 DL-RT 特有参数（增强阈值 $\tau$ 和局部迭代次数 $s^*$ ）与性能的相关性较弱，表明其对参数选择具有鲁棒性。

意义与主张

论文声称，通过 DLRT 进行的流形约束优化提供了一种原则性的方法，可以压缩地理空间基础模型，并优于像 LoRA 这样的“现成”低秩方法。

理论保证： 该方法利用低秩流形的几何结构，提供了可证明的近似和下降保证。基底的正交性和流形约束实现了误差控制，相对于全秩训练，确保了投影梯度流与原始梯度流保持接近。
实际部署： 通过实现大幅度的参数减少且仅造成极小的准确度损失，该方法使得在内存和计算资源有限的边缘设备上部署高性能地理空间模型成为可能。
对抗鲁棒性： 该框架被指出与作用于低秩潜空间的正则化方案兼容，这一特性被认为对于提高地理空间应用中的对抗鲁棒性至关重要。

作者总结道，尽管该方法行之有效，但仍需未来的工作来更好地将自监督预训练方案与低秩子空间对齐，以进一步提高像 OReole-MR 这类模型的压缩效率。