💻 computer science

Semi-Supervised Adaptation of Vision-Language Models for Image Classification

本文介绍了 SE-CLIP，这是一个通过采用具有类平衡递归标签挖掘的双阶段流水线来增强用于遥感图像分类的视觉-语言模型的半监督框架，旨在克服标注稀缺问题，并在 UCM 和 NWPU 基准测试上超越现有方法。

原作者： Mohamed L. Mekhalfi, Mohamad M. Al Rahhal, Yakoub Bazi, Salah E. Khenfer, Mingdeng Shi, Hua Zou, Mansour Zuair

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohamed L. Mekhalfi, Mohamad M. Al Rahhal, Yakoub Bazi, Salah E. Khenfer, Mingdeng Shi, Hua Zou, Mansour Zuair

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的广阔版图中，新一代计算机视觉系统已经涌现，它们不仅被训练去“看见”图像，还被训练去理解描述这些图像的文字。这些被称为视觉-语言模型的系统，通过学习数百万对图像和文本来构建知识，建立起一个共享的精神地图，使视觉概念与语言概念并肩而立。这使得它们能够在无需针对每种情况进行专门训练的情况下，识别出新场景中的物体，这种能力通常被称为零样本学习（zero-shot learning）。然而，尽管这些模型擅长理解公园或城市街道等日常场景，但在面对卫星遥感影像这种独特的、自上而下的视角时，往往会表现得力不从心。从太空观察到的地球颜色、纹理和模式，与这些模型通常学习的地平面照片有着本质的区别。为了让这些强大的工具适用于遥感领域，科学家通常需要用新数据对其进行微调，但手动标注数以千计的卫星图像既缓慢又昂贵，且需要专业的地理知识。这造成了一个瓶颈：技术已经存在，但教导它了解我们星球特性的所需人力成本却过于巨大。

为了弥补这一差距，一个研究小组开发了一种名为 SE-CLIP 的新方法，该方法允许这些先进的模型通过极少的人类标注样本来学习如何对卫星图像进行分类。该系统并不依赖于大规模的预标注图像数据集，而是从极少数经过专家验证的样本开始，例如每种土地覆盖类型仅需五个样本，如机场、森林或居住区。从这个微小的起点出发，该框架进入了一个递归的发现循环。它利用模型现有的语言理解能力为每个类别生成文本描述，从而有效地创建了一组文本锚点。随后，系统会扫描大量的未标记卫星图像库，寻找那些在视觉上与这些文本描述高度匹配的高置信度图像。至关重要的是，研究人员在设计该系统时考虑到了公平性：它会为每一个类别选择相同数量的高置信度图像，以防止模型过度关注最容易或最常见的土地覆盖类型，而忽略了复杂或罕见的类型。这些新识别出的图像随后会被添加到训练集中，过程不断重复，使模型能够持续进化并完善其对地球表面的理解。

这种方法的成果令人瞩目，特别是在两个主要的卫星图像分类基准测试中：包含 2,100 张图像、涵盖 21 个类别的 UC Merced 数据集，以及规模大得多的、拥有 31,500 张图像、涵盖 45 个类别的 NWPU-RESISC45 数据集。在初始阶段，模型使用仅有的少量标注种子进行“热身”，以稳定其学习过程。一旦基础奠定，递归发现阶段便正式开始。在较小的 UC Merced 数据集上，通过使用秩（rank）为 16 的 LoRA，系统达到了 99.09% 的峰值准确率。在更复杂且更具挑战性的 NWPU 数据集上，随着允许挖掘更多的样本，系统的表现甚至更好，在相同的配置下达到了 95.07% 的峰值准确率。研究人员发现，如果尝试一次性挖掘过多的图像，准确率会略有下降，这表明引入过多的低置信度样本会给学习过程带来噪声。此外，研究表明该方法非常高效，仅需训练模型极小比例的总参数，这在保持低计算成本的同时，提供了显著优于现有半监督技术的成果。

该研究的一个关键发现是，该方法的成功在很大程度上取决于它如何管理不同类别之间的平衡。当研究人员测试了一个不强制执行这种平衡、即不分类型地直接选取最佳图像的版本时，性能发生了崩溃。在 NWPU 数据集上，这种不平衡的方法导致准确率降至仅 4,2.33%，而平衡方法则维持在 94.92%。这种巨大的差异凸显了：如果没有严格的规则来确保每个土地利用类别都能获得等量的新的训练数据，模型就会倾向于忽略困难或频率较低的类别，从而导致理解偏颇且不可靠。模型内部数据表示的可视化证实了这一点：原始未经训练的模型将所有类别视为一团混乱、重叠的杂乱物，而 SE-CLIP 方法则将这些图像组织成紧密、清晰的簇，将一种类型的土地覆盖与其他类型清晰地分隔开。

研究还将这一新框架与几种旨在进行半监督学习的最先进方法进行了对比。在所有案例中，SE-CLIP 都脱颖而出。在 UC Merced 数据集上，它达到了 99.09% 的准确率，超过了次优方法三个百分点以上。在更困难的 NWPU 基准测试中，它达到了 95.07%，比最强的竞争对手高出六个百分点以上。这些结果表明，将视觉-语言模型的广泛预训练知识与细致、平衡的自学习策略相结合，为遥感领域提供了一个强大的解决方案。该框架有效地将少量的专家知识转化为大规模、高质量的数据集，而无需持续的人工标注。虽然该系统依赖于用文字描述土地类型的能力，并且可能在处理外观极其相似的类别间的细微差别时遇到困难，但它为将这些强大的 AI 工具适配到监测地球空间的专业需求方面，提供了一条可行的路径。

技术摘要：面向遥感领域的自进化 CLIP (SE-CLIP)

问题陈述
视觉-语言模型（VLMs），特别是对比语言-图像预训练（CLIP），通过建立统一的潜在空间，在零样本分类（zero-shot classification）于遥感（RS）领域展现出了巨大的潜力。然而，由于通用自然图像预训练与卫星图像特有的光谱-空间几何结构之间存在领域差异（domain discrepancy），存在着关键的性能差距。虽然像低秩自适应（LoRA）这样的参数高效微调技术减轻了计算负担，但其有效性受到遥感领域高质量、专家标注标签稀缺性的严重制约。

现有的半监督学习（SSL）框架试图利用无标签数据，但在遥感领域面临三个具体的瓶颈：

对初始置信度的敏感性： 由于领域差异导致初始零样本准确率较低，基于阈值的选择机制容易排除具有信息量的样本，或引入高置信度的错误样本。
类别不平衡与偏差： 依赖绝对阈值往往会导致过度代表易于区分的类别，同时系统性地排除复杂或模糊的类别，从而产生向多数类倾斜的自我强化偏差。
架构局限性： 传统的半监督学习方法通常依赖于带有线性头的单模态架构，未能充分利用视觉-语言模型中固有的丰富、高维语义先验以及跨模态对齐能力。

方法论：SE-CLIP 框架
作者提出了 Self-Evolutionary CLIP (SE-CLIP)，这是一个旨在用于场景分类的递归标签挖掘半监督框架。该方法采用双阶段流水线：

架构适配 (LoRA)： 该框架使用 CLIP 基础模型作为特征提取器。为了在不进行全量微调的情况下弥补领域差异，将低秩自适应（LoRA）注入到冻结的 Transformer 层中。可训练的旁路矩阵（ $A$ 和 $B$ ）用于更新权重（ $W = W_0 + BA$ ），将适配重点放在相关特征上，同时防止对稀疏初始种子集的过拟合。
语义锚定： 模型不使用传统的线性分类头，而是使用通过编码特定类别的提示词（例如，“an aerial photo of {c}”）生成的固定文本锚点（ $T_c$ ）。视觉表示通过温度缩放后的余弦相似度进行交叉熵损失训练，以与这些锚点对齐。
递归发现协议：
- 热身阶段 (Warm-up)： 模型首先仅在稀疏的专家标注种子集上进行训练，以稳定梯度。
- 递归挖掘： 在热身阶段之后，系统进入迭代发现阶段。对于每个类别，无标签池中的样本根据其与该类别文本锚点的相似度进行排序。一个固定的预算（ $k$ ）用于迁移排名最高的样本至有标签支持集。
- 类别平衡选择： 至关重要的是，框架在所有类别中强制执行统一的预算 $k$ 。这防止了优化过程被高频或易于区分的类别所主导，确保了支持集的等分布扩展。
- 自训练： 被发现的样本被添加到有标签池中，随后重新优化 LoRA 参数。此循环往复，使模型能够递归地演化其特征空间。

核心贡献

以递归发现取代静态阈值： 使用锚定在 CLIP 语义潜在空间中的递归协议，取代了僵化的启发式阈值法，利用固定的文本锚点来引导标签发现。
类别平衡迁移策略： 引入了一种机制，强制标签空间内的挖掘样本实现严格的等分布，从而减轻了传统半监督学习中常见的向多数类倾斜的偏差。
将 VLM 与 SSL 集成： 展示了如何有效地利用视觉-语言模型的跨模态对齐来进行半监督适配，超越了单模态架构。

实验结果
该框架在两个基准数据集上进行了评估：UC Merced (UCM, 21 类) 和 NWPU-RESISC45 (NWPU, 45 类)，每类仅使用 5 个有标签种子。

性能： SE-CLIP 达到了最先进的水平，在 UCM 上达到 99.09% 的准确率，在 NWPU 上达到 95.07%。这相比于最强的现有基准模型 DARP（在 UCM 上为 95.87%，在 NWPU 上为 88.86%）有了显著提升。
消融实验：
- 递归机制： 移除递归发现阶段（仅依赖热身阶段）会导致性能大幅下降（例如，在 NWPU 上从 95.07% 降至 76.34%），证实了持续样本同化（continuous sample assimilation）的必要性。
- 平衡挖掘： 将每类平衡策略替换为全局挖掘会导致灾难性失败（NWPU 为 42.33%），验证了统一的类别分布对于稳定性至关重要。
- LoRA 秩 (Rank)： 性能随 LoRA 秩的增加而单调提升，表明增加参数容量有助于适配复杂的空间纹理。
效率： 该框架仅优化了 1.16% 的 CLIP 总参数。推理延迟较低，每批次（大小为 16）为 10.26 ms，因为递归挖掘模块在部署期间会被丢弃。
可视化： t-SNE 可视化确认，虽然零样本 CLIP 基准表现出重叠的类别分布，但 SE-CLIP 成功地将嵌入空间重新组织为紧密结合、界限分明的语义簇。

意义与声明
论文认为 SE-CLIP 为以极少的人工干预将 VLM 适配到遥感领域提供了一种可行方案。作者声称，通过将参数高效的低秩自适应与平衡的递归伪标签策略相结合，该框架克服了传统半监督学习方法在处理领域偏移和类别不平衡方面的局限性。结果表明，目标导向的低秩挖掘在处理复杂的遥感数据分布方面，比标准的半监督学习框架更为有效。

作者也承认了局限性，指出该框架需要具有表现力的文本词汇表来构建具有辨别力的锚点，并且在语义描述无法完全解决高度类间结构相似性的细粒度场景中可能会遇到困难。未来的工作建议聚焦于开发仅使用类别名称即可进行图像分类的鲁棒 VLM 驱动范式。

技术摘要：面向遥感领域的自进化 CLIP (SE-CLIP)

类似论文