💻 computer science

Multiview Self-Representation Learning across Heterogeneous Views

本文提出了多视图自表示学习（MSRL），这是一种利用自表示属性和分配概率一致性来聚合来自异构预训练模型特征的无监督方法，从而学习到在视觉数据集上优于现有最先进方法的不变表示。

原作者： Jie Chen, Zhu Wang, Chuanbin Liu, Xi Peng

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Jie Chen, Zhu Wang, Chuanbin Liu, Xi Peng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一群人如何识别不同类型的动物，但你有一个严格的规则：你不能向他们展示任何带有标签的照片。 你也不能让他们从零开始学习这些动物。相反，你必须使用一个由专家组成的团队，这些专家已经研究过数百万种动物，但每个专家的学习方式完全不同。

专家 A 可能会通过观察毛发纹理来研究动物。
专家 B 可能会通过分析形状来研究它们。
专家 C 则可能专注于声音。

因为他们的学习方式不同，他们看到的同一只猫在完全不同的维度上。对于专家 A 来说，一只猫是“毛茸茸的团块”。对于专家 B 来说，它是一个“三角形形状”。如果你只是要求他们达成一致，他们可能会感到困惑，因为他们的描述并不匹配。

这篇论文介绍了一种名为 MSRL（多视图自表示学习） 的新方法来解决这个精确的问题。以下是该方法的运作方式，通过简单的概念进行拆解：

1. 问题所在：“巴别塔”式的 AI

在 AI 世界中，我们经常使用预训练模型（即专家），它们已经从海量数据中学习到了知识。问题在于，如果你使用两个不同的专家，他们可能会使用完全不同的“语言”（数学分布）来描述同一张图片。试图强迫他们达成一致通常会失败，因为他们的底层视角过于迥异。

2. 解决方案：一个带有“翻译官”的“群聊”

作者提出了一个系统，让这些不同的专家可以互相交流并达成共识，而无需老师告诉他们正确答案。

步骤 A：信息传递机制（邻里守望）

想象每个专家都给了你一个关于图片的描述。MSRL 方法说：“让我们看看他们的邻居。”

如果专家 A 说：“这看起来像个毛茸茸的团块，”而专家 B 说：“这看起来像个三角形形状，”系统会查看与此图片相似的其他图片。
它使用了一个被称为**自表示（Self-Representation）**的巧妙技巧。它假设如果两张图片是“邻居”（相似），它们的描述应该能够互相解释。
类比： 这就像是一个邻里守望机制。如果你看到一辆可疑的汽车，你不仅要盯着它看，还要询问你的邻居：“这辆车看起来像我们昨天看到的那辆吗？”系统通过聚合这些“邻居”的信息，来创建一个更清晰、更稳定的物体真实图像。它过滤掉了噪声，并专注于数据的共享几何结构。

步骤 B：分配概率一致性（投票系统）

一旦专家们利用“邻里守望”完善了他们的描述，他们就必须决定这张图片属于哪一类（例如：猫、狗、汽车）。

每个专家都会给出一个概率投票：“我有 80% 的把握它是猫，20% 的把握是狗。”
由于专家们的学习方式不同，他们的投票可能会非常混乱。
创新点： 论文引入了一个名为**分配概率分布一致性（Assignment Probability Distribution Consistency）**的规则。它强制所有专家对齐他们的投票模式。他们必须在不确定性的“形状”上达成一致。
类比： 想象一个陪审团。即使陪审员们背景各异，系统也会强制他们讨论，直到他们的信心水平（概率）趋于一致。如果一名陪审员非常确定这是猫，而另一名则不确定，系统会将他们推向一个共同的“共识”观点。这确保了即使他们最初使用的“语言”不同，最终也能对标签达成一致。

3. 为什么这很特别

无需标签： 该系统完全自主学习（无监督）。它不需要人类来告诉它“是的，那是一只猫”。
处理差异： 与那些试图立即强迫不同专家说出完全相同语言的旧方法不同，这种方法首先尊重他们的差异，然后利用“邻里”和“投票”规则来寻找共同点。
高效性： 论文声称，在标准图像数据集（如识别宠物、花卉或交通标志）的测试中，该方法比之前的先进技术（state-of-the-art）更快且更准确。

4. “并非越多越好”的发现

作者还测试了如果向团队中加入更多专家会发生什么。

发现： 加入更多的专家并不总是会有帮助。如果你加入一个“糟糕”的专家（即一个不太擅长识别事物的专家），它实际上可能会破坏团队的共识。
教训： 拥有几个高质量且彼此达成共识的专家，比拥有一个庞大但混乱或低质量的专家群体要好。当“视图”具有高质量时，系统表现最稳定。

总结

简而言之，这篇论文教会了 AI 如何让一群不同的、无需标签的专家对他们所见之物达成共识。它通过让专家们检查“邻居”以获取上下文，并强制他们对齐投票模式，直到达成稳定的、共享的理解。其结果是一个能够非常准确地识别图像中物体的系统，即使在没有被教导这些物体名称的情况下也是如此。

技术摘要：异构视图下的多视图自表示学习

问题陈述

本文研究了如何利用全无监督迁移学习方法，从大规模无标签视觉数据中学习不变表示的挑战。一个关键问题在于，当同一样本的特征由不同的预训练模型（例如 DINOv2、CLIP）生成时，由于预训练目标和架构的差异，这些特征表现出本质上截然不同的、异构的分布。传统的对比学习方法通常假设增强视图共享相同的底层分布，因此并不直接适用于这些异构视图。此外，现有的无监督迁移方法往往难以有效地捕获并利用存在于多个不同预训练模型中的互补语义信息。

方法论：多视图自表示学习 (MSRL)

所提出的 MSRL 框架通过在冻结的预训练骨干网络之上堆叠单个线性模型来学习不变表示。该架构由三个主要模块组成：

迁移学习模块： 利用多个预训练模型 ( $\phi_l$ ) 从原始图像中提取特征，从而产生异构的多视图数据。
特征自表示学习 (FSRL) 模块：
- 线性投影： 对冻结的骨干网络输出应用可训练的线性模型 ( $\sigma$ )，以生成低维特征。
- 信息传递机制： 为了聚合特征，该方法采用了自表示属性，即每个特征都被表示为其空间相邻邻居的线性组合。通过使用注意力机制来自适应地选择邻域并计算系数 ( $a_{ij}$ )，从而强调同一类别内线性相关性最强的特征。这使得模型能够在不需要共享分布的情况下，捕获特征的几何结构。
分配概率分布一致性 (APDC) 模块：
- 共识构建： 由于由于异构性导致直接进行特征比较非常困难，该方法对线性模型生成的“分配概率分布”（softmax 输出）进行对齐。
- 潜在语义分配： 共识分布 ( $\rho_\theta$ ) 被计算为所有 $L$ 个视图分配概率的平均值。
- 损失函数： 优化由三个互补的损失驱动：
  - 语义伪标签损失 ( $L_s$ )： 最小化预测聚类分配（源自共识）与单个视图分配之间的交叉熵。
  - 聚类多样性损失 ( $L_a$ )： 一种正则化项，用于防止所有样本坍缩到单个簇中。
  - 跨视图一致性损失 ( $L_c$ )： 最小化不同视图之间分配概率分布的差异（交叉熵），强制它们向共识收敛。

总目标函数为 $L = L_s + \alpha L_a + \beta L_c$ ，通过基于自适应动量的小批量梯度下降进行优化，同时保持预训练骨干网络冻结。

核心贡献

本文概述了三项主要贡献：

MSRL 模型： 引入了一种通过全无监督迁移方式，从大规模视觉数据中学习异构视图下不变表示的方法。
信息传递机制： 开发了一种能够自适应聚合特征信息的机制。它选择同一类别中线性相关性最强的特征，以产生低维向量表示，从而有效地处理异构特征的几何结构。
分配概率分布一致性方案： 一种用于多视图自表示学习的新颖方案，旨在利用不同视图间的互补信息。通过强制分配概率而非原始特征的一致性，它有效地学习了不变表示。
理论分析： 本文通过弱邻域对齐为信息传递机制提供了理论证明，并对多视图一致性的有界性以及增量视图的收敛特性进行了分析（证明了增加视图可以稳定共识分布并降低熵）。

实验结果

在八个基准视觉数据集（Pets, GTSRB, DTD, Aircraft, Flowers, CIFAR-10, CIFAR-100, ImageNet-100）上，使用 DINOv2 和 CLIP ViT-L/14 作为骨干网络进行了广泛的实验。

性能： MSRL 在所有数据集上均一致优于 SCMVC、CMVC、SparseMVC、HSACC 和 TURTLE 等先进方法。例如，在 CIFAR-100 和 ImageNet 上，MSRL 的聚类准确率 (ACC) 分别达到了 91.00% 和 73.24%，显著超过了第二好的方法（至少领先 1.9% 和 3.14%）。
零样本比较： 在零样本迁移学习任务中，MSRL 在大多数数据集上优于 CLIP 零样本迁移和 LaFTer，展示了即使在没有显式类别级语义监督下的鲁棒性。
效率： 得益于在冻结骨干网络上的无监督迁移学习的高效性，MSRL 的训练速度比 TURTLE 更快，并显著优于 SparseMVC。
消融实验：
- 去除跨视图一致性损失 ( $L_c$ ) 会导致性能下降，证实了其对于强制实现不变性的必要性。
- 敏感性分析表明，在 1.0 到 10.0 的范围内，超参数 $\alpha$ 的性能表现稳定。
- 增量视图： 增加更多预训练模型的实验表明，虽然增加视图通常会提高性能，但所添加视图的质量至关重要。加入低质量模型（如 ViT-B/32）可能会对性能产生负面影响，这表明并非每一个新增视图都是有益的。

重要性与主张

本文声称 MSRL 方法成功弥补了在无需人工标注或微调整个骨干网络的情况下，从异构视图中学习不变表示的差距。其重要性在于：

处理异构性： 不同于假设同质特征空间的传统多视图方法，MSRL 通过在分配概率上进行操作，明确解决了不同预训练模型之间的分布差异问题。
互补信息： 该框架能有效利用不同视图间的互补语义知识，这对于大规模视觉数据至关重要。
理论基础： 该工作提供了理论依据，解释了共识分布如何作为一个稳定的吸引子，以及随着更多视图增量添加时熵是如何降低的，从而为多视图自表示提供了一种原则性的方法。
达到最先进水平的性能： 该方法在标准视觉数据集上为无监督迁移学习建立了新的基准，超越了现有的对比学习和多视图聚类方法。