🤖 machine learning

A Review of Pseudo-Labeling for Computer Vision

本文综述了计算机视觉中的伪标签技术，在探讨其半监督学习应用的基础上，进一步拓展至自监督和未监督学习领域，通过揭示这些方法间的内在联系为课程学习和自监督正则化等方向提供了新的研究思路。

原作者： Patrick Kage, Jay C. Rothenberger, Pavlos Andreadis, Dimitrios I. Diochnos

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Patrick Kage, Jay C. Rothenberger, Pavlos Andreadis, Dimitrios I. Diochnos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一份**“计算机视觉界的‘猜谜大师’指南”**。

想象一下，你想教一个超级聪明的机器人（深度学习模型）认识世界上的各种东西，比如猫、狗、汽车。通常，你需要给机器人看几万张照片，并且每一张都要人工贴上标签（告诉它“这是猫”、“那是狗”）。这就像请了一位老师，但这位老师非常昂贵，而且时间有限。

伪标签（Pseudo-Labeling） 的核心思想就是：既然请不起那么多老师，那就让机器人先自己猜，猜对了就把它当成真的来学。

这篇论文就是要把这种“自己猜自己学”的方法，从半监督学习（有一点点真标签）扩展到无监督学习（完全没有真标签）和知识蒸馏（大模型教小模型）的领域，把它们串起来看。

下面我用几个生动的比喻来拆解这篇论文：

1. 核心概念：机器人当自己的“老师”

传统做法：人类老师给机器人看 100 张猫的照片，说“这是猫”。机器人学得很慢，因为老师太贵了。
伪标签做法：
1. 先给机器人看 10 张有标签的猫，让它学个大概。
2. 然后给机器人看 1000 张没标签的照片。
3. 机器人自己看，自信地说：“这张我觉得是猫，概率 90%！”
4. 关键一步：既然机器人这么自信，我们就把“猫”这个标签暂时贴在这张照片上，叫它**“伪标签”**。
5. 机器人再拿着这 1000 张“伪标签”照片继续学，变得更强。
6. 它变强后，猜得更准了，于是下一轮能教自己更多。

2. 论文里的三大“流派”

论文把这种“自我教学”的方法分成了几类，就像不同的教学策略：

A. 半监督学习流派（有少量真老师，大部分靠猜）

这是最经典的领域。

随机选 vs. 挑好的选（样本调度）：
- 随机选：就像老师闭着眼睛从作业堆里抓题让学生做，可能抓到太难的，学生就学废了。
- 挑好的选（置信度/课程学习）：老师只挑那些学生最有把握的题，或者从简单的题开始，慢慢过渡到难的题。这就像**“循序渐进”**（Curriculum Learning），先做简单的，建立信心，再做难的。
一致性正则化（Consistency Regularization）：
- 想象你给一张猫的照片P 个图（比如把猫旋转一下、变暗一点、加个滤镜）。
- 如果机器人说：“旋转后是猫，变暗后是狗”，那它肯定在胡说八道。
- 这个流派要求：不管你怎么折腾这张图，机器人的答案必须一致。 这就像教学生：不管猫是站着还是躺着，它都是猫。
多模型流派（几个老师互相教）：
- 让三个机器人（模型）互相学习。如果两个机器人说“这是猫”，第三个机器人说“这是狗”，那大概率第三个错了。
- 这就像**“三个臭皮匠，顶个诸葛亮”**，大家互相投票，少数服从多数，从而减少猜错的风险。

B. 无监督/自监督流派（完全没有真老师，全靠猜）

这里更疯狂，连那 10 张真标签都没有。

聚类（Clustering）：机器人把照片里长得像的堆在一起。虽然它不知道这一堆叫“猫”，但它知道“这一堆长得像，应该属于同一类”。它自己给这一堆起个代号（伪标签），然后学习区分不同的堆。
知识蒸馏（Knowledge Distillation）：
- 有一个**“大师兄”（大模型，已经学得很强了）和一个“小师弟”**（小模型）。
- 大师兄不看真答案，而是看小师弟的预测。如果小师弟猜得和大师兄差不多，就奖励它。
- 这就像**“师徒传承”**，大师兄把自己脑子里的“感觉”（伪标签）传给小师弟，让小师弟模仿大师兄的思考方式。

3. 这篇论文发现了什么新大陆？

作者把上面这些看似不同的方法（有的叫半监督，有的叫自监督，有的叫知识蒸馏）放在一起看，发现它们其实骨子里是一样的：

它们都在用模型自己的输出，去给数据贴标签。
它们都在解决同一个问题：怎么防止机器人“瞎猜”把自己带偏了？（比如一开始猜错了，后面越学越错，这叫“确认偏误”）。

4. 未来的方向（论文的建议）

作者提出了一些有趣的未来玩法：

数据清洗（Dataset Filtering）：就像在图书馆找书，如果书太烂（数据太脏），机器人学坏了怎么办？未来的方向是用更聪明的方法，先把那些“坏书”挑出去，只让机器人学好书。
更好的“课程表”：现在的“循序渐进”还是有点笨。未来能不能让机器人自己决定“今天学什么最有用”？
让大模型教小模型更聪明：利用现在超大的预训练模型（像 CLIP 这种），把它们的知识压缩进小模型里，让小模型也能拥有“超能力”。

总结

这篇论文就像是在说：

“别把‘半监督’、‘自监督’和‘知识蒸馏’当成三个不同的学科。它们其实都是**‘让 AI 自己给自己出题、自己给自己打分、然后自己进步’**的不同变体。如果我们把它们的优点结合起来（比如用自监督的方法去教半监督，或者用知识蒸馏的思路去优化伪标签），我们就能用更少的数据，训练出更聪明的 AI。”

这就好比，以前我们觉得“自学成才”、“师徒相授”和“同学互助”是三种不同的学习方式，现在这篇论文告诉我们：其实它们都是“自我进化”的不同招式，混着用效果最好！

这篇论文《A Review of Pseudo-Labeling for Computer Vision》（计算机视觉中的伪标签综述）由 Patrick Kage 等人撰写，旨在对伪标签（Pseudo-Labeling, PL）技术进行全面的梳理和重新定义。文章不仅涵盖了传统的半监督学习（SSL）领域，还将视角扩展到了自监督学习（Self-Supervised Learning）和无监督学习（Unsupervised Learning）领域，试图统一这些领域的理论框架。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

数据标注瓶颈：深度神经网络在计算机视觉任务中表现卓越，但严重依赖大量标注数据。在科学等特定领域，获取高质量标注数据成本高昂且耗时。
伪标签的局限性：传统上，伪标签主要被视为半监督学习（SSL）中的工具，即利用模型对未标注数据的预测作为标签进行再训练。然而，伪标签的概念实际上广泛存在于自监督学习（如对比学习、聚类）和知识蒸馏中，但学术界往往将这些领域割裂看待，缺乏统一的理论视角。
核心挑战：如何统一理解不同场景下的伪标签机制？如何利用这些机制之间的共性来指导未来的算法设计？

2. 方法论与核心定义 (Methodology & Definitions)

作者首先建立了一套统一的数学语言来定义伪标签，将其核心概念形式化：

模糊划分 (Fuzzy Partitions)：利用模糊集理论，将神经网络的输出视为对样本属于各个类别的“隶属度”（Membership）。
随机标签 (Stochastic Labels)：定义为概率分布向量 $y \in \Delta^k$ 。
伪标签 (Pseudo-Labels)：定义为通过模糊划分 $Q$ 生成的向量 $y = Q(x)$ 。关键在于，这些标签不是预先给定的真值（Ground Truth），而是由模型 $f_\theta$ 根据输入 $x$ 推断出来的。
伪标签生成的三大特征：
1. 自锐化 (Self-sharpening)：单一模型基于单一视图生成伪标签。
2. 多视图学习 (Multi-view Learning)：同一样本通过不同增强方式生成多个视图，促进泛化。
3. 多模型学习 (Multi-model Learning)：使用多个模型（如学生 - 教师架构）相互生成标签。

3. 技术分类与综述 (Key Methodologies Reviewed)

文章根据监督机制和正则化方法，将伪标签技术分为以下几类：

3.1 半监督学习 (Semi-Supervised Learning, SSL)

这是伪标签应用最成熟的领域。

样本调度 (Sample Scheduling)：决定哪些未标注样本值得生成伪标签。
- 随机选择：简单但易受确认偏差影响。
- 基于置信度选择：如 FixMatch，仅对高置信度的预测生成硬标签。
- 课程学习 (Curriculum Learning)：如 FlexMatch，动态调整阈值，从“容易”的样本开始学习，逐步过渡到“困难”样本。
弱监督与噪声处理：处理标注噪声或不可靠标签。
- 方法包括 PENCIL（联合优化标签分布和网络参数）、UPS（基于不确定性过滤）、以及基于 kNN 的标签传播。
一致性正则化 (Consistency Regularization, CR)：
- 核心思想：对同一图像的不同增强版本（Augmentation），模型应输出一致的预测。
- 代表方法：UDA (Unsupervised Data Augmentation), VAT (Virtual Adversarial Training)。这些方法通过强制模型对扰动不变性来生成伪标签。
多模型方法：
- 协同训练 (Co-training)：利用不同特征视图的模型互相生成标签。
- 元伪标签 (Meta Pseudo Labels, MPL)：将伪标签分配视为优化问题，通过双层优化（Bi-level Optimization）联合优化学生和教师模型，以最大化学生在标注集上的表现。

3.2 无监督与自监督学习 (Unsupervised & Self-Supervised Learning)

文章指出，许多自监督方法本质上也是伪标签过程。

判别式自监督学习：如 DINO, SwAV, EsViT。这些方法通过聚类或对比学习，将样本分配到特定的簇（Cluster）中。这些簇虽然没有语义标签，但作为“伪标签”用于训练模型，本质上是一种一致性正则化。
知识蒸馏 (Knowledge Distillation)：如 DINO 的自蒸馏版本。教师模型（Teacher）生成软标签（Soft Labels）指导学生模型（Student）。这里的标签完全由模型生成，属于典型的伪标签应用。

4. 主要贡献 (Key Contributions)

统一视角：打破了 SSL、自监督和知识蒸馏之间的壁垒，提出伪标签是这些领域的共同核心机制。
形式化定义：利用模糊集理论严格定义了伪标签，使其能够涵盖从“硬标签”（One-hot）到“软标签”（概率分布）的各种形式。
系统性综述：构建了伪标签方法的分类树（Taxonomy，见图 1），详细对比了不同方法的原理、优缺点及性能（见表 1）。
识别共性：总结了不同方法间的共同点，包括数据过滤、课程学习策略、数据增强、软硬标签的选择以及教师模型的更新策略。

5. 实验结果与性能对比 (Results)

基准测试：论文在 CIFAR-10 (4k 标注样本) 和 ImageNet (10% 标注样本) 上对比了多种方法。
性能表现：
- 在半监督学习领域，BLOPL (96.88% on CIFAR-10) 和 RLGSSL 等基于元学习或强化学习的方法表现最佳，显著优于早期的 MixMatch 和 FixMatch。
- 在自监督/无监督领域，TCSSL 和 UDA 在结合少量标注数据时表现优异。
- 表格显示，随着方法从简单的自训练发展到复杂的元优化和课程学习，标注数据的利用率显著提高（即达到相同精度所需的标注数据更少）。

6. 未来方向与意义 (Significance & Future Directions)

文章基于统一视角提出了几个关键的未来研究方向：

数据集过滤 (Dataset Filtering)：借鉴自监督学习（如 CLIP）的经验，在 SSL 和知识蒸馏中引入智能数据过滤，剔除未标注数据中的噪声和分布外样本，这对处理“野外”采集的数据至关重要。
构建有效的课程 (Establishing Useful Curriculum)：解决神经网络不确定性估计未校准的问题，利用不确定性量化来构建更智能的学习课程，而非仅依赖置信度。
模型初始化：利用预训练的基础模型（Foundation Models）进行压缩或神经元选择，以加速学生模型的训练或降低教师模型生成标签的成本。
自监督正则化：在半监督和知识蒸馏中引入自监督损失项，防止表示空间坍塌（Representation Collapse）。
元学习与强化学习：将伪标签分配本身建模为元学习或强化学习问题，自动学习最优的标签分配策略，而不仅仅是优化网络参数。

总结

这篇论文不仅是对现有伪标签技术的全面回顾，更是一次理论上的整合。它强调了伪标签作为一种通用机制，在连接半监督、自监督和知识蒸馏中的核心作用。通过统一这些领域的视角，作者为设计更高效、更鲁棒的计算机视觉模型提供了新的理论依据和潜在的创新路径，特别是在处理大规模未标注数据和减少人工标注依赖方面具有重要意义。