🤖 machine learning

Learning from a single labeled face and a stream of unlabeled data

本文通过提出一种非参数算法，利用丰富的无标签数据流，在实现显著更高召回率的同时保持接近零的误报，从而解决仅凭单张标注图像进行单类人脸识别的挑战，其性能远超现有基线方法。

原作者： Branislav Kveton, Michal Valko

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Branislav Kveton, Michal Valko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一名保安识别某一位特定的人（我们就叫他“鲍勃”吧），以便他能打开一扇门。但这里有个难题：你只有一张鲍勃的单张照片可以展示给保安看。

通常，为了了解鲍勃长什么样，你需要数百张照片：鲍勃微笑的样子、鲍勃皱眉的样子、鲍勃戴帽子的样子、鲍勃在雨中的样子。如果没有这些，保安可能会把某个长得有点像鲍勃的陌生人误认为是本人，或者在鲍勃发型糟糕时认不出他。

这篇论文提出了一个巧妙的解决方案。这就像给保安提供一段实时视频流，画面中是一条繁忙的街道，鲍勃偶尔会走过，其中混杂着成千上万个随机路人。保安不知道那些路人是谁，但他确实知道鲍勃是谁。

以下是该论文提出的方法（称为在线流形跟踪，OMT）的工作原理，分解为简单的概念：

1. 问题：“一张照片”的困境

大多数人脸识别系统就像需要研读整本教科书才能通过考试的学生。如果你只给他们一页纸（一张照片），他们就会不及格。因为他们从未见过那些变化，所以无法推测鲍勃的脸在微笑或转头时会如何改变。

2. 解决方案：从人群中学习（无需标签）

作者们意识到，虽然我们只有鲍勃的一张照片，但我们拥有展示许多人的视频流。

带标签的照片：这是鲍勃的“身份证”。
无标签的流：这是一群走过的人。我们不知道他们是谁，但我们知道他们不是鲍勃（大部分情况下）。

系统利用这群人来学习鲍勃脸部的“形状”。可以这样理解：
想象鲍勃的脸存在于一个三维空间中。那张单张照片只是该空间中的一个点。视频流向我们展示了一团点云。其中一些点是鲍勃（与照片相似），另一些点是陌生人（非常不同）。

算法的任务是在鲍勃的那张单张照片周围画出一个气泡。

如果视频流中的新面孔落在气泡内部，那很可能就是鲍勃。
如果落在气泡外部，那很可能就是陌生人。

3. “智能气泡”（在线流形跟踪）

这个气泡不是静止的；它是鲜活且呼吸着的。随着视频播放，系统做两件事：

过滤：它只关注那些看起来与鲍勃原始照片有些相似的面孔。它立即忽略明显的陌生人。
映射：对于那些看起来像鲍勃的面孔，它绘制出一张“地图”，展示鲍勃脸部是如何变化的。如果鲍勃在视频中微笑，地图就会扩展以包含那个笑容。如果他转头，地图就会拉伸以包含那个角度。

论文将这种方法称为**“在线流形跟踪”**。

**“流形”**是一个高深的数学术语，指鲍勃的脸所有可能呈现方式的“形状”或“曲面”。
**“跟踪”**意味着随着新视频帧的到来，系统实时更新这个形状。

4. “汇”（处理错误）

这里有一个棘手的问题：如果某个陌生人长得非常像鲍勃怎么办？系统需要一种方法来表示：“这看起来像鲍勃，但距离太远，不可能是他。”

作者在他们的数学模型中加入了一个“汇”（就像一个黑洞）。

想象一次随机游走。如果你从一个看起来像鲍勃的脸开始，你会朝着相似的面孔迈出步伐。
如果你离鲍勃很近，你最终会被鲍勃“吸收”（你会说：“是的，就是他！”）。
如果你离得很远（一个陌生人），“汇”会在你到达鲍勃之前将你捕获。这防止了系统被那些碰巧长得有点像鲍勃的人搞糊涂。

5. 结果：效果如何？

研究人员使用视频记录在 43 个不同的人身上测试了这种方法。

设置：他们给系统每个人一张照片，以及该人与陌生人混合的视频流。
结果：系统正确识别出目标人物的时间达到了90%，同时几乎零错误（误报）。
对比：当两者都只获得同一张单张照片时，这比标准的“费雪脸”（Fisherfaces，一种常见的人脸识别技术）方法高出 15%。

6. 为什么这很重要（根据论文）

无需繁重训练：与其他需要在实验室预先通过海量数据库进行训练的系统不同，该系统能够即时学习。这就像在骑行的过程中学习骑自行车，而不是先阅读手册。
快速：它处理一张面孔大约需要0.05 秒，速度快到足以用于实时场景（如解锁手机）。
灵活：它不假设鲍勃总是看起来一样。它通过从视频流本身学习，从而适应衰老、胡须或表情变化。

总结类比

想想旧式人脸识别，就像试图 memorize 朋友的单张快照，以便在人群中认出他们。如果他们戴了帽子或换了发型，你很可能会失败。

这篇论文的方法就像给你的朋友一个磁铁。你将磁铁（单张照片）丢入河流（视频流）中。磁铁会吸起所有铁屑（看起来像朋友的面孔）并形成一簇。即使铁屑是分散的或移动的，磁铁也知道哪些属于这一簇，哪些只是灰尘（陌生人）。它通过观察朋友在人群中移动，构建出一个动态的、鲜活的朋友模型，而无需从照片库开始。

以下是 Branislav Kveton 和 Michal Valko 所著论文《从单张标注人脸和连续未标注数据流中学习》的详细技术总结。

1. 问题定义

本文解决了每人仅有一张标注图像的人脸识别这一具有挑战性的问题，特别是在开放世界设定下：

单一正样本标注：仅对特定目标人物的单张图像进行标注。
无负样本标注：数据流中的所有其他个体均未标注。系统无法显式地对“负”样本（其他人）进行建模，因为潜在冒名顶替者的集合是无限且未知的。
数据流：系统接收来自网络摄像头等的连续未标注视频数据流，以及单张标注图像。
约束：解决方案必须是在线的（实时处理数据）、非参数化的（不对人脸分布做任何假设），并且对概念漂移（衰老、表情、光照）具有鲁棒性。

该问题被表述为单类分类问题，其目标是在没有负样本显式训练的情况下，学习一个决策边界（超球体），使其涵盖目标类并拒绝异常值。

2. 方法论：在线流形跟踪 (OMT)

作者提出了在线流形跟踪 (OMT)，这是一种非参数化算法，利用未标注数据流即时学习人脸流形的结构。该方法包含两个主要阶段：

A. 在线数据量化（流形近似）

为了高效处理潜在无限的数据流，OMT 使用在线 k-中心聚类来概括数据。

代表性人脸：算法维护一组 $k$ 个代表性人脸 ( $u_t$ )，以覆盖观测到的数据。
泛化半径 ( $R$ )：仅当人脸 $x_t$ 落在单张标注示例 $x_l$ 的泛化半径 $R$ 内时，才将其考虑用于聚类。这确保模型不会过度外推到特征空间中无关的区域。
自适应覆盖：如果新人脸与所有当前代表性人脸的距离足够远（距离 $> r$ ，其中 $r$ 为覆盖半径），则将其添加到集合中。如果集合大小超过 $k$ ，覆盖半径 $r$ 将加倍，并重新划分代表性人脸，以维持它们之间的最小距离。
复杂度：此步骤确保模型大小保持有界 ( $O(k)$ )，且不随时间增长。

B. 身份推断（基于图的随机游走）

数据量化后，算法利用图上的随机游走来推断新人脸的身份。

图构建：图由 $k$ 个代表性人脸加上单张标注人脸 ( $x_l$ ) 组成。
汇点顶点：为了处理缺乏负标注的问题，引入了一个特殊的汇点顶点 ( $x_0$ )。它充当“负”吸引子。未标注节点以权重 $\gamma$ 连接到 $x_0$ 。
吸收概率：算法计算从一张未标注人脸 $x_t$ $x_{t}$ 开始的随机游走被标注人脸 $x_l$ $x_{l}$ 吸收与被汇点 $x_0$ $x_{0}$ 吸收的概率。
- 如果游走被 $x_l$ 吸收，则该人脸很可能是目标。
- 如果被 $x_0$ 吸收，则很可能是异常值。
调和解：吸收概率使用图的组合拉普拉斯矩阵以闭式形式计算：
$f = (L_{uu} + \gamma I_u)^{-1} W_{ul}$
其中 $W$ 是相似性矩阵， $L$ 是拉普拉斯矩阵， $\gamma$ 控制与汇点的差异性。
决策：如果某人脸的吸收概率超过阈值 $\epsilon$ ，则将其分类为正样本。

3. 主要贡献

新颖的问题表述：本文将人脸识别形式化为开放世界设定下的单类分类问题，仅有一个标注示例和未标注数据流，解决了缺乏负样本的问题。
在线流形跟踪 (OMT)：一种新算法，无需离线训练或大量标注数据，即可实时跟踪人脸的低维流形。
非参数化自适应：该方法不对人脸分布做任何假设，使其能够自然地适应表情、姿态和衰老的变化。
与特征的互补性：作者证明 OMT 并非判别式特征的替代品，而是一个互补层。它可以应用于现有特征（如 Fisherfaces）之上以提升性能。
效率：该算法具有有界的时间和空间复杂度（每步 $O(k^3)$ ，独立于总时间 $t$ ），使其适用于实时应用（每张人脸约 0.05 秒）。

4. 实验结果

该方法在包含 43 人的VidTIMIT 数据集上进行了评估。设置涉及将来自其他人的随机“异常值”人脸插入目标人物的视频流中，以模拟现实且嘈杂的环境。

性能：
- OMT 在假阳性率 (FPR) 接近零 ( $10^{-4}$ ) 时，实现了 90% 的真阳性率 (TPR)。
- 这代表在相同 FPR 下，比 Fisherfaces 提高了 15%。
- 其性能显著优于在相同单张标注图像上训练的标准 1-最近邻 (1-NN) 分类器（TPR 高出 50%）。
与监督学习的等价性：OMT（在 1 张标注 + 未标注数据上训练）的性能与在 5 张标注图像上训练的 5-NN 分类器相当，有效地从未标注数据流中“学习”到了相当于 4 个额外标注示例的能力。
鲁棒性：即使参数（如 $R$ 、 $k$ 和 $\sigma$ ）未完美调整，该方法仍表现出稳健的性能。
速度：系统实时处理视频，平均识别每张人脸耗时约 0.02 至 0.05 秒。

5. 意义与结论

这项工作意义重大，因为它解决了实际人脸识别中的一个关键瓶颈：无法为每个用户（例如在个人设备认证或机场安检中）收集大量标注数据集。

实用性：它使得安全认证系统能够仅从单张身份证照片中学习用户的人脸，并利用用户自己的视频流随时间进行自适应，而无需显式地在“冒名顶替者”数据上进行训练。
理论洞察：它证明了即使在没有负样本的情况下，通过利用适应在线设定的基于图的半监督学习技术，也可以有效地利用未标注数据来学习类流形的几何结构。
未来方向：作者建议将 OMT 扩展到局部人脸特征（眼睛、鼻子）而非整体图像，这可能会进一步提高单图像场景下的准确率。

总之，OMT 为动态开放世界环境中的单样本人脸识别提供了一种计算高效、鲁棒且高度准确的解决方案。