💻 computer science

Head Similarity: Modeling Structured Whole-Head Appearance Beyond Face Recognition

本文提出了“头部相似度”（Head Similarity），这是一个旨在通过显式捕捉发型和姿态等同一身份内的变化来建模结构化整体头部外观的新颖框架和大规模基准，从而克服传统人脸识别模型将此类外观细节压缩为单一身份表示的局限性。

原作者： Yingfeng Wang, Yuxuan Xiao, Shengcai Liao

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yingfeng Wang, Yuxuan Xiao, Shengcai Liao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在拥挤的房间里找到一位朋友。

旧方法（传统人脸识别）：
现有技术就像一个只关心身份证的严厉保安。如果你戴着帽子进来，随后摘下帽子，又戴上假发，保安每次都会把你视为“同一个人”。事实上，保安被训练成忽略这些变化。他们把你所有不同的模样压缩成一张单一、乏味的“身份证”照片。这对于验证身份（确认你是谁）来说很棒，但如果你试图在一段视频中寻找你的朋友，而朋友换了发型、戴了不同的眼镜或转过头去，这就糟糕了。系统可能会说：“那不是你的朋友；他们的发型不同。”尽管那确实是对方。

新想法（头部相似度）：
这篇论文的作者说：“等一下。我们需要一个系统，能够理解一个人可以看起来不同，但仍然是同一个人。”他们称之为头部相似度。

把它想象成一本家庭相册，而不是一张严格的身份证。

目标： 系统需要知道“短发的妈妈”和“长发的妈妈”是同一个人（身份），但也要认出这两张照片中她们看起来不同（外观）。
层级： 系统被教导了一套特定的排序规则：
1. 最接近的匹配： 短发的妈妈 vs. 短发的妈妈（同一个人，同样的模样）。
2. 中间的匹配： 短发的妈妈 vs. 长发的妈妈（同一个人，不同的模样）。
3. 最远的匹配： 妈妈 vs. 阿姨（不同的人，即使阿姨也是短发）。

旧系统在步骤 2 上失败了。它们将“短发的妈妈”和“长发的妈妈”视为完全不同的两个人，或者如果妈妈和阿姨都留着短发，就将她们视为同一个人。而这个新系统能正确把握这个顺序。

他们是如何构建的：

数据集（训练场）： 他们不仅使用了静态照片，还使用了长视频。为什么？因为在视频中，如果一个人 10 秒内没有改变发型，计算机可以推断：“好吧，这些帧很可能展示了相同的‘模样’。”这提供了一种方法，让计算机了解不同的“模样”，而无需人工手动标注每一张照片。
大脑（模型）： 他们构建了一个特殊的 AI，拥有两只“眼睛”（标记），观察整个头部（而不仅仅是脸部）。
- 眼睛 1（身份之眼）： 这只眼睛被训练来识别人物身份，就像标准的人脸扫描仪一样。它观察面部特征。
- 眼睛 2（模样之眼）： 这只眼睛被训练来注意头发、帽子、角度和配饰。
- 教师： 他们使用了一位“冻结的教师”（一个现有的、超级聪明的人脸扫描仪）来帮助“身份之眼”学习这个人是谁，即使摄像头看到的是整个头部而不仅仅是裁剪后的脸部。
- 课程： 他们教导 AI：“保持身份之眼敏锐，但确保‘模样之眼’记住差异，以便你能正确地对它们进行排序。”

他们的发现：

旧模型失败： 当他们把标准的人脸识别模型展示给整个头部（带有头发和帽子）时，模型感到困惑且表现不佳。它们无法区分“同一个人，不同发型”和“不同的人”。
他们的模型获胜： 他们的新系统成功学会了说：“是的，那是同一个人，但他们换了发型，”并正确地对它们进行了排序。即使背景改变或人物转过头，它也能找到正确的人，而不会被发型变化所迷惑。

简而言之：
这篇论文介绍了一种新方法，教导计算机不仅通过“身份证”（生物识别人脸）来识别人，还通过“整个头部”（头发、风格、配饰）来识别人。它教导计算机理解一个人可以在保持身份不变的同时改变模样，从而在视频中创造出更类人的身份理解。

技术摘要：头部相似度

问题定义

传统的人脸识别系统旨在学习身份不变嵌入，刻意抑制发型、妆容或衰老等身份内变化，将同一个人的所有样本坍缩为单个紧凑簇。虽然这种方法在生物特征验证中行之有效，但在需要外观敏感一致性的场景（如视频生成、重演和编辑）中却行不通。在这些情境下，目标不仅仅是验证法律身份，而是确保序列在视觉上描绘的是同一个人，即使外观属性发生变化。

当前模型在处理整体头部相似度时面临困难，原因如下：

它们将同一身份的不同外观状态坍缩为单一表示，无法区分戴眼镜与不戴眼镜的人，或区分不同发型的人。
当从对齐的面部裁剪图像迁移到未对齐的整体头部图像时，它们会遭受显著的性能下降（分布偏移）。
它们无法强制实施分层相似度排序，即同一身份但外观不同（例如不同发型）的样本，其排名应高于不同身份的样本，即使后者共享相似的视觉属性。

本文提出了头部相似度，这是一种新的表述形式，将以身份为中心的识别扩展为结构化的整体头部外观建模。其目标是在保持身份判别力和对干扰因素（光照、背景、微小姿态）不变性的同时，保留结构化的身份内外观变化。

方法论

所提出的框架通过结合分层相似度监督和身份感知蒸馏的双 CLS 视觉 Transformer架构来解决该问题。

1. 问题表述

该任务由嵌入空间中的三个成对关系定义：

$R_1$ ：相同身份，相同外观状态（最紧密的簇）。
$R_2$ ：相同身份，不同外观状态（中等距离）。
$R_3$ ：不同身份（距离最远）。

目标是学习一个嵌入函数 $f_\theta$ ，以强制实施分层排序：
$s_\theta(R_1) > s_\theta(R_2) > s_\theta(R_3)$
其中 $s_\theta$ 为余弦相似度。这确保了身份一致性主导外观相似度，但在同一身份内仍可区分不同的外观状态。

2. 架构：双 CLS 视觉 Transformer

骨干网络是一个经过 AdaFace 预训练的视觉 Transformer（ViT）。与使用单个分类令牌的标准人脸识别系统不同，该模型采用两个可学习的 CLS 令牌：

$CLS_{id}$ ：针对身份保持进行优化。
$CLS_{head}$ ：针对外观敏感的头部相似度进行优化。

两个令牌共享相同的骨干网络参数，但通过不同的投影头（ $g_{id}$ 和 $g_{head}$ ）投影到独立的嵌入（ $z_{id}$ 和 $z_{head}$ ）中。

$z_{id}$ ：在推理阶段用于身份验证和相似度排序。它通过蒸馏和分层损失进行训练。
$z_{head}$ ：一个辅助嵌入，仅在训练期间使用以提供外观敏感信号；在推理阶段被丢弃。

3. 训练策略

训练流程包含三个关键组件：

基于蒸馏的身份对齐：为了弥合预训练使用的对齐面部裁剪图像与整体头部输入之间的分布差距， $z_{id}$ 分支与在对齐面部上训练的冻结教师网络（AdaFace-ViT）进行对齐。损失定义为 $L_{align} = 1 - \cos(z_t, z_{id})$ 。
分层相似度损失：基于 Softplus 的多级边界损失强制实施 $R_1 > R_2 > R_3$ 的排序。该损失应用于 $z_{id}$ 和 $z_{head}$ ，以联合构建身份和外观表示。
数据集构建：从长视频构建了一个基准数据集（HeadSim-Head）。外观状态的弱监督源自时间分组（同一短视频片段内的帧被假定共享相同的外观状态）。该数据集涵盖了多样的姿态、遮挡和时间变化。

主要贡献

任务定义：引入头部相似度，这是一种超越身份不变人脸识别的表述形式，旨在建模结构化的整体头部外观，明确保留身份内变化。
基准测试：构建了一个从长视频中提取的大规模数据集，包含弱监督的外观状态，涵盖多样的姿态、遮挡和时间变化。
方法论：提出了一种简单而有效的双 CLS 视觉 Transformer基线，结合身份感知蒸馏与分层相似度监督，以联合建模身份保持和外观敏感相似度。
实证发现：证明了传统人脸识别模型无法捕捉依赖外观的相似度，而所提出的方法在不牺牲身份验证能力的情况下实现了强大的整体头部匹配。

实验结果

人脸验证性能

当将人脸识别模型适配到整体头部输入时，标准模型会遭受严重的性能下降。

AdaFace-ViT：在 FAR= $10^{-3}$ 时的验证率（VR）从0.914（对齐面部）下降到0.078（整体头部）。
蒸馏 AdaFace：所提出的蒸馏方法恢复了性能，在整体头部输入上实现了0.912的 FAR= $10^{-3}$ VR，与对齐面部基线非常接近。

头部相似度性能

在HeadSim-Head数据集上，所提出的方法在区分结构化外观状态方面优于基线：

Ours：在 FAR= $10^{-3}$ 时达到0.862的 VR 和0.996的 AUC。
TransReID-ViT：虽然实现了强大的相似度性能（0.749 VR），但在身份验证方面失败（VoxCeleb2 上 VR 为 0.025），表明其过度依赖全局外观线索且缺乏身份判别力。
Vanilla AdaFace：表现不佳（0.326 VR），因为它坍缩了外观变化。

消融研究

该研究证实，令牌级解耦（双 CLS）优于头部级分离或共享嵌入。

Dual-CLS (Ours)：在 FAR= $10^{-3}$ 时达到 0.962 VR。
Dual-Head (Split)：0.762 VR。在没有令牌级解耦的情况下分离头部，导致相似度分支的身份监督不足。
Shared Embedding：0.892 VR。单一表示难以平衡不变性和变化保留这两个冲突的目标。

意义与主张

本文主张，头部相似度填补了人脸相似度与整体头部级别相似度之间的关键空白，这对于视频生成和编辑等应用至关重要，因为这些应用需要在视角或造型变化的情况下保持帧间的视觉一致性。

作者强调，他们的方法：

明确捕捉身份内的外观变化，而不是抑制它。
强制实施分层排序，确保身份一致性作为首要因素，同时仍允许区分不同的外观状态。
证明可行性：结果表明，利用来自长视频的弱监督和来自成熟人脸识别模型的蒸馏，使用相对简单的框架即可实现结构化的整体头部相似度建模。

本文承认了局限性，指出外观状态是弱监督的（可能含有噪声），且当前的层级结构是人类感知的代理，而非主观判断的完美模型。所提出的框架被作为该新任务的基线提出。