💻 computer science

Densemarks: Learning Canonical Embeddings for Human Heads Images via Point Tracks

本文提出了 DenseMarks，一种基于点轨迹学习的人脸图像可查询规范嵌入表示，通过对比损失、多任务约束及空间连续性，实现了涵盖头发等全头区域、对姿态变化鲁棒的高精度密集对应、人脸跟踪及立体重建。

原作者： Dmitrii Pozdeev, Alexey Artemov, Ananta R. Bhattarai, Artem Sevastopolsky

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Dmitrii Pozdeev, Alexey Artemov, Ananta R. Bhattarai, Artem Sevastopolsky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于DenseMarks的论文，简单来说，它发明了一种给“人头”做3D 身份证的新方法。

想象一下，如果你想在茫茫人海中，或者在一张照片里，精准地找到“左眉毛”、“右耳朵”或者“头发尖尖”的位置，传统的电脑视觉方法往往很笨拙。它们要么只能盯着眼睛、鼻子这些明显的特征点（就像只认得五官，认不出头发），要么在头发乱飞、戴着帽子或者侧脸的时候就会“迷路”。

DenseMarks 做了什么？

它给每个人头图像里的每一个像素（哪怕是一根发丝、一个耳环）都分配了一个独特的3D 坐标。

为了让你更容易理解，我们可以用几个生动的比喻：

1. 核心概念：人头“乐高积木”宇宙

想象有一个标准的、透明的 3D 立方体盒子（论文里叫“规范空间”或 Canonical Space）。

在这个盒子里，左耳永远固定在某个坐标点（比如 x=0.2, y=0.5, z=0.8）。
鼻尖永远固定在另一个坐标点。
头发虽然形状千变万化，但 DenseMarks 也能把每一缕头发映射到这个盒子里的特定位置。

DenseMarks 的作用，就是训练一个 AI 大脑，让它看到任何一张人脸照片（不管是谁、什么角度、有没有戴墨镜），都能瞬间把照片里的每一个像素，都“翻译”成这个标准 3D 盒子里的坐标。

以前： 看到一张侧脸照片，电脑可能会困惑：“这是左耳还是右耳？头发挡住了怎么办？”
现在（DenseMarks）： 电脑直接查表：“哦，这个像素的坐标是 (0.2, 0.5, 0.8)，根据我们的标准盒子，这肯定是左耳，不管它被头发遮住了多少。”

2. 它是如何学习的？（像“连连看”游戏）

研究人员没有给 AI 看成千上万张标注好坐标的 3D 人头模型（因为这种数据很难找），而是用了个聪明的办法：

素材： 他们找了几万段“在野外”拍摄的说话视频（比如采访视频）。
工具： 他们用一个现成的、很厉害的“点追踪器”（CoTracker），像玩“连连看”一样，自动追踪视频里同一个人的脸在每一帧里的变化。
训练过程：
- 把视频里同一张脸在不同时刻（比如正脸和侧脸）的两帧画面给 AI 看。
- 告诉 AI：“虽然这两张图看起来不一样，但左眼在两张图里其实是同一个东西。”
- AI 的任务就是：把这两张图里“左眼”的像素，都映射到那个标准 3D 盒子里的同一个坐标点上。
- 如果映射错了，AI 就会受到惩罚（损失函数），直到它学会把“左眼”永远固定在盒子的同一个位置。

3. 为什么它很厉害？（三大绝招）

绝招一：连头发和配饰都能认
以前的方法只认五官（眼睛、嘴巴），一旦你戴了帽子或者头发乱了，它们就瞎了。DenseMarks 把整个头（包括头发、耳环、帽子）都纳入了那个 3D 盒子。就像给整个头贴了个完整的 3D 地图，不管怎么动，地图上的位置是固定的。
绝招二：超级抗干扰
即使脸被手挡住了一部分，或者光线很暗，只要 AI 能认出一点点特征，它就能根据那个“标准盒子”推断出被挡住的部分应该在哪里。这就像你即使只看到一个人的半张脸，也能凭记忆猜出他另一半脸长什么样。
绝招三：小身材，大能量
它生成的这个"3D 坐标”非常小（只有 3 个数字），但信息量巨大。相比之下，其他大模型可能需要几百个数字才能描述一个点。这让它在手机或普通电脑上运行起来非常快。

4. 它能用来做什么？

超级稳定的视频追踪： 拍视频时，不管人怎么转头、怎么甩头发，电脑都能死死咬住脸上的每一个点，不会跟丢。这对于做虚拟换脸、AR 特效（比如给头发加特效）非常重要。
3D 重建： 给你两张不同角度的照片，它能瞬间算出这个人的 3D 模型，甚至能重建出头发丝的细节。
找相似： 你可以在一张图上点一下“左耳”，然后让电脑在所有视频里瞬间找到所有人的“左耳”在哪里。

总结

DenseMarks 就像给每个人头都发了一本通用的 3D 字典。以前我们看人脸是看“平面图片”，现在通过这本字典，我们能把任何角度、任何发型的人脸，瞬间还原成一个标准的、立体的、结构清晰的 3D 模型。这让电脑“看懂”人脸的能力，从“认五官”进化到了“懂结构”，连头发丝都能理得清清楚楚。

这是一篇关于计算机视觉领域，特别是人脸与头部建模、跟踪及三维重建方面的会议论文（ICLR 2026）。以下是对该论文《DENSEMARKS: LEARNING CANONICAL EMBEDDINGS FOR HUMAN HEADS IMAGES VIA POINT TRACKS》的详细技术总结：

1. 研究背景与问题 (Problem)

现有方法的局限性：
- 稀疏特征点：传统的头部跟踪和建模方法主要依赖稀疏的面部关键点（如眼睛、鼻子、嘴巴轮廓）。这些方法在处理头发、配饰、极端姿态或严重遮挡时表现不佳，因为关键点容易丢失或变得不可靠。
- 参数化模型限制：基于 3D 可形变模型（3DMM）的方法通常假设头部几何结构符合统计先验，难以捕捉非标准特征（如复杂的发型、帽子等），且依赖稀疏关键点进行对齐。
- 通用基础模型不足：虽然基于视觉基础模型（VFMs，如 DINOv3）的密集特征提取器在语义匹配上表现良好，但它们往往缺乏几何一致性，或者匹配结果受颜色相似性而非语义相似性驱动，导致在头部特定任务（如立体重建、跟踪）中不够鲁棒。
核心挑战：如何为人类头部图像学习一种密集的、语义感知的、且包含非标准特征（如头发）的 3D 规范表示（Canonical Representation），以实现跨视角、跨个体的鲁棒对应关系搜索。

2. 方法论 (Methodology)

作者提出了 DenseMarks，一种新的学习表示方法，将单目头部图像映射到一个**语义感知的 3D 规范空间（Canonical Space）**中。

2.1 核心架构

3D 规范空间 (DenseMarks Space)：
- 不同于传统的 2D UV 空间（存在接缝且难以表示头发），作者定义了一个3D 单位立方体作为规范空间。
- 该空间被离散化为 $N_d \times N_d \times N_d$ 的体素网格，每个体素存储一个可学习的 $D$ 维潜在特征向量（Latent Feature）。
- 通过三线性插值（Trilinear Interpolation），将预测的连续坐标映射回语义特征，确保空间的平滑性和连续性。
嵌入网络 (Embedder)：
- 使用预训练的 Vision Transformer (ViT) 作为骨干网络（基于 DINOv3），配合 DPT 头（Dense Prediction Transformer Head）。
- 输入为单目 RGB 图像，输出为每个像素对应的 3D 规范坐标 $(x, y, z)$ 。

2.2 训练策略 (Training Strategy)

由于缺乏真值的密集对应关系，作者采用自监督 + 多任务学习的方式：

数据构建：
- 使用 CelebV-HQ 数据集（3.5 万段野外访谈风格视频）。
- 利用现成的点跟踪器 CoTracker3 在视频帧之间生成成对的 2D 点匹配（Point Tracks）。
- 通过 GroundedSAM2 提取前景区域并均匀采样点进行跟踪。
损失函数设计：
- 对比损失 (Contrastive Loss)：基于 CLIP 损失。对于同一人在不同帧中的匹配点对，强制其对应的规范空间坐标和语义特征尽可能接近；非匹配点对则推远。这确保了跨个体和跨视角的语义一致性。
- 关键点损失 (Landmark Loss)：将标准 300W 格式的面部关键点（68 个）映射到规范立方体中的预定义位置，以锚定语义结构。
- 分割损失 (Segmentation Loss)：利用语义分割网络预测面部区域（如皮肤、头发、背景），并计算交叉熵损失，增强特征与图像语义区域的关联。
- 空间平滑约束：对潜在特征矩阵 $E$ 应用 3D 高斯滤波，确保相邻体素的语义特征平滑过渡。

3. 关键贡献 (Key Contributions)

DenseMarks 表示法：提出了一种低维（3D 坐标）但高语义的头部表示，能够覆盖整个头部（包括头发和配饰），并实现了跨个体、跨姿态的精确密集对应。
无需真值密集对应：创新性地利用现成的点跟踪器生成伪真值（Pseudo-GT），结合对比学习和多任务约束，在无需 3D 真值或密集标注的情况下训练出高质量的规范空间。
可解释与可查询的规范空间：由于规范空间是结构化的 3D 立方体，用户可以直接通过点击立方体中的特定区域（如“左耳中心”）来检索图像中对应的区域，实现了直观的交互。
鲁棒性：该方法对极端姿态、严重遮挡（头发、眼镜、手）以及光照变化表现出极强的鲁棒性，优于现有的基础模型和头部专用模型。

4. 实验结果 (Results)

作者在多个基准测试中验证了 DenseMarks 的有效性：

点查询 (Point Querying)：在头发、耳朵、眉毛等语义点上，DenseMarks 能更准确地找到跨图像、跨个体的对应点，即使使用极小的嵌入维度（3D 坐标）也优于高维特征（如 DINOv3 的 768 维）。
密集扭曲 (Dense Warping)：基于规范空间进行的图像扭曲实验显示，DenseMarks 生成的扭曲结果在语义上更连贯，且没有明显的伪影（相比之下，Sapiens 和 DHFeats 倾向于匹配颜色，DINOv3 和 CSE 存在几何伪影）。
几何一致性指标：
- MAE (平均误差)：在相同人物匹配任务中，DenseMarks 的 MAE 为 3.68，显著优于 DINOv3 (7.60) 和 Sapiens (14.88)。
- PCK@r=0.05：达到 0.90，表明极高的关键点定位精度。
- Met3R (多视图一致性)：得分更低（0.388），表示更好的视图一致性。
下游任务应用：
- 单目头部跟踪：结合 VHAP 跟踪器，DenseMarks 显著提升了在极端姿态和遮挡情况下的跟踪鲁棒性。
- 立体重建：仅利用单目图像预测的规范坐标，即可通过已知相机参数进行多视图三角测量，实现高质量的头部立体重建。
鲁棒性测试：即使点跟踪器存在噪声（高斯噪声）或部分丢失，DenseMarks 的性能下降幅度远小于基线模型。

5. 意义与影响 (Significance)

填补了空白：解决了现有方法难以处理头发、配饰等非刚性、非标准特征的问题，为完整头部建模提供了新的范式。
效率与性能平衡：通过低维规范空间（3D 坐标）替代高维特征向量，既降低了存储和计算成本，又通过结构化的空间设计提升了语义和几何的一致性。
应用广泛：该方法不仅适用于 AR/VR 中的虚拟化身（Avatar）构建、电影特效中的头部替换，还可用于单目视频中的高精度跟踪和三维重建。
未来方向：论文指出该方法具有扩展到全身（Full-body）和其他物体类别的潜力，随着更多高质量数据的出现，其应用范围将进一步扩大。

总结：DenseMarks 通过结合点跟踪技术、对比学习和结构化 3D 规范空间，成功构建了一个能够理解人类头部完整几何结构（包括头发等复杂部分）的密集表示系统，在几何感知任务中达到了最先进（SOTA）的水平。