🤖 machine learning

CanonicalPhys: Pose-Robust Remote Photoplethysmography via Canonical-Space Priors

CanonicalPhys 通过引入一个可微单应性变换，将面部区域映射到规范框架中，从而解决了深度远程光电容积脉搏图在不同头部姿态下性能剧烈下降的问题，进而能够有效应用诸如双色反射模型和脉搏相位不变性等解剖学先验，从而显著降低不同姿态条件下的心率估计误差。

原作者： Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试着通过把听诊器贴在朋友的胸口来听他们的心跳。这很简单，对吧？但现在，想象一下你只能使用摄像机，完全不需要接触他们。这就是**远程光电容积脉搏波成像技术（rPPG）**的魔力。这是一种高级说法，意思就是“通过视频读取你的脉搏”。当你的心脏跳动时，它会向你的脸部泵送微小的血液波，使你的皮肤颜色发生极其微小的变化。现在的摄像机非常灵敏，能够捕捉到这些细微的颜色变化，并将其转化为心率。这项技术意义重大，因为它能让医生在数英里外检查患者的心脏，帮助监测新生儿而无需扎针，甚至能观察疲劳驾驶员的状态。

然而，这里有一个问题。当你坐着不动并直视镜头时，这些摄像机表现出色。但一旦你转头，系统就会变得混乱。这就像是在尝试阅读一张街道不断移动的地图。如果你转头，屏幕上原本属于你额头的那个点，可能会突然变成你的脸颊或太阳穴。计算机并不知道它正在观察的那个“像素”已经移动到了你身体的其他部位，所以它会试图在错误的地方寻找心跳，导致读数失灵。科学家们一直试图通过给计算机喂入越来越多的“人们转头”的案例来解决这个问题，希望它最终能“学会”这个技巧。但如果问题不在于计算机不够聪明，而在于它观察世界的角度不对呢？

这正是名为 CanonicalPhys 的新方法所解决的谜题。研究人员认为，头部运动不仅仅是一个数据问题，更是一个坐标问题。他们意识到，当你转头时，屏幕上的像素会发生错位，但你的脸本身并没有改变。因此，他们没有教计算机去猜测像素去了哪里，而是构建了一个聪明的“数字矫正器”，在计算机尝试读取心跳之前，就将脸部“拉正”到一个完美的、正对着前方的姿势。

他们是这样做的：想象你有一张侧脸的照片。研究人员使用一种被称为单应性（homography）的数学技巧（可以把它想象成一个数字变形工具），抓取脸部的四个关键点——双眼的角落和嘴角，并将它们拖动到固定的、完美的起始位置，仿佛那个人正直视着摄像机一样。一旦脸部被“拉正”到这个规范（canonical）（或标准）框架中，像素就会保持在正确的位置。额头依然是额头，脸颊依然是脸颊。

一旦脸部被拉正，系统就可以使用三个以前在移动面部上无法使用的简单物理规则：

光照规则：它知道面向摄像机的皮肤与转向一侧的皮肤反射光线的方式不同。它会给那些正对着镜头的部位分配更高的权重，并忽略那些转向一侧的部分。
节奏规则：它知道心跳是一个单一的波形。因此，它会检查额头和两侧脸颊的脉动是否同步。如果不同步，它就知道出问题了。
教师规则：它在拉正后的额头上使用一种经典的传统数学技巧（称为 POS），来创建一个“教师”信号，从而帮助主计算机大脑变得更加准确。

最棒的部分是什么？整个过程并不需要计算机学习任何新的、沉重的规则。这就像给摄像机戴上了一副眼镜；摄像机的“大脑”大小保持不变，但现在它能看得更清晰了。

结果非常令人印象深刻。当他们在包含大量转头动作的人群数据集（称为 MMPD）上进行测试时，旧方法随着头部的转动效果显著变差。例如，当头部转动超过 45 度时，误差率比直视前方时增加了 1.60 倍。使用 CanonicalPhys 后，这个增幅降至仅 1.33 倍。更棒的是，对于“轻微”转头（15 到 30 度之间），误差几乎没有变化，从 1.32 倍 的增幅降到了仅 1.07 倍。

他们还在不同的摄像机和光照条件下测试了该系统。当他们在一个数据集上进行训练并在其他数据集上进行测试时，CanonicalPhys 在 16 个 不同场景中的 13 个 场景中都击败了旧方法。在其中一个特定测试（PURE）中，它将误差降低了 32%，而在另一个测试（MMPD）中，它将误差减少了 20%。

然而，作者也谨慎地指出，这并不是应对所有情况的万能药。如果一个人转头过猛（超过 60 度），系统就找不到那四个关键点，它就会放弃，表现得并不比旧方法好。此外，如果脸部移动剧烈或光照异常，系统可能会感到困惑。但在大多数现实场景中（即人们只是在聊天或环顾四周时），这个“数字矫正器”让通过视频读取心跳变得更加可靠，这证明了有时，解决问题的最佳方式不是让计算机变得更聪明，而是让世界变得更容易被它理解。

技术摘要：CanonicalPhys

问题陈述
深度远程光电容积脉搏波（rPPG）模型在正面、静止的面部图像上可以实现亚每分钟跳动次数（sub-bpm）级别的心率精度，但当受试者出现头部姿态变化时，性能会显著下降。作者认为，这种性能退化不仅仅是一个数据增强问题，而是一个坐标结构问题。在标准图像坐标系中，一个固定的像素 $(x, y)$ 会随着头部旋转映射到不同的解剖区域（例如，从额头漂移到太阳穴）。这种不稳定性阻碍了三个基本 rPPG 先验知识的应用：

双色反射模型（Dichromatic Reflection Model）： 携带脉搏信号的皮肤反射率弥散分量随皮肤法线与相机轴线夹角的余弦值进行缩放，这一属性是基于每个解剖位置定义的，而非基于每个像素。
脉搏相位不变性（Pulse-Phase Invariance）： 脉搏相位在不同皮肤区域（如额头和脸颊）应保持一致，这要求定义具有姿态稳定性的感兴趣区域（ROIs）。
色度投影（POS/CHROM）： 经典方法将窗口化的 RGB 信号投影到色度基准上以抑制镜面反射和照明分量，这一过程仅在固定的皮肤 ROI 上才是适定的。

如果没有稳定的“解剖结构到像素”的映射，这些先验知识就无法得到有效利用，迫使深度学习骨干网络只能通过增加模型容量来吸收姿态带来的干扰。

方法论：CanonicalPhys
所提出的 CanonicalPhys 框架通过在特征提取之前将输入视频转换为**规范脸部坐标系（canonical face coordinate system）**来解决这一问题。该流水线由四个阶段组成，全部围绕一个未经修改的 FactorizePhys 骨干网络展开（这是一个使用非负矩阵分解进行时空-通道注意力的最先进轻量化模型）。

通过四点单应性进行规范化（Canonicalization via 4-Point Homography）：
- 对每一帧应用一个可微的四点单应性变换，将四个面部锚点（左右眼外角和左右口角）映射到固定的规范目标位置。
- 该变换使用 2D 关键点（来自 MediaPipe）计算，并通过闭式线性系统（DLT）求解。
- 核心约束： 该模块不引入任何可训练参数。它吸收了头部姿态中主要的刚性平面内分量，从而有效地恢复了稳定的“解剖结构到像素”映射。
- 通过计算视频块内的中值单应性来进行时间稳定性处理，以减少由于噪声关键点引起的抖动。
物理启发的逐像素加权（ $w_{phys}$ ）：
- 在规范坐标系下，基于双色反射模型计算逐像素权重。
- 利用面部关键点的规范 3D 法线和逐帧面部旋转矩阵，该方法计算了皮肤法线与相机轴线夹角的余弦值。
- 使用 Sigmoid 函数对面向相机的像素进行加权，并对掠射角像素进行降权。该权重在进行时间差分之前以乘性方式应用于规范帧。
跨 ROI 时间一致性损失（Cross-ROI Temporal Consistency Loss）：
- 为了强制执行脉搏相位不变性，对骨干网络的特征图应用自监督损失。
- 在规范坐标系中定义三个高斯软掩模（额头、左脸颊、右脸颊）。
- 该损失最小化从这三个 ROI 中提取的时间信号之间的余弦距离，确保骨干网络学习到空间一致的脉搏特征。
POS 知识蒸馏损失（POS Knowledge Distillation Loss）：
- 将经典的 POS 算法应用于规范额头区域的空间平均 RGB 轨迹（该区域现在是姿态稳定的）。
- 由此产生的伪 BVP（血流体积脉搏波）作为教师信号。计算网络预测值与该分离出的伪 BVP 之间的蒸馏损失（负皮尔逊相关系数）。
- 该损失仅在训练期间应用，且不增加参数。

核心贡献

坐标变换： 引入了一种无参数的、可微的四点单应性变换，将帧映射到规范系统，在经过学习处理之前隔离了刚性姿态分量。
规范空间先验： 提出了三种由坐标变换所实现的全新组件：
- 物理启发的朗伯型（Lambertian）加权图。
- 强制执行相位不变性的跨 ROI 时间一致性损失。
- 从窗口化 POS 应用于稳定额头 ROI 的知识蒸馏。
- 至关重要的是，这些组件均未为骨干网络增加可训练参数。
严格评估： 在 MMPD 数据集上进行了姿态分层分析，将姿态效应与其他分布偏移隔离开来，并进行了完整的跨数据集迁移评估。

实验结果

姿态分层分析 (MMPD)：
- 基准模型 FactorizePhys 在正面（ $|yaw|<15^\circ$ ）到大偏航角（ $|yaw|\ge45^\circ$ ）帧中的平均绝对误差（MAE）退化了 1.60倍。
- CanonicalPhys 将此退化比例降低至 1.33倍。
- “轻微偏航”区间（ $15^\circ$ – $30^\circ$ ）的退化从 1.32倍 降低到了 1.07倍。
跨数据集迁移：
- 在 UBFC-rPPG 上训练并在姿态丰富的目标上测试，CanonicalPhys 与 FactorizePhys 相比，在 PURE 数据集上实现了 32% 的 MAE 降低，在 MMPD 上实现了 20% 的降低。
- 在完整的 4×4 跨数据集迁移矩阵中，它在 16 个单元格中有 13 个胜出（涉及 UBFC, PURE, OBF, MMPD）。
- 在 MMPD 上，皮尔逊相关系数几乎翻倍（从 0.18 提升至 0.33），且种子方差显著降低。
消融实验： 规范化变换本身贡献了大部分性能增益。朗伯加权和一致性损失提供了进一步的均匀性，特别是在修正中度偏航范围内的异常情况方面。

意义与主张
本文声称，将头部姿态视为一个坐标系统问题而非数据增强挑战，可以重新引入那些因姿态变化而被破坏的物理和生理先验知识。

效率： 该方法在不增加骨干网络参数量的情况下实现了这些增益，使其具有极高的计算效率（实际运行开销 <10%）。
泛化性： 其改进效果可跨传感器和受试者群体进行迁移，表明该方法解决的是根本性的几何限制，而非过拟合特定数据集的伪影。
局限性： 作者明确指出，该方法是姿态鲁棒（pose-robust）而非姿态不变（pose-invariant）。在关键点失效的极端偏航（ $>60^\circ$ ）情况下，性能仍会下降；此外，2D 单应性对于缺乏 3D 网格扩展的显著离面旋转（out-of-plane rotation）是不够的。此外，辅助先验在处理高度运动多样性的训练集（例如用 MMPD 训练测试 PURE）时可能会过度正则化，这表明完整的“配方”最适合紧凑型训练集，而单纯的规范化则是最可靠的组件。

技术摘要：CanonicalPhys

类似论文