💻 computer science

Video-based Heart Rate Estimation with Angle-guided ROI Optimization and Graph Signal Denoising

该论文提出了一种结合角度引导感兴趣区域自适应优化与多区域联合图信号去噪的即插即用模块，通过量化 ROI-相机角度并建模区域间信号关联，显著提升了远程光电容积脉搏波（rPPG）在面部运动场景下的心率估计精度。

原作者： Gan Pei, Junhao Ning, Boqiu Shen, Yan Zhu, Menghan Hu

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Gan Pei, Junhao Ning, Boqiu Shen, Yan Zhu, Menghan Hu

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种**“更聪明、更抗干扰”的远程测心率技术**。

想象一下，你正在用手机摄像头拍一段视频，想通过视频里你脸部的微小颜色变化来测心跳。这就像是在嘈杂的集市里，试图听清远处一只蚊子扇翅膀的声音。

传统的做法（现有的技术）往往把整张脸当成一个整体去听，但一旦你转头、说话或者做鬼脸（也就是“运动干扰”），背景噪音太大，心跳声就听不见了，测出来的数据就不准了。

这篇论文提出了两个“独门秘籍”（也就是两个新模块），专门来解决这个问题。我们可以用**“侦探破案”和“合唱团指挥”**的比喻来理解：

1. 第一招：角度引导的“智能选角” (Angle-guided ROI Adaptive Optimization)

—— 就像是一个挑剔的导演，只让状态最好的演员上场。

问题： 当你转头时，脸的不同部位离摄像头的角度不一样。有些部位（比如侧脸）因为角度太偏，光线不好，拍出来的“心跳信号”全是杂音；而有些部位（比如正脸）信号很清晰。以前的方法不管三七二十一，把整张脸的信号混在一起，结果被那些“烂信号”拖了后腿。
解决方案：
- 实时监测： 系统会像侦探一样，时刻盯着你脸上 60 个微小的区域（ROI），计算它们和摄像头的角度。
- 动态替换： 一旦检测到某个区域因为转头导致角度太偏（比如超过 60 度），系统会立刻把这个“状态不好”的区域“踢出”队伍，并自动从它旁边找一个“状态最好”的邻居区域来顶替它。
- 识别大动作： 如果检测到你在快速摇头（比如摇头说“不”），系统会知道这时候信号不可靠，直接把这些时间段标记出来，避免被误判。
效果： 无论你怎么动，系统总能保证传给下一步处理的，都是脸上那些“最清晰、最靠谱”的信号片段。

2. 第二招：多区域联合的“图信号降噪” (Multi-region Joint Graph Signal Denoising)

—— 就像是一个高明的合唱团指挥，让不同声部互相配合，消除杂音。

问题： 即使我们选好了区域，每个区域单独测出来的心跳信号里还是会有噪音（比如说话时的肌肉抖动）。
解决方案：
- 建立关系网： 系统把脸上这 60 个区域看作一个“社交网络”。它知道额头和脸颊离得近，血流变化应该差不多；而额头和下巴离得远，关联度就低。
- 互相验证： 系统会问：“额头说心跳是 60，左脸颊说也是 60，但右脸颊说是 100，那右脸颊肯定是在‘撒谎’（有噪音）。”
- 加权融合： 利用这种“互相验证”的机制（图信号处理），系统会把那些互相矛盾、不靠谱的噪音过滤掉，把大家一致认可的“真实心跳”提炼出来。
效果： 就像合唱团里，如果一个人唱跑了调，指挥（算法）能立刻听出来并修正，最终呈现出的歌声（心率信号）非常纯净。

总结：这套组合拳有多强？

作者把这两个“秘籍”装进了现有的测心率软件里，并在三个公开数据集上进行了测试。

结果： 就像给原本只有 80 分的测心率技术，直接提升到了 95 分。
数据： 平均误差（MAE）降低了 20.38%。这意味着，以前可能测出来心跳是 75，实际是 80，误差很大；现在测出来可能就是 79 或 80，非常准。

一句话总结：
这项研究让手机摄像头测心率变得更“机灵”了。它不再死板地看整张脸，而是动态地挑选最好的拍摄角度，并让脸部不同区域互相“对质”以消除噪音。这使得我们在说话、转头甚至做表情时，依然能测出准确的心率，让远程健康监测真正变得实用和可靠。

这是一份关于论文《基于视频的角引导 ROI 优化与图信号去噪的心率估计》（VIDEO-BASED HEART RATE ESTIMATION WITH ANGLE-GUIDED ROI OPTIMIZATION AND GRAPH SIGNAL DENOISING）的详细技术总结。

1. 研究背景与问题 (Problem)

远程光电容积脉搏波（rPPG） 是一种非接触、非侵入且低成本的生理监测技术，能够从 RGB 视频中提取皮肤区域的血容量脉搏（BVP）信号以估算心率（HR）。然而，现有的 rPPG 方法在实际应用中面临严峻挑战：

运动伪影干扰：面部运动（如说话、摇头）会严重破坏信号质量，导致心率估计性能大幅下降。
单一信号源的局限性：大多数现有方法将人脸视为一个整体信号源，提取单一聚合信号进行处理。这种方法忽略了面部不同区域（如额头、脸颊、下巴）在生理信号特征和运动干扰上的异质性。
多区域相关性利用不足：现有研究未能充分利用多个感兴趣区域（Multi-ROI）之间的信号冗余性和区域间的相关性，导致在复杂运动场景下鲁棒性不足。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了两个即插即用（plug-and-play）的模块，分别针对信号提取前的优化和信号处理后的去噪。整体流程如图 2 所示：

2.1 角引导的 ROI 自适应优化模块 (Angle-guided ROI Adaptive Optimization)

该模块旨在量化并优化受运动影响的信号，同时捕捉全局运动特征。

ROI 构建：利用 MediaPipe 获取 468 个面部关键点，基于面部中轴对称性，在额头、脸颊和下巴选取 60 个关键点，每个点构建 20x20 像素的矩形 ROI，共 60 个 ROI。
角度特征量化：
- 计算每个 ROI 平面法向量与相机向量之间的夹角（角特征 $C$ ）。
- 通过 PCA 融合所有 60 个 ROI 的角信号，生成全局角信号，并求导得到运动信号 $S_{motion}$ 。
全局运动检测与信号替换：
- 定义快速头部旋转为全局噪声（角速度 $>30^\circ/s$ 且持续 $>0.5s$ ）。
- 在检测到全局运动时，将朝向角劣化（ $>60^\circ$ ）的低质量 ROI 信号，替换为其空间邻近的高质量 ROI 信号，从而获得优化的 RGB 特征序列。
输出：生成经过优化的 BVP 信号矩阵 $S_{bvp}$ 。

2.2 多区域联合图信号去噪模块 (Multi-region Joint Graph Signal Denoising)

该模块利用图信号处理（GSP）技术，联合建模 ROI 内部及区域间的信号相关性，以抑制运动伪影。

图构建：构建 $60 \times 60$ $60 \times 60$ 的邻接矩阵 $A$ $A$ ，权重由三个维度综合决定：
1. 节点信号质量 ( $q_{ij}$ )：结合心率频带内的功率谱比和帧间稳定性，筛选高质量信号。
2. 区域间相关性 ( $r_{ij}$ )：基于解剖学关联预设权重（如脸颊与额头关联度高于脸颊与下巴）。
3. 成对信号一致性 ( $d_{ij}$ )：通过滑动窗口计算皮尔逊相关系数，并根据信号质量进行加权。
图信号去噪：
- 采用最大后验估计 (MAP) 方法求解去噪问题。
- 目标函数： $\min \|S'_{bvp} - S''_{bvp}\|^2_2 + \lambda S''_{bvp}{}^\top L S''_{bvp}$ ，其中 $L$ 为图拉普拉斯矩阵。
- 自适应权重学习：由于权重系数 $w$ 未知，通过梯度下降法（结合 Softmax 映射）自适应优化权重，以最大化后验概率。
信号融合：去噪后的 60 个信号根据周期性和质量标签进行加权融合，去除全局运动时段，最后通过 PCA 融合得到最终的心率信号。

3. 主要贡献 (Key Contributions)

角引导 ROI 自适应优化：提出了一种基于头部姿态角度特征的自适应优化机制。该方法在保留信号冗余性的同时，能够针对受运动伪影影响的区域进行动态替换和优化，并有效捕捉全局头部运动特征。
多区域联合图信号去噪：设计了一种基于图信号处理的去噪模块，通过联合建模不同面部区域（跨区）和同一区域内部（区内）的信号相关性，有效抑制了运动引起的噪声。
通用性与有效性验证：提出的模块与基于反射模型的 rPPG 方法（如 PBV, POS, OMIT）兼容，并在三个公开数据集上验证了其显著的性能提升。

4. 实验结果 (Results)

作者在 COHFACE、PURE 和 MMPD 三个公开数据集上进行了实验，对比了基线方法（仅使用 Butterworth 带通滤波）与加入新模块后的表现。

性能提升：联合使用两个模块后，平均绝对误差（MAE）相比基线显著降低，平均下降了 20.38%。
具体数据：
- 以 OMIT 算法为例，在 COHFACE 数据集上，MAE 从基线的 4.76 降至 3.84；在 MMPD 数据集上，从 17.97 降至 16.72。
- 消融实验证明，单独使用“角引导优化”或“图信号去噪”均能带来性能提升，两者结合效果最佳。
鲁棒性：该方法在存在说话、摇头等复杂运动场景下，表现出更强的抗干扰能力。

5. 意义与价值 (Significance)

技术突破：该工作突破了传统 rPPG 将人脸视为单一信号源的局限，通过引入几何角度信息和图信号处理，实现了从“整体平均”到“多区域协同优化”的范式转变。
实际应用：提出的模块具有即插即用的特性，不依赖特定的深度学习架构，可广泛应用于远程医疗、连续健康监测和驾驶员状态评估等对非接触式生理监测要求较高的场景。
未来方向：展示了基于几何引导的优化和图基去噪在提升运动场景下 rPPG 性能方面的巨大潜力，为后续研究提供了新的思路。