💻 computer science

MVRD-Bench: Multi-View Learning and Benchmarking for Dynamic Remote Photoplethysmography under Occlusion

该论文针对非接触式远程光电容积脉搏波（rPPG）在面部运动和遮挡场景下的性能退化问题，提出了包含多视角同步数据的新基准数据集 MVRD 以及融合自适应光补偿、双流网络和多视角注意力机制的 MVRD-rPPG 统一学习框架，显著提升了复杂动态环境下的生理信号估计鲁棒性。

原作者： Zuxian He, Xu Cheng, Zhaodong Sun, Haoyu Chen, Jingang Shi, Xiaobai Li, Guoying Zhao

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zuxian He, Xu Cheng, Zhaodong Sun, Haoyu Chen, Jingang Shi, Xiaobai Li, Guoying Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一项名为 MVRD-Bench 的新技术，它的核心目标是：即使在你动来动去、或者脸被挡住的时候，也能通过摄像头精准地测出你的心跳。

为了让你更容易理解，我们可以把这项技术想象成一场**“寻找心跳的侦探游戏”**。

1. 以前的“侦探”遇到了什么麻烦？

想象一下，以前的测心跳技术（rPPG）就像是一个单眼侦探。

工作原理：它盯着你的脸看，通过捕捉你皮肤下极其微小的颜色变化（因为血液流动，皮肤会微微变红）来推算心跳。
遇到的困难：
- 动来动去：如果你转头、说话或者做鬼脸，这个“单眼侦探”就会跟丢目标，或者因为画面抖动而看花眼，导致心跳测不准。
- 被挡住：如果你用手捂着脸，或者头发遮住了半边脸，单眼侦探就“瞎”了，完全测不到。
- 以前的尝试：虽然有人尝试过用多个摄像头（多视角），但那些摄像头通常是拍静止的人，或者各自为战，没有真正学会如何“团队合作”来应对你乱动的情况。

2. 这篇论文做了什么？（两大法宝）

为了解决这个问题，作者们搞了两件大事：

法宝一：MVRD 数据集 —— 打造了一个“全能训练场”

以前的训练场太简单了，只让人坐着不动。作者们建了一个全新的训练场（MVRD 数据集）：

三个视角：就像在房间里装了左、中、右三台摄像机，全方位无死角地包围你。
真实场景：在这个训练场里，你不仅要坐着，还要说话、摇头、做各种动作。
目的：让 AI 在这里“摸爬滚打”，学会即使在你乱动、脸被挡住一部分时，也能通过另外两个摄像头的画面，拼凑出完整的心跳信息。

法宝二：MVRD-rPPG 框架 —— 组建了一支“超级特工队”

作者设计了一个新的 AI 系统，它不像以前那样单打独斗，而是像一个配合默契的特工小组，分三步走：

第一步：稳像员（ATOC 模块）—— “防抖云台”
- 比喻：当你转头时，画面会剧烈晃动。这个模块就像是一个超级防抖云台，它能计算出你头部的运动轨迹，把晃动的画面“拉直”并补偿回去，让心跳信号不被运动干扰。
- 作用：先稳住画面，别让心跳信号被“抖”没了。
第二步：双核大脑（Rhythm-Visual Dual-Stream）—— “节奏大师” + “细节侦探”
- 比喻：这个系统有两个大脑同时工作：
  - 节奏大师：专门负责找心跳的“节奏”和规律，不管脸长什么样，只要节奏对就行。
  - 细节侦探：专门负责看皮肤的纹理、反光等细节。
- 作用：以前这两个功能混在一起，容易互相干扰。现在把它们分开，既抓住了心跳的规律，又保留了皮肤的细节，谁也不耽误谁。
第三步：情报汇总官（MVCA 模块）—— “最强大脑”
- 比喻：左、中、右三个摄像头传回的情报可能不一样。比如左边的脸被手挡住了，但右边的脸是清晰的。这个“汇总官”非常聪明，它会说：“左边信号太乱了（噪音大），忽略它；右边很清晰，重点听右边的！”
- 作用：它会根据每个摄像头的画面质量，动态地决定听谁的，把三个视角的优势结合起来，确保无论你怎么动，总有一个视角是靠谱的。

3. 最后的“考试”结果如何？

作者让这套系统去“考试”（做实验）：

在剧烈运动时：以前的方法心跳测得乱七八糟（误差很大），而这套新方法测得非常准，误差极小，相关度高达 99%（几乎和真实心跳一模一样）。
跨场景能力：即使把这套在“乱动训练场”里练出来的 AI，放到以前没见过的普通数据集里，它依然表现优异，说明它真的学会了“真本事”，而不是死记硬背。

总结

简单来说，这篇论文就是给测心跳的 AI 戴上了“三副眼镜”，并给它装上了“防抖仪”和“智能筛选器”。

以前，如果你动一动，心跳就测不准；现在，哪怕你一边摇头一边说话，甚至用手挡一下脸，这套系统也能像经验丰富的老中医一样，透过层层干扰，精准地摸到你的脉搏。

未来应用：这项技术未来可以用在开车监测司机疲劳、睡觉时监测呼吸、或者在办公室工作时无感监测健康状态，让健康监测真正变得“无感”且“可靠”。

MVRD-Bench 论文技术总结

1. 研究背景与问题定义 (Problem)

远程光电容积脉搏波描记法 (rPPG) 是一种通过分析面部视频中细微肤色变化来非接触式估计生理信号（如心率、呼吸频率）的技术。然而，现有的 rPPG 方法主要基于单视角静态视频，在实际应用中面临以下严峻挑战：

运动伪影与遮挡 (Motion-induced Occlusion)： 在自然头部运动、说话或姿态变化时，单视角视频极易出现面部感兴趣区域 (ROI) 的遮挡或运动模糊，导致信号质量严重下降。
现有数据集的局限性： 现有的多视角数据集（如 MCD-rPPG）通常仅限于静态场景，无法模拟自然头部运动带来的视角变化和遮挡问题；而现有的动态场景数据集多为单视角，缺乏多视角互补信息。
融合策略缺失： 目前缺乏针对动态多视角场景的 rPPG 估计原型，未能有效利用不同视角间的互补可见性来维持鲁棒的面部皮肤覆盖。

核心目标： 解决非约束环境下（特别是头部运动导致遮挡时）的动态多视角 rPPG 估计问题。

2. 核心贡献 (Key Contributions)

本文提出了 MVRD-Bench，包含一个新的数据集和一个统一的深度学习框架：

MVRD 数据集 (Multi-View rPPG Dataset)：
- 构建了包含 369 段 同步视频序列的高质量数据集，涉及 41 名 受试者。
- 多视角采集： 使用三台相机（左 -45°、中 0°、右 +45°）同步录制。
- 动态场景： 涵盖静止、说话、头部运动三种场景，确保在运动过程中至少有一个视角能保持面部皮肤无遮挡。
- 真值对齐： 所有视频均与指夹式脉搏血氧仪 (60Hz) 采集的生理信号严格时间同步。
MVRD-rPPG 框架： 提出了一种统一的多视角 rPPG 学习框架，包含三个核心模块：
- 自适应时间光流补偿 (ATOC)： 针对运动场景，利用一阶运动建模生成运动掩码，通过仿射变换对像素进行选择性扭曲，抑制非刚性运动伪影。
- 节奏 - 视觉双流网络 (Rhythm-Visual Dual-Stream Network)：
  - 节奏结构流 (Rhythm-Structural Stream)： 使用 3D CNN 提取与脉搏传播相关的时空结构特征，关注全局节奏。
  - 视觉感知流 (Visual-Perceptual Stream)： 保留对视角变化和局部遮挡不敏感的皮肤纹理、反射率等外观特征。
- 多视角相关感知注意力 (MVCA)： 包含流噪声感知聚合、跨视角时间注意力和门控协同融合，自适应地聚合不同视角的信号，优先选择噪声较小的视角。
相关性频率对抗学习策略 (CFA)：
- 联合优化了三个目标：时间准确性（Pearson 相关损失）、频谱一致性（功率谱密度 PSD 损失）和感知真实性（对抗损失）。
- 确保预测信号在时域和频域上与真实生理信号高度一致，同时具备真实的脉搏波形特征。

3. 方法论详解 (Methodology)

3.1 自适应时间光流补偿 (ATOC)

原理： 针对头部运动引起的非刚性形变，首先通过背景减法生成运动掩码，利用 OpenFace 提取关键点并估计局部仿射运动参数。
操作： 仅对运动区域进行基于仿射模型的像素反向扭曲（Warping），生成补偿后的视频序列，从而在保持时间对齐的同时抑制运动噪声。

3.2 双流网络架构

输入： 经过 ATOC 补偿的三视角视频流。
双路并行处理：
- 节奏流： 编码全局时空依赖，提取生理脉冲的结构性特征。
- 视觉流： 编码局部外观细节，作为节奏流的补充，防止在剧烈运动或遮挡下丢失关键信息。
融合： 两路输出进入 MVCA 模块进行跨视角交互。

3.3 多视角相关感知注意力 (MVCA)

流噪声感知聚合： 计算每个视角的光流噪声分数（基于运动掩码内的光流幅度），噪声大的视角权重降低。
跨视角时间注意力： 利用 Transformer 机制建模不同视角在每一时刻的相关性，增强特征表示。
门控协同融合： 学习一个可微分的门控参数 $\beta$ ，动态平衡“节奏结构特征”与“跨视角聚合特征”的贡献，输出最终的特征表示。

3.4 损失函数设计

总损失函数 $L_{total}$ 由三部分组成：
$L_{total} = L_{Pearson} + \lambda_{PSD} L_{PSD} + \lambda_{G} L_{G}$

$L_{Pearson}$ ：最大化预测信号与真值的线性相关性。
$L_{PSD}$ ：强制预测信号的功率谱密度在心率频段（0.7-4.0 Hz）与真值一致。
$L_{G}$ ：对抗损失，利用 PatchGAN 判别器提升预测波形的真实感和连续性。

4. 实验结果 (Results)

4.1 数据集内性能 (MVRD Dataset)

在最具挑战性的头部运动 (Movement) 场景下：

MVRD-rPPG 取得了 MAE = 0.90 bpm，RMSE = 1.02 bpm，Pearson R = 0.99。
相比现有的单视角方法（如 PhysFormer, SiNC 等）和传统方法（CHROM, POS），性能提升显著。例如，单视角最佳方法在运动场景下的 MAE 通常在 4.0-8.0 之间，而本文方法将其降低至 1.0 以下。
视角缺失鲁棒性： 即使中心视角缺失，仅靠左右视角融合，MAE 仍保持在 1.05 左右，证明了多视角互补的有效性。

4.2 跨数据集泛化能力 (Cross-Dataset Generalization)

模型仅在 MVRD 的运动子集上训练，未进行微调直接测试于公开数据集：

PURE 数据集： MAE = 0.77, R = 0.99。
UBFC-rPPG 数据集： MAE = 0.83, R = 0.98。
MCD-rPPG 数据集： MAE = 0.69, R = 0.99。
结果表明该方法具有极强的跨域泛化能力，能够适应不同的采集设备和环境条件。

4.3 消融实验

模块贡献： 移除 ATOC 或 MVCA 均导致性能大幅下降（MAE 从 0.90 升至 2.05 或 4.23），证明运动补偿和多视角融合缺一不可。
损失函数： 单独使用 Pearson 损失或 PSD 损失效果均不如联合使用，对抗损失进一步提升了信号的真实度。

5. 意义与展望 (Significance)

填补空白： MVRD 是首个针对动态多视角且包含运动遮挡场景的 rPPG 基准数据集，解决了现有研究在真实运动场景下数据匮乏的问题。
技术突破： 提出的 MVRD-rPPG 框架通过“运动补偿 + 双流解耦 + 多视角自适应融合”的策略，有效解决了单视角在运动中的失效问题，显著提升了 rPPG 在复杂动态环境下的鲁棒性。
应用前景： 该研究为 rPPG 技术走向实际应用（如驾驶监测、睡眠监测、办公场景健康评估）奠定了坚实基础，证明了多视角融合是解决非接触式生理信号测量中遮挡和运动干扰的关键路径。

总结： 本文通过构建高质量的多视角动态数据集和提出创新的深度学习框架，成功攻克了 rPPG 在运动遮挡场景下的性能瓶颈，为未来的非接触式健康监测提供了强有力的技术支撑和数据基准。