⚡ electrical engineering

Reliability-Aware Weighted Multi-Scale Spatio-Temporal Maps for Heart Rate Monitoring

该论文提出了一种可靠性感知的加权多尺度时空（WMST）映射方法，结合基于 Swin-Unet 的自监督对比学习框架及新型 HHH 小波负样本，有效抑制了光照和运动噪声，显著提升了非接触式心率监测的鲁棒性与准确性。

原作者： Arpan Bairagi, Rakesh Dey, Siladittya Manna, Umapada Pal

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Arpan Bairagi, Rakesh Dey, Siladittya Manna, Umapada Pal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让电脑通过看视频就能测心跳的新技术。想象一下，你不需要戴手环或胸带，只要对着摄像头拍一段脸部的视频，电脑就能算出你的心跳速度。

这项技术叫远程光电容积脉搏波（rPPG）。它的原理很简单：当我们心脏跳动时，血液在皮肤下流动，会让皮肤颜色发生极其微小的变化（就像脉搏一样）。电脑通过捕捉这些肉眼几乎看不见的颜色变化，就能算出心跳。

但是，现实世界很“调皮”。光线忽明忽暗、你转头、脸上有阴影、或者皮肤反光，都会让电脑“看花眼”，算出来的心跳就不准了。

这篇论文的作者（来自印度统计研究所等机构）为了解决这个问题，想出了两个绝招，我们可以把它们比作**“智能滤镜”和“反向教材”**。

1. 智能滤镜：WMST 地图（给画面“打分”）

以前的方法就像是一个**“平均主义者”**：它把脸上的每一块区域（额头、脸颊、嘴巴等）都一视同仁，不管那里是干净的皮肤，还是被头发挡住了，或者是被强光反光的，它都同等对待。这就像让一个听力不好的人去听交响乐，不管旁边有没有装修电钻声，他都把声音混在一起听，结果肯定听不清旋律。

作者的新方法（WMST 地图）则像是一个“精明的调音师”：

识别噪音： 它会先给脸上的每个像素点“打分”。
- 如果是反光（像镜子一样亮）、阴影（太黑）、或者头发/皱纹（纹理太乱），它就给这些区域打低分，告诉电脑：“别信这里，这里全是干扰！”
- 如果是健康的皮肤区域，它就给高分：“这里信号最准，重点听这里！”
加权处理： 它把这些打分结合起来，生成一张**“可靠性地图”**。在这张地图上，重要的地方亮堂堂，不重要的地方灰蒙蒙。
效果： 电脑只看那些“亮堂堂”的地方，自动忽略了那些“捣乱”的噪音。这就好比在嘈杂的派对上，调音师把背景音乐的音量调大，把装修电钻的声音关掉，让你能清晰地听到主唱的声音。

2. 反向教材：HHH 波利地图（教电脑“什么不是心跳”）

为了让电脑学得更聪明，作者还设计了一种**“负样本”**（Negative Example），就像教孩子认动物时，不仅给他看猫的照片，还给他看“像猫但不是猫”的东西（比如一只长得像猫的老虎玩偶），让他学会区分。

以前的做法： 随便拿一段别的视频或者乱动的画面当“反面教材”。但这可能太简单了，电脑一眼就能看出“这不是心跳”。
作者的新招（HHH 地图）： 他们发明了一种叫**“高 - 高 - 高”（HHH）**的地图。
- 这张地图专门提取视频中的剧烈运动（比如你转头、眨眼）和结构细节（比如五官轮廓），但完全过滤掉心跳带来的颜色变化。
- 比喻： 这就像给电脑看一张“只有动作没有心跳”的假象。电脑会想：“哦，原来这种剧烈晃动和轮廓变化不是心跳信号。”
- 通过这种“正例”（真实心跳信号）和“难例”（像心跳但其实是运动的 HHH 地图）的对比学习，电脑就能练就一双火眼金睛，把真正的心跳信号从复杂的背景中精准地揪出来。

3. 最终效果：更准、更稳

作者把这套“智能滤镜”和“反向教材”结合到一个名为 Swin-Unet 的深度学习模型中（你可以把它想象成一个超级大脑）。

他们在两个公开的挑战性数据集上做了测试：

VIPL-HR： 这是一个“地狱级”难度的测试，包含各种光线变化、剧烈运动。
UBFC-rPPG： 这是一个相对简单的测试，光线稳定，人动得少。

结果非常亮眼：

在“地狱级”测试中，他们的方法比现有的所有顶尖方法都更准，心跳测出来的误差更小，而且和真实心跳的同步性（相关性）更高。
即使在简单的测试中，他们的方法也保持了极高的准确度。

总结

简单来说，这篇论文就像给电脑装上了一副**“去噪眼镜”（WMST 地图）和一本“防骗指南”**（HHH 地图）。

去噪眼镜让它能自动忽略光线、阴影和反光的干扰，只关注皮肤上真正有用的颜色变化。
防骗指南让它能分清什么是“真的心跳”，什么是“只是人在动”。

这使得我们未来在没有任何穿戴设备的情况下，仅凭手机摄像头就能获得非常精准的健康监测数据，哪怕你在走路、光线不好或者脸上有阴影也没关系。这对于未来的健康监测、运动分析甚至医疗筛查来说，是一个巨大的进步。

1. 研究背景与问题 (Problem)

远程光电容积脉搏波成像 (rPPG) 是一种通过非接触方式分析面部视频中的微小肤色变化来估计生理信号（如心率 HR）的技术。然而，在不受约束的环境（unconstrained environments）中，rPPG 信号极易受到以下因素的干扰，导致信噪比（SNR）极低：

环境噪声：光照变化、阴影、镜面反射。
运动伪影：头部运动、面部表情。
传统方法的局限：传统的基于信号处理或区域的方法依赖手工特征，在复杂环境下表现不佳；现有的深度学习方法虽然鲁棒性更好，但通常依赖大规模标注数据，且现有的自监督学习（SSL）方法在构建负样本时往往过于简单，无法有效区分生理信号与运动/结构噪声。

2. 核心方法论 (Methodology)

该论文提出了一种基于**自监督对比学习（Self-Supervised Contrastive Learning）**的框架，主要包含两个关键创新组件：

2.1 可靠性感知加权多尺度时空图 (WMST Map)

为了解决环境噪声问题，作者改进了现有的多尺度时空图（MST），提出了WMST。其核心思想是根据像素的“可靠性”进行加权，抑制噪声区域，增强生理有效区域。

像素可靠性建模：
- 肤色概率 ( $w_{skin}$ )：利用 U/V 通道的马氏距离（Mahalanobis distance）计算像素属于皮肤区域的概率。
- 边缘抑制 ( $w_{edge}$ )：利用平稳小波变换（SWT）提取高频子带（HL, LH, HH），抑制包含运动边界或非生理纹理的边缘响应。
- 反射抑制 ( $w_{reflection}$ )：在 HSV 空间中，针对高亮且低饱和度的像素（镜面反射）进行指数加权抑制。
- 阴影抑制 ( $w_{shadow}$ )：针对亮度通道（Y）过暗的像素（阴影）进行惩罚。
自适应融合：利用各权重方差的加权平均来聚合上述权重，生成最终的 WMST 图。
优势：该过程是确定性的、非迭代的，计算复杂度与标准 MST 相当，但能显著提升信噪比（SNR）。

2.2 基于 HHH 小波图的对比学习框架

为了在无标签数据下训练鲁棒的模型，作者设计了一个对比学习策略：

锚点 (Anchor)：生成的 WMST 图。
正样本 (Positives)：
- 传统方法提取的 1D 生理信号（ICA, PCA, CHROM 等）。
- 经过时间缩放和 ROI 随机打乱的 WMST 图。
负样本 (Negatives)：
- 来自不同视频的 WMST 图。
- 创新点：HHH 小波图 (High-High-High Wavelet Map)：
  - 对输入视频进行 3D 平稳小波变换，提取 HHH 子带（高度、宽度、时间三个维度的高频分量）。
  - 作用：HHH 子带保留了运动和面部结构细节（这些是 rPPG 的噪声源），但滤除了生理信息（低频脉搏信号）。
  - 这使得 HHH 图成为对比学习中极具挑战性的“硬负样本”，迫使模型学会区分生理信号与运动/结构噪声。
损失函数：使用无温度参数的 InfoNCE 损失（Temperature-free InfoNCE），基于频域内的皮尔逊相关系数计算相似度，避免梯度消失并加速收敛。

2.3 网络架构与优化

骨干网络：采用 Swin-Unet，利用其自注意力机制建模长程时空依赖。
训练策略：
1. 预训练：使用传统方法生成的 1D 信号作为伪标签，最小化预测信号与传统信号的 L1 距离和相关性损失，学习生理相关的权重。
2. 对比学习：使用上述构建的正负样本对进行微调。
心率估计：对输出的时空信号进行平均和带通滤波（0.5-3.0 Hz），通过功率谱密度（PSD）的主频计算心率。

3. 主要贡献 (Key Contributions)

WMST 图提出：提出了一种基于可靠性的加权多尺度时空图，通过统计和数学方法（肤色、边缘、反射、阴影）显式建模并抑制环境噪声，显著提高了输入信号的信噪比。
HHH 小波负样本：首次提出利用 HHH 小波子带作为对比学习中的负样本。该样本保留了运动和结构噪声但去除了生理信息，有效提升了模型对运动伪影的鲁棒性。
无标签自监督框架：构建了一个不依赖地面真值（Ground Truth）标签的 SSL 框架，结合 Swin-Unet 和上述创新，实现了在复杂环境下的高精度心率估计。
实验验证：在公开基准数据集上证明了该方法优于现有的 SOTA SSL 方法，特别是在信噪比提升和心率估计误差降低方面。

4. 实验结果 (Results)

实验在两个公开数据集上进行：VIPL-HR（高难度，多光照/运动）和 UBFC-rPPG（受控环境）。

信噪比 (SNR) 分析：
- 统计显著性检验（t 检验和 Wilcoxon 符号秩检验）表明，WMST 图生成的信号 SNR 显著高于传统 MST 图（p 值 < $10^{-13}$ ）。
- 小提琴图显示，WMST 能更好地区分可靠与不可靠的感兴趣区域（ROI）。
定量性能 (VIPL-HR)：
- MAE (平均绝对误差)：4.32 (优于次优的 4.40)。
- Pearson 相关系数 (R)：0.86 (显著高于次优的 0.79)。
- 在最具挑战性的 VIPL-HR 数据集上，该方法在准确率和信号同步性上均取得了最佳表现。
定量性能 (UBFC-rPPG)：
- MAE 为 0.50，R 为 0.99，与 SOTA 方法相当，证明了模型在受控环境下的泛化能力。
消融实验：
- 移除 HHH 图导致相关系数下降（从 0.86 降至 0.80），证明其作为负样本的重要性。
- 移除 WMST 导致误差增加，证明可靠性加权的有效性。
定性分析：
- 在 VIPL-HR 的片段测试中，该方法能更准确地追踪心率的双峰模式和快速变化，减少了虚假振荡和过冲现象。

5. 意义与总结 (Significance)

解决核心痛点：该研究直接针对 rPPG 在不受约束环境下的最大痛点——环境噪声和运动干扰，通过显式的信号建模（WMST）和巧妙的对比学习策略（HHH 负样本）解决了这一问题。
无需标注数据：通过自监督学习，降低了对大规模标注生理数据的需求，使得模型更容易在实际场景中部署。
鲁棒性提升：实验证明，该方法在光照变化剧烈、存在运动伪影的复杂场景下，依然能保持高心率和信号质量，为未来移动设备上的非接触式健康监测提供了强有力的技术支撑。
未来方向：作者计划探索 WMST 的替代融合策略，并评估跨数据集泛化能力及在移动端的部署。

总结：这篇论文通过引入“可靠性感知”的预处理和“运动/结构噪声感知”的对比学习负样本，成功构建了一个在复杂环境下表现卓越的自监督 rPPG 心率监测框架，显著提升了现有 SSL 方法的鲁棒性和准确性。