💻 computer science

Uncertainty-quantified Pulse Signal Recovery from Facial Video using Regularized Stochastic Interpolants

该论文提出了一种名为 RIS-iPPG 的新范式，通过将成像光电容积脉搏波（iPPG）恢复建模为正则化随机插值逆问题，利用随机微分方程在测试时采样后验分布，从而在提升重建质量的同时为临床和消费级应用提供了关键的信号不确定性量化能力。

原作者： Vineet R. Shenoy, Cheng Peng, Rama Chellappa, Yu Sun

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Vineet R. Shenoy, Cheng Peng, Rama Chellappa, Yu Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 RIS-iPPG 的新方法，它的核心目标是：通过普通的手机或摄像头拍摄的人脸视频，不仅精准地测出你的心跳，还能告诉医生“这个结果有多大的把握”。

为了让你轻松理解，我们可以把这项技术想象成"在嘈杂的集市里听清一个人的心跳"。

1. 背景：为什么要做这个？

想象一下，医生想通过你脸上的皮肤颜色变化（因为血液流动，皮肤会有极其微小的颜色波动）来测心跳。这就像是在一个喧闹的集市（充满噪音、光线变化、你头部的晃动）里，试图听清远处一个人微弱的呼吸声。

以前的方法：就像是一个经验丰富的老侦探，他有一套固定的公式，能在大体上猜出心跳是多少。如果猜对了，大家都很开心；但如果猜错了，医生也不知道是“运气不好”还是“方法不行”。这就好比侦探说“我觉得是 80 次”，但他不敢保证，因为如果他在嘈杂环境里听错了，可能会耽误病情。
现在的痛点：现有的高科技算法虽然猜得挺准，但它们只给一个单一的答案（比如“心跳是 75"），却不告诉医生这个答案的可信度。在医疗领域，医生需要知道：“这个结果是 99% 确定的，还是只有 50% 的把握？”

2. 核心创新：RIS-iPPG 是怎么工作的？

作者提出了一种叫 RIS-iPPG 的新方法，我们可以把它比作"在迷雾中反复尝试寻找宝藏"。

比喻一：从“迷雾”到“真相”的旅程

想象你的心跳信号（真相）被一层厚厚的迷雾（摄像头拍摄到的视频噪音、光线干扰、面部运动）遮住了。

以前的方法：试图直接一把扯开迷雾，强行看清真相。如果迷雾太厚，就容易看错。
RIS-iPPG 的方法：它不急着一下子看清。它构建了一条时间隧道。
1. 它从“迷雾”（摄像头视频）开始。
2. 它利用一种数学魔法（随机微分方程，SDE），像倒放电影一样，一步步把迷雾“洗”掉。
3. 在这个过程中，它不是只走一条路，而是同时派出 100 个小探险队，在迷雾中尝试不同的路径。

比喻二：掷骰子与“不确定性”

这是这项技术最厉害的地方。

当这 100 个小探险队都走出迷雾后，如果它们都指向同一个心跳数值（比如都是 75），那么系统就会自信地报告：“心跳是 75，非常确定！”
如果这 100 个小探险队有的说 70，有的说 80，有的说 75，系统就会报告：“心跳大概在 75 左右，但我不太确定，因为大家的意见不统一。”

这对医生意味着什么？
如果系统说“我不太确定”，医生就会知道：“哦，这个视频质量不好，或者病人动得太厉害，我需要换个方法测，不能盲目相信这个结果。”这就是不确定性量化（Uncertainty Quantification）的价值。

3. 关键技巧：让“探险队”更听话（RCL 损失函数）

作者发现，如果让这 100 个小探险队太自由，它们可能会乱跑。因为人的心跳是缓慢变化的，不会上一秒 70，下一秒 150。

于是，作者加了一个"纪律约束"（论文中称为 RCL 损失函数）：

比喻：想象你在教一群学生（探险队）走路。你要求他们：“如果你刚才走了一步，下一步必须和刚才的方向差不多，不能突然跳起来。”
作用：这个约束强迫模型在预测时，必须考虑到时间的连续性。即使视频里有噪音，模型也会根据“心跳通常是平稳的”这一常识，把那些离谱的预测拉回来。
结果：加上这个约束后，模型不仅猜得更准，而且能更清晰地分辨出哪些是真正的“心跳模式”，哪些是“噪音干扰”。

4. 总结：这项技术带来了什么？

更准的心跳：在三个不同的测试数据集上，它的表现都达到了目前最好的水平（State-of-the-Art）。
更懂“不确定”：它是第一个能告诉医生“这个结果有多靠谱”的 iPPG 算法。
更公平：作者还特别测试了不同肤色和性别的人群，发现虽然深色皮肤在技术上更难测，但他们的算法依然能提供可靠的不确定性评估，这对于医疗公平性非常重要。

一句话总结：
这项技术不再只是冷冰冰地扔给你一个心跳数字，而是像一个谨慎的医生助手，它会说：“根据视频，心跳大概是 75，我有 90% 的把握；但如果视频太晃，我会告诉你‘我不确定，请重新测量’。”这让 AI 真正具备了进入医院临床应用的资格。

这是一篇关于基于正则化随机插值（Regularized Stochastic Interpolants）的面部视频脉搏信号恢复与不确定性量化的学术论文总结。该研究由约翰霍普金斯大学和弗吉尼亚大学的研究人员完成。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

成像光电容积脉搏波 (iPPG)：这是一种利用普通摄像头（如 RGB 相机）从面部视频中非接触式地恢复人体血容量脉搏（BVP）波形和生命体征（如心率）的技术。
现有方法的局限性：
- 当前的 iPPG 算法（基于传统信号处理或深度学习）虽然在基准数据集上表现优异，但通常仅输出点估计（Point Estimates）。
- 缺乏不确定性量化 (Uncertainty Quantification, UQ)：现有方法无法在测试时采样解空间，因此无法提供预测结果的置信度或不确定性分析。
- 临床应用的障碍：对于医生等临床用户而言，缺乏对模型可靠性的评估（即模型何时“不确定”）是阻碍 iPPG 技术广泛临床采用的关键因素。此外，现有方法在肤色、性别等受保护属性上的表现差异及不确定性校准尚未得到充分研究。

2. 核心方法论 (Methodology)

作者提出了一种名为 RIS-iPPG (Regularized Interpolants with Stochasticity for iPPG) 的新范式，将 iPPG 信号恢复建模为一个逆问题，并利用**随机插值（Stochastic Interpolants）**框架。

2.1 随机插值与流模型

概率路径构建：模型学习从“相机像素强度分布”到“真实脉搏信号分布”的随机过程路径。
随机微分方程 (SDE)：
- 定义了一个随机插值过程 $x_t$ ，连接初始状态（相机信号 $x_1$ ）和目标状态（真实脉搏信号 $x_0$ ）。
- 通过神经网络学习该过程的瞬时流向量 (Flow, $v$ ) 和 分数向量 (Score, $s$ )。
- 利用学习到的流和分数构建 SDE 的漂移系数 (Drift Coefficient)。
- 推理过程：在测试时，将相机测量值作为初始条件，求解反向 SDE，从而采样出多个可能的脉搏信号解，实现后验采样 (Posterior Sampling)。

2.2 残差相关性损失 (Residual Correlation Loss, RCL)

动机：生理变化（如血容量变化）通常是缓慢变化的。相邻且重叠的时间窗口内的生理信号应具有高度的一致性。
机制：
- 在训练过程中，取两个相邻且重叠的时间窗口数据。
- 计算预测流向量与真实流向量之间的残差 (Residuals)。
- 提出 RCL 损失函数，旨在最大化这两个相邻窗口残差向量之间的皮尔逊相关系数（即最小化 $1 - \text{Correlation}$ ）。
- 作用：强制模型学习到的流在时间上保持一致性，从而捕捉信号分布的多模态特性，并减少高频噪声（如运动伪影）带来的不确定性。

2.3 测试时采样与不确定性分析

通过多次运行 SDE 求解器（ $N$ 次），生成多个脉搏波形样本。
基于这些样本计算统计量（如均值、方差、置信区间），从而量化预测的不确定性。

3. 主要贡献 (Key Contributions)

首个基于流扩散模型的 iPPG 后验采样框架：将脉搏信号恢复转化为从测量分布到真实分布的随机过程，能够生成多个可能的解，而不仅仅是单一预测。
提出残差相关性损失 (RCL)：利用生理信号的时域平滑特性，通过正则化相邻时间窗口的预测残差，显著提升了信号恢复质量和分布模式的捕捉能力。
全面的不确定性量化评估：
- 在三个公开数据集（MMSE-HR, PURE, UBFC-rPPG）上验证了算法。
- 建立了 iPPG 任务中**受保护属性（肤色、性别）**的不确定性校准基线。
- 证明了即使最终预测的心率不完全准确，采样过程也能揭示其他可能的解（多模态分布），这对临床决策至关重要。

4. 实验结果 (Results)

数据集：在 MMSE-HR、PURE 和 UBFC-rPPG 三个数据集上进行了评估。
性能指标：
- 心率估计：RIS-iPPG 在 PURE 数据集上达到了最先进 (SOTA) 的性能（MAE 0.38 bpm, RMSE 1.28 bpm）。在其他数据集上也与现有最佳方法相当或更优。
- 频谱估计：引入 RCL 损失后，频谱估计的 MAE 和 RMSE 均有所降低，且预测频谱与真实频谱的相关性（PCC）更高。
- 不确定性指标：在负对数似然 (NLL)、连续排序概率分数 (CRPS) 和区间分数 (Interval Score) 等指标上，带 RCL 的模型表现更好，表明其预测分布更贴近真实分布且校准更准确。
定性分析：
- 可视化结果显示，RIS-iPPG 能够捕捉到信号分布的多个模式（Modes）。
- 在存在运动伪影或测量信号质量较差的情况下，模型能表现出更高的不确定性（置信区间变宽），而不是给出一个错误的确定性预测。
受保护属性分析：
- 在肤色较深的人群中，心率估计误差略高，但模型的不确定性校准误差（Calibration Error）控制在 0.10 以内，证明了算法在不同亚群中的鲁棒性。

5. 意义与结论 (Significance & Conclusion)

临床信任度：该研究解决了临床应用中“黑盒”模型缺乏可信度评估的问题。通过提供不确定性估计，医生可以判断何时信任模型的预测，何时需要人工复核，符合“在医生个人经验中反复成功”的临床接受标准。
技术突破：首次将随机插值和流匹配技术成功应用于 iPPG 逆问题，并证明了通过正则化（RCL）可以显著提升生理信号恢复的鲁棒性。
未来方向：虽然 intra-dataset（同数据集）表现优异，但跨数据集（Domain Shift）的泛化能力仍有提升空间，且推理速度（SDE 求解）需要进一步优化以适应实时应用。

总结：RIS-iPPG 不仅提高了 iPPG 信号恢复的精度，更重要的是引入了不确定性量化机制，使得该技术从单纯的“算法竞赛”迈向了可信赖的医疗辅助工具，为 iPPG 在临床和消费级场景的普及奠定了重要基础。