Rhythm-Structured Predictive Learning for Remote Photoplethysmography
该论文提出了 RhythmJEPA，一种自监督远程光电容积脉搏波描记法（rPPG）框架，该框架通过从掩码视频中预测潜在教师表示，并利用具有双阶 Mamba 编码器的循环节律状态规划器来显式建模脉搏信号的循环时间结构，从而提高了生理信号的估计精度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图通过视频通话聆听一位朋友的心跳。问题在于，这种“声音”其实并不是真正的声音；它是由于血液泵动引起的皮肤颜色极其微小、几乎肉眼不可见的改变。大多数试图寻找这种信号的计算机程序都会被视频中的“噪声”所干扰：比如对方的头发、面部表情、房间的光照变化或摄像头的质量。它们试图重建整个脸部的图像，这导致它们关注了错误的细节。
这篇论文介绍了一种名为 RhythmJEPA 的新方法，用于让计算机学习如何寻找这种心跳信号。以下是其工作原理的简单类比说明：
1. “蒙面音乐家”（核心理念）
传统的方法就像一位音乐家，试图通过盯着乐谱并试图完美地重画每一个音符来学习一首歌。如果他们在绘画中出了错，他们就会认为自己失败了。
RhythmJEPA 则不同。它表现得像一位蒙面音乐家。
- 诀窍： 计算机获取一段人脸视频，然后遮盖（掩蔽）许多帧，就像给眼睛蒙上眼罩一样。
- 目标： 它不再试图重画缺失的人脸部分（因为受头发或化妆的影响，这样做很容易出错），而是试图去猜测缺失部分的“内在感觉”或“节奏”。
- 结果： 通过迫使自己在看不见像素的情况下去猜测缺失时刻的“氛围”，计算机学会了忽略那些干扰细节（如微笑或帽子），转而完全专注于潜在的脉搏。
2. “舞蹈教练”（循环节奏状态规划器）
心跳是有节奏的；它们是“砰砰、砰砰”跳动的。但在视频中，每一帧只是时间轴上的直线（第1帧、第2帧、第3帧……）。如果计算机只看这条直线，可能会错过某种模式——例如，第10帧与第1帧非常相似，因为它们都处于心跳周期的同一个点上。
RhythmJEPA 引入了一位舞蹈教练（称为“循环节奏状态规划器”）。
- 这位教练观察视频，并为每一帧分配一个“舞蹈步法”编号（例如：“第1步：心脏收缩”，“第2步：心脏舒张”）。
- 即使第100帧在时间上远离第1帧，如果它们都是“第1步”，教练也会知道它们属于同一个序列。
- 这有助于计算机理解心跳是一个循环，而不仅仅是一条直线。
3. “双向扫描仪”（双向 Mamba 编码器）
大多数计算机阅读视频就像读一本书：从左到右，从上到下，逐帧进行。
RhythmJEPA 使用了一个双向扫描仪（称为 DOM）。
- 方式 1： 它像读普通书籍一样正常阅读视频，以观察接下来会发生什么。
- 方式 2： 它根据教练分配的“舞蹈步法”重新组织视频。它将所有的“第1步”帧归为一类，然后是所有的“第2步”帧，以此类推。
- 通过以两种顺序阅读视频，计算机得到了一个完整的图景：它既看到了时间的即时流动，也看到了重复的心跳节奏。
4. “智能聚光灯”（空间脉冲混合器）
观察人脸时，心跳信号在额头、脸颊和鼻子处最强；而在头发或背景处则很弱甚至不存在。
RhythmJEPA 使用了一个智能聚光灯（称为 SPM）。
- 它没有使用沉重、复杂的机器去分析整张脸，而是非常轻量且高效。
- 它会自动将光线聚焦在脸颊和额头（血液流动可见之处），并调暗头发或背景处的亮度。这使得系统既快速又准确，而不需要超级计算机。
为什么这很重要？
作者在三个不同的视频数据集（PURE、UBFC-rPPG 和 MMPD）上测试了这个系统。
- 结果： RhythmJEPA 在准确度上击败了几乎所有其他方法。即使在光照变化、头部移动或视频质量较差的情况下，它也能更好地捕捉心跳。
- 效率： 同时，它实现这一目标时消耗的计算资源比许多其他先进方法更少，使其成为一种“精悍且高效”的解决方案。
简而言之，RhythmJEPA 不再试图“重建脸部”，而是开始尝试“理解节奏”，它结合了盲猜、舞蹈步法分组和智能聚光灯，从而找到了隐藏在视频中的心跳。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。