💻 computer science

BTS-rPPG: Orthogonal Butterfly Temporal Shifting for Remote Photoplethysmography

本文提出了基于正交蝴蝶时间移位（BTS）的 BTS-rPPG 框架，通过借鉴快速傅里叶变换的蝴蝶通信模式构建结构化帧交互以扩展时间感受野，并结合正交特征转移机制抑制冗余传播，从而显著提升了远程光电容积脉搏波（rPPG）中生理动态的长程时间建模能力。

原作者： Ba-Thinh Nguyen, Thi-Duyen Ngo, Thanh-Trung Huynh, Thanh-Ha Le, Huy-Hieu Pham

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ba-Thinh Nguyen, Thi-Duyen Ngo, Thanh-Trung Huynh, Thanh-Ha Le, Huy-Hieu Pham

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 BTS-rPPG 的新技术，它的核心目标是：不用接触皮肤，仅通过手机摄像头拍人脸视频，就能精准地测出你的心跳和生理信号。

为了让你轻松理解，我们可以把这项技术想象成在嘈杂的舞会中听清一个人的心跳声。

1. 核心难题：为什么以前的方法不够好？

想象一下，你试图在喧闹的舞会上听清朋友的心跳。

以前的方法（传统深度学习）： 就像你只盯着朋友上一秒和下一秒的脸看。你只能听到非常局部的声音（比如他刚说完话的余音），很难捕捉到心跳那种有节奏、跨越较长时间的规律。
问题所在： 心跳信号很微弱，而且容易受到光线变化、头部晃动等“噪音”干扰。如果只盯着相邻的几帧画面，模型很容易迷路，把噪音当成心跳，或者漏掉重要的节奏。

2. 我们的新方案：BTS-rPPG 的两大绝招

为了解决这个问题，作者设计了一个像“超级情报网”一样的系统，包含两个核心创新：

绝招一：蝴蝶式情报交换 (BTS - Orthogonal Butterfly Temporal Shifting)

🦋 比喻：像“蝴蝶效应”一样的传话游戏

想象你们在舞会上玩一个传话游戏，目标是让每个人都知道远处朋友的状态。

旧方法： 你只把话传给紧挨着你的邻居，邻居再传给他的邻居。这样，信息传得慢，而且传远了就失真了。
BTS 新方法： 作者借鉴了数学中著名的快速傅里叶变换 (FFT) 里的“蝴蝶”结构。
- 第 1 轮： 你和1 秒前的朋友交换情报。
- 第 2 轮： 你和2 秒前的朋友交换情报。
- 第 3 轮： 你和4 秒前的朋友交换情报。
- 第 4 轮： 你和8 秒前的朋友交换情报……
- 效果： 这种“蝴蝶配对”让信息像闪电一样，从局部迅速扩散到全局。模型不仅能看到“现在”，还能瞬间理解“过去很久”的节奏，从而精准捕捉到心跳的周期性规律。

绝招二： orthogonal 特征过滤 (OFT - Orthogonal Feature Transfer)

🧹 比喻：只传递“新鲜”的情报，拒绝“车轱辘话”

在传话过程中，如果朋友 A 和朋友 B 的脸长得太像（比如都在静止不动），他们交换的情报可能大部分是重复的废话（冗余信息）。

旧方法： 不管三七二十一，把朋友 B 的所有信息都传给 A，导致 A 的脑子里塞满了重复的噪音。
OFT 新方法： 在传递信息前，先做一个**“去重过滤器”**。
- 系统会问：“朋友 B 的信息里，有哪些是朋友 A 自己还没有的（正交/互补的）？”
- 只把那些新鲜的、独特的信息传过去，把重复的废话直接扔掉。
- 效果： 这样既减少了数据传输的负担，又让模型能更敏锐地捕捉到那些真正代表心跳变化的微小细节。

3. 这个系统长什么样？

整个系统就像一个三层过滤网（如图 2 所示）：

输入层： 把视频帧和它们之间的“差异图”（比如皮肤颜色的微小变化）拼在一起，作为原始素材。
核心处理层（Swin Transformer + BTS）： 这是大脑。它利用上面的“蝴蝶传话”和“去重过滤”机制，在视频的时间轴上疯狂地交换和提炼信息，把微弱的心跳信号从背景噪音中“挖”出来。
输出层： 把提炼好的信息汇总，画出一条平滑的心跳波形图。

4. 效果如何？

作者在三个著名的测试数据集上进行了“大考”：

PURE： 模拟各种头部晃动（就像你在摇头时测心跳）。
UBFC-rPPG： 模拟做数学题时的紧张和光线变化。
MMPD： 模拟真实世界，不同肤色、不同灯光、不同活动（走路、说话）。

结果： BTS-rPPG 在所有测试中都完胜了现有的其他方法。

它测得的心跳更准（误差更小）。
它更抗干扰（哪怕你在动、光线在变，它也能稳住）。
它甚至能跨数据集“举一反三”（在一个数据集上学到的知识，能很好地用到另一个完全不同的数据集上）。

总结

简单来说，BTS-rPPG 就像给摄像头装上了一副**“超级透视眼镜”**：

它不再只盯着眼前的一秒看，而是通过**“蝴蝶式跳跃”**，瞬间连接过去和未来的画面，看清心跳的长节奏。
它通过**“智能去重”**，只保留最有价值的信息，过滤掉所有干扰噪音。

这项技术让未来的健康监测变得更加无感、便捷和精准——你只需要拍一段视频，手机就能告诉你身体是否健康。

BTS-rPPG 技术总结：基于正交蝴蝶时间移位的远程光电容积脉搏波成像

1. 研究背景与问题 (Problem)

远程光电容积脉搏波成像 (rPPG) 是一种通过面部视频分析血液循环引起的细微外观变化，从而非接触式地测量生理信号（如心率）的技术。尽管深度学习显著提升了 rPPG 的估计能力，但在时间动态建模方面仍面临核心挑战：

局部时间交互的局限性：现有的主流方法（如基于时间移位或卷积的算子）主要聚合相邻帧的信息。这导致模型的时间感受野（Temporal Receptive Field）受限，难以捕捉长距离的时间依赖关系。
生理信号的长程特性：心脏活动引起的外观变化具有长周期的周期性特征，仅依赖局部帧交互无法有效建模这种长程依赖，限制了生理信号建模的准确性。
特征冗余问题：直接在不同帧之间交换特征（如现有的时间通道移位 TCS）往往会导致高度相关的特征冗余传播，降低了信息传输的效率。

2. 方法论 (Methodology)

作者提出了 BTS-rPPG，一个基于正交蝴蝶时间移位 (Orthogonal Butterfly Temporal Shifting, BTS) 的时间建模框架。该框架包含三个核心组件：输入表示模块、增强 BTS 的 Swin Transformer 骨干网络、以及预测头。

2.1 核心机制：正交蝴蝶时间移位 (BTS)

受快速傅里叶变换 (FFT) 中“蝴蝶”通信模式的启发，BTS 通过结构化的帧交互机制扩展时间感受野：

蝴蝶配对调度 (Butterfly Pairing Schedule)：利用基于异或 (XOR) 的配对规则 $\pi_\ell(t) = t \oplus 2^{\ell-1}$ $π_{ℓ} (t) = t \oplus 2^{ℓ - 1}$ ，在不同阶段（Stage）建立帧之间的连接。
- 第 $\ell$ 阶段的帧 $t$ 与帧 $t \oplus 2^{\ell-1}$ 进行交互。
- 这种设计使得时间偏移量按 $1, 2, 4, \dots, 2^{L-1}$ 指数级增长，从而在多个阶段中渐进式地扩大时间感受野，实现从局部到全局的有效信息传播。
分层交互：这种结构类似于 FFT 的多级稀疏混合，非常适合 rPPG 信号既具有短期连续性又具有长程周期依赖的特性。

2.2 核心机制：正交特征传输 (OFT)

为了解决直接跨帧传输特征带来的冗余问题，作者引入了正交特征传输 (Orthogonal Feature Transfer, OFT) 机制：

特征分解：将特征通道分解为“可传输部分” ( $u$ ) 和“保留部分” ( $r$ )。
正交过滤：在时间移位之前，将源帧的可传输特征投影到目标帧的上下文空间（由保留部分构建）。
保留正交分量：仅保留与目标上下文正交（即互补、不冗余）的分量进行跨帧传输。
- 公式： $s^\perp = s - \frac{\langle s, c \rangle}{\|c\|^2}c$
作用：这种机制过滤掉了与目标帧高度相关的冗余信息，仅传递互补信息，显著提高了时间交互的效率。

2.3 整体架构

输入表示：将 RGB 帧与其归一化差分帧 (NDF) 拼接，以强调细微的时间外观变化。
骨干网络：基于 Swin Transformer，但在自注意力机制之前嵌入了 BTS 算子。
预测头：通过全局平均池化和线性投影，将帧级特征回归为 rPPG 波形。
损失函数：使用负皮尔逊相关系数损失 (Negative Pearson Correlation Loss) 进行优化。

3. 主要贡献 (Key Contributions)

提出 BTS 机制：设计了一种基于 XOR 蝴蝶配对的结构化时间交互机制，能够渐进式地扩大时间感受野，实现高效的长距离帧通信。
提出 OFT 策略：引入正交特征传输，在移位前过滤源特征，仅保留正交分量，有效减少了冗余特征传播，促进了互补的时间交互。
卓越的性能表现：在多个基准数据集上的广泛实验表明，BTS-rPPG 能够更有效地捕捉长程生理动态，在估计精度和鲁棒性上均优于现有的时间建模策略。

4. 实验结果 (Results)

作者在 PURE、UBFC-rPPG 和 MMPD 三个基准数据集上进行了验证，包括同数据集测试和跨数据集测试。

同数据集性能 (Intra-dataset)：
- BTS-rPPG 在所有三个数据集上均取得了最佳性能。
- 在最具挑战性的 UBFC-rPPG 数据集上，相比次优方法，BTS-rPPG 将 MAE 降低了 67.1%，MAPE 降低了 64.6%，RMSE 降低了 67.0%。
- 在 MMPD（多域、大尺度）数据集上，相关系数 $r$ 达到了 0.75，显著优于其他方法。
跨数据集泛化 (Cross-dataset)：
- 在跨域测试（如 PURE $\to$ UBFC-rPPG）中，BTS-rPPG 展现了最强的泛化能力，证明了其学习到了更具迁移性的生理表征，而非过拟合特定数据集的视觉统计特征。
效率与成本：
- 虽然模型参数量略高于轻量级 CNN，但 BTS-rPPG 在单张 NVIDIA T4 GPU 上实现了 2.05 Kfps 的推理速度，支持实时应用。
- 与基于 Transformer 的基线（如 PhysFormer）相比，BTS-rPPG 在参数量和计算量 (MACs) 更少的情况下，提供了更高的吞吐量和更低的延迟。
消融实验：
- 证明了 OFT 和 BTS 的协同作用：OFT 优化了特征交互，BTS 增强了时间依赖表示。
- 验证了“渐进式”蝴蝶调度（从短程到长程）优于线性或反向蝴蝶调度，表明时间交互的顺序对生理信号建模至关重要。

5. 意义与影响 (Significance)

理论创新：首次将 FFT 的蝴蝶通信模式引入 rPPG 的时间建模，为解决长程时间依赖问题提供了新的结构化视角。
技术突破：通过 OFT 机制解决了传统时间移位算子中的特征冗余问题，提升了信息传输的“信噪比”。
应用价值：BTS-rPPG 在复杂环境（光照变化、运动、不同肤色）下表现出的高鲁棒性，使其在远程健康监测、无感医疗筛查等实际应用场景中具有巨大的部署潜力。
未来方向：论文指出，虽然经验效果显著，但蝴蝶调度与 rPPG 生理频谱结构之间的深层理论联系仍需进一步探索。

总结：BTS-rPPG 通过结合 FFT 启发的分层时间交互和正交特征过滤，成功克服了现有 rPPG 方法在长程时间建模和特征冗余方面的瓶颈，代表了该领域在深度学习架构设计上的重要进展。