💻 computer science

HOT: Harmonic-Constrained Optimal Transport for Remote Photoplethysmography Domain Adaptation

该论文提出了一种名为 HOT 的谐波约束最优传输框架，结合频域自适应（FDA）策略，通过迁移编码外观变化的低频谱分量并利用心脏信号的谐波特性进行对齐，有效解决了远程光电容积脉搏波（rPPG）在跨域场景下因光照、相机等外观差异导致的性能退化问题，显著提升了模型的鲁棒性与泛化能力。

原作者： Ba-Thinh Nguyen, Thi-Duyen Ngo, Thanh-Trung Huynh, Thanh-Ha Le, Huy-Hieu Pham

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ba-Thinh Nguyen, Thi-Duyen Ngo, Thanh-Trung Huynh, Thanh-Ha Le, Huy-Hieu Pham

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 HOT（Harmonic-Constrained Optimal Transport，谐波约束最优传输）的新方法，旨在解决远程光电容积脉搏波（rPPG）技术中的一个核心难题：“水土不服”。

为了让你轻松理解，我们可以把这项技术想象成**“教一个医生在不同环境下给病人量脉搏”**的故事。

1. 背景：为什么现在的“电子医生”会“水土不服”？

什么是 rPPG？
想象一下，你不需要戴手环或贴电极，只需要对着摄像头拍一段脸部的视频，电脑就能通过分析你皮肤下极其微小的颜色变化（因为心脏跳动时血液流动会让皮肤颜色微变），算出你的心率。这就是 rPPG 技术。

遇到的问题：
目前的 AI 模型就像是一个在“温室”里长大的医生。

训练时： 它在实验室里，光线完美、相机固定、被试者很配合（比如 PURE 数据集）。
实战时： 把它放到现实世界，光线忽明忽暗、相机像素不同、被试者在走动或说话（比如 MMPD 数据集）。
结果： 这个“医生”就晕了。因为它太依赖“温室”里的特定光线和相机风格，一旦环境变了，它就把正常的脉搏信号当成了噪音，或者把环境噪音当成了心跳，导致测出来的心率完全不准。

2. 核心方案：HOT 的两大法宝

为了解决这个问题，作者提出了两个主要策略，我们可以把它们比作**“换装训练”和“听音辨位”**。

法宝一：FDA（频域自适应）—— “换装训练”

原理： 视频图像可以分解成很多频率。高频部分通常包含细节（如五官轮廓），而低频部分主要包含整体的色调、亮度和光影风格（比如是暖黄光还是冷白光）。
比喻： 想象你要训练一个医生适应不同的医院环境。
- 传统的做法是让医生直接去新医院，结果他因为不习惯新医院的灯光而手忙脚乱。
- FDA 的做法是：在训练时，把“温室”里拍的视频，只把它的“灯光滤镜”（低频部分）换成“新医院”的灯光风格，但保留病人原本的面部特征和心跳节奏（高频和相位）。
- 效果： 这样，医生（AI 模型）就能在训练过程中，学会在“新医院”的灯光下识别同一个人，而不会被光线变化搞糊涂。它学会了忽略环境差异，只关注心跳本身。

法宝二：HOT（谐波约束最优传输）—— “听音辨位”

原理： 仅仅把视频“换装”还不够。如果 AI 在训练时，把“原视频”和“换装后的视频”强行对应起来，可能会对应错（比如把这一秒的心跳对应到下一秒，虽然看起来像，但生理上不对）。
比喻： 心脏跳动是有节奏感的（像音乐一样，有基频，也有和谐的泛音/谐波）。
- 普通的对齐方法就像是在看两张照片，觉得长得像就认为是一对。
- HOT 的做法是：它像一个懂音乐的指挥家。它不仅看两张照片像不像，还要听它们的“心跳节奏”是否和谐。
- 它利用心脏信号特有的谐波特性（比如心跳的倍频关系），强制要求 AI 在匹配“原视频”和“换装视频”时，必须保证生理节奏的一致性。如果节奏乱了，哪怕长得再像，AI 也会知道“这对不对”。
效果： 这确保了 AI 学到的不是表面的皮相，而是生理上真正一致的心跳规律。

3. 实验结果：真的管用吗？

作者把这套方法（FDA + HOT）加到了几个现有的顶尖 AI 模型上，并在不同的数据集之间进行“跨界测试”（比如用 A 数据集训练，去 B 数据集测试）。

结果： 就像给医生穿上了“万能防护服”并配上了“节奏指南针”。
表现： 无论光线怎么变、相机怎么换、人怎么动，加上 HOT 方法的模型，测出来的心率都更准、更稳。特别是在环境差异巨大的情况下（比如从实验室到户外），提升非常明显。
代价： 训练时稍微多花一点点时间（就像多练了一会儿），但实际使用时（推理）速度几乎不变，依然很快。

4. 总结

简单来说，这篇论文做了一件很聪明的事：

造环境： 用数学方法（FDA）给训练数据“换皮肤”，模拟各种真实世界的复杂环境，让 AI 提前适应。
定规矩： 用生理规律（HOT）给 AI 立规矩，确保它在适应环境时，没有丢掉最核心的“心跳节奏”。

一句话总结：
这就好比教一个只会识别“晴天”的司机开车，我们不仅让他练习在“雨天”和“雪天”开车（换装训练），还给他装了一个“防晕车系统”，确保无论路况怎么变，他都能稳稳地握住方向盘，精准地到达目的地（测准心率）。这让远程医疗监测在现实生活中变得更加可靠。

这是一份关于论文《HOT: Harmonic-Constrained Optimal Transport for Remote Photoplethysmography Domain Adaptation》（HOT：用于远程光电容积脉搏波领域适应的谐波约束最优传输）的详细技术总结。

1. 研究背景与问题 (Problem)

远程光电容积脉搏波 (rPPG) 是一种通过面部视频非接触式测量生理信号（如血容量脉搏 BVP 和心率）的技术。尽管基于深度学习的 rPPG 方法在单一数据集上表现优异，但在实际部署中面临严峻的领域偏移 (Domain Shift) 挑战：

性能退化：当模型从一个数据集（源域）迁移到另一个数据集（目标域）时，由于光照条件、相机特性、肤色差异及记录协议的不同，性能会显著下降。
过拟合外观因素：现有模型容易过拟合与外观相关的因素（如照明、相机响应），而非真正的心血管生理信号。
现有方法的局限：传统的领域适应方法通常通过隐式的特征正则化或架构设计来处理，缺乏显式的数据级外观变换。此外，直接将图像领域的频域适应（FDA）应用于 rPPG 具有非平凡性，因为 rPPG 依赖极微弱的颜色变化，粗暴的外观变换可能会破坏生理信息。

2. 方法论 (Methodology)

作者提出了 HOT (Harmonic-Constrained Optimal Transport) 框架，包含两个核心组件：频域适应 (FDA) 和 谐波约束最优传输 (HOT)。

2.1 频域适应 (Frequency-Domain Adaptation, FDA)

FDA 旨在生成具有目标域外观特征但保留源域生理动态的“风格化”视频样本，作为训练数据。

原理：利用傅里叶变换将图像分解为幅值谱（Amplitude）和相位谱（Phase）。
- 幅值谱：主要编码图像的全局外观（如光照、相机响应），对应低频分量。
- 相位谱：主要编码图像的结构和细节（如面部轮廓、生理引起的微小颜色变化）。
操作：
1. 对源域视频帧 $x_t$ 和目标域参考帧 $x_r$ 进行 2D 离散傅里叶变换。
2. 定义一个低频掩码 $\Omega_\beta$ （由超参数 $\beta$ 控制）。
3. 仅替换源域帧的低频幅值谱为目标域参考帧的幅值谱，同时保留源域帧的原始相位谱。
4. 通过逆傅里叶变换重构图像，得到风格化帧 $\tilde{x}_t$ 。
目的：在模拟跨域外观变化的同时，最大程度地保留 rPPG 相关的细微生理动态。

2.2 谐波约束最优传输 (Harmonic-Constrained Optimal Transport, HOT)

为了在外观变化的情况下确保生理信号的一致性，作者将时间对齐问题建模为最优传输问题，并引入生理谐波约束。

时间 Token 化：将视频特征映射为时间序列 Token ( $Z$ 和 $\tilde{Z}$ )。
局部谐波描述符 (Cyclic Local Harmonic Descriptor)：
- 对每个时间 Token 的局部邻域信号进行加窗（Hann 窗）和傅里叶变换。
- 计算频域能量，提取生理频带（如 0.7-4.0 Hz）内的基频 ( $k_1$ ) 和二次谐波 ( $k_2$ )。
- 计算谐波比率 $r_t = E(k_2) / E(k_1)$ ，作为该时间点的生理一致性特征。
传输代价函数：
定义源域 Token $z_i$ 和风格化 Token $\tilde{z}_j$ 之间的传输代价 $C_{ij}$ ：
$C_{ij} = (1 - \cos(z_i, \tilde{z}_j)) + \lambda_h |r_i - \tilde{r}_j|$
其中第一项是特征几何距离，第二项是谐波一致性惩罚（ $\lambda_h$ 为权重）。
优化目标：
使用 Sinkhorn 算法求解熵正则化的最优传输问题，最小化总传输代价。这迫使模型在外观变化下，将具有相似生理谐波特征的时间步对齐。

2.3 训练目标

最终损失函数结合了监督损失和 HOT 对齐损失：
$L = L_{sup} + \gamma L_{HOT}$
其中 $L_{sup}$ 是预测信号与真实信号之间的负皮尔逊相关系数， $L_{HOT}$ 是上述的最优传输损失。

3. 主要贡献 (Key Contributions)

首个 rPPG 频域适应框架：首次将频域适应（FDA）引入 rPPG 领域，利用无标签目标域数据生成外观偏移的训练样本，有效模拟跨域变化。
提出 HOT 机制：设计了谐波约束最优传输损失，利用心脏信号的谐波特性（基频与二次谐波的关系）作为生理约束，指导外观变化下的特征对齐，防止生理信息丢失。
广泛的实验验证：在 PURE、UBFC-rPPG 和 MMPD 三个数据集上进行了大量的跨数据集实验，证明了该方法在不同架构（CNN 和 Transformer）上的通用性和鲁棒性。

4. 实验结果 (Results)

数据集：使用了 PURE（受控环境）、UBFC-rPPG（中等难度）和 MMPD（大规模、多领域、高难度，包含不同肤色和光照）。
性能提升：
- 在多个跨域设置（如 PURE $\to$ MMPD, UBFC $\to$ MMPD）中，加入 HOT 后，所有基准模型（DeepPhys, PhysNet, TSCAN, PhysFormer 等）的 MAE (平均绝对误差)、RMSE 和 MAPE 均显著降低，皮尔逊相关系数 (r) 显著提升。
- 在最具挑战性的 MMPD 目标域上，性能提升最为明显，表明该方法在处理严重的外观分布偏移时具有更强的鲁棒性。
消融实验：
- 低频替换比例 ( $\beta$ )： $\beta=0.05$ 时效果最佳，平衡了域适应与生理信息保留。
- HOT 有效性：仅使用几何距离的最优传输效果不如加入谐波约束的效果，证明生理约束对对齐至关重要。
- 计算开销：HOT 主要增加了训练时间（约 +11.1%）和显存占用，但推理阶段无额外开销，因为 HOT 仅在训练时用于对齐，推理时直接使用主干网络。

5. 意义与总结 (Significance)

解决核心痛点：该研究直接针对 rPPG 在实际应用中最大的瓶颈——跨域泛化能力差的问题，提供了一种数据级和特征级相结合的解决方案。
生理先验的巧妙利用：不同于传统的黑盒对齐，HOT 显式地利用了心脏信号的物理特性（谐波结构），确保了模型学习到的对齐是“生理上合理”的，而不仅仅是“视觉上相似”的。
实用价值：该方法不依赖目标域的标签，仅需少量无标签参考数据即可提升模型在未知环境下的表现，为 rPPG 在医疗监测、人机交互等真实场景的部署提供了强有力的技术支持。

局限性：当前方法在训练阶段仍需要无标签的目标域参考样本（用于提取外观统计量），且引入了额外的超参数和训练计算成本。未来的工作将致力于减少对参考数据的依赖并进一步优化效率。