Illumination-Robust Camera-Based Heart-Rate Estimation for Physiological Sensing in Robots

技术摘要：面向机器人生理感知的照明鲁棒性相机式心率估计

问题陈述
远程光电容积脉搏波（rPPG）提供了一种利用标准 RGB 相机估计心率（HR）的非接触式方法，这使得其成为服务、社交及辅助机器人领域中生理感知的极具前景的模态。然而，在现实的人机交互（HRI）环境中，由于照明变化，该技术的稳健部署受到了阻碍。在动态场景中，房间光照的变化、视角的变化以及用户位置的变化可能会主导微弱的脉搏相关颜色信号，导致现有 rPPG 模型的性能显著下降。虽然先前的研究探索了时域-频域混合监督，但对于在受控照明变化下维持鲁棒性所需的特定平衡仍缺乏充分的研究。

方法论
作者提出了一种专门为照明鲁棒性心率估计设计的端到端时空 Transformer 框架。该系统集成了四个关键组件：

1. 预处理： 原始视频通过 PRNet 进行 3D 人脸对齐，通过 UV 位置图回归生成语义对齐的人脸区域。这确保了特征提取前人脸输入的稳定性。
2. 数据增强： 为了模拟跨视频的照明变化，应用了片段级的亮度与对比度扰动。与帧级随机化不同，该方法在 10 秒片段（50 fps 下的 500 帧）内的所有帧中应用一致的 $\alpha_c$（对比度）和 $\beta_b$（亮度）偏移，在改变全局视频外观的同时保持了时间连续性。
3. 架构： 主干网络是类 PhysFormer 的时域差分 Transformer，利用了时域差分多头自注意力（TD-MHSA）和时空前馈（ST-FF）模块。一个新颖的**残差时域标准化模块（RTSM）**被插入到卷积茎（convolutional stem）之后和管状标记（tube-token）嵌入之前。RTSM 计算每个通道和空间位置沿时间维度的均值和标准差，并应用一个可学习的残差缩放参数 ($\alpha$)，以在不抹除原始生理信号的情况下纠正中间特征的分布偏移。
4. 损失函数： 训练目标采用混合时域-频域损失：$L_{total} = L_{time} + \beta L_{freq}$。
   • $L_{time}$：一种软偏移皮尔逊（Soft-Shifted Pearson）损失，通过在偏移集（$S = \pm 3$ 帧）上计算相关性，以容忍轻微的时间错位。
   • $L_{freq}$：一种谱库仑贝克-莱布勒（KL）散度损失，用于将预测波形的功率谱与 40–180 bpm 范围内的地面真值进行对齐。
   • $\beta$：一个可调权重，用于控制频域引导的贡献度。

核心贡献
本文提出了三个主要贡献：

1. 问题建模： 将基于 rPPG 的心率估计建模为针对照明变化下面向人类的机器人系统的相机式生理感知问题。
2. 架构创新： 引入了 RTSM，它作为一种残差修正，旨在抑制由照明引起的时域特征统计偏移，同时保留细微的脉搏模式。
3. 混合监督的实证分析： 在受试者无关的多照明协议下研究了时域-频域监督权重的调节。研究确定了时域波形一致性与频谱心率引导之间的实际平衡点，证明了仅靠时域或频谱监督都不足以实现不同光照条件下的鲁棒性能。

结果
实验在包含 75 名受试者的数据集上进行，涵盖三种照明水平（低、中、高），并使用静态全水平混合协议。

• 最优权重： 在测试的 $\beta$ 值中，$\beta = 5$ 取得了最佳结果，实现了最佳运行心率平均绝对误差（MAE）为 0.79 bpm，相关系数为 0.982。
• 性能提升： 与在相同数据集上评估的 PhysFormer 基准相比，所提出的估计器将心率 MAE 降低了 93.6%（从 12.33 bpm 降至 0.79 bpm），并将心率相关性从 0.088 提高到 0.982。
• 组件消融实验：
  • 仅使用混合损失时，MAE 降至 3.54 bpm。
  • 加入照明增强后，MAE 进一步降至 2.33 bpm。
  • 单独添加 RTSM 时，MAE 降至 1.25 bpm。
  • 全组合所有组件后，达到了最终的 0.79 bpm MAE。
• 可学习参数： RTSM 中的可学习残差系数 $\alpha$ 收敛至负值，表明模型学会了使用标准化的时域分量作为抑制性修正，以减少非生理性变化。

意义与声明
本文声称，结合目标层级的混合监督、特征层级的残差时域标准化以及数据侧的照明增强，对于在多变光照条件下实现鲁棒的 rPPG 学习至关重要。作者将这项工作定位为实现鲁棒生理感知的受控第一步，即在解决运动和锻炼因素之前，先隔离照明变化。他们断言，所提出的估计器使相机式心率估计在照明变化时变得可用，这是实现无感人类感知型机器人的前提条件。该研究并未声称解决了运动鲁棒性或在线自适应问题，并将其列为未来涉及说话、头部旋转和自行车运动任务的研究课题。