PhysLLM: Harnessing Large Language Models for Cross-Modal Remote Physiological Sensing

本文提出了 PhysLLM 框架，通过文本原型引导策略、双域平稳算法及任务特定提示机制，将大语言模型与 rPPG 领域知识深度融合，有效解决了光照变化和运动伪影等挑战，在远程生理信号感知任务中实现了最先进的精度与鲁棒性。

要点

这篇论文介绍了一个名为 PhysLLM 的新系统，它的核心任务是：通过摄像头拍摄的视频，非接触地测量人的心跳、血压等生理指标。

为了让你更容易理解，我们可以把这项技术想象成"给摄像头装上了一位懂医学的超级侦探"。

1. 以前的痛点：为什么以前的“侦探”容易看走眼？

传统的远程生理测量（rPPG）技术，就像是一个只会看数字的初级会计。

• 它的工作原理：摄像头拍人脸，皮肤下的血液流动会让肤色发生极其微小的变化（就像血液流过时皮肤会微微变红）。以前的系统试图通过复杂的数学公式，从这些微小的颜色变化中算出心跳。
• 它的弱点：这个“初级会计”太死板了。
  • 如果光线突然变暗（比如走进阴影），它算错了。
  • 如果人动了动头，或者脸上有胡子遮挡，它就晕了。
  • 它只能盯着眼前的数字看，无法理解“哦，这个人刚才在说话，所以脸红是因为激动，不是因为心跳快”。它缺乏常识和上下文理解能力。

2. PhysLLM 的突破：给“会计”配了一位“大语言模型”专家

这篇论文提出，我们要引入大语言模型（LLM）（就像现在的 ChatGPT 或 DeepSeek 这种超级大脑）。

• 大语言模型的优势：它们非常擅长理解长句子、上下文关系，能记住很久以前的信息（长距离依赖）。
• 大语言模型的劣势：它们天生是“文字控”，只懂单词和句子，看不懂连续的视频信号，也听不懂那种充满噪音的生理波形。如果直接把视频丢给它们，它们会一脸懵。

PhysLLM 的解决方案：它没有把两者生硬地拼在一起，而是设计了一套"翻译 + 协作"的机制，让“视觉专家”和“语言专家”完美配合。

3. 核心魔法：PhysLLM 是如何工作的？

我们可以把 PhysLLM 的工作流程想象成一个三人医疗小组在会诊：

第一步：信号稳定器（DDS 算法）—— “去噪的听诊器”

• 比喻：原始的心跳信号就像是在嘈杂的菜市场里听诊，充满了杂音（光线变化、抖动）。
• 作用：PhysLLM 首先用一个叫 DDS（双域稳态） 的算法，像是一个高级的“降噪耳机”。它同时在“时间”和“频率”两个维度上处理信号，把那些乱七八糟的噪音过滤掉，只留下清晰、稳定的心跳节奏，确保输入给大脑的数据是干净的。

第二步：视觉翻译官（TPG 策略）—— “把图像变成医生能懂的语言”

• 比喻：大语言模型不懂“波形图”，就像不懂外语的人看不懂乐谱。
• 作用：PhysLLM 发明了一种 文本原型引导（TPG） 技术。它把视频里的生理特征（比如皮肤颜色的变化趋势），“翻译”成大语言模型能理解的文字概念。
  • 比如，它不再直接丢给模型一串数字，而是告诉模型：“这个人的面部血流呈现出一种‘快速上升后缓慢下降’的模式，这通常对应着心跳加速。”
  • 这样，大语言模型就能利用它强大的逻辑推理能力，结合这些“翻译”后的信息，做出更准确的判断。

第三步：智能提示词（Cue Injection）—— “给医生提供病历背景”

• 比喻：如果医生只看病人现在的脸色，可能会误诊。但如果医生知道“病人刚跑完步”或者“病人坐在昏暗的房间里”，诊断就会准确得多。
• 作用：PhysLLM 会自动生成三种“提示词”（Cues）喂给大模型：
  1. 任务提示：告诉模型“我们要测心跳”。
  2. 视觉提示：利用另一个 AI（LLaVA）自动描述画面：“这是一个留着胡子的年轻人，背景是绿色的墙，光线有点暗。”
  3. 统计提示：告诉模型数据的统计特征：“这个人的信号最小值是 X，最大值是 Y，整体趋势是向上的。”
• 效果：大模型把这些信息综合起来，就像一位经验丰富的老医生，结合环境、病人状态和数据趋势，给出了最精准的心跳读数。

4. 为什么它这么厉害？（实验结果）

论文在四个不同的数据集上进行了测试，结果非常惊人：

• 更准：在光线变化剧烈、人乱动、甚至皮肤颜色不同的情况下，PhysLLM 的误差比以前的最先进方法（State-of-the-art）都要小得多。
• 更稳：以前换个场景（比如从室内换到室外），以前的模型就“水土不服”了，但 PhysLLM 因为学会了理解“环境”和“逻辑”，所以能轻松适应各种新场景。
• 通用性：它不仅能测心跳，还能测呼吸率，表现都很出色。

总结

PhysLLM 就像是给传统的生理监测摄像头装上了一个拥有“医学常识”和“逻辑推理能力”的大脑。

它不再只是机械地计算颜色变化，而是学会了像医生一样思考：

“虽然光线有点暗，但他脸上的肤色变化节奏很稳，而且背景是绿色的，没有干扰，所以这确实是心跳，而且非常规律。”

这项技术让未来的健康监测变得更加简单、无感且精准，哪怕你只是对着手机摄像头聊几句天，它就能悄悄告诉你你的健康状况。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文，题为 PhysLLM: Harnessing Large Language Models for Cross-Modal Remote Physiological Sensing（PhysLLM：利用大语言模型进行跨模态远程生理感知）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

远程光电容积脉搏波 (rPPG) 是一种通过视频分析皮肤微小颜色变化来非接触式测量心率等生理信号的技术。尽管其具有非侵入性和便利性，但在实际应用中仍面临严峻挑战：

• 环境干扰敏感：光照变化、运动伪影（如头部转动）、遮挡和肤色差异会显著降低信号质量。
• 现有方法的局限性：
  • 传统的 CNN 或 Transformer 方法（如 PhysNet, PhysFormer）虽然能提取时空特征，但对长序列依赖建模能力有限，且容易受视觉噪声影响。
  • 大语言模型 (LLM) 擅长捕捉长距离依赖和跨模态推理，但直接将其应用于 rPPG 存在根本性障碍：LLM 基于离散文本设计，难以直接处理连续、高噪声且对时间敏感的生理信号；两者之间存在巨大的表征鸿沟 (Representational Gap)。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 PhysLLM，这是一个协同优化框架，旨在将 LLM 的长序列推理能力与领域特定的 rPPG 组件相结合。框架主要包含以下三个关键创新模块（如图 2 所示）：

A. 双域平稳算法 (Dual-Domain Stationary, DDS)

• 目的：解决生理信号的不稳定性，减少噪声干扰。
• 机制：
  1. 时域处理：对原始 rPPG 波形进行标准化，并应用指数平滑（Exponential Smoothing）以增强时间平稳性。
  2. 频域处理：利用离散小波变换 (DWT) 将信号分解为近似系数和细节系数，分别进行标准化和平滑处理，再通过逆小波变换 (IDWT) 重构。
  3. 自适应融合：引入可学习参数 $\beta$，自适应地加权融合时域平滑结果 ($z_{time}$) 和频域平滑结果 ($z_{fre}$)，生成最终平稳信号。
• 效果：确保处理后的时间序列保持周期性一致性，同时抑制噪声。

B. 文本原型引导 (Text Prototype Guidance, TPG)

• 目的：弥合连续生理/视觉特征与离散 LLM 语义空间之间的鸿沟。
• 机制：
  • 不直接将原始信号输入 LLM，而是构建一个小型的文本原型库 (Text Prototypes)。
  • 通过线性探测和 Transformer 层，将多尺度的血流动力学特征（视觉特征）和时序特征（信号特征）投影到这些文本原型空间中。
  • 利用交叉注意力机制 (Cross-Attention) 和自注意力机制，让 LLM 的语义原型“引导”视觉和信号特征的提取，实现跨模态对齐。

C. 生理感知提示学习 (Physiological Cue-Aware Prompt Learning)

• 目的：通过多模态提示 (Cues) 注入先验知识，增强模型对复杂场景的适应性。
• 三种提示来源：
  1. 任务提示 (Task Cue)：基于 rPPG 文献的标准化任务描述（如肤色、光照影响等）。
  2. 视觉提示 (Vision Cue)：利用多模态大模型 (LLaVA) 自动分析视频帧，生成关于光照、遮挡、面部表情的自然语言描述。
  3. 统计提示 (Stats Cue)：从预训练模型输出的信号中提取统计特征（最小值、最大值、中位数、趋势方向等）并转化为文本。
• 自适应融合：设计了一个自适应提示学习模块，通过可学习的权重矩阵动态融合上述三种提示，生成上下文感知的 Prompt Token 输入 LLM。

3. 主要贡献 (Key Contributions)

1. 首个 LLM 与 rPPG 结合的框架：提出了 PhysLLM，建立了生理动力学与上下文语义之间的可解释连接，利用 LLM 的长序列建模能力处理复杂现实场景。
2. 双域平稳算法 (DDS)：提出了一种新颖的时频域自适应加权算法，有效解决了信号的时间 - 频率不稳定性。
3. 跨模态对齐策略 (TPG)：通过文本原型引导，将连续的血流动力学特征映射到 LLM 可理解的语义空间，显著缩小了模态差距。
4. 任务特定提示注入：设计了包含生理统计、环境上下文和任务描述的提示系统，使模型能动态适应光照变化和运动伪影。

4. 实验结果 (Results)

作者在四个基准数据集（UBFC-rPPG, PURE, BUAA, MMPD）上进行了广泛评估：

• 单数据集测试 (Intra-dataset)：
  • 在 UBFC-rPPG 上，MAE 达到 0.21 bpm，RMSE 为 0.57 bpm，优于当前最先进方法（如 Contrast-Phys+, RhythmFormer）。
  • 在 PURE 数据集（包含头部运动）上，MAE 为 0.17 bpm，展现了极强的抗运动干扰能力。
  • 在 BUAA 和 MMPD（复杂光照和真实场景）上也取得了 SOTA 性能。
• 跨域泛化测试 (Cross-dataset)：
  • 在“双源训练 - 单目标测试”和“三源训练 - 单目标测试”协议下，PhysLLM 在从简单数据集迁移到复杂数据集（如 MMPD）时，表现显著优于传统 CNN 和 Transformer 混合模型，证明了其强大的域不变性学习能力。
• 鲁棒性分析：
  • 在不同肤色（Fitzpatrick 3-6 型）和不同光照条件（LED、白炽灯、自然光）下，PhysLLM 均保持了稳定的低误差，特别是在极端光照下表现优异。
• 消融实验：
  • 移除 DDS、TPG 或提示组件均导致性能显著下降，验证了各模块的必要性。
  • 对比实验表明，使用预训练 LLM (DeepSeek-1.5B) 比仅使用 Transformer 架构 (Sundial) 效果更好，证明了预训练知识在跨域泛化中的关键作用。

5. 意义与展望 (Significance)

• 理论意义：探索了大语言模型在连续时间序列生理信号处理中的新范式，证明了通过适当的投影和提示工程，LLM 可以有效处理非文本的连续模态数据。
• 应用价值：PhysLLM 在光照变化、运动干扰和不同肤色人群中的高鲁棒性，使其在远程健康监测、医疗诊断和日常健康追踪等实际应用场景中具有巨大的潜力。
• 未来工作：作者指出当前模型参数量较大（约 97M 参数，计算量 424G MACs），未来的工作将集中在模型压缩（如知识蒸馏、参数高效微调）以适配边缘设备部署。

总结：PhysLLM 通过巧妙地将 LLM 的语义推理能力与 rPPG 的物理信号处理相结合，利用双域平稳化和跨模态提示引导，成功解决了传统方法在复杂环境下的鲁棒性难题，为远程生理感知领域树立了新的标杆。