💻 computer science

Combining Facial Videos and Biosignals for Stress Estimation During Driving

本文提出了一种用于驾驶的多模态压力估计框架，该框架利用跨模态注意力机制将基于三维可变形模型的面部视频特征与生理信号相融合，相较于仅使用生物信号，显著提升了压力检测的准确率和 AUROC。

原作者： Paraskevi Valergaki, Vassilis C. Nicodemou, Iason Oikonomidis, Antonis Argyros, Anastasios Roussos

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Paraskevi Valergaki, Vassilis C. Nicodemou, Iason Oikonomidis, Antonis Argyros, Anastasios Roussos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图猜测一位朋友在开车时是否感到压力。你有两种方法可以做到这一点：你可以观看他们的面部视频，或者你可以监听他们的心跳并观察他们的出汗情况。通常，科学家会选择其中一种。但这篇论文问道：“为什么不同时使用两者呢？”更重要的是，“如果视频能帮助我们理解身体信号，即使这些身体信号杂乱无章，会怎么样？”

以下是研究人员破解压力检测密码的故事，用简单的方式解释。

问题所在：压力是一只变色龙

压力很棘手。有时人们会隐藏它；有时他们的身体会出卖他们。如果你只看司机的脸，他们可能正在假装平静。如果你只看他们的心率，传感器可能会滑落或产生噪声。研究人员希望建立一个系统，能够同时观察面部和身体信号，以获得清晰的画面，即使其中一个信号很弱。

“面部扫描仪”：一位 3D 木偶大师

团队没有只是拍摄司机的普通视频，而是使用了一种名为EMOCA的特殊工具。把这想象成一位高科技木偶大师。

当你观看司机的视频时，该工具看到的不仅仅是“一张脸”。它会剥离这个人的身份特征（如鼻子形状或肤色），并将他们的脸转化为一个56 维的数字木偶。

它追踪嘴巴如何移动（表情）。
它追踪头部如何倾斜或转动（姿态）。
它甚至追踪这些移动的速度。

研究人员发现，压力不仅仅关乎脸看起来是什么样子，更关乎它变化得有多快。这就像平静湖面与被风暴袭击的湖面之间的区别。这场“风暴”（压力）体现在数字木偶快速、颤抖的动作中，而不仅仅是静态的形状。

“身体信号”：心跳与汗水

他们还使用标准传感器观察司机的身体：

心率：心跳有多快。
呼吸频率：呼吸有多快。
鼻周出汗：鼻子周围的汗水（经典的压力迹象）。

重大发现：面部比你想象的更像侦探

在构建他们的人工智能之前，研究人员进行了一场统计学的“对决”。他们比较了压力驾驶时刻（如开车时发短信）与平静驾驶期间面部动作与身体信号的反应。

结果：他们发现，56 个数字面部木偶部件中的 38 个对压力的反应强度与心率或出汗传感器一样强。

类比：想象一下，你试图猜测某人是否紧张。你可能会检查他们的手是否在颤抖（身体信号）。但这篇论文发现，如果你观察他们的眼睛是否游移或下巴是否紧绷（面部信号），你获得的信息量同样多。事实上，面部在这一点上表现得太好了，以至于仅靠身体信号来猜测压力实际上相当糟糕（准确率仅为 50% 左右——基本上等同于抛硬币！）。

解决方案：“队长”人工智能（Transformer）

研究人员使用一种名为Transformer的技术构建了一个智能人工智能系统。把这个 AI 想象成拥有两名队员的队长：

队员 A：面部（3D 木偶）。
队员 B：身体（心跳、呼吸、汗水）。

他们尝试了三种让这两名队员交流的方式：

单人表演：让面部单独表演，或让身体单独表演。
早期融合：将两名队员的手绑在一起，使他们作为一个整体移动。
跨模态注意力（获胜者）：这是秘密武器。AI 充当一位超级智能翻译。它让面部观察身体并说：“嘿，你的心跳在加速，让我检查一下你的下巴是否紧绷以确认。”然后它让身体观察面部并说：“你的脸在抽搐，让我检查一下你的呼吸是否浅促。”

这种“跨模态注意力”允许两个信号互相帮助，填补空白。

结果：从抛硬币到水晶球

以下是不同方法在猜测司机是否感到压力方面的表现：

仅靠身体信号：约 52% 的准确率。（基本上是在猜测）。
仅靠面部：约 90% 的准确率。（非常好！）。
面部 + 身体（简单混合）：约 90% 的准确率。
面部 + 身体（“翻译”AI）：92% 的准确率。

最令人惊讶的部分是什么？尽管身体信号单独表现不佳，但当 AI 使用“翻译”方法将它们与面部结合时，准确率显著提高。这证明了面部和身体是一个完美的团队，但前提是它们必须以正确的方式相互沟通。

这对驾驶为何重要

这项研究是在驾驶模拟器中进行的。研究人员发现，在车里，你并不总能看清司机的手或脚（身体线索有限）。但你几乎总是能看到他们的脸。该系统证明，通过观察司机面部细微、快速的动作，你可以检测压力，其效果几乎等同于给他们 strapped 上一套完整的医疗套件。

简而言之：这篇论文表明，如果你想知道司机是否感到压力，不要只看他们的心率。像鹰一样盯着他们的脸，使用 3D 木偶追踪每一个微小的抽搐，并让 AI 将这些动作转化为清晰的“压力”或“平静”信号。这就像拥有一种超视力，能在司机自己意识到之前就看到压力。

技术摘要：结合面部视频与生物信号进行驾驶过程中的压力估算

问题陈述

可靠的压力识别对于安全关键系统至关重要，尤其是在现实世界的驾驶场景中。虽然生理信号（例如心率、鼻周出汗）是压力检测的既定标志，但在实际环境中获取这些信号可能具有侵入性或面临挑战。相反，基于视频的压力估算因压力的主观性、个体差异性以及面部表情被有意识掩饰的可能性而面临重大障碍。现有的基于视频的方法通常依赖低级几何特征或面部动作单元（AUs），这可能导致身份、姿态和表情相互纠缠，限制了其捕捉细微三维面部动态的能力。此外，很少有研究在统一框架内有效探索解耦的三维面部动态与生理信号之间的互补交互，特别是在身体线索受限的驾驶约束条件下。

方法论

数据集与实验设置

本研究利用了 Taamneh 等人发布的公开可用分心驾驶数据集，该数据在模拟器中采集。协议区分了作为基线的**正常驾驶（ND）阶段和感觉运动分心（MD）**阶段（P2 和 P4），其中发短信任务会诱发压力。其他阶段（P1、P3、P5）作为非压力间隔。数据集包含同步的红外面部视频、生理信号（心率、呼吸率、鼻周出汗）以及注视测量数据。

特征提取

1. 解耦的三维面部特征：
作者使用 EMOCA 提取每帧的三维面部表情和姿态参数，EMOCA 是基于 DECA 的最先进单目三维人脸重建框架。

表示： 每帧一个 56 维向量（ $x_t$ ），包含 50 个表情系数（ $exp_t$ ）和 6 个姿态参数（ $pose_t$ ）。
动态： 为了捕捉时间行为，计算一阶时间导数（ $\Delta x_t$ ）以强调快速运动变化和表情转换。
归一化： 通过比较每位受试者的压力驱动（MD）与其配对的正常驾驶（ND），计算窗口级速度差异描述符，以强调由压力引起的相对于基线的偏差。

2. 生理和注视特征：
生理标志物包括心率、呼吸率和鼻周出汗。在可用时，注视动态被计算为水平和垂直速度及加速度，以及短期统计量（滚动均值、标准差和离散度）。

统计分析

在深度学习之前，作者使用配对双尾单样本 t 检验对 MD 和 ND 阶段进行比较统计分析。

发现： 56 个面部组件（表情和姿态）中有 38 个表现出与生理标志物相当的、一致且特定于阶段的压力反应。
关键相关性： 主成分分析（PCA）和线性判别分析（LDA）表明，全局姿态（特别是 pose_00）和特定表情系数（例如 exp_40、exp_20）与压力相关性最强。可视化显示，这些组件主要影响下半脸变形（嘴巴、下巴）和头部姿态。
时间重要性： 基于速度的表示（时间导数）被证明比静态均值特征更具信息量，表明压力编码在快速的帧间动态中。

建模框架

所提出系统的核心是一个用于处理多模态融合的基于 Transformer 的时间建模框架。

架构： 该流程使用多尺度卷积主干（核大小为 3、5、7）提取短期模式，随后是一堆带有多头自注意力的 Transformer 编码器层。
时间池化： 通过基于注意力的时间池化获得固定长度的窗口表示，该池化对与压力相关的时间段进行加权。
融合策略：
1. 单模态： 仅使用面部特征。
2. 早期融合： 在输入级别将三维面部参数与生理/注视特征进行拼接。
3. 跨模态注意力： 一种双向架构，其中面部和生理流被独立编码，然后通过交叉注意力机制进行融合。这允许每种模态在聚合之前选择性地关注另一种模态中时间上相关的线索。

主要贡献

三维面部运动的互补作用： 该工作证明，将密集三维面部运动特征（解耦的表情和姿态）与生理特征融合，可显著提高压力预测能力，证实了它们的互补性质。
鲁棒的跨模态框架： 作者提出了一种基于 Transformer 的跨模态注意力框架，有效建模了面部动态与生物信号之间的交互。关键在于，即使仅可获得面部视频时，该框架仍保持鲁棒且有效（单模态性能）。
驾驶特定焦点： 研究强调了面部运动作为驾驶场景中压力相关视觉信息的主要来源，因为在这些场景中身体线索有限，并提供了一种可推广到其他压力估算设置的协议。

结果

模型使用 5 折受试者间交叉验证进行评估，以防止数据泄露。

基线性能：
- 仅生理信号： 表现不佳，AUROC 为 52.7%，准确率为 51.0%。
- 仅面部特征（单模态）： AUROC 达到 90.8%，准确率达到 84.1%，优于传统机器学习基线（SVM/kNN）和全连接深度学习基线。
- 早期融合： 通过简单拼接结合面部和生理特征，AUROC 为 90.1%，略低于仅视觉基线，表明面部动态在此设置中已捕捉到主导的压力信息。
跨模态注意力性能：
- 提出的跨模态注意力策略（面部 + 生理）取得了最高性能：AUROC 92.0%，准确率 86.7%。
- 这代表了相对于仅生理信号的显著改进，以及相对于单模态和早期融合方法的持续增益。
- 排除面部动态的组合（例如，注视 + 生物信号）表现明显较差，进一步证实了面部运动的核心地位。

意义与主张

该论文声称，虽然仅通过生理信号进行压力检测在现实驾驶中可能不可靠或难以获取，但面部活动提供了互补的线索，这些线索可以无侵入地捕捉。该研究确立了：

压力编码于动态之中： 与压力相关的调制在三维面部参数的速度和时间动态中最为显著，而非静态外观。
多模态协同： 虽然仅面部特征非常有效，但通过跨模态注意力显式建模模态间交互可产生最佳结果，利用了生物信号的互补性质。
可推广性： 尽管评估基于模拟驾驶数据，但所提出的方法和协议旨在扩展到其他涉及从面部视频进行压力识别的场景。

作者指出了使用模拟数据的局限性，并建议未来的工作应侧重于在自然主义环境中验证这些发现，提高可解释性，并通过轻量级三维重建管道探索实时部署。