💻 computer science

Decision-Level Fusion for Robust Wearable Affect Recognition

本文提出了一种面向可穿戴设备的鲁棒情感识别框架，该框架结合傅里叶 - 贝塞尔级数展开与经验小波变换以提取瞬态特征，并采用不确定性加权决策级融合，在异质且含噪的传感条件下，于 WESAD 数据集上展现出优于特征级聚合的性能。

原作者： Lokesh Singh, Athina Georgara, Jayati Deshmukh, Tan Viet Tuyen Nguyen, Sarvapali D. Ramchurn

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Lokesh Singh, Athina Georgara, Jayati Deshmukh, Tan Viet Tuyen Nguyen, Sarvapali D. Ramchurn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

宏观图景：解读“心灵天气”

想象一下，你想知道某人是否感到压力、快乐，或者只是在放松。与其直接询问，不如查看他们身体的“天气报告”。这是通过可穿戴设备（如智能手表）实现的，这些设备测量心率、皮肤出汗量和肌肉紧张度等指标。

问题在于，身体信号往往杂乱无章。它们变化迅速，充满噪声（就像收音机里的静电干扰），而且有时传感器可能会停止工作，或者被袖子遮挡。本文的作者构建了一个新系统，能够更准确、更可靠地解读这些杂乱的信号。

问题所在：“模糊相机”式的方法

大多数现有系统看待身体信号的方式，就像使用快门速度缓慢的相机。它们截取一段时间的数据，将所有内容平均化，从而产生一张模糊的图片。

问题所在： 情绪往往以快速、尖锐的爆发形式出现（例如当你受惊时心率突然飙升）。如果你为了平滑数据而将其“模糊化”，就会丢失这些重要且快速的细节。
结果： 系统可能会忽略“兴奋”与“压力”之间的区别，因为它将关键的线索都平滑掉了。

解决方案：三人侦探小组

作者提出了一种新方法，分三个阶段运作，就像一支侦探团队在破案。

第一步：“高分辨率镜头”（特征提取）

团队没有采用模糊的平均值，而是使用了一种名为 FBSE-EWT 的特殊数学工具。

类比： 想象你在听一首歌。标准方法可能只会告诉你“平均音量”。而这种新方法就像一位高素质的音频工程师，即使乐器同时演奏，也能将歌曲分离成各个独立的乐器（鼓、贝斯、人声）。
作用： 它将身体信号分解为具体的、快速变化的部分，而不会丢失细节。它捕捉到了那些真正告诉我们人们感受的“瞬态”（短暂）峰值。

第二步：“专家侦探”（单传感器预测）

一旦信号变得清晰，系统就不会将所有数据扔进一个大搅拌机。相反，它为每个传感器分配了一位不同的“侦探”。

设置： 一位侦探只观察心脏（ECG），另一位只观察皮肤出汗（EDA），还有一位只观察运动（加速度计）。
任务： 每位侦探都会做出自己的猜测：“我认为这个人感到压力。”
信心检查： 关键在于，每位侦探还会评估自己的信心。“我有 90% 的把握”，或者“由于信号噪声，我只有 40% 的把握”。

第三步：“智慧委员会”（决策级融合）

这是最重要的一环。系统不是合并原始数据（那是杂乱的），而是合并侦探们的决策。

类比： 想象一个陪审团。如果一名陪审员大声喊叫但显然很困惑（信心低），其他人就会忽略他们。如果另一名陪审员冷静、事实确凿且视野清晰（信心高），他们的投票权重就更大。
运作方式： 系统收集所有传感器的猜测并进行加权。
- 如果某个传感器噪声大或损坏，系统会给予其投票极低的权重。
- 如果某个传感器清晰且信心十足，其投票权重就会很大。
优势： 如果一个传感器完全失效（例如手表脱落），系统不会崩溃。它只需听取剩余侦探的意见，并根据谁仍然可靠来做出决定。

结果：它有效吗？

团队在标准数据集 WESAD 上测试了该方法（该数据集包含 15 名佩戴传感器的人在放松、压力或愉悦状态下的数据）。

对比： 他们将他们的“智慧委员会”方法与旧的“搅拌机”方法（特征级融合）进行了比较。
结果：
- 在约 84% 的案例中，新方法与旧方法一样好，甚至更好。
- 在约 48% 的案例中，新方法严格优于旧方法。
结论： 新方法更具鲁棒性。与传统方法相比，它能更好地处理缺失的传感器和噪声数据。

总结

可以将这篇论文想象成从一群人在房间里大喊随机事实，升级为一个组织良好的委员会。

他们使用更好的工具来清晰地听取事实（FBSE-EWT）。
他们让每位专家为自己发声（单传感器预测器）。
他们根据谁在当下时刻最可靠来进行投票（不确定性加权融合）。

这使得系统能够更好地判断你的感受，即使你的手表正在滑落或你的心率正在剧烈波动。

技术摘要：用于鲁棒可穿戴情感识别的决策级融合

问题陈述
从可穿戴生理信号中自动识别情感状态（具体为基线、压力和愉悦）在实际部署中面临重大挑战。尽管 WESAD 等数据集促进了评估，但当前的流程难以应对生理时间序列的非平稳性、噪声以及主体依赖性。主要存在两个局限性：

特征提取：依赖固定基谱特征（如 FFT 带功率、Welch 功率谱密度）的常用方法假设局部平稳性。这些方法往往会过度平滑对于区分情感状态至关重要的短暂判别性瞬态模式。
多模态集成：现实世界的传感容易受到伪影、信号故障和缺失模态的影响。传统的早期融合（特征级）方法通常假设传感器完全可用，导致在传感器噪声大或不可用时性能下降。

方法论
作者提出了一种旨在解决非平稳性和传感器不可靠性的三阶段流程：

非平稳特征提取（FBSE-EWT）：
论文引入了一种结合**傅里叶 - 贝塞尔级数展开（FBSE）与经验小波变换（EWT）**的混合信号分析方法，替代了固定窗口的傅里叶变换。
- FBSE：利用贝塞尔基表示加窗信号，这些基表现出类似幅度调制的行为，适用于宽带非平稳信号。
- EWT：执行数据驱动的频谱分割。与固定的小波组不同，EWT 通过检测 FBSE 频谱直方图中有意义的极小值，直接从信号频谱中学习小波频带。
- 特征构建：该方法从这些自适应滤波器中重构模式，并提取固定维度的描述符，包括模式能量、对数能量和模式熵。这保留了固定基方法可能会丢弃的瞬态频谱结构。
单传感器预测（SSP）：
每种模态（ECG、EDA、BVP、EMG、ACC）均由专用预测器独立处理。作者利用具有 ReLU 激活函数和 softmax 输出层的多层感知机（MLP）。
- MLP 输出情感类别的概率分布（ $P_i$ ）以及代表预测器可靠性的置信度分数（ $F1_i$ ）。
- 这种模块化设计允许每个传感器独立学习情感判别模式，避免了时序模型（如 CNN/LSTM）的复杂性，同时保持了针对较小数据集的效率。
不确定性感知的决策级聚合：
该流程不是在原始数据或特征层面进行融合，而是在决策层面聚合独立预测。最终预测是各个传感器概率的加权平均，其中权重由以下因素决定：
- 预测不确定性：通过特定预测实例的信息熵（ $H(P_i)$ ）测量。较低的熵（较高的确定性）会增加权重。
- 模态可靠性：通过单传感器预测器的全局 F1 分数（ $F1_i$ ）测量。
- 融合规则：类别 $e$ 的聚合概率计算如下：
  $P_T(e) = \frac{1}{\gamma} \sum_{i \in T} (1 - H(P_i))^{F1_i} \cdot P_i(e)$
  其中 $\gamma$ 是归一化因子。这种设计确保不确定或不可靠的传感器对最终决策的贡献较小，从而在传感器故障或噪声干扰时实现优雅降级。

主要贡献

自适应表示：一种非平稳表示（FBSE-EWT），通过数据驱动的分割隔离瞬态频谱模式，比固定基方法更好地保留了生理信号的动态结构。
鲁棒融合机制：一种模块化的、不确定性感知的决策融合规则，根据实例特定的熵和全局模态可靠性对传感器贡献进行加权，确保在数据缺失或噪声干扰下的稳定性。
实证验证：在 WESAD 数据集上的评估证明了该方法在三类情感识别中的有效性。

结果
在 WESAD 数据集（15 名受试者、5 个传感器、3 个类别）上的评估得出以下发现：

决策融合与特征融合：决策级聚合被发现**≈84%的情况下与特征级聚合相当或更优。在≈48%**的案例中，决策级融合严格优于特征级融合。
团队规模鲁棒性：在所有团队规模（从单个传感器到完整四传感器组）中，决策级聚合始终优于特征级聚合。
可扩展性：随着更多传感器参与聚合，准确率得到提升，证实了即使单个传感器质量参差不齐，多模态集成仍具有益处。

意义与主张
论文主张，所提出的流程提高了在异构和部分可靠传感环境中可穿戴情感识别的鲁棒性。通过从特征级融合转向决策级融合，并采用自适应频谱分解，该系统输出校准后的信念状态，而非过度自信的预测。这对于健康和护理环境中的基于代理的决策支持尤为重要，因为在不确定性下必须保守地触发干预措施。作者将这项工作定位为迈向可部署的、情感感知健康系统的一步，该系统能够应对非平稳生理学和传感器故障的现实情况，而无需集成特定信号特征的专家知识。