Improving Emotion Classification by Combining fNIRS-Derived Hemodynamic Responses with Peripheral Physiological Signals

该研究通过结合功能性近红外光谱（fNIRS）与外周生理信号（EDA 和 PPG），显著提升了基于 Russell 模型的情感唤醒度和效价在跨被试场景下的分类性能，其中 fNIRS 与 EDA 的组合取得了最佳效果。

要点

这篇论文就像是在探索一个**“读心术”的升级版**。

想象一下，你想知道别人是兴奋（Arousal）还是平静，是开心（Valence）还是难过。以前，我们只能靠问：“你感觉怎么样？”或者看他们的脸（比如皱眉或大笑）。但有时候，人们心里翻江倒海，脸上却面无表情，这时候传统的“读心”方法就失效了。

为了解决这个问题，日本的研究团队（池田、津川和野泽）设计了一个实验，试图用**“大脑 + 身体”的双重侦探组合**来更准确地判断人的情绪。

1. 核心概念：大脑是“总指挥”，身体是“传令兵”

研究团队使用了两种传感器：

• fNIRS（功能性近红外光谱）： 这就像是一个**“大脑的听诊器”。它戴在头上，通过红外线探测大脑里血液的流动。当大脑某个区域活跃时，那里的血液含氧量会变化。这代表了“中央神经系统”**（大脑）的直接活动。
  • 比喻： 就像观察一个工厂的总控制室，看哪个车间的灯光变亮了，就知道那里在忙什么。
• EDA 和 PPG（皮肤电和脉搏）： 这些是**“身体的传令兵”**。
  • EDA（皮肤电）： 测量手心出汗的程度（紧张时手会出汗）。
  • PPG（脉搏）： 测量心跳和血流。
  • 比喻： 就像观察工厂外面的卡车进出频率和工人的出汗量。虽然它们不直接看控制室，但能反映出工厂内部的压力和活跃度。

2. 实验过程：用音乐视频“调戏”大脑

研究人员找了 35 位大学生，给他们看 12 段精心挑选的日本流行音乐视频（每段 60 秒）。

• 有些视频让人兴奋（比如快节奏的摇滚），有些让人平静。
• 有些视频让人开心，有些让人难过。
• 在观看时，研究人员同时记录他们的大脑活动（fNIRS）和身体反应（EDA/PPG）。

3. 主要发现：1+1 > 2

研究团队用计算机算法（机器学习）来训练模型，看它能不能根据这些数据猜出视频是让人“兴奋”还是“平静”，是“开心”还是“难过”。

他们尝试了不同的组合：

• 单兵作战： 只用大脑数据，或者只用身体数据。
• 强强联手： 把大脑和身体数据结合起来。

结果非常有趣：

• 最佳拍档： “大脑（fNIRS）+ 皮肤电（EDA）” 的组合表现最好。
  • 在判断**“兴奋度”**（是激动还是平静）时，这个组合的准确率最高。
  • 在判断**“愉悦度”**（是开心还是难过）时，这个组合也赢了。
• 为什么 PPG（脉搏）没帮上忙？ 有趣的是，加上脉搏数据并没有让结果变得更好。这说明在这个实验里，脉搏和皮肤电提供的信息有点**“重复”**了，就像两个传令兵说了同一句话，多一个也没用。
• 关键结论： 单独看大脑能猜对，单独看身体也能猜对，但把两者结合起来，猜对的概率更高。特别是对于“心情好不好（Valence）”这种比较微妙的情绪，单靠身体信号很难猜准，必须加上大脑的信号才能“破案”。

4. 为什么这项研究很重要？

• 更抗干扰： 传统的脑电波（EEG）很容易受到眨眼、转头或周围电磁波的干扰，就像在嘈杂的菜市场听悄悄话。而这个研究用的 fNIRS 技术（戴在头上测血流）非常皮实，不怕动，也不怕电磁干扰，更适合在真实生活中使用。
• 简单有效： 他们没有用那种极其复杂的“黑盒”人工智能，而是用了简单、透明的数学方法。这意味着其他科学家很容易复现这个结果，不用担心是“运气好”或者“代码太复杂看不懂”。
• 未来应用： 这项技术未来可能用于：
  • 智能汽车： 检测司机是太兴奋（想飙车）还是太沮丧（想放弃），自动调整车内音乐或灯光。
  • 心理健康： 帮助医生更客观地评估患者的情绪状态，而不是只靠患者自己描述。
  • 人机交互： 让电脑或机器人能真正“懂”你的心情，在你压力大时主动安慰你。

总结

这就好比你想判断一个人是“真高兴”还是“假高兴”。

• 只看大脑（fNIRS），你能看到他内心真实的波澜。
• 只看手心出汗（EDA），你能感觉到他是否紧张或兴奋。
• 但如果你同时看这两样，你就能最精准地判断出他此刻到底是“兴奋且开心”，还是“紧张且焦虑”。

这项研究证明了，“大脑 + 身体”的双重侦探模式，是未来让机器真正理解人类情绪的关键钥匙。

技术摘要

这是一份关于该论文的详细技术总结，涵盖了研究问题、方法论、关键贡献、实验结果及研究意义。

论文标题

通过结合 fNIRS 衍生的血流动力学响应与外周生理信号来改进情绪分类
(Improving Emotion Classification by Combining fNIRS-Derived Hemodynamic Responses with Peripheral Physiological Signals)

1. 研究问题 (Problem)

• 核心挑战：现有的情感计算研究在**被试无关（Subject-independent）**的情绪分类任务中仍面临挑战。虽然单一模态（如仅使用脑电图 EEG 或仅使用外周信号）已被广泛研究，但在自然环境下，单一模态往往受限于噪声干扰或信息不完整。
• 具体缺口：
  • 功能性近红外光谱（fNIRS）作为测量中枢神经系统活动的工具，相比 EEG 对运动伪影和电磁干扰更具鲁棒性，但其单独用于情绪分类的效果仍有提升空间。
  • 目前尚不清楚将 fNIRS 与常见的外周自主神经信号（如皮肤电活动 EDA 和光电容积脉搏波 PPG）结合，是否能显著提高被试无关的唤醒度（Arousal）和效价（Valence）分类性能。
  • 现有研究多依赖复杂的深度学习模型，缺乏基于简单、可复现特征的可解释性基准。

2. 方法论 (Methodology)

2.1 实验设计与数据收集

• 被试：35 名健康日本大学生（24 男，11 女），最终有效数据为 30 人（排除 5 人因设备故障或实验中断）。
• 刺激材料：从 40 个日本流行音乐视频中筛选出 12 个 60 秒的片段，分为四类：高/低唤醒度、高/低效价。通过 9 名被试的自评（SAM 量表）进行筛选，确保刺激能引发强烈且一致的情感反应。
• 传感器配置：
  • fNIRS：使用 34 通道可穿戴系统（Hitachi WOT-HS），覆盖前额叶和颞叶区域。采样率 10 Hz，测量氧合血红蛋白（O2Hb）和脱氧血红蛋白（HHb）。
  • 外周信号：使用 Shimmer3 GSR+ 单元同步采集：
    • EDA（皮肤电活动）：左手中指和无名指，采样率 51.2 Hz。
    • PPG（光电容积脉搏波）：左手中指指尖，采样率 51.2 Hz。
• 实验流程：观看视频 -> 20 秒静息基线 -> 观看 60 秒视频 -> 20 秒静息 -> 填写 SAM 量表。

2.2 数据预处理与特征提取

为了优先保证可复现性和透明度，研究采用了简单且易于计算的统计特征，而非深度学习：

• fNIRS 特征：
  • 预处理：小波去噪（去除运动伪影）、低通滤波（0.5 Hz）、去趋势、Z-score 标准化。
  • 区域划分：将 34 通道聚合为 5 个解剖区域（右颞、右外侧前额、内侧前额、左外侧前额、左颞）。
  • 特征：每个区域的 O2Hb 和 HHb 信号计算均值、标准差、时间斜率（共 30 个特征/视频）。
• EDA 特征：
  • 使用 NeuroKit2 库分解为张力（Tonic）和相位（Phasic）成分。
  • 特征：自相关、标准差、偏度、峰度、峰值数量、平均峰值幅度（共 9 个特征/视频）。
• PPG 特征：
  • 使用 NeuroKit2 提取 27 个特征（19 个时域，8 个频域心率变异性指标）。

2.3 分类与评估

• 任务：二分类任务（高 vs. 低），分别针对唤醒度和效价。
• 模型：支持向量机（SVM，RBF 核），未进行超参数微调。
• 验证策略：分组 5 折交叉验证（Grouped 5-fold CV）。关键点是按被试分组，确保同一被试的数据不会同时出现在训练集和测试集中，从而严格评估被试无关的泛化能力。
• 统计检验：
  • 置换检验（Permutation Test）：验证分类性能是否显著优于随机猜测。
  • Wilcoxon 符号秩检验：比较不同特征集之间的性能差异。
  • 置换特征重要性（Permutation Feature Importance）：分析各特征对分类的贡献。

3. 关键贡献 (Key Contributions)

1. 多模态融合的有效性验证：首次系统性地证明了在被试无关设置下，将 fNIRS（中枢）与 EDA/PPG（外周）结合，能显著优于单一模态的情绪分类。
2. 高可复现性的基准：摒弃了复杂的深度学习黑盒模型，仅使用经典机器学习（SVM）和基础统计特征（均值、方差等），为情感计算领域提供了一个透明、可复现的基准（Benchmark）。
3. 模态互补性分析：通过特征重要性分析，揭示了不同模态在不同情感维度上的互补机制（见结果部分）。
4. 开源数据与流程：使用了标准化的工具包（Homer3, NeuroKit2, scikit-learn），并公开了详细的预处理流程。

4. 实验结果 (Results)

4.1 分类性能（宏观 F1 分数）

• 唤醒度（Arousal）分类：
  • 最佳组合：fNIRS + EDA，宏观 F1 分数为 0.73。
  • 其他表现：fNIRS 单独 (0.65) < EDA 单独 (0.69) < fNIRS + EDA + PPG (0.72)。
  • 统计显著性：所有特征集均显著优于随机猜测，fNIRS + EDA 显著优于大多数单一模态。
• 效价（Valence）分类：
  • 最佳组合：fNIRS + EDA，宏观 F1 分数为 0.64。
  • 其他表现：fNIRS 单独 (0.58) < EDA 单独 (0.51，不显著) < fNIRS + EDA + PPG (0.63)。
  • 关键发现：EDA 单独对效价分类效果很差，但与 fNIRS 结合后性能显著提升，表明外周信号提供了中枢信号所缺乏的互补信息。

4.2 特征重要性分析

• 唤醒度：当 fNIRS 与 EDA 结合时，EDA 特征（如皮肤电反应峰值）在分类中占据主导地位。这符合 EDA 是唤醒度可靠指标的理论。
• 效价：fNIRS 特征（特别是前额叶区域的血流动力学信号）表现出更高的相对重要性。这表明效价的编码更多依赖于中枢神经活动，而外周信号起辅助作用。
• 冗余性：仅结合 EDA 和 PPG（无 fNIRS）并未带来显著性能提升，甚至低于单一 EDA，表明这两种外周信号在特定情境下存在冗余。

5. 研究意义与结论 (Significance & Conclusion)

• 技术意义：
  • 证明了fNIRS 为中心的多模态框架在情感计算中的巨大潜力。fNIRS 对运动伪影和电磁噪声的鲁棒性，使其比 EEG 更适合在自然主义环境（如日常交互）中使用。
  • 揭示了中枢与外周信号的互补机制：唤醒度主要可由外周信号（EDA）捕捉，而效价则需要中枢信号（fNIRS）作为基础，外周信号作为补充。
• 应用价值：
  • 为开发更鲁棒、非侵入式的情感识别系统提供了理论依据，特别是在需要连续监测且环境复杂的场景（如人机交互、心理健康监测）。
  • 提出的简单特征提取流程降低了技术门槛，有利于该技术在临床和工业界的快速部署。
• 局限性：
  • 数据集主要为年轻男性大学生，性别和年龄分布不均，泛化性需进一步验证。
  • 未包含其他外周信号（如心电 ECG、肌电 EMG）。
  • 未使用深度学习，未来可探索更复杂的融合模型是否能进一步提升性能。

总结：该研究通过严谨的实验设计和可复现的方法，确立了"fNIRS + EDA"作为被试无关情绪分类的高效组合，特别是对于唤醒度和效价的区分，展示了多模态生理信号融合在情感计算中的核心价值。