egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks

本文提出了首个结合第一人称视觉与生理信号、涵盖受控及真实场景下密集情绪与人格自我报告的 egoEMOTION 数据集，并定义了连续情绪、离散情绪及人格特质推断三个基准任务，旨在推动基于情感驱动的行为与意图建模研究。

要点

这篇论文介绍了一个名为 egoEMOTION 的全新数据集，你可以把它想象成给未来的“读心术”眼镜准备的一本超级详细的“情绪日记”。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这项研究：

1. 以前的眼镜 vs. 现在的眼镜

想象一下，现在的智能眼镜（比如 Meta 的 Project Aria）就像是一个只会看路的司机。

• 以前：它们只关心你“在看什么”（是看红绿灯还是看行人？）、“手在做什么”（是在拿咖啡还是打字？）。它们假设司机（也就是你）的情绪永远是平静、中立的，就像开车时心情毫无波澜一样。
• 现在：这篇论文说，这不够！司机的心情（是愤怒、兴奋还是悲伤）会极大地影响他怎么开车、怎么决策。如果司机很生气，他可能会开得快一点；如果很害怕，他可能会犹豫。
• egoEMOTION 的作用：它给这副眼镜装上了一个“情绪雷达”。它不仅记录你看到了什么，还记录你心里感觉如何，以及你的身体有什么反应。

2. 这个“情绪日记”里记了什么？

研究人员找了 43 位志愿者，让他们戴着这副特制的眼镜，在两个阶段里做各种事情：

• 阶段一（被动的“情绪过山车”）：让他们看 9 段精心挑选的视频。有的视频让人害怕（像恐怖片），有的让人开心（像喜剧），有的让人恶心（像吃虫子）。这就像在实验室里人为地制造“情绪风暴”。
• 阶段二（真实的“生活模拟”）：让他们在自然状态下做 7 件事，比如玩《Flappy Bird》游戏、搭积木（Jenga）、画画、甚至尝试讲笑话。这就像是在真实的生活场景中观察他们。

关键数据（日记的内容）：

1. 第一人称视角：眼镜上的摄像头记录了他们看到的画面。
2. 眼神追踪：记录了他们的瞳孔大小（紧张时瞳孔会放大）、眨眼频率和视线方向。这就像是通过眼睛这个“窗户”直接窥探内心。
3. 生理信号：除了眼镜，他们还戴了像“健康手环”一样的传感器，测量心跳、皮肤导电性（紧张时手会出汗）、呼吸和脑电波等。这就像是在监测身体的“内部警报系统”。
4. 自我报告：做完每件事后，参与者要自己填表，告诉研究人员：“我现在感觉有多开心？有多生气？我是外向还是内向？”

3. 最有趣的发现：眼睛比心跳更懂你？

这是这篇论文最“反直觉”也最精彩的地方。

通常我们认为，要测出一个人的情绪，得靠测心跳、测血压这些生理指标（就像医生看病一样）。
但研究人员发现，在这个数据集里，单纯依靠眼镜捕捉到的视觉信号（特别是眼神和瞳孔变化），预测情绪的效果竟然比那些传统的生理传感器还要好！

• 比喻：这就好比你想猜一个人是高兴还是难过。
  • 传统方法：是去摸他的脉搏（心跳快慢）。
  • 新方法：是看他的眼睛（瞳孔是否放大、眼神是否游离）。
  • 结果：在这个实验里，“看眼睛”比“摸脉搏”猜得更准。这说明，当我们戴着智能眼镜时，我们的眼神和视线其实泄露了比心跳更多的秘密。

4. 这个数据集有什么用？

这就好比给未来的 AI 系统提供了一本教科书，教它们如何理解人类：

• 更懂你的 AI 助手：未来的眼镜如果检测到你很焦虑（瞳孔放大、呼吸急促），它可能会自动调暗屏幕，或者给你放一首舒缓的音乐，而不是继续给你推工作邮件。
• 心理健康监测：它可以长期跟踪你的情绪变化，帮你发现潜在的抑郁或焦虑倾向。
• 更自然的交互：在虚拟现实（VR）或游戏中，系统可以根据你的真实情绪调整难度或剧情。如果你很害怕，游戏可能会变简单一点；如果你很兴奋，剧情可能会更刺激。

5. 总结

简单来说，egoEMOTION 是第一个把“你看到了什么”、“你身体感觉如何”和“你心里感觉如何”完美同步在一起的数据库。

它告诉我们要想真正理解人类的行为，不能只看表面动作，必须把情绪和性格这两个核心因素加进去。而且，它意外地发现，我们的眼睛（通过智能眼镜捕捉）比心跳更能诚实地出卖我们的情绪。这为未来开发真正“懂人心”的智能设备打下了坚实的基础。

技术摘要

这是一份关于论文 egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks 的详细技术总结。

1. 研究背景与问题 (Problem)

现有的第一人称视角（Egocentric Vision）基准数据集（如 EPIC-KITCHENS, Ego4D 等）主要集中在物理活动、手 - 物交互和注意力建模上。这些任务通常假设参与者处于情感中性（Neutral Affect）且人格特质统一的状态。

• 核心痛点：这种假设忽略了塑造人类决策和行为的内部状态（如情绪和人格）。现有的视觉系统难以捕捉驱动行为的关键内部因素，限制了其在混合现实、生产力工作和情境感知交互中的应用潜力。
• 现有数据局限：现有的情感识别数据集要么是在受控实验室环境下使用诱导刺激（如观看视频），缺乏生态效度；要么是“野外”（In-the-wild）数据，但缺乏生理信号或详细的情感/人格标注，且自我报告往往频率低或侵入性强。

2. 方法论与数据集构建 (Methodology)

作者提出了 egoEMOTION，这是首个将第一人称视觉信号与生理信号相结合，并包含密集的自我报告（情绪和人格）的数据集。

2.1 数据采集设备

• 核心设备：Meta Project Aria 智能眼镜。
  • 眼动追踪视频（每眼 640x480, 90 fps）。
  • 第一人称视角（POV）RGB 相机（1408x1408, 10 fps）。
  • 头部惯性测量单元（IMU）。
  • 鼻托式光电容积脉搏波（PPG）传感器。
• 辅助生理传感器：
  • Shimmer3 单元：耳部 PPG、手指皮肤电活动（EDA）。
  • Movisens ECGMove 4：胸部心电（ECG）。
  • Plux respiBAN：呼吸带（RSP）。
• 外部记录：60 fps 网络摄像头用于记录面部表情（作为外部标注参考）。

2.2 实验协议

研究招募了 43 名参与者，进行了约 50 小时 的同步多模态录制。实验分为两个会话（Session）：

• Session A (诱导任务)：观看 9 个经过验证的视频片段（对应 Mikels 情绪轮中的 8 种情绪 + 1 种中性），每种情绪持续约 48 秒。
• Session B (自然主义任务)：进行 7 项自发性的日常活动（如玩 Flappy Bird、画 Jenga、画画、写悲伤信件、尝试大笑等），旨在模拟真实世界场景。
• 标注方式：
  • 情感状态：使用 emoti-SAM（评估效度 Valence、唤醒度 Arousal、支配度 Dominance）和 加权 Mikels 情绪轮（9 类情绪，参与者分配 100% 权重，允许混合情绪）。
  • 人格特质：使用 Big Five Inventory-2 (BFI-2) 问卷（外向性、宜人性、尽责性、情绪稳定性、开放性）。

2.3 特征提取与基准模型

• 特征工程：从所有模态中提取了 612 个特征。
  • 视觉/眼动：瞳孔大小、眼动（偏航/俯仰）、像素强度、Fisherface 特征（PCA+LDA）、眨眼检测、微表情（LBP-TOP）。
  • 生理信号：ECG、EDA、RSP、PPG 的统计特征（均值、方差、频谱功率等）。
• 基准任务：定义了三个预测任务：
  1. 连续情感分类（二分类：高/低 效度、唤醒度、支配度）。
  2. 离散情绪分类（9 类情绪）。
  3. 人格特质推断（Big Five 二分类）。
• 模型：主要使用传统机器学习方法（SVM, Random Forest）作为基线，并对比了深度学习模型（CNN, Transformer-based WER）。

3. 主要贡献 (Key Contributions)

1. 首个多模态第一人称情感数据集：结合了诱导和自然主义任务，覆盖了广泛的情绪触发场景，并提供了细粒度的混合情绪自我报告。
2. 三大基准任务与基线：建立了连续情感回归、离散情绪分类和人格识别的基准。
3. 关键发现：证明了仅使用第一人称视觉系统（特别是眼动追踪特征）提取的信号，在真实世界的情感预测中优于传统的生理传感器信号。
4. 开源发布：发布了伦理审查通过的数据集和基线代码实现。

4. 实验结果 (Results)

实验采用“留一被试”（Leave-One-Subject-Out, LOSO）交叉验证，报告平均 F1 分数：

• 连续情感识别 (Continuous Affect)：
  • 融合所有模态的 F1 得分为 0.75。
  • 仅使用第一人称眼镜信号（眼动、IMU、PPG）达到 0.74，略优于仅使用传统可穿戴生理信号（ECG/EDA/RSP）的 0.70。
  • 瞳孔大小特征贡献显著。
• 离散情绪识别 (Discrete Emotions)：
  • 随机基线 F1 为 0.11。
  • 仅使用第一人称眼镜信号达到 0.46，显著优于传统生理信号的 0.24。
  • 头部 IMU 加速度（F1=0.44）和瞳孔强度（F1=0.34）表现突出。
  • 特定情绪（如恐惧、悲伤、愤怒）在结合眼镜数据时预测效果最好。
• 人格识别 (Personality Traits)：
  • 融合所有模态的 F1 得分为 0.59。
  • 仅使用第一人称眼镜信号达到 0.57，优于传统生理信号的 0.50。
  • 眼动（Gaze） 是表现最好的单一模态。
• 深度学习对比：
  • 在该数据集上，传统机器学习方法（SVM/RF）的表现普遍优于深度学习模型（CNN 和 Transformer）。这表明对于此类多模态融合任务，精心设计的特征工程结合经典分类器可能比端到端深度学习更有效，或者需要更大的数据量来训练深度模型。

5. 意义与影响 (Significance)

• 范式转变：egoEMOTION 确立了情绪和人格作为第一人称感知核心维度的地位，推动研究从单纯建模“外部行为”转向捕捉“内部情感状态”。
• 技术启示：研究结果表明，随着智能眼镜和 AR 头显的普及，眼动追踪和头部运动等被动采集的视觉信号，在推断用户意图、情感状态和人格特质方面，可能比需要佩戴额外传感器的传统生理信号更具实用性和扩展性。
• 应用前景：为下一代以人为本的系统（如自适应人机交互、心理健康监测、沉浸式计算）提供了基础，使系统能够根据用户的情绪和性格实时调整交互策略。
• 局限性：数据主要来自年轻成年人（存在人口统计学偏差），且自我报告存在回忆偏差；部分模态（如 IMU）可能受任务动作干扰而非纯粹的情感反应。

总结：egoEMOTION 填补了第一人称视觉在情感计算领域的空白，通过实证研究证明了基于智能眼镜的视觉信号在情感与人格识别中的巨大潜力，为构建更具情感智能的 AI 系统奠定了数据和方法论基础。