AffectAI-Capture: A Reproducible Multimodal Protocol for Small-Group Meeting Research
本文介绍了 AffectAI-Capture，这是一种可复现的多模态协议，旨在利用眼动追踪和可穿戴设备等多样化传感器收集四人会议中的同步数据，并围绕统一的事件时间线进行组织，以支持情感与行为研究。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你想了解四位朋友如何共同解决一个谜题。你可以只是观察他们并倾听他们的谈话，但这只能告诉你他们说了什么。要真正理解如何以及为何——谁在专注、谁感到压力、谁在主导，以及他们的内心感受如何——你需要一套更为精密的工具。
本文介绍了AffectAI-Capture，它本质上是一本“食谱”或一套严格的说明书，用于搭建一个用于研究人类群体的高科技会议室。
以下是他们所做工作的分解，使用简单的类比：
1. 目标：填补空白
将以往的研究想象成拥有两种不同类型的摄像头：
- A 型：非常适合记录会议（如监控摄像头），但它只能看到外部行为（说话、移动）。
- B 型：非常适合测量情绪（如智能手表），但通常一次只用于一个人，而非群体。
AffectAI-Capture 试图搭建一座桥梁。它将“会议室”设置与“智能手表”传感器相结合，使研究人员能够同时看到群体动态和个体的内部状态。
2. 设置：一个高科技舞台
研究人员为四人围坐桌旁设计了一个特定的“舞台”。他们不只是让他们随意聊天，而是给他们特定的“剧本”（任务）来演绎，例如：
- 秘密谜题：每个人拥有不同的线索，他们必须分享线索以解开谜团。
- 谈判：他们必须就资源进行讨价还价。
- 头脑风暴：他们提出想法并选出最佳的一个。
- 信任游戏：一个关于合作与公平的迷你游戏。
这些剧本就像戏剧中标准化的“场景”。通过让每个人都演绎相同的场景，研究人员可以比较不同群体在相同压力下的反应。
3. 传感器：一群眼睛和耳朵
为了捕捉一切，他们在桌子周围布置了一群“设备群”：
- 智能眼镜：每个人佩戴的眼镜能精确追踪视线落点（就像在他们视线上的激光笔）。
- 可穿戴手环：每个人佩戴的手环测量心跳、出汗（压力）和呼吸。
- 相机阵列：他们不使用单一摄像头，而是使用七台摄像头。其中四台倒置安装在桌子下方，以获得无遮挡的清晰面部视角；另外三台安装在高处，以观察整个房间。
- 麦克风：他们使用特殊的麦克风，既能监听房间整体声音，又能单独捕捉每个人的声音，就像为合唱团中的每位歌手配备专用麦克风一样。
4. “黄金时钟”：保持时间同步
这类研究中最大的挑战是同步。如果眼动追踪摄像头比心率监测器慢 0.1 秒，数据就会变得混乱。
作者将时间视为管弦乐队中的首席指挥。他们不只是指望所有设备在时间上达成一致，而是构建了一个由多个时钟组成的“安全网”。
- 他们记录一个“主时间线”（数字日志），标记每一个事件。
- 他们使用冗余信号（如视觉闪光或特定声音）来检查摄像头和传感器是否仍保持同步。
- 如果某个设备出现故障，他们拥有足够的“备用时间戳”在后期修复数据，而不是丢弃整个实验。
5. “食谱书”（数据组织）
他们使用一种名为BIDS（脑成像数据结构）的系统来组织所有这些杂乱的数据。将其想象为一个非常严格的档案柜系统。
- 原始数据：原始的、未编辑的视频和传感器文件被安全地保存在一个文件夹中（就像原始胶片底片）。
- 处理数据：经过清理和分析的版本存放在另一个文件夹中。
- 元数据：一份详细的“说明书”解释了数据是如何收集的，以便其他人能够完全按照相同的方式重复实验。
6. 他们迄今为止的工作（以及下一步）
本文诚实地说明了其当前状态：
- 基准测试：他们在没有人的情况下在实验室中测试了设备。他们使用机器人头部（称为头部和躯干模拟器）来检查麦克风是否工作以及摄像头是否保持同步。
- 结果：音频清晰，摄像头已同步。
- 下一步：他们尚未使用真实的人类参与者运行完整实验。那是“正在进行的工作”。
7. 为什么这很重要
这不仅仅是关于记录会议。作者建议，这种设置也可用于手语研究。因为手语使用身体周围空间中的手部动作，拥有多台摄像头和眼动追踪（因为眼神接触在手语中至关重要）使得该协议对于翻译或研究手语交流也非常有用。
简而言之：AffectAI-Capture 是一份严谨、可复现的蓝图，用于构建一个“超级实验室”，研究人员终于可以在前所未有的细节水平上研究群体如何思考、感受以及相互作用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。