DIPSER: A Dataset for In-Person Student Engagement Recognition in the Wild
本文介绍了 DIPSER，这是一个新颖且全面的真实场景数据集，用于面对面学生参与度识别，该数据集独特地融合了多视角 RGB 相机数据、智能手表传感器指标以及多样化的专家验证标签，以促进在不同教育情境下对学生注意力与情绪的分析。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，试图理解一名学生在课堂上感觉如何，或者他们有多专注。通常，老师只能凭一瞥来猜测。本文介绍了一种名为DIPSER的新工具，它就像一个高科技的“超级观察者”，旨在捕捉真实课堂（而非虚假环境）中确切发生的情况。
以下是研究人员所构建内容的分解，采用简单的类比：
1. “全知之眼”设置
将课堂想象成一个舞台。过去，研究人员往往在自家客厅（在线课程）或 sterile 的科学实验室中研究学生，那里的演员假装是学生。
DIPSER 则不同。它是在真实的大学教室里，由真实的学生拍摄的。为了获得全景，他们部署了一个“监控蜂群”：
- 广角视角：他们将摄像头高高挂起（就像保安俯视一样），以观察整个房间、学生的姿势以及他们之间的互动。
- 特写视角：每位学生课桌上都配有专属摄像头，聚焦于他们的面部，捕捉细微的表情（如挑眉或皱眉）。
- “脉搏”监测：每位学生都佩戴了智能手表。这就像健身追踪器，记录他们的心率、移动程度（陀螺仪）以及晃动的速度（加速度计）。
2. “五星”评级系统
你怎么知道摄像头和手表说的是真话？研究人员不仅依赖计算机，还使用了一个“评委团”。
对于每位学生，他们收集了五种不同的意见，以评估学生在任何给定秒数的专注度或情绪状态：
- 学生自己的声音：课后，学生回看视频并对自己进行评分。
- 四位专家评委：四位不同的人类专家观看录像并给出各自的评分。
他们将这些结合起来，为视频的每一秒创建“金标准”标签。如果学生表示他们感到无聊，且专家们也同意，该数据就会被标记为“无聊”。
3. “九幕”剧
数据并非一段漫长乏味的讲座。研究人员拍摄了学生经历九种不同类型的学校活动，就像戏剧中的场景：
- 阅读新闻。
- 头脑风暴想法。
- 聆听传统讲座。
- 在手机上参加测验。
- 展示项目。
- 与机器人互动。
- 设计教育游戏。
这种多样性就像在高速公路上、土路上和赛道上测试一辆汽车，以观察其在不同条件下的表现。
4. 庞大的图书馆
其结果是一个庞大的数字图书馆，包含超过130 万张图像和近52 小时的视频。
- 它包含原始视频。
- 它包含智能手表数据（心跳、动作）。
- 它包含“预打包”数据，其中计算机已经框出了人脸、估算了年龄并推测了情绪，从而为其他研究人员节省了时间。
5. 为何这很重要（根据论文所述）
作者认为，之前的数据集就像“模拟测试”（在线或虚假实验室），未能反映现实生活。
- 真实性：这是在“野外”（真实教室）拍摄的。
- 多样性：它包含不同背景的学生（在此版本中特别注明了高加索人种，但他们计划未来增加更多多样性）。
- 深度：这是首个在真实课堂环境中结合视频、智能手表传感器和多位人类专家的研究。
核心结论
本文提出了DIPSER作为一个新的、庞大的且高度详细的数据集。它是为计算机科学家准备的工具箱，旨在教导机器在现实世界的学校环境中理解人类的注意力和情绪。作者已向其他研究人员提供此数据，以便他们构建更好的人工智能工具，前提是这些工具仅用于学术研究，而非用于销售产品。
注：本文完全专注于创建和验证该数据集。它并未声称该系统目前正用于给学生评分、诊断医疗状况或改变学校的管理方式；它严格来说是一项研究资源。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。