EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset

该论文介绍了 EgoCampus 数据集及其配套的 EgoCampusNet 模型，利用 Meta Project Aria 眼镜在户外校园环境中采集了包含 80 多名行人眼动数据的大规模数据集，旨在解决真实导航场景下的行人视觉注意力预测问题。

要点

这篇论文介绍了一个名为 EgoCampus 的新项目，它就像是为机器人和人工智能打造的一副“人类视觉眼镜”。

简单来说，这项研究想回答一个问题：当我们在校园里走路时，眼睛到底在看哪里？为什么看那里？

为了搞清楚这件事，研究团队做了一件很酷的事：他们给 80 多位志愿者戴上了特制的智能眼镜，让他们在校园里走了 25 条不同的路线，总共走了 6 公里。

下面我用几个生动的比喻来拆解这篇论文的核心内容：

1. 数据收集：给世界装上“第一人称摄像头”

想象一下，你戴着一副超级智能的隐形眼镜（实际上是 Meta 的 Project Aria 眼镜），这副眼镜不仅能像普通相机一样拍下你眼前的风景，还能实时追踪你的眼球转动。

• 以前：科学家研究“看哪里”，通常是让人坐在实验室里盯着屏幕上的图片看。这就像在鱼缸里研究鱼怎么游泳，虽然安全，但和在大海里游泳完全不同。
• 现在：EgoCampus 数据集记录了人们在真实世界（大学校园）里走路时的真实视线。这不仅仅是视频，还包含了你的心跳（惯性传感器）、位置（GPS），甚至是你转头时眼镜感受到的震动。
• 规模：这就像收集了 80 多个人的“走路记忆”，总共 32 小时的视频，涵盖了各种天气、时间和路况。

2. 核心发现：我们走路时都在看什么？

研究人员分析了这些视频，发现了一个有趣的现象：

• 大部分时间：我们的眼睛像探照灯一样，主要盯着正前方（也就是我们要走的路）。这被称为“中心偏差”。
• 当我们转头时：我们的注意力会像雷达一样扫描环境。这时候，我们主要看两类东西：
  1. 路标：比如建筑物、路灯、大树（用来确认“我在哪”）。
  2. 导航线索：比如其他行人、路口的变化（用来决定“往哪走”）。

3. 人工智能模型：EgoCampusNet（给 AI 装上“直觉”）

有了数据，团队训练了一个叫 EgoCampusNet 的 AI 模型。你可以把它想象成一个经验丰富的老向导。

• 它的超能力：当你给它看一段走路视频（过去的画面），它就能预测你下一秒眼睛会看向哪里。
• 它是怎么学的：它不像普通 AI 那样只看一张静止的照片。它像人类一样，会结合“过去的经验”和“现在的画面”。
  • 比喻：就像你开车时，不仅看眼前的路，还会根据刚才看到的红绿灯和旁边的车，预判下一秒该看哪里。
• 它的优势：这个模型很“轻量级”，不需要巨大的电脑就能跑，而且比很多现有的大模型更擅长处理这种“边走边看”的动态场景。

4. 为什么要这么做？（这对我们有什么用？）

这项研究不仅仅是为了好玩，它对未来的机器人和自动驾驶有巨大的帮助：

• 让机器人更像人：现在的扫地机器人或送货机器人，走路时经常撞到人，因为它们不知道人眼在看哪。如果机器人能像 EgoCampusNet 一样，预判行人会看哪里，它就能更聪明地避让，甚至知道什么时候该停下来等行人。
• 更安全的导航：想象未来的自动驾驶汽车，它不仅能看见路，还能理解行人的意图（比如行人看向左边，可能下一秒就要过马路）。

总结

这就好比研究人员给机器人装上了人类的“视觉直觉”。

以前，机器人看世界是冷冰冰的像素点；现在，通过 EgoCampus 数据集和模型，机器人开始理解：“哦，这个人转头看那个路牌，说明他在找方向，我得小心点，别挡着他。”

这项研究把“走路”和“看东西”这两件我们习以为常的小事，变成了帮助机器理解人类行为的关键钥匙。未来，当你和机器人走在校园里时，它们可能会比你想象的更懂你。

技术摘要

以下是基于论文《EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset》的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心挑战：在现实世界的导航场景中，预测人类视觉注意力（眼动）是一个尚未被充分探索的领域。现有的研究多集中在受控环境（如实验室静坐看屏幕）或室内任务（如烹饪、清洁），缺乏针对户外行人导航场景的眼动数据。
• 现有局限：
  • 大多数现有的第一人称（Egocentric）数据集（如 Ego4D, EPIC-Kitchens）主要关注室内任务，且眼动数据覆盖不全或缺失。
  • 现有的户外眼动数据集（如 GEETUP）样本量较小、路径片段短（常因停顿而中断），且缺乏丰富的多模态传感器数据（如 IMU、GPS）。
  • 现有的显著性预测模型（Saliency Prediction）在静态图像或短片段上表现良好，但在连续、动态的户外导航环境中，难以准确捕捉行人的真实注意力分布，尤其是当存在强烈的“中心偏差”（Center Bias，即行人通常看向行进方向中心）时。

2. 数据集：EgoCampus (Key Contribution 1)

为了解决上述问题，作者构建了 EgoCampus 数据集，这是目前首个专注于户外行人导航的大规模多模态眼动数据集。

• 采集设备：使用 Meta 的 Project Aria 智能眼镜。该设备集成了：
  • 前置 RGB 摄像头（1408×1408, 30Hz）。
  • 双目单色内视摄像头（用于眼动追踪）。
  • 惯性测量单元（IMU）、磁力计、气压计、GPS、Wi-Fi/蓝牙传感器。
• 数据规模：
  • 参与者：82 名不同的行人。
  • 路径：25 条独特的户外路径，总长超过 6 公里（位于罗格斯大学 Busch 校区）。
  • 时长：约 32 小时视频，包含约 350 万帧。
  • 多样性：涵盖不同时间段、季节和天气条件。
• 数据特点：
  • 连续性：与 GEETUP 等数据集不同，EgoCampus 提供连续的路径轨迹（平均片段长度 108.2 秒），避免了因停顿造成的碎片化。
  • 多模态同步：眼动坐标、RGB 视频、IMU 和 GPS 数据严格时间同步。
  • 隐私保护：使用 EgoBlur 算法对视频中的路人面部进行模糊处理，符合伦理审查（IRB）要求。
  • 双向遍历：每条路径均包含正向和反向行走的数据。

3. 方法论：EgoCampusNet (ECN) (Key Contribution 2)

作者提出了 EgoCampusNet (ECN)，一种用于预测行人眼动的新模型。

• 核心假设：过去的视觉信息（视频流）会影响行人未来的眼动行为。
• 网络架构（如图 1 和图 5 所示）：
  1. 视频编码器 (Video Backbone)：使用预训练的 X3D 模型提取输入视频片段（时间维度）的时空特征。
  2. 查询帧编码器 (Query Frame Encoder)：使用 ResNet 提取当前查询帧（通常是最后一帧）的图像特征。
  3. 特征融合 (Fusion)：将视频时空特征与查询帧图像特征在通道维度上进行拼接（Concatenation）。
  4. 解码器 (Decoder)：通过轻量级 CNN 块和 ResNet 块对融合特征进行上采样和解码，生成与输入分辨率相同的热力图。
  5. 后处理：输出经过模糊处理，并加入“中心先验”（Center Prior）和归一化步骤，最终生成眼动概率分布图。
• 训练细节：使用 Adam 优化器，MSE 损失函数，在单张 NVIDIA RTX 3090 上训练 10 个 Epoch。

4. 实验与评估结果 (Results)

• 评估指标：
  • 传统指标：AUC-Judd, CC (相关系数), KLD (散度), SIM (相似度)。
  • 创新指标：提出了基于数据先验的加权策略 (Prior-Relative Weighting)。由于行人导航存在强烈的中心偏差，作者计算数据集先验（平均眼动图），利用 Jensen-Shannon 散度（JSD）对帧进行加权。当真实眼动偏离先验时，给予更高的权重，从而更公平地评估模型捕捉“非中心”注意力的能力。
• 定量结果：
  • 基准表现：ECN 在参数数量（42.5M）远小于 GLC（70.2M）和 CV MM（420.5M）的情况下，取得了具有竞争力的性能。
  • 先验偏差分析：在加权评估下，依赖中心先验的模型（如 Dataset Prior, Center Prior, DeepGazeIIE）性能大幅下降（KLD 增加，SIM 降低），而 ECN 和 GLC 表现出更强的鲁棒性，能够捕捉到偏离中心的注意力转移（如看向路标、行人）。
  • 对比 SOTA：虽然 GLC 在部分指标上略胜一筹，但 ECN 证明了利用预训练视频骨干网络进行时空特征融合的有效性，且训练成本更低。
• 定性分析：
  • ECN 生成的热力图聚焦性更好，能准确预测行人行进方向（中心）以及特定的环境特征（如建筑物、路标）。
  • 相比之下，部分静态图像显著性模型（如 EML-Net）倾向于过度估计注视区域，而忽略了导航任务中的动态注意力转移。

5. 关键贡献与意义 (Significance)

1. 填补数据空白：EgoCampus 填补了户外行人导航场景下大规模、多模态、带眼动标注数据集的空白，为研究真实世界中的视觉注意力提供了宝贵资源。
2. 推动模型发展：提出的 ECN 模型为基于视频的行人眼动预测提供了高效的基准，证明了时空特征融合在导航任务中的重要性。
3. 评估范式创新：提出的“基于先验的加权评估策略”解决了眼动预测中因中心偏差导致的评估失真问题，为未来研究提供了更严谨的评估标准。
4. 应用前景：
   • 具身智能 (Embodied AI)：帮助机器人理解人类在共享空间中的意图和注意力，从而进行更自然的协作和避障。
   • 人机交互 (HRI)：提升机器人对人类行为预测的准确性，实现 anticipatory behavior（预期行为）。
   • 互补数据集：EgoCampus 与机器人视角的 YOPO-Campus 数据集结合，为研究人机导航系统提供了完整的“人 - 机”双视角数据支持。

总结：该论文通过构建 EgoCampus 数据集和 ECN 模型，系统性地解决了户外导航场景下眼动预测的难题，不仅提供了高质量的数据资源，还提出了适应性强、评估科学的解决方案，对具身智能和机器人导航领域具有重要的推动作用。