想象一下，试图理解一个人在佩戴显示全方位 360 度世界的头显时正在看什么。在平面电影中，你可以轻松地在一个人或一辆车周围画一个框，并说：“他们在看这个。”但在球面视频中，世界会环绕在观众周围。当物体移动经过图像边缘时，可能会发生拉伸、缩小或被切成两半的情况。为了研究人们在这些沉浸式环境中的注意力分配，研究人员需要一种方法来自动识别这些移动的目标，并追踪观众的视线如何跟随它们。这就是虚拟现实中眼动追踪的核心挑战：创建一个可靠的地图，去描绘一个不断变化且环绕在用户周围的场景中哪些事物是重要的。
西班牙卡迪斯大学的一个研究小组构建了一个新系统来解决这个问题。他们创建了一个分为两个部分的流程，将繁重的物体识别工作与用户实际佩戴头显的时刻分离开来。首先，他们获取一段 360 度视频，并使用强大的计算机程序对其进行扫描，根据简单的文本描述寻找特定事物，如人、动物或物体。这些程序会在发现的物品周围画出隐形的框。随后，团队将这些框转化为一种头显可以读取的特殊数字地图。之后，当参与者戴上头显观看视频时，系统会利用这张地图，在无需在视频播放期间进行繁重计算的情况下，实时知道用户在每一帧中正在看哪个物体。
为了测试该系统是否有效，研究人员尝试了三种不同类型的视频：一个带有人员和笔记本电脑的房间、一个森林场景以及一段包含狮子和瞪羚的野生动物片段。他们还测试了三种不同的计算机程序，以观察哪一个最擅长寻找物体。其中一个名为 Grounding DINO 的程序最为全面，即使在复杂的场景中也能找到最多的物体，但处理视频所需的时间很长。另一个程序 YOLO-World 速度极快——大约是第一个程序的九倍——但它遗漏了许多物体，尤其是在野生动物片段中的小型动物。第三个选项 OWLv2 则介于两者之间。研究人员发现，没有任何一个程序对所有情况都完美适用；最佳选择完全取决于视频中的内容。
当研究人员用该技术测试八名志愿者时，系统运行非常顺畅。头显成功追踪了参与者的视线方向，并将他们的注视点与计算机识别出的物体相匹配。系统记录了每一次人们聚焦于某物的时刻，生成了一份详细的注意力日志。然而，这项研究也揭示了系统的局限之处。在野生动物视频中，系统经常无法注意到动物。这是因为动物体型较小、移动迅速，且有时出现在视频中图像自然扭曲的部分。计算机程序难以找到这些微小且快速移动的目标，这意味着系统错过了参与者实际在看动物的许多时刻。
研究人员得出结论，他们的方法为未来的研究奠定了坚实的基础。它证明了你可以自动创建这些注意力图谱，并在实时虚拟现实实验中使用它们。这种“离线准备”与“在线实验”的分离使得整个过程既可靠又可重复。然而，他们也明确指出，这项技术尚未准备好应对所有类型的视频。虽然它在处理像带有人员的房间这样清晰、结构化的场景时表现良好，但在处理复杂自然环境中微小且快速移动的物体时，仍需改进。这项研究并不声称已经完全解决了 360 度视频中的眼动追踪问题，但它提供了一个可行的蓝图，并列出了一份仍需克服的具体障碍清单。
技术摘要：用于虚拟现实 360° 视频的离线动态 AOI 生成与运行时注视点映射
问题陈述
使用 360° 视频进行沉浸式眼动追踪研究面临着一个关键瓶颈：缺乏用于构建动态感兴趣区域 (AOIs) 的可复现流水线。与静态屏幕研究不同，360° 视频需要能够随内容同步移动、变形并出现或消失的 AOI。当前的方法依赖于静态近似或逐帧手动标注，这无法实现规模化。此外，360° 领域的独特属性——特别是等距柱状投影（equirectangular projection）产生的畸变、跨越左右缝隙的对象以及缺乏标准化工具——使得自动化标注变得极具挑战性。虽然开放词汇目标检测器为自动化提供了一条路径，但它们在特定 360° 刺激语境下，针对覆盖率、预处理延迟以及对球形伪影的鲁棒性方面的权衡尚未得到表征。
方法论
作者提出了一个确定性的**“离线到运行时”流水线**，将 AOI 构建与实验执行分离。该系统分为三个阶段：
1. 离线 AOI 生成（阶段 1）
- 过程： 从源 360° 视频中提取稀疏帧。通过开放词汇文本提示检测器识别物体，随后利用轻量级追踪启发式算法（标签一致性、IoU 和中心距离连续性）在关键帧之间进行过滤和关联。
- 身份契约： 每个持久的 AOI 实例被分配一个稳定的数字 ID 和一个唯一的精确颜色。该颜色作为运行时的主要查找键。
- 输出： 系统导出同步的产物：逐关键帧的 AOI 图 PNG、JSON 元数据文件、序列清单以及用于 Unity 中快速纹理上传的 24 位 RGB 二进制运行时包。
- 基准测试检测器： 离线阶段使用三种开放词汇检测器进行了评估：Grounding DINO、YOLO-World 和 OWLv2，每种检测器均配置了针对特定内容的文本提示。
2. 运行时执行（阶段 2）
- 平台： 在运行于 HMD 硬件（HTC VIVE Focus Vision）上的 Unity（通用渲染管线 URP）中实现。
- 功能： 运行时将 360° 视频作为全景天空盒播放，并通过 OpenXR（配合 HTC VIVE 备选方案）获取注视数据。
- 注视点映射： 注视射线从世界空间转换为球面坐标（方位角、仰角和等距柱状 UV 坐标）。
- AOI 查找： 系统根据精确颜色身份契约，针对当前激活的 AOI 图进行帧同步查找。
- 数据导出： 运行时并非导出连续的原始注视流，而是以 250 ms 步长提交注视点级事件。这些事件作为包含 AOI 分配、球面坐标和瞳孔直径的 CSV 文件导出。
3. 事后分析（阶段 3）
- 指标： 一个 Python 分析包处理注视点提交 CSV 文件，以计算标准注视指标（首次注视时间、停留时间、访问次数等）。
- 解释： 作者明确指出，这些指标是基于 250 ms 步长模型导出的注视点提交代理值 (fixation-commit proxies)，而非来自原始样本的直接 I-DT/I-VT 估计。
核心贡献
- 系统架构： 一个完整的、可复现的流水线，实现了 AOI 离线构建与运行时执行的解耦，确保了确定性和可审计性。
- 检测器基准测试： 对 Grounding DINO、YOLO-World 和 OWLv2 在五种多样化 360° 视频刺激（以人类为中心、自然、野生动物）下的表现进行了实证评估。
- 失效案例分类法： 对 360° 特有的失效模式进行了特征化描述：缝隙跨越 (seam crossings)、极点畸变 (polar distortion)、微小目标以及时间漂移。
- 初步验证： 通过涉及 8 名参与者和 3 种刺激物的技术可行性研究，验证了该流水线在真实环境下记录、映射和导出数据的能力。
结果
检测器基准测试
- 速度： YOLO-World 最快，与 Grounding DINO 相比，将预处理时间缩短了约 9.1 倍（平均每段视频分别为 77.18 秒 vs 8.86 秒）。OWLv2 处于中间位置（3.98 倍加速）。
- 覆盖率： Grounding DINO 提供了最广泛的检测覆盖，尤其是在视觉模糊或野生动物丰富的场景中。YOLO-World 在整体上保留了约 40% 的 Grounding DINO 检测结果，但在野生动物场景中显著下降（例如，在 sampleWolves360 中仅有 2 个检测结果，而 Grounding DINO 有 74 个）。
- 空间验证： 在 15 帧人工标注帧上的初步 IoU 验证显示，Grounding DINO 实现了最高的整体平均 IoU (0.37)。YOLO-World 在以相机为中心的场景中表现出高精度，但在野生动物子集中失败（IoU 为 0.00）。OWLv2 表现不一，尽管在小型野生动物子集中表现最好，但在相机场景中表现较弱。
运行时与初步可行性
- 稳定性： 运行时在所有 24 次参与者会话中成功保持了 1.0 的有效追踪率。
- AOI 分配： 整体平均 assigned_valid_ratio（有效注视行被分配到 AOI 的比例）为 0.2469。
- test1Camera360（稳定）：0.3133
- test2Camera360（中等）：0.2674
- test3Lions360（野生动物/具有挑战性）：0.0896
- 失效分析： 野生动物片段中较低的分配率归因于微小目标、稀疏的 AOI 占用以及时间上脆弱的追踪，而非追踪丢失。流水线正确地将这些识别为当前基于边界框方法的结构性限制。
意义与主张
本文谦逊地声称其提供的是系统描述、基准测试和技术评估，而非大规模的自动与人工 AOI 源之间的统计比较。
- 可行性： 研究证明，一个确定性的“离线到运行时”流水线可以支持稳定的动态 AOI 播放和 360° VR 中的帧同步注视点映射。
- 实践指导： 基准测试提供了工程指导：YOLO-World 适用于以人类为中心的场景的快速迭代，而 Grounding DINO 是处理复杂或野生动物场景时确保关键覆盖率的更安全选择。
- 将局限性作为贡献： 作者明确将识别失效案例（缝隙跨越、极点畸变、微小目标）视为一种方法论上的贡献。他们认为，这些是等距柱状领域的结构性挑战，无法仅通过提示工程来解决，而需要未来的流水线改进（例如，缝隙感知聚合、分割掩码）。
- 未来工作： 本文旨在为未来工作奠定基础，即如何扩展空间验证，并确定自动 AOI 源是否会对下游注视指标产生实质性影响。
作者总结道，虽然目前的实现是一个可行的技术可行性解决方案，但它仍然是一个“一阶近似”，在能够取代大规模研究中的人工标注之前，仍需针对 360° 内容的复杂性进行进一步优化。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。