💻 computer science

EgoTrack3D: A Modular Framework for Egocentric 3D Object Tracking

EgoTrack3D 是一个模块化框架，它通过将 2D 掩码提升至全局坐标系，并结合运动评分与基于体素的合并技术，从第一视角 RGB 视频中重建并维护动态 3D 场景表示，在 ADT 数据集上实现了最先进的追踪精度，同时在稀疏且多噪的观测条件下保持鲁棒性。

原作者： Jan Kulik, Bjarni Dagur Thor Karason, Yung-Hsu Yang, Boyang Sun, Marc Pollefeys, Xi Wang

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jan Kulik, Bjarni Dagur Thor Karason, Yung-Hsu Yang, Boyang Sun, Marc Pollefeys, Xi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你戴着一副高科技眼镜，它们让你能以 3D 视角观察世界，就像机器人或电子游戏角色一样。为了安全地在房间里穿行，这些眼镜需要构建一个周围环境的心理地图：椅子在哪里，咖啡杯放在哪里，以及走过的人如何改变场景。这就是 3D 感知（3D perception） 的世界，这是一个计算机试图通过摄像视频来理解物理世界的领域。

通常情况下，计算机非常擅长识别 2D 平面图像中的物体（比如在照片中找出一只猫）。但当你移动头部时，世界会发生偏移，物体会互相遮挡，情况会变得复杂。为了构建真实的 3D 地图，计算机不仅需要知道一个物体是什么，还需要精确知道它在空间中的位置以及随时间变化的运动方式。这被称为 3D 物体追踪（3D object tracking）。这不仅仅是拍下一张杂乱房间的快照，而是拥有一个每秒都在更新的实时 3D 模型，当你穿行其中时，模型也会随之变化。这对于需要避免绊倒玩具的机器人，或者想要将虚拟巨龙放置在现实世界桌面上而不让其漂浮错位的增强现实（AR）应用来说，都至关重要。

问题所在：“第一视角”的模糊感

想象你戴着一个头戴式摄像头，正走在一个繁忙的厨房里。你拿起一个杯子，走过一张桌子，然后快速转身。对计算机来说，这简直是一场噩梦。视角剧烈旋转，你的手挡住了杯子的视线，物体忽隐忽现。现有的构建 3D 地图的方法经常在这里陷入困境。有些方法假设一切都是静止的（就像在博物馆里一样），而另一些则只追踪你当前正在接触的物体。当相机移动过快且视野混乱时，它们很难保持对房间内每个物体的持续“记忆”。

解决方案：EgoTrack3D

由此诞生了 EgoTrack3D，一个旨在成为第一视角视频“终极记忆保管员”的新系统。把它想象成一个为混乱图书馆服务的超级有序的图书管理员。它的任务是将一段晃动、快速移动的视频转化为一张稳定的、包含所见所有物体的 3D 地图——无论该物体是静止的椅子，还是被端来端去的杯子。

该系统根据拥有的信息量多少，分为两种主要模式：

“高清晰度”模式（稠密模式/Dense）： 如果计算机拥有完美的 3D 深度数据（类似于超精确的 3D 扫描仪），它就像一位大师级的雕塑家。它提取视频中物体的 2D 轮廓，并将其“提升”到 3D 空间，为每一件物品构建完整的点云模型。然后，它使用一种特殊的运动检测器来判断哪些物体在移动，哪些保持不动。如果它两次看到同一个物体，它会智能地合并数据，这样就不会把同一把椅子算作两把不同的椅子。
“现实世界”模式（稀疏模式/Sparse）： 在现实世界中，完美的 3D 扫描仪并不常见。通常，计算机只能对物体的位置有一个粗略的猜测。在这种模式下，EgoTrack3D 会转换策略。它不再试图构建每个像素的完美 3D 模型，而是为每个物体使用一个“最佳猜测”的 3D 包围盒。为了应对手部动作和相机晃动带来的混乱，它使用了一个聪明的技巧：观察交互（interactions）。如果它看到一只手抓起一个锅，它就知道这个锅是“动态的”，需要特殊照顾。它会创建一个临时的“锚点”，即使 3D 包围盒看起来有些摇晃，也能持续追踪那个锅。

它是如何工作的：侦探的工具箱

该系统使用了一些巧妙的工具来解开谜题：

运动评分（The Motion Score）： 它不仅仅是猜测某个物体是否在移动；它还会追踪物体上的微小点。如果这些点发生了显著位移，系统就会将该物体标记为“运动中”，并快速更新其位置。如果这些点保持静止，它就将该物体视为房间中稳固的静态部分。
体素合并（The Voxel Merge）： 想象一下 3D 世界是由被称为“体素（voxels）”的微小 3D 像素组成的。如果系统看到两个物体占据了相同的空间，它就知道它们很可能是同一个物体。它会将它们合并在一起，从而清理地图并消除重复项。
交互引导（The Interaction Guide）： 在“稀疏”模式下，当计算机对一个移动物体感到不确定时，它会观察手部。如果一只手握着一个物体，系统会给该物体发放一张“VIP 通行证”，确保即使 3D 数据存在噪声，该物体也不会丢失或与其他物品混淆。

结果：更清晰的画面

研究人员在名为 Aria Digital Twin (ADT) 的数据集上测试了 EgoTrack3D，该数据集包含人们在拥有完美 3D 数据的情况下在周围移动的视频。他们将该系统与其他顶尖方法进行了对比。

结果令人振奋。在使用完美数据时，EgoTrack3D 在定位物体方面的准确度比最强的现有基准提高了 11%。在“高清晰度”模式下，它实现了一个得分，即 63.01% 的物体被正确追踪和定位（通过名为 PCL 的指标衡量），这明显优于那些在处理重复项或丢失追踪方面表现挣扎的其他方法。

即使是在数据混乱且不完整的“现实世界”模式下，该系统也展示了它能够构建有用 3D 地图的能力。它成功追踪了被操作的物体（如被移动的锅或笔记本），即使在视角发生巨大变化的情况下也是如此，而其他系统在这些情况下往往会失败并完全丢失对这些物品的追踪。

核心结论

EgoTrack3D 并不是一个能瞬间解决所有问题的魔杖。作者承认，如果相机的深度数据噪声很大，系统仍可能产生困惑，并且在物体消失很长时间后，它有时难以重新识别该物体。然而，论文指出，通过模块化设计——即可以根据输入质量更换不同的工具——它提供了一个稳健的进步。它证明了我们可以通过第一视角视频构建动态的 3D 地图，同时处理静止的家具和日常生活的移动混乱，为更智能的机器人和更具沉浸感的增强现实铺平了道路。

技术摘要：EgoTrack3D

问题陈述

理解第一视角（egocentric）视频中的 3D 场景对于机器人技术和自主导航至关重要，但由于快速的视角变化、局部遮挡、截断的视野以及物体的频繁进入与退出，这带来了独特的挑战。虽然 2D 场景图在高级推理方面取得了进展，但现有的 3D 跟踪和场景图构建方法在动态的第一视角设置中往往表现不佳。目前的方法通常假设场景是静态的，依赖于预计算的表示，或者仅关注预定义的交互对象。因此，缺乏能够直接从第一视角 RGB 视频中为静态和动态物体维持持久、全场景 3D 跟踪的方法，且无需先验环境模型。

方法论

作者引入了 EgoTrack3D，这是一个模块化框架，旨在直接从第一视角 RGB 视频中重建并维护动态 3D 场景表示。该框架将 2D 分割掩码提升（lift）到全局 3D 坐标系中，并利用几何和视觉特征进行物体跟踪。该流水线分为两个变体，以应对不同的输入约束：

1. EgoTrack3D-Dense（受控设置）

该变体假设可以使用准确的逐像素度量深度、相机位姿和分割掩码（例如使用来自 Aria Digital Twin 数据集的真值）。

预处理： 为每一帧生成分割掩码和深度图。
运动检测： 利用 CoTracker3 在时间窗口 ( $\Delta t$ ) 内跟踪 $N \times N$ 的点网格。它计算每个点的运动和方向得分。如果物体的聚合运动和方向得分超过特定阈值，则将其分类为运动物体。
外观嵌入： 使用 MASA 提取每个物体的视觉嵌入，以支持跨帧关联。
3D 提升： 使用深度、内参和位姿将 2D 图像点投影到世界坐标。对于每个物体，收集其 3D 点，进行体素下采样，并通过主成分分析（PCA）拟合定向包围盒（oriented bounding box）。
跟踪与合并：
- 关联： 使用结合了 3D 交并比（IoU）、Chamfer 距离（形状相似性）和特征相似性的代价函数将新检测到的物体与现有轨迹进行匹配。通过匈牙利算法解决分配问题。
- 状态更新： 静态物体随时间累积点云；运动物体则动态更新其点云。视觉特征进行指数平滑。
- 轨迹合并： 使用基于体素的启发式方法合并具有显著 3D 点云重叠的轨迹，以消除由遮挡或部分视图引起的重复项。

2. EgoTrack3D-Sparse（现实世界设置）

该变体通过使用稀疏 3D 框估计来取代稠密提升模块，解决了在不受限视频中可靠的稠密深度难以获取的问题。

输入： 使用模型生成的 2D 掩码（通过 CropFormer）和稀疏点云。
3D 提升： 采用 BoxerNet 从稀疏几何中预测定向 3D 包围盒。
动态关联： 由于 BoxerNet 对手持物体的预测可能存在噪声，系统使用了交互引导的动态关联：
- Hands23 检测手部及其交互的物体。
- 与手部交互物体重叠的掩码被标记为动态。
- 为这些动态掩码初始化一个短期的 SAM2 轨迹，并传播 $K$ 帧。
- 与传播的 SAM2 掩码重叠的检测结果在进行几何分配之前，会被硬关联（hard-associated）到同一个身份，从而为被操作的物体创建一个鲁棒的 2D 锚点。
合并： 重复的轨迹根据 3D 框和外观相似度进行合并，除非它们受到不同动态掩码身份的保护。

核心贡献

模块化流水线： 一个将 2D 分割提升为具有时间一致性的 3D 物体轨迹的框架，可适应于稠密和稀疏的 3D 输入。
运动感知关联： 一种结合几何（3D IoU、Chamfer 距离）和外观（视觉特征）的机制，用于区分静态和动态物体，实现选择性更新。
稀疏输入变体： 一个鲁棒的配置，利用基于 BoxerNet 的 3D 框和交互引导的动态关联，使系统能够在没有稠密度量深度的情况下运行。
全面的评估： 在 Aria Digital Twin (ADT) 和 HD-EPIC 数据集上进行评估，证明了在准确和噪声输入条件下，3D 跟踪一致性均有所提高。

结果

稠密输入 (ADT)： 相对于最强基准 Boxer，EgoTrack3D-Dense 在 ADT 数据集上的正确位置百分比（PCL）提升了 11%。具体而言，它实现了 63.01% 的平均 PCL，而 Boxer 为 56.53%（注：Boxer 侧重于静态物体）。OSNOM 是另一个基准，得分显著较低，仅为 21.41%。实验表明，轨迹合并启发式算法至关重要，它使系统的平均 PCL 相比于没有合并的变体提升了 83.38%（34.36% vs. 63.01%）。
稀疏输入 (ADT)： 当使用稀疏输入代替稠密深度时，EgoTrack3D-Sparse 将 F1 分数从 29.88%（Boxer 基准）提升至 40.79%。虽然聚合指标主要受静态物体支配，但交互引导组件对于维持被操作物体的身份至关重要。
定性分析 (HD-EPIC)： 在现实世界的无约束视频中，稀疏变体成功地在大幅度视角变化下保留了被操作物体（如笔记本和锅）的身份，而移除交互引导关联会导致轨迹丢失或错误关联。

意义与主张

论文声称 EgoTrack3D 解决了动态第一视角观察中持久性全场景跟踪的空白。不同于以往专注于静态定位或受限交互物体集的先前工作，EgoTrack3D 直接从 RGB 视频构建整个环境的 3D 表示，且无需先验环境模型。

作者强调了该框架的模块化特性：它可以利用高保真度的真值输入来隔离跟踪性能，也可以通过利用交互线索来适应现实、多噪的稀疏输入。虽然该系统本身并不直接生成场景图，但它提供了必要的 3D 结构化表示（物体、属性、空间关系），这些可以被扩展为场景图。这项工作代表了向通用动态 3D 场景重建迈进的一步，适用于机器人技术、增强现实和具身空间推理。

承认的局限性：
作者指出，系统会继承来自感知模块（掩码、深度、位姿）的误差。在稠密设置中，结果反映的是在准确几何输入下的性能，而非完全端到端的现实世界感知。在稀疏设置中，系统仍然对 BoxerNet 对手持物体的预测误差较为敏感。此外，关联过程高度依赖几何代价，这使得在缺乏足够视觉证据且 3D 位置发生显著偏移时，进行重识别变得困难。