💻 computer science

Online Episodic Memory Visual Query Localization with Egocentric Streaming Object Memory

本文介绍了 ESOM，这是一个用于第一视角视频流中在线情景记忆检索的新型框架，该框架通过使用紧凑的记忆体对帧进行单次处理以定位物体，在展示出优于现有在线方法的性能的同时，也强调了改进物体发现与追踪以进一步提升准确性的紧迫性。

原作者： Zaira Manigrasso, Matteo Dunnhofer, Antonino Furnari, Moritz Nottebaum, Antonio Finocchiaro, Davide Marana, Rosario Forte, Giovanni Maria Farinella, Christian Micheloni

发布于 2026-06-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zaira Manigrasso, Matteo Dunnhofer, Antonino Furnari, Moritz Nottebaum, Antonio Finocchiaro, Davide Marana, Rosario Forte, Giovanni Maria Farinella, Christian Micheloni

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你戴着一个摄像头，它记录了你从醒来到入睡的一整天。现在，想象你忘记把钥匙放在哪儿了，或者你不记得有没有锁车库门。你问摄像头：“显示我最后一次拿钥匙是什么时候。”

这就是这篇论文要解决的问题。但有一个难点：现实世界的摄像头无法存储所有内容。

问题：“离线”与“在线”的抉择

旧方法（离线）：
把旧方法想象成一个直到一天结束才去破案的侦探。他们拥有保存了全天视频文件的巨大硬盘。当你问“我的钥匙在哪儿？”时，他们会回放整部电影，一帧一帧地搜索钥匙。

问题所在： 这需要存储数以 TB 计的数据（就像一个电影图书馆），并且搜索起来非常耗时。对于像眼镜或手表这样的小型可穿戴设备来说，不可能携带那么多内存或拥有那么大的电池功率。

新方法（在线）：
作者提出了一个名为 OVQ2D（在线视觉查询 2D）的新游戏。

类比： 想象你正在一个繁忙的城市中行走。你无法在脑海中携带整座城市的地图。相反，你有一个智能笔记本。当你行走时，你只记录下此时此刻看到的重要的东西（比如“我看到了一辆红色的巴士”、“我看到了一家咖啡店”）。你会丢弃其余的场景。
挑战： 稍后，当有人问“那辆红色的巴士在哪里？”时，你必须在笔记本中找到它。但难点在于：你在看到那辆红色巴士之前，并不知道会被问到这个问题。你必须在当下做出决定：“这个巴士是否重要到值得我记下来？”而你并不知道未来会发生什么。

解决方案：ESOM（智能笔记本）

论文介绍了一个名为 ESOM（自我中心流式物体记忆）的系统。把 ESOM 想象成一个三人团队，他们协同工作来保持那个智能笔记本井然有序：

观察者（物体发现）：
这个人实时扫描每一帧视频。他们会大喊：“嘿，我看到一只狗！我看到一辆车！我看到一个三明治！”他们就像是一个发现新事物的保安。
追踪者（物体追踪）：
一旦观察者找到了某个物体，追踪者就会接管。他们会跟随那个特定物体移动。“好的，那只狗正在向左走，现在它躲到了树后，现在它消失了。”他们会保持该物体的 ID 卡处于激活状态，这样你就不会丢失对它的追踪。
管理员（物体记忆）：
这个人决定哪些内容真正被写进笔记本。他们不会记录视频中的每一个像素（那样太沉重了）。相反，他们会写下一条精简的笔记：“下午 2:00，一只狗位于这个位置。这是它的一张小照片。” 然后他们会丢弃其余的视频。

当你提问时它是如何工作的

当你稍后问“那只狗在哪里？”时，系统并不会去看原始视频（因为视频已经没了）。相反，它会翻阅它的智能笔记本：

它将你的问题（“显示那只狗”）与笔记本中的照片进行对比。
它会找到最佳匹配项。
它会向你展示笔记序列：“这是 2:00 的狗，这是 2:01 的，这是 2:02 的。”
结果： 你能瞬间得到答案，且消耗极少的内存和电量。

结果：好消息与坏消息

研究人员在大型真实生活视频数据集（Ego4D）上对该系统进行了测试。

好消息： ESOM 比其他“在线”方法表现得更好。它很快（在几秒钟内就能找到答案，而不是几分钟），并且使用的内存极少（1.7 GB 而不是 12 GB）。它证明了你确实可以在不存储整个视频的情况下实现这一点。
坏消息： 这仍然非常困难。该系统的成功率仅为 4% 左右。
- 为什么？ 因为“观察者”和“追踪者”目前还不完美。在现实生活中，物体移动很快，会被其他人遮挡，或者看起来很模糊。如果观察者错过了那只狗，或者追踪者丢失了它，管理员就没有东西可以记录，答案也就丢失了。
- “魔法”测试： 研究人员运行了一个模拟实验，假设观察者和追踪者是完美的（就像拥有一个超人类助手一样）。在这种情况下，成功率跃升至 82%。这证明了这个想法本身是完美的；我们只需要更好的观察者和追踪者工具。

总结

这篇论文介绍了一种让可穿戴摄像头像人类记忆一样工作的新方法：观察、只记住重要的部分，并忘掉其余的部分。 他们构建了一个名为 ESOM 的系统来实现这一高效过程，证明了在不保存全天视频的情况下回答“X 在哪里？”是可行的。然而，该系统目前仍受限于计算机在混乱的现实世界视频中识别和追踪物体的能力。

技术摘要：基于自我中心流式对象记忆的在线情景记忆视觉查询定位

问题定义：在线视觉查询 2D (OVQ2D)

本文旨在解决现有情景记忆（Episodic Memory, EM）检索系统的局限性，特别是针对 Ego4D 基准测试中引入的视觉查询 2D (Visual Query 2D, VQ2D) 任务。目前的 VQ2D 形式是在离线设置下运行的，假设在查询时可以完全访问视频历史记录。这种方法需要存储整个视频序列（对于可穿戴设备而言，容量可能达到数 TB），并且会产生巨大的计算开销，因为系统必须为每一个新查询重新扫描视频。

为了使在功耗和存储受限的可穿戴设备上的实际部署成为可能，作者引入了在线视觉查询 2D (Online Visual Query 2D, OVQ2D)。在此定义中：

流式处理： 系统在线处理自我中心视频 ( $V_{ego}$ )，对每一帧仅进行一次观察。
紧凑记忆： 系统不存储原始视频，而是必须维护一个关于相关对象和事件的紧凑、动态的记忆。
检索： 给定一个视觉查询补丁 $Q$ （一个对象的图像），系统必须仅使用存储的记忆来检索该对象最后一次出现的时空定位（一系列边界框和帧的序列），而无需访问原始视频流。

这种转变引入了三个在离线设置中不存在的主要挑战：

无监督发现： 系统必须实时识别潜在的可查询对象，而事先并不知道用户将来会询问什么。
预先追踪： 系统必须预先追踪对象实例并存储其响应轨迹，而不是在收到查询后才开始搜索。
表示关联： 系统必须将潜在的响应轨迹与适合未来检索的视觉表示进行关联，因为在搜索阶段，它无法直接将查询补丁与原始视频候选进行比较。

方法论：ESOM (自我中心流式对象记忆)

作者提出了 ESOM，这是一个旨在通过三个集成模块解决 OVQ2D 问题的框架：

1. 对象记忆表示 ( $M_{ego}$ )
核心数据结构是一个动态的对象实例列表 $O_i$ 。每个实例是一个带有时间索引的记录列表 $o_{i,t}$ ，包含：

$t$ ：时间戳。
$b_{i,t}$ ：边界框坐标。
$F_t$ ：相关的 RGB 帧（或从中提取的补丁）。
$c_{i,t}$ ：一个二进制相关性标签，指示视觉内容是否具有足够的辨识度以进行检索。
该结构允许对观察到的对象进行索引化、轻量化且人类可读的存储。

2. 对象记忆填充 (OMP)
该算法在视频流输入时持续更新 $M_{ego}$ 。它协调两个子模块：

对象追踪 (OT)： 使用视觉对象追踪器更新当前帧 $F_t$ 中先前记忆的对象位置。它根据置信度分数过滤结果，并将更新后的轨迹写入记忆。
对象发现 (OD)： 使用对象检测器在 $F_t$ 中检测新的感兴趣对象。它根据置信度过滤检测结果，并检查与现有记忆条目的交并比 (IoU)。新的、非重叠的检测结果作为新的对象实例添加到记忆中。
相关性过滤： 在写入记忆之前，通过一个二分类器评估视觉补丁，以确定其是否具有辨识度 ( $c_{i,t}=1$ )。这一步骤过滤掉了低质量或缺乏辨识度的补丁，以提高检索效率。

3. 查询检索与定位 (QRL)
当用户提供查询 $Q$ 时，QRL 算法：

提取特征表示 $\Phi(Q)$ 。
使用相似度函数 $\Psi}$ 将其与 $M_{ego}$ 中存储的所有相关对象补丁的特征 $\Phi(\phi_{i,t})$ 进行比较。
按对象实例聚合得分。如果最大相似度得分超过阈值，系统将返回该对象最近的连续边界框序列和帧序列，作为视觉响应轨迹 $r$ 。
至关重要的是，此过程仅依赖于 $M_{ego}$ ，而不访问原始视频 $V_{ego}$ 。

核心贡献

OVQ2D 任务定义： 本文引入了一个全新的、面向应用的基准测试，用于情景记忆检索，该测试强制要求在线、单次处理和紧凑的记忆使用，反映了可穿戴设备的约束。
ESOM 架构： 一个集成了对象发现、长期追踪和动态记忆管理的创新框架。它优先考虑实际部署和基准测试而非算法层面的新颖性，利用了最先进的检测和追踪组件。
现实世界基准测试： 作者在 Ego4D 数据集上提供了一个基准测试。他们认为，该基准测试不仅是情景记忆检索的价值资源，也是评估对象检测和追踪算法在下游任务中现实适用性的重要工具，从而超越了孤立的组件评估。

结果与性能

实验在 Ego4D 情景记忆 VQ2D 基准测试（433 小时视频，2.2 万个查询）上进行。

基线对比： ESOM 在成功率和效率方面优于其他在线方法（改编自 AMEGO 和 VideoAgent）。最佳 ESOM 配置（使用基于 YOLO 的检测器和 EgoSTARK 追踪器）实现了 4.02% 的成功率，内存占用为 1.7 GB，检索时间为 3.1 秒。
与离线方法对比： 虽然离线 VQ2D 方法实现了更高的成功率（例如 VQLoC 为 55.89%），但它们需要存储完整的视频（12.1 GB）并且检索时间显著更长（例如 41 秒）。与离线基线相比，ESOM 将内存使用量降低了高达 7 倍，并将检索时间缩短了高达 13 倍。
Oracle 分析： 论文强调，当前方法较低的成功率主要是由于在现实世界自我中心视频中目标检测和追踪的局限性，而非记忆架构本身的问题。
- 使用完美追踪 (Oracle OT) 和标准检测，成功率上升至 31.91%。
- 使用完美检测 (Oracle OD) 和标准追踪，成功率上升至 40.55%。
- 同时使用完美检测和追踪时，ESOM 达到了 81.92% 的成功率，超过了表现最好的离线方法。
组件分析：
- 使用 Siamese R-CNN 特征的 QRL 算法 一致地优于基于 DINOv2 的方法。
- 相关性过滤通过丢弃次优表示，显著提高了检索速度和准确性。
- 追踪性能（特别是关联准确度 AssA）对于 OVQ2D 的成功比原始检测准确度 (DetA) 更为关键，因为连贯的轨迹对于构建有效的响应序列至关重要。

重要性与主张

本文声称 OVQ2D 是迈向可部署的穿戴式设备情景记忆系统的必要步骤。虽然目前在现实世界数据上的成功率（约 4%）较为适中，但作者强调，这反映了自我中心视觉领域当前目标检测和追踪技术的现状，而非记忆检索范式的失败。

这项工作的意义在于：

可行性： 证明了情景记忆检索可以在可控的内存和计算预算内在线完成。
诊断价值： 该基准测试及其“Oracle”配置提供了一个原则性的测试平台，用于识别当应用于现实世界连续视频流时，目标检测和追踪算法的瓶颈，这表明未来这些基础组件的改进将直接转化为更好的情景记忆系统。
效率： 证明了紧凑的、以对象为中心的记忆表示可以提供相对于原始视频存储的显著存储和速度优势（前提是检测/追踪足够鲁棒）。