🤖 AI

FlowMaps: Modeling Long-Term Multimodal Object Dynamics with Flow Matching

FlowMaps 是一种潜在流匹配模型，它通过学习人机交互的时空模式来预测未来物体位置的多模态分布，从而显著提升了机器人在动态家庭环境中的导航与搜索性能。

原作者： Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在一个和你室友同住的房子里寻找丢失的钥匙。如果你问一个标准机器人：“我的钥匙在哪？”它可能会去检查昨天你把它们放在桌子上的地方。但在真实的家庭中，事物是会移动的。你的室友可能会根据他们的日常习惯，把钥匙挪到了厨房柜台，或者洗手池边。

这正是 FlowMaps 所解决的问题。这是一种新型的 AI，旨在帮助机器人理解，家里的物体并不是静止的雕像；它们就像剧中的演员一样，根据人类的习惯在移动。

以下是其工作原理的简单分解，使用了日常类比：

1. 问题所在：“移动的目标”

在房子里，人类不断地移动物品。早晨咖啡杯可能在柜台上，中午在洗碗机里，晚上则在餐桌上。

旧式机器人： 表现得像是患了失忆症。它们假设如果一个物体昨天在某个位置，今天也会在那里。如果你让它们找眼镜，它们会去最后一次看到眼镜的地方，然后失败。
挑战： 机器人需要猜测物体“可能”在哪里，而不仅仅是它“曾经”在哪里。但由于人类的习惯各不相同，因此不存在唯一的答案。眼镜可能在床头柜上，也可能在洗手池边或书桌上。机器人需要同时考虑所有这些可能性。

2. 解决方案：“FlowMaps”（水晶球）

研究人员创建了一个名为 FlowMaps 的系统。把它想象成一个物体的天气预报。

正如天气预报不会说“下午 2:00 一定会下雨”，而是显示一张地图，显示某区域有 70% 的降水概率，而另一区域有 30% 的降水概率，FlowMaps 也不会猜测物体的单一位置。
相反，它会创建一个可能性的云团。它会说：“基于人类通常的行为模式，手机有很高概率在书桌上，中等概率在床头柜上，较小概率在客厅里。”

3. 它如何学习：“模式侦探”

机器人是如何在没有被明确告知的情况下学习这些习惯的呢？

训练： 团队并没有通过告诉机器人“人类把眼镜放在床头柜上”来教它。相反，他们使用了一个视频游戏模拟器 (ProcTHOR) 来生成数千个虚拟家庭。他们编写了“虚拟人类”在这些家庭中生活数周，并以现实的方式移动物体（例如，将一本书从书架移到桌子上）。
学习： 机器人观察了这些虚拟人类如何移动物品。它学会了房屋的节奏。它意识到，尽管它不知道人类为什么要移动杯子，但移动的模式是一致的。
神奇之处： 它通过观察当前的场景和物体的标签（例如“手机”），学会了预测物体的未来位置，而无需知道导致移动的具体人类活动。

4. 核心秘诀：“流匹配 (Flow Matching)”

其背后的技术引擎被称为 Flow Matching。

类比： 想象你在装满水的玻璃杯中滴入了一滴墨水。你想知道 10 秒后墨水会在哪里。
- 传统方法可能会尝试猜测墨水经过的确切路径。
- Flow Matching 则是学习水的“流向”。它学习将墨水从起点推向终点的“流（current）”。
在本文中，“墨水”是物体的位置，“流”是人类的习惯。该模型学习了在时间维度上移动物体的不可见“流”。因为它学习的是“流”，所以它可以预测许多不同的可能目的地（多模态），而不是仅仅预测一条直线。

5. 实验结果：寻找丢失的手机

研究人员通过两种方式测试了该系统：

在模拟中： 他们运行了 600 多个场景，机器人在虚拟房屋中寻找物体。FlowMaps 寻找物体的表现远优于以往的方法。它不仅能猜出一个点，还能给机器人提供一个排好序的最有可能的位置列表，从而让机器人优先检查最佳猜测。
在现实世界中： 他们将该系统安装在一个真实的机器人（TIAGo 机器人）上并在实验室中进行测试。机器人必须找到一个人在不同书桌之间移动过的手机。机器人利用 FlowMaps 预测了手机在数小时后的位置。它通过按顺序检查预测的位置，成功找到了手机。

总结

FlowMaps 就像是赋予了机器人一种感知人类习惯的“第六感”。它不再仅仅记住事物“曾经在哪里”，而是理解事物如何根据常规进行“移动”。通过预测一个可能性的连续流（而非单个点），它帮助机器人更有效地在充满变化的家庭环境中导航，从而更快、更少错误地找到丢失物品。

核心要点： 该论文声称，通过将物体移动建模为连续的可能性流，而非固定的猜测，该方法在模拟和真实机器人实验中，在寻找动态家庭中的物体方面，都优于目前的尖端方法。

技术摘要：FlowMaps

问题定义

在人类居住的环境中运行的机器人代理面临着由于这些空间内在的动态性而带来的显著挑战。与静态场景不同，日常物品经常因人类交互而被移动，导致其位置随时间发生变化。这为诸如目标导航（Object Navigation, ObjNav）之类的任务带来了关键困难，即机器人必须寻找目标物体（例如，“寻找我的眼镜”），但无法保证该物体仍停留在之前观察到的位置。

核心问题是：在给定当前场景地图 $M_\tau$ 、查询物体标签 $l_q$ 和预测时界 $\tau_f$ 的情况下，推断动态物体的未来边界框分布 $p(b_{q,\tau_f} | M_\tau, l_q, \tau_f)$ 。现有方法通常依赖于离散的容器级关系、假设场景是静态的，或者依赖于高成本的视觉语言模型（VLM）和人工设计的先验知识。此外，物体的位移本质上是多峰的（一个物体可能合理地移动到多个不同的位置），并且发生在连续的 3D 空间中，这需要一种既能捕捉空间连续性，又能捕捉多种合理模式（且无需对人类活动进行显式标记）的模型化方法。

方法论：FlowMaps

作者提出了 FlowMaps，这是一个基于潜在流匹配（Latent Flow Matching, FM）的框架，旨在估计连续 3D 空间中未来物体位置的多峰分布。该架构由两个主要模块组成：

变分自编码器 (VAE)：
- 将物体标记（包含归一化的 3D 边界框和语义标签）编码到紧凑的潜在空间 $z \in \mathbb{R}^{d_z}$ 中。
- VAE 被训练用于同时重建几何形状（边界框参数）和语义（物体类别标签）。
- 一旦训练完成，编码器将被冻结以提供流模型的目标潜在表示，而解码器则负责将生成的潜在表示映射回物体预测。
潜在流匹配网络：
- 基于条件扩散 Transformer（CDiT）架构，该网络学习一个向量场 $u_\theta^t$ ，将样本从简单的高斯基分布 $p_0$ 传输到目标潜在分布 $p_1$ （代表未来的物体状态）。
- 地图编码器 (Map Encoder)： 使用 Transformer 编码器将场景上下文（动态物体和静态背景家具）聚合为一系列上下文化的标记（tokens）。该编码器具有置换不变性，并依赖边界框嵌入来构建空间结构。
- CDiT 模块： 一组 CDiT 模块通过交叉注意力机制关注场景上下文，从而细化噪声查询潜在值。调节向量包括流时间 $t$ 、最终时间戳 $\tau_f$ 和查询标签 $l_q$ 。
- 训练： 模型使用基于条件最优传输路径的条件流匹配（CFM）进行训练。目标潜在值由由冻结的 VAE 编码的地面真值未来边界框导出。源-目标对通过精确的微批次最优传输计划进行匹配，以确保轨迹更加平直。
- 推理： 给定场景和查询，地图编码器计算一次上下文标记。随后，通过从采样的噪声向量 $z_0$ 到最终潜在值 $z_1$ 进行积分，并将 $z_1$ 解码为预测的边界框。重复采样可以生成未来可能位置的多峰分布。

数据生成：
为了大规模训练该模型，作者利用 ProcTHOR 生成动态室内环境。他们模拟了三种截然不同的人类习惯（常规），以创建具有语义一致性的物体运动模式：

习惯 #1： 偏好驱动型（物体返回到一小组受青睐的位置）。
习惯 #2： 平衡型（时间均匀分布在相关位置）。
习惯 #3： 高度动态型（在不同位置之间频繁转换）。
这一过程产生了超过 180 万个每个习惯对应的训练样本，确保模型是从数据中学习潜在规律，而非依赖显式的活动标签。

核心贡献

FlowMaps 架构： 一种新型基于 FM 的框架，用于表示和预测动态环境中连续、多峰的时空物体分布，直接在 3D 空间中运行，而非离散的容器类别。
下游应用 (ObjNav)： 将 FlowMaps 作为动态场景中目标导航的先验知识进行展示。该方法使机器人能够推理物体在随时间变化的可能放置位置，性能优于零样本基线和经过训练的专家策略。
全面评估： 涵盖了超过 600 个跨不同环境和真实世界部署的模拟 ObjNav 情节的广泛定量和定性评估。研究验证了该方法的合理性、有效性、跨环境泛化能力以及实际可行性。

实验结果

评估在模拟（ProcTHOR/AI2-THOR）和真实世界（TIAGo 机器人）设置中均进行了。

分布性能： FlowMaps 实现了 0.342m 的 minFDE，优于最强的基线（FreqPrior 为 0.370m）7.6%。它在密度 (0.886) 和 覆盖率 (0.999) 指标上均表现出优于基线的性能，表明其样本紧密集中在地面真值模式周围，同时有效地覆盖了合理的空间。单点预测器（如 EmpiricalMean）的表现明显较差（minFDE > 2m），凸显了多峰建模的必要性。
目标导航 (ObjNav)： 在三种不同的习惯下，FlowMaps 始终取得了最高的平均成功率 (mSR) 和路径长度加权平均成功率 (mSPL)。
- 在习惯 #1 中，FlowMaps 达到了 69.26% 的 mSR，超过了次优方法 (SGM: 67.26%)。
- 在习惯 #3（最具动态性和挑战性的习惯）中，FlowMaps 达到了 64.39% 的 mSR，显著优于基于图的方法 (HOMER: 58.93%, SGM: 56.84%) 和零样本 LLM 基线。
- 值得注意的是，FlowMaps 的 SR@1（首次预测成功率）通常超过了竞争对手的 SR@5，表明其顶层预测具有极高的精确度。
真实世界部署： 该方法已成功部署在 TIAGo 机器人上，用于在真实实验室环境中定位“手机”，展示了将学习到的先验知识迁移到物理环境的能力。

意义与主张

论文声称，通过连续、多峰的时空分布对物体动态进行建模，可以显著改善机器人在变化的家庭环境中的搜索和导航。主要断言包括：

隐式学习： 预测物体位置不需要显式识别导致位移的人类活动；这种结构直接从数据中涌现。
泛化性： 只要具有相似的物体常规（习惯），学习到的先验知识即可泛化到未见的家庭布局和物体排列，无需针对每个家庭进行微调。
效率： 通过避免显式的场景图构建或沉重的 VLM 推理，FlowMaps 在保持高效的同时，性能超越了以往的动态 ObjNav 方法。
模态性： 该方法有效地处理了物体位移固有的多峰性，为机器人推理提供了比静态场景假设或离散状态预测更丰富的先验。

作者承认了局限性，包括目前依赖于封闭的物体类别和容器集合、需要大量的训练数据（通过模拟缓解），以及评估仅限于三种特定的习惯类型。未来的工作旨在解决开放词汇设置并提高在线微调的样本效率。