🤖 AI

Multi-scale Mixture of World Models for Embodied Agents in Evolving Environments

MultiSix 是一个针对具身智能体的新型框架，它通过引入一种基于经验距离的路由机制和尺度依赖的遗忘机制的尺度感知混合专家架构，增强了在演化环境中的多尺度推理与适应能力。

原作者： Jinwoo Jang, Daniel J. Rho, Sihyung Yoon, Hyunsuk Cho, Honguk Woo

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinwoo Jang, Daniel J. Rho, Sihyung Yoon, Hyunsuk Cho, Honguk Woo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一个试图在一个不断变化的房子中导航的机器人。有时，你只需要拿起一个杯子（一个简单的、即时的任务）。而有时，你需要弄清楚如何从一条正在蔓延火灾的走廊中逃生（一个复杂的、抽象且紧急的情况）。

这篇论文介绍了一个名为 MuSix 的新系统，旨在帮助机器人更好地处理这些不同的情况。它的实现方式是像一个专家团队一样工作，机器人能够根据当前情况感觉有多“新”或多“奇怪”，准确地知道该调用哪位专家。

以下是它的工作原理，使用了简单的类比：

问题所在：“一刀切”的机器人

目前的机器人通常使用单一的“大脑”或一组固定的规则。作者认为这是低效的，因为：

它不知道规模（Scale）： 如果机器人感到困惑，它可能会尝试用一个高层级的“哲学家”大脑来解决“拿起勺子”这种简单的任务；或者用一个简单的“反射”大脑来解决“逃离火灾”这种复杂的计划。
它学习得太快或太慢： 如果机器人每次看到新事物都更新知识，它可能会忘记重要的长期规则（比如“火是危险的”）。如果它从不更新，它就无法学到某个房间现在着火了。

解决方案：MuSix（“专家团队”）

MuSix 将机器人的大脑视为一种混合专家模型（Mixture of Experts）。想象一下一家拥有不同科室的医院：

低规模医生（Low-Scale Doctors）： 专注于即时、物理细节的专家（例如：“地板是否湿滑？”）。
高规模医生（High-Scale Doctors）： 专注于抽象规划和宏观规则的专家（例如：“最安全的出口路线是什么？”）。

MuSix 有两项主要创新来让这个团队完美运作：

1. “新颖度计量器”（经验距离）

与其猜测该叫哪位医生，MuSix 有一个“新颖度计量器”。它测量的是经验距离（Experiential Distance）。

类比： 想想你自己的记忆。如果你走进你的厨房，感觉很熟悉（低距离）。如果你走进一个从未见过的房间，感觉会很陌生和新奇（高距离）。
工作原理： 机器人将当前情况与它之前经历过的一切进行比较。
- 熟悉的情况？ 计量器保持在低位。机器人调用低规模专家来处理快速、常规的任务。
- 陌生/新的情况？ 计量器激增。机器人调用高规模专家来理解大局并制定新策略。

2. “两阶段切换”（路由）

旧系统只是随机选择一个医生，或者基于一种模糊的感觉。MuSix 使用了一个**两阶段路由（Two-Stage Routing）**系统：

第一阶段： “新颖度计量器”决定需要哪个级别的专业知识（低、中或高）。
第二阶段： 一旦选定了级别，就会选择该级别内的一个特定专家来执行工作。
为什么重要： 这确保了机器人不会在处理简单任务时浪费时间使用复杂的规划器，也不会在面临危险危机时仅使用简单的反射。

3. “记忆更新”系统（进化）

机器人需要在获得新经验的同时，不丢失旧有的知识。MuSix 通过**依赖规模的遗忘机制（Scale-Dependent Forgetting）**来处理这个问题：

低规模记忆（快速更新）： 关于即时环境的细节（比如“地板现在很湿”）变化很快。MuSix 更新这些记忆的速度很快，当它们不再真实时，遗忘的速度也同样快。
高规模记忆（缓慢更新）： 宏观规则（比如“不要碰火”）应该保持稳定。MuSix 更新这些规则的速度非常慢，这样机器人就不会意外地“忘掉”安全准则。
门控传递（Gated Transfer）： 有时，高层级的认知（例如：“火势正在蔓延”）需要告诉低层级的反射（例如：“向左跑”）。MuSix 有一个“门（Gate）”，允许信息在必要时在不同层级之间流动，从而保持整个团队的协调。

结果：它有效吗？

作者在两个主要场景中测试了 MuSix：

复杂推理（EmbodiedBench）： 在需要机器人理解物体、导航房间并遵循复杂指令的任务中，MuSix 的表现优于之前的顶尖方法。它特别擅长处理既需要物理灵巧性又需要抽象规划的任务。
动态灾难（HAZARD）： 他们模拟了环境条件发生快速变化的场景，如蔓延的火灾或上升的洪水。Muξ 在动态调整策略方面表现更好。与其他机器人相比，它挽救了更多的物体并减少了对环境的破坏，因为它能有效地在快速反应和战略规划之间进行切换。

总结

简而言之，MuSix 是一个更聪明的方式来组织机器人的知识。它不再拥有一个试图同时处理一切的单一大脑，而是利用“新颖度计量器”来决定是使用反射（针对熟悉的事物）还是使用战略家（针对新事物）。它还根据信息的重要性以不同的速度更新记忆，确保它在变化的世界中保持敏捷，同时不丢失其核心原则。

技术摘要：MuSix —— 用于具身智能体的多尺度混合世界模型

问题陈述

由视觉语言模型（VLM）驱动的具身智能体在处理现实世界中非平稳环境时面临重大挑战。尽管近期的进展提升了指令遵循能力，但这些智能体在多尺度推理（整合低层物理动力学与高层抽象推理）以及对变化条件的持续适应方面仍然表现挣扎。

作者确定了将标准混合专家（MoE）架构应用于该领域时的两个具体局限性：

混合挑战： 传统的 MoE 路由缺乏明确的“尺度”概念：路由决策基于潜在表示，而未将其与可识别的尺度挂钩，这导致无法在测试时针对特定的知识粒度进行定向更新。
演化挑战： 统一的更新策略无法适应知识失效速率的不同。低层知识（如局部动力学）变化频繁，而高层抽象（如规则）则保持稳定。标准的 MoE 强制所有专家以相同的速率演化，从而阻碍了有效的适应。

方法论：MuSix 框架

本文提出了 MuSix 框架，该框架通过尺度感知混合与演化来整合世界模型。其核心创新在于利用**经验距离（experiential distance）来引导路由决策，这是一种受解释水平理论（Construal Level Theory, CLT）**启发的衡量情境新颖性的标量度量。CLT 认为，心理距离决定了人类推理的抽象程度；MuSix 通过将当前观测值与累积经验之间的差距映射到连续的尺度空间，实现了这一理论的运算化。

1. 两阶段尺度路由

为了解决混合挑战，MuSix 将路由解耦为两个阶段：

第一阶段：元路由（尺度确定）： 一个连续的元路由（$MR $）将**经验距离**（$ $）将 * * 经验距离 * * （$ \delta $）映射到连续尺度空间（$ $）映射到连续尺度空间（$ S$）上的权重函数。
- 经验距离 ( $\delta$ )：通过当前观测嵌入与智能体在一段回合内过去经验的加权分布之间的马氏距离（Mahalanobis distance）计算得出。高 $\delta$ 表示新颖性；低 $\delta$ 表示熟悉度。
- 尺度感知损失： 一个损失函数（ $\mathcal{L}_{space}$ ）使预期的尺度量级与 $\delta$ 对齐，确保熟悉的情境路由至低尺度模型（具体模式），而新颖的情境路由至高尺度模型（抽象泛化）。
第二阶段：基础路由（世界模型选择）： 元路由生成的尺度权重与每个尺度的基础路由得分相结合，从 $G$ 个组中选择前- $k$ 个子集的模型。这确保了路由决策的尺度是显式的。

2. 尺度内与尺度间知识适应

为了解决演化挑战，MuSix 引入了用于测试时训练的机制：

尺度内适应： 知识增量（源自预测误差）根据元路由的输出分布到各个组中。至关重要的是，应用了尺度依赖的遗忘率：低尺度组具有高遗忘率（快速刷新），而高尺度组具有低遗忘率（保持稳定抽象的持久性）。
尺度间适应： 一种门控跨尺度传递机制允许知识在相邻尺度之间双向流动。门控参数调节信息流，确保一个层级的更新能够通知相邻层级，同时保持层级连贯性。

核心贡献

MuSix 框架： 一种多尺度混合世界模型，能够实现世界模型在测试时的动态混合与演化，并以经验距离为基础。
两阶段路由： 一种新型路由架构，明确地将尺度确定与世界模型选择分离，从而实现对适当尺度的定向更新。
适应机制： 尊重不同时间特性的尺度内与尺度间适应策略，允许在保留稳定抽象的同时，快速调整瞬态细节。
实验验证： 在多尺度推理和动态适应基准测试上证明了该框架的有效性。

实验结果

作者在 EmbodiedBench（多尺度推理）和 HAZARD（灾难场景下的动态适应）上对 MuSix 进行了评估。

EmbodiedBench (Habitat)： MuSix 相比最先进的 SayCanPay 基线实现了 6.05 个百分点 (p.p.) 的提升（平均成功率分别为 40.44% vs. 34.39%）。它在复杂推理 (Cpx) 和视觉理解 (Vis) 任务中表现出显著增益。
HAZARD (火灾/洪水)： 在火灾场景中，MuSix 比 FLARE 高出 1.49 p.p.（43.71 vs. 42.22 救援值）。在洪水场景中，虽然救援值相当，但 MuSix 显著降低了破坏率（4.65 vs. 基线的 6.60–7.49），表明其行为更高效。
真实世界机器人： 在 Franka Research 3 机械臂上的实验显示，MuSix 在平均成功率方面与最强基线（SayCanPay）表现相当（56.2% vs. 58.4%），同时在多样化任务中实现了最高的极差性能（worst-case performance）。
消融实验： 去除元路由会导致最大的性能下降，证实了两阶段路由的必要性。禁用尺度依赖遗忘或跨尺度传递也会一致地降低性能，验证了适应机制的作用。

意义与主张

本文声称，通过引入尺度感知和层级演化，MuSix 成功解决了传统 MoE 在具身智能中的局限性。通过将路由建立在经验距离之上，该框架使智能体能够：

针对给定情境动态选择合适的抽象水平。
在不破坏整个系统的情况下更新特定知识粒度（减轻灾难性遗忘）。
在对局部变化的快速适应与高层策略的稳定性之间取得平衡。

作者指出，该框架的有效性源于其路由机制本身，而非特定的世界模型架构，因为其在各种架构变体中均表现稳健。然而，他们也谦虚地承认，该框架继承了其底层 VLM 主干模型的局限性，且在更多样化的机器人平台上的广泛验证是未来的必要步骤。