🤖 AI

MIRTH: Mutual-Information Reasoning with Temporal Hubs for Vision-Language-Action Agents

MIRTH 是一个用于视觉-语言-动作智能体的统一框架，它通过集成双尺度时间记忆枢纽、互信息优化的潜在推理标记以及并行向量化动作解码方案，增强了性能与效率，从而克服了当前单帧架构的局限性。

原作者： Hao Sun, Yu Song, Shiyu Teng, Ziwei Niu, Yen-Wei Chen

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Hao Sun, Yu Song, Shiyu Teng, Ziwei Niu, Yen-Wei Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人做晚饭。你给它一个简单的指令：“把奇异果放在案板上。”

目前的机器人大脑（被称为 VLA 模型）就像是一个只能看到下一秒生活的普通人。如果你递给它一把刀，它能看到这把刀。但如果你用毛巾把刀盖住，它会立刻忘记这把刀的存在并停止工作。此外，它们很难将宏大的概念（“做晚饭”）与微小的肌肉动作（“手臂向右移动 2 英寸”）联系起来。最后，它们反应很慢；它们必须一个接一个地思考每一个微小的动作，就像蜗牛打字一样。

这篇论文介绍了一个名为 MIRTH 的新方法来构建机器人大脑，它解决了这三个问题。以下是它的工作原理，我们使用简单的类比来解释：

1. “双尺度记忆”（解决注意力短浅的问题）

目前的机器人存在“时间近视”（temporal myopia）。如果物体被遮挡，它们就会失去追踪能力。

MIRTH 给机器人提供了两种类型的记忆笔记本：

“长期工作空间”笔记本： 这就像是对房间布局的一种缓慢、稳定的记忆。即使机器人因为某些东西挡住了视线而几秒钟内看不见，它也能记住：“案板在左边。”它使用一种特殊的数学技巧（指数移动平均，EMA）来保持这种记忆的平滑和稳定。
“短期运动”笔记本： 这是一个节奏极快的笔记本，用于追踪快速的变化，比如“杯子正在向右快速移动”。它以高细节度记录过去几秒钟内的运动情况。

类比： 想象你在开车。你的“长期记忆”是你知道高速公路出口很快就要到了；而你的“短期记忆”是对前方车辆突然刹车的即时反应。MIRTH 将两者结合，使机器人即使在物体被遮挡时也不会迷失方向。

2. “沉默规划器”（解决推理鸿沟的问题）

机器人通常难以将人类的语言转化为物理动作。它们要么随机猜测，要么因为语言与动作无法完美匹配而陷入停滞。

MIRTH 引入了 “潜层推理 Token” (Latent Reasoning Tokens)。

类比： 想象机器人在遵循食谱。与其大声喊出每一个步骤（“拿起勺子，向左移动，打开罐子”），MIRTH 在其大脑内部创建了一组沉默且无形的思维气泡。这些气泡不是文字，而是纯粹的“意图”。
该系统经过训练，使这些思维气泡包含恰好足够的信息，从而将指令（“打开抽屉”）与动作（移动手臂）连接起来。这就像是一种秘密代码，在不需要人类为每一个动作编写手册的情况下，架起了“你想做什么”与“你实际做什么”之间的桥梁。

3. “并行引擎”（解决速度问题）

旧的机器人很慢，因为它们是“自回归”的。这意味着它们计算一个微小的动作，然后是下一个，再下一个，就像一个人一次只写一个字母那样。如果机器人需要向 6 个方向移动手臂，它必须一个接一个地写出 6 个字母。

MIRTH 使用了 “并行动作解码” (Parallel Action Decoding)。

类比： MIRTH 不是逐个字母地写句子，而是瞬间写出一个完整的单词。它观察计划，并一次性输出整个运动向量（所有关节的完整方向和速度）。
这使得机器人反应极其迅速，能够实现实时反应，就像人类接住球时的反应一样。

结果：发生了什么？

研究人员在两个地方测试了 MIRTH：

视频游戏模拟环境 (LIBERO)： 他们给了机器人需要长期记忆的任务，例如“打开抽屉，把勺子放进去，然后关上抽屉”。
- 结果： MIRTH 几乎 100% 成功。当物体被遮挡或移动时，它不会感到困惑；它记得物体在哪里，并能从错误中恢复。
真实的机器人手臂 (LeRobot)： 他们将代码运行在一个真实厨房里的物理机器人上。
- 结果： 机器人可以处理复杂的任务，例如根据类别（例如“把所有红色的东西放在这里”）来整理水果和蔬菜。它在处理错误方面比其他机器人表现得好得多。如果它掉落了一个水果，它不会直接放弃，而是会弄清楚哪里出了错并尝试重新开始。

总结

MIRTH 是一种机器人大脑升级方案，它：

记忆过去（因此不会忘记被遮挡的物体）。
通过一种高效的秘密语言进行思考，以弥合语言与动作之间的差距。
通过一次性计算所有动作而非逐一计算，从而实现快速移动。

该论文声称，这使得机器人更加可靠、快速，并且能够处理现实世界中复杂的长程任务。代码和数据正被发布以供他人使用。

技术摘要：MIRTH —— 用于视觉-语言-动作智能体的互信息推理与时序枢纽

1. 问题陈述

视觉-语言-动作（VLA）模型已展示出将大规模网络数据中的语义知识迁移到物理机器人控制的能力。然而，当前的开源 VLA 架构面临三个内在的结构性限制，阻碍了其在长程（long-horizon）和动态任务中的应用：

时序近视（Temporal Myopia）： 大多数最先进的 VLA 在单帧机制下运行，仅根据即时观测进行动作解码。这丢弃了对于鲁棒决策至关重要的丰富时序线索（例如：运动趋势、遮挡期间的物体持久性）。虽然一些方法引入了时序分块（temporal chunking），但它们往往缺乏大规模视觉-语言模型（VLM）所具备的泛化语义理解能力。
推理鸿沟（Reasoning Gaps）： 高层语言目标与底层电机指令之间存在脱节。现有方法要么将输入直接映射到动作（缺乏可解释性），要么依赖于由手工构建词表监督的离散动作标记（action tokens），这会导致“多对一”问题，即多样化的描述被映射为相同的动作。
推理效率低下（Inference Inefficiency）： 标准策略将连续动作维度量化为离散标记，这需要针对单个操作进行长序列标记的自回归生成。这造成了严重的延迟瓶颈，使得与基于扩散策略（diffusion-based policies）相比，实现实时、高频控制在计算上变得难以承受。

2. 方法论：MIRTH 框架

为了解决这些挑战，作者提出了 MIRTH（Mutual-Information Reasoning with Temporal Hubs，基于时序枢纽的互信息推理），这是一个通过三种关键创新来增强预训练 VLA 主干网络的统一框架。

2.1 双尺度时序记忆枢纽

为了在不膨胀上下文窗口的情况下克服时序近视，MIRTH 引入了两种记忆机制，将历史信息压缩为固定长度的提示（promts）：

工作空间记忆枢纽（长期）： 维护一组具有不同衰减率的 $K$ 个指数移动平均（EMA）。该枢纽累积场景级证据（如布局、物体持久性）以跨越长时程，使模型即使在物体被遮挡时也能进行追踪。
短时程记忆枢纽（短期）： 维护一个最近帧（ $w$ 帧）的固定长度队列。它计算具有近期偏置的时序注意力分布，以捕捉细粒度的运动动力学（速度和变异性）。
集成方式： 这些枢纽通过每补丁（per-patch）的 Sigmoid 门控进行融合，并通过 前缀（Prefix） 策略（将记忆标记附加到序列中）或 注入（Infusion） 策略（调制补丁嵌入）集成到当前帧的表示中。这使得模型能够在保持恒定标记数量的同时，以任意历史记录为条件进行推理。

2.2 通过互信息进行的潜在推理

为了避免依赖昂贵且模糊的文本监督来进行中间规划步骤，MIRTH 引入了一组可学习的潜在推理标记（latent reasoning tokens）。

目标： 这些标记通过对比性的**互信息（MI）**目标（基于 InfoNCE 损失）进行优化。
机制： 推理标记被放置在多模态上下文（视觉 + 指令）与动作输出之间。训练目标是最大化以下两者之间的互信息：
1. 推理表示与多模态上下文之间的互信息 ( $L_{rx}$ )。
2. 推理表示与相应动作轨迹之间的互信息 ( $L_{ra}$ )。
结果： 这迫使潜在标记编码出一个“语义规划空间”，该空间将视觉观测与动作意图对齐，而无需承诺具体的文本解释，从而有效地弥合了推理鸿沟。

2.3 并行动作解码

为了解决自回归标量解码的效率瓶颈，MIRTH 采用了并行动作解码方案：

向量化预测： 模型不再为每个自由度（DoF）生成一个标记序列，而是为每个完整的动作向量（chunk）分配一个动作标记。
并行生成： 给定动作标记的隐藏状态，整个动作轨迹通过一个轻量级的投影头进行并行解码，而非顺序解码。
优势： 这将动作标记序列的长度缩减了 $1/N_F$ 倍（其中 $N_F$ 是自由度数量），并显著降低了解码延迟，实现了适用于实时部署的高吞吐量控制。

3. 核心贡献

架构： 一种新型 VLA 架构，通过集成双尺度时序记忆枢纽，在不扩展上下文窗口的情况下保留长期场景布局和短期动力学。
推理机制： 一种基于互信息的标签高效型方法，用于学习潜在推理标记，从而在感知与控制之间建立语义桥梁，避免了对显式文本监督的需求。
效率： 一种并行向量化解码范式，取代了自回归标量生成，在保持统一的基于标记接口的同时，实现了高控制吞吐量。
评估： 在 LIBERO 仿真基准和真实的 LeRobot 平台上进行了全面验证，证明了其卓越的性能和涌现的错误恢复能力。

4. 实验结果

作者在仿真和真实硬件上将 MIRTH 与强基线模型（如 OpenVLA、Octo、Diffusion Policy）进行了对比评估。

LIBERO 仿真： MIRTH 在所有测试套件中均达到了接近饱和的性能。值得注意的是，在极具挑战性的 LIBERO-Long 套件（需要长程上下文）中，MIRTH 实现了 95.3% 的成功率，显著优于 OpenVLA (53.7%) 和其他 SOTA 模型。
LeRobot 真实世界： 在物理单臂机械臂上，MIRTH 在复杂推理场景（如操纵关节物体、多步食谱）中表现出卓越的鲁棒性。它保持了与较轻量级基线模型相当的高推理吞吐量。
消融实验：
- 移除时序记忆枢纽会导致性能显著下降（高达 2.1%），证实了它们在长程任务中的必要性。
- 移除 MI 推理目标会降低性能，验证了潜在标记在对齐意图与动作方面的作用。
- 错误恢复： MIRTH 展示了 12.1% 的涌现错误恢复率（检测失败并重新规划），而单帧基线模型的恢复率微乎其微（<10%）。
时序接地（Temporal Grounding）： 线性探测确认，与单帧模型相比，MIRTH 的嵌入能更好地编码高阶运动导数（速度）。敏感性测试显示，打乱时序历史会显著降低成功率，证明了模型依赖于因果时序连贯性。

5. 重要性与主张

本文声称 MIRTH 是使 VLA 模型能够胜任复杂现实世界机器人任务的重要进步。通过在标记空间内显式地构建记忆与推理，MIRTH 成功解决了困扰当前架构的“时序近视”和“推理鸿沟”问题。

作者强调，其方法实现了：

鲁棒性： 即使在遮挡或长时间延迟的情况下，也能保持物体状态和规划的一致性。
效率： 实现了此前受限于自回归解码开销的实时控制能力。
涌现能力： 潜在推理标记能够自发地组织成语义簇，使智能体能够在无需显式编程的情况下，在失败时动态地重新规划。

这项工作被呈现为一个统一的框架，它既平衡了 VLM 的语义丰富性，又兼顾了物理智能体所需的精确且具备历史感知能力的控制，同时在计算上保持高效，足以进行边缘侧部署。作者指出了其局限性，包括可解释性（潜在标记是不透明的）和具身范围（目前为单臂），但将 MIRTH 定位为迈向更强大的具身智能的重要基础步骤。