🤖 AI

Mixture of Horizons in Action Chunking

本文提出了混合时界（Mixture of Horizons, MoH），这是一种即插即用的策略，通过将动作块重新排列为具有不同时界的段落，以同时优化长期预见性和短期精确性，从而克服视觉-语言-动作（Vision-Language-Action）模型中固有的权衡问题，并实现具备动态推理能力的先进性能。

原作者： Dong Jing, Gang Wang, Jiaqi Liu, Weiliang Tang, Zelong Sun, Yunchao Yao, Zhenyu Wei, Yunhui Liu, Zhiwu Lu, Mingyu Ding

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dong Jing, Gang Wang, Jiaqi Liu, Weiliang Tang, Zelong Sun, Yunchao Yao, Zhenyu Wei, Yunhui Liu, Zhiwu Lu, Mingyu Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Mixture of Horizons in Action Chunking》的解释，使用了简单的语言和日常类比。

核心问题：“变焦镜头”的两难困境

想象你正在开车。为了安全驾驶，你需要同时具备两样东西：

长期预见性： 你需要看向远方的路面，看到前方即将出现的弯道，以便及早开始转向。
短期精准度： 你需要近距离观察仪表盘以及车头正前方的路面，以避免撞到坑洼或小松鼠。

论文指出，目前的机器人大脑（被称为视觉-语言-动作模型，即 VLA 模型）很难同时做到这两点。它们被迫选择一个“缩放级别”（作者称之为时界/Horizon）：

如果放大缩小倍数（长时界/Long Horizon）： 它们擅长规划复杂的、多步骤的任务（比如“去厨房，打开冰箱，拿牛奶”）。但是，它们在处理细微、即时的动作时会变得笨拙。它们可能会因为观察不够细致而撞到物体。
如果放大缩小倍数（短时界/Short Horizon）： 它们在处理即时动作时非常精准。但是，它们会对大局感到困惑。它们可能会拿到了牛奶，却忘了先打开冰箱，或者在漫长的步骤序列中迷失方向。

以前，工程师必须为整个机器人选择一个缩放级别。如果选错了，机器人就会在某些任务上失败。

解决方案：“时界混合”（Mixture of Horizons, MoH）

作者提出了一种聪明的解决方法，叫做时界混合（Mixture of Horizons, MoH）。与其强迫机器人只选择一个缩放级别，不如让机器人能够同时使用多个缩放级别。

把它想象成一个由三位专家组成的团队站在机器人旁边，他们看着同一个场景，但使用的是不同的镜头：

专家 A 观察未来 10 步（短期）。
专家 B 观察未来 20 步（中期）。
专家 C 观察未来 30 步（长期）。

机器人的大脑（“动作 Transformer”）会同时向这三位专家征求建议。然后，一个微小且聪明的“门卫”（一个简单的线性层）会倾听所有人的意见并做出决定：“对于当前的这个瞬间，专家 A 关于转动方向盘的建议最好，但专家 C 关于接下来该往哪开的建议更好。”

机器人随后将这些意见结合起来，形成一个完美的动作。

实际运作方式

并行处理： 机器人不需要运行三个不同的脑子。它运行一个大脑，同时处理所有三个“缩放级别”。这非常快，不会拖慢机器人的速度。
门卫（Gatekeeper）： 这是一个微型、轻量级的组件（仅增加 2,000 个参数），它学习如何混合这些建议。它会学习到：对于“长而弯曲的路径”，它应该更多地信任长期专家；对于“狭窄的挤压空间”，它应该更多地信任短期专家。
动态推理（“自我修正”功能）：
- 论文引入了一个很酷的技巧，即机器人会检查所有的专家是否达成了一致。
- 如果专家们对接下来的 10 步都意见一致，机器人就会自信地一次性执行完这 10 步（动作很快）。
- 如果专家们开始产生分歧（比如机器人正接近一个棘手的决策点），机器人会提前停止，重新评估并重新规划。
- 类比： 想象你在森林中行走。如果路径笔直清晰，你就迈大步走；如果你遇到了岔路口或灌木丛，你就停下来，观察四周，然后迈出更小、更谨慎的步伐。机器人会自动完成这个过程，使其既更快又更安全。

结果：为什么这很重要

作者在机器人执行折叠毛巾、倒牛奶和堆叠积木等任务时测试了该方法。

全方位提升： 机器人变得在处理短期精准任务（如倒牛奶而不洒出来）和长期复杂任务（如把笔放入抽屉并关上抽屉）方面都表现得更好。
消除了权衡： 它解决了“变焦镜头”的两难困境。机器人不再需要在精准度和规划能力之间做取舍。
速度： 由于机器人在有信心时可以采取更长的步幅，它完成任务的速度比以往的方法快了 2.5 倍，且没有增加错误。
即插即用： 这种方法可以添加到几乎任何现有的机器人大脑中，而无需重建整个系统。

总结

这篇论文引入了一种赋予机器人“多镜头”视觉的方法。与其强迫它们在观察大局或观察细节之间做出选择，不如让机器人同时使用两者。一个智能的“混合器”将这些视角结合起来，从而做出既具前瞻性又具精准性的决策，使机器人在现实世界中移动得更快、更聪明。

技术摘要：动作分块中的混合时界 (Mixture of Horizons in Action Chunking)

1. 问题陈述

视觉-语言-动作 (VLA) 模型通过在视觉观测和语言指令的条件下预测未来动作序列（动作块，action chunks），展示了执行复杂机器人任务的卓越能力。这些模型设计中的一个关键选择是动作块长度，即时界 ( $H$ )。

本文指出，在选择单一固定时界时存在内在的权衡：

长时界 (Long Horizons)： 提升长期规划和预见性，从而在需要长轨迹的任务（如多步操作）中表现更好。然而，它们往往会降低细粒度的局部控制和即时的电机精度。
短时界 (Short Horizons)： 实现精确、高频的控制，并在短时界任务中获得更高的成功率。但是，它们缺乏处理复杂、长时界规划所需的全局上下文。

现有方法通常依赖于启发式选择的固定时界，这造成了泛化能力的瓶颈。单一的时界无法同时优化长期预见性和短期精度，从而限制了模型在多样化任务集中的适应性。

2. 方法论：混合时界 (MoH)

为了缓解这一权衡，作者提出了混合时界 (Mixture of Horizons, MoH)，这是一种将多个动作时界集成到单个模型中的即插即用策略。

核心架构

MoH 将一个标准长度为 $H$ 的动作块重新排列为具有不同时界 $\mathcal{H} = \{h_1, \dots, h_N\}$ （其中 $h_N = H$ ）的若干段。

并行处理： 模型使用一个共享动作 Transformer 并行处理这些截断后的动作块。为了确保计算效率，动作块被填充至长度 $H$ ，并使用特定于时界的注意力掩码（attention masks）来使位置 $k > h$ 失效。视觉-语言模型 (VLM) 主干仅计算一次，轻量级的动作 Transformer 处理并行时界时产生的额外开销极小。
门控融合 (Gated Fusion)： 一个轻量级的线性门控头（仅增加约 2k 参数）融合来自不同时界的预测。对于每个时间步 $k$ ，门控计算有效时界（ $k \le h$ ）的权重 $\alpha_{t,k,h}$ ，并产生最终的融合预测：
$\hat{a}_{t,k} = \sum_{h \in \mathcal{H}: k \le h} \alpha_{t,k,h} \hat{a}^{(h)}_{t,k}$
训练目标： 总损失结合了融合预测的损失 ( $L_{mix}$ )、各时界独立预测损失之和 ( $L_{ind}$ )，以及一个平衡损失 (balance loss, $L_{bal}$ )。受混合专家 (mixture-of-experts) 文献启发，平衡损失鼓励门控网络均匀地利用所有时界，防止模型坍缩到某一个首选时界。

通过跨时界共识进行动态推理

MoH 实现了一种基于预测置信度调整执行长度的动态推理方案：

机制： 在每个时间步，模型将不同时界的预测视为“投票者”。它计算融合动作与各时界特定动作之间的分歧度（例如 $\ell_1$ 距离）。
自我截断 (Self-Truncation)： 只要分歧度保持在基于数据的阈值（源自前 $n$ 步）之下，且仍有足够数量的时界处于活跃状态，系统就会执行动作块的前缀。
收益： 这使得机器人在平滑、低风险的运动期间可以执行较长的动作序列（高共识），而在关键决策点或细粒度操作期间进行更频繁的重规划（低共识），从而提高了稳定性和吞吐量。

3. 核心贡献

系统性分析： 本文通过系统性研究揭示了 VLA 动作分块中长期预见性与短期精度之间的基本权衡，证明了固定时界会导致在不同类型任务中表现不佳。
MoH 策略： 引入了一种通用的、低开销的方法来融合多个时界。MoH 兼容流匹配 (flow-matching) 策略（如 $\pi_0, \pi_{0.5}$ ）和单步回归/分类策略，且仅需极小的架构改动。
动态推理： 作者提出了一种基于共识的动态推理机制，提高了执行的稳定性和效率，在保持或提高成功率的同时，实现了高达 $2.5\times$ 的吞吐量提升。

4. 实验结果

作者在多个基准测试中评估了基于流的模型 ( $\pi_0, \pi_{0.5}, \text{StarVLA}$ ) 和基于回归的模型 ( $\pi_{reg}$ ) 的 MoH 表现：

LIBERO 基准测试： MoH 在所有四个任务套件（空间、物体、目标、长程）中一致地提升了性能。值得注意的是，带有 MoH 的 $\pi_{0.5}$ 在仅经过 30k 次迭代后就达到了 99% 的平均成功率，刷新了该基准测试的最优性能 (SOTA)。它有效地缓解了权衡问题，在不牺牲短时界性能的前提下，提升了长时界任务的表现（例如 $\pi_0$ 在 Long 套件上提升了 3.2%）。
RoboTwin 2.0： MoH 在“简单”（域内）和“困难”（领域随机化）设置下均提升了成功率，展示了增强的鲁棒性和泛化能力。
RoboCasa： 在复杂度较低且多样化的家庭环境中，MoH 相比基线 GR00T 模型取得了持续增益（平均 +3.4%）。
真实世界实验： 在 7 自由度机械臂上的部署显示，MoH 在从短时界物体放置到长时界抽屉关闭及细粒度可变形物体操作（如折叠毛巾）的任务中均表现出一致的增益。
消融实验：
- 时界密度： 中等密度的时界集合（例如步长 $d=3$ ）提供了最优性能，平衡了增益与计算成本。
- 多样性 vs. 集成： 增益归功于时界的多样性而非通用的集成效应；使用相同的时界几乎没有带来改进。
- 门控： 可学习的门控融合优于简单的均匀平均，且平衡损失对于防止门控坍缩至关重要。

5. 重要性与主张

本文声称 MoH 为当前 VLA 架构的一个关键局限提供了原则性的解决方案：即无法同时优化长期规划和短期控制保真度。

即插即用的效率： 由于动作 Transformer 的轻量化特性和共享参数的使用，该方法计算效率极高，引入的训练和推理开销极小。
泛化性： MoH 不受特定策略类型（流匹配或回归）或主干网络的限制，具有广泛的适用性。
动态适应性： 通过实现跨时界共识，MoH 促进了自适应闭环控制，允许机器人根据任务不确定性和复杂性动态调整其规划时界。

作者强调，虽然 MoH 显著改善了动作预测和执行稳定性，但它并未直接解决视觉感知或指令遵循方面的局限性，后者仍是 VLA 模型面临的独立挑战。这项工作将 MoH 定位为迈向更鲁棒、更具扩展性的具身智能系统的基础性一步。