🤖 AI

Towards Predictive, Aligned, and Scalable Robot Learning

本文介绍了 Lumo-2，这是一种轻量级的潜在世界-动作模型，它通过采用多阶段预对齐策略来构建潜在空间，并确保动作、视觉与语言之间的跨模态一致性，从而在复杂的现实世界任务中实现了卓越的预测推理与控制性能。

原作者： Peijun Tang, Shangjin Xie, Baifu Huang, Binyan Sun, Haotian Yang, Kuncheng Luo, Weiqi Jin, Shilin Fang, Jianan Wang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Peijun Tang, Shangjin Xie, Baifu Huang, Binyan Sun, Haotian Yang, Kuncheng Luo, Weiqi Jin, Shilin Fang, Jianan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人如何冲咖啡。旧的方法就像是给机器人一本庞大且僵化的食谱，让它必须死记硬背每一个步骤：“拿起杯子，向左移动5厘米，倾倒。”如果杯子稍微有点不同，或者光线发生了变化，机器人就会感到困惑并洒出一地。这就像是一个只会机械重复声音而并不理解其含义的鹦鹉。

Astribot 团队，即 Lumo-2 的创造者，提出了一种更好的方法：与其仅仅让机器人记忆步骤，不如让它学会想象未来。

“穿越时空”的机器人

把 Lumo-2 看作不是一个仅仅对当前所见做出反应的机器人，而是一个大脑中拥有“时光机”的机器人。当它看到一个咖啡杯时，它看到的不仅仅是一个杯子；它会瞬间模拟未来几秒钟发生的情况。它会问自己：“如果我抓起这个杯子，接下来会发生什么？它会翻倒吗？咖啡会溅出来吗？”

这是该论文的核心发现：通过训练机器人如何在隐藏的、压缩的“潜空间”（称为 latent space）中预测世界如何变化（例如水流倾倒或球滚动），机器人变得在处理棘手的现实世界任务时更加聪明。这表明，这种在脑海中“演练”场景的能力，有助于它在面对从未见过的难题时进行推理。

为什么旧方法是有缺陷的

论文明确反对仅仅让机器人擅长“复制”所见内容的观点。以往的方法试图让机器人完美地“重建”动作——就像试图极其精确地描绘一只手移动的过程，使得线条完全吻合。作者发现，这种方法是一个陷阱。它会让机器人过度关注微小的、无关紧要的细节（比如光线的确切色调），而不是关注动作本身的宏观意义（即这个动作究竟做了什么）。

他们也排除了机器人需要生成高清、全画幅的未来视频才能变得聪明的想法。生成一部关于未来的完整电影既慢又沉重。相反，Lumo-2 表明，一个关于未来的微小、抽象的“草图”就足以引导机器人的双手。

三阶段训练营

为了让机器人达到这种智能水平，团队并没有只是向它投喂数据。他们使用了一个巧妙的三阶段训练营，就像在电子游戏中升级一样：

第一阶段：“物理健身房”
首先，他们教会机器人理解世界的运动规律。他们向它展示物体发生的视频（比如球落下），并要求它猜出机器人的手应该如何移动才能引起这种现象。这在其大脑中创建了一个“世界动力学”地图——一种理解因果关系的方式，而无需看到每一个像素。
第二阶段：“语言与视觉课”
接下来，他们教会了机器人说话和观察。他们将机器人的“物理地图”与其视觉和语言能力联系起来。现在，当你发出“倒水”的指令时，机器人不仅仅是听到了单词；它能瞬间将这些词汇与倾倒的物理感觉以及水流动的视觉画面联系起来。这一步确保了机器人理解它在“做什么”，而不仅仅是“如何移动”它的关节。
第三阶段：“大师锦标赛”
最后，他们把一切都交给了它：数百万个视频、机器人数据和语言指令。他们训练它在移动之前先预测未来。在这里，机器人学会了处理复杂的任务，比如调制鸡尾酒或打包行李箱，在这些任务中，你必须记住三步之前做了什么，才能知道下一步该做什么。

结果：更聪明、更快、更灵活

论文对此进行了仔细测量。当他们在 22 个不同的现实挑战（如接住滚动的球、翻转鸡蛋或在旋转架上堆叠方块）中测试 Lumo-2 时，它在几乎所有类别中都击败了之前的顶尖机器人（称为 $\pi0.5$ 和 Fast-WAM）。

速度： 这种全新的思维方式让机器人的思考变得更快。相比于旧方法需要 253.66 毫秒 来决定动作，它仅需 93.53 毫秒。这意味着实现了 2.71 倍的加速，即它的反应速度几乎快了三倍。
泛化能力： 机器人可以处理“未见过的”物体和指令。如果要求它“把高热量饮料放入篮子”，即使它以前从未见过那款特定的瓶子，它也能判断出哪一个是高热量饮料。
人类迁移： 他们甚至展示了机器人可以从人类视频（例如通过手机摄像头拍摄的人制作咖啡的过程）中学习，并将这些知识应用到自己的机器人身体上，这表明它可以从互联网中学习，而不需要人类手把手地教导。

核心结论

作者认为，让机器人真正变聪明的秘诀不在于给予它们更多的数据或更好的摄像头。而在于赋予它们一个“潜空间世界模型”——一种能够在内部模拟未来，并将自身的行动与该预测对齐的方式。虽然他们还没有解决宇宙中所有的机器人问题，但他们的实验有力地表明，这种“预测性推理”方法是构建能够应对混乱、不可预测的现实世界的机器人的关键基石。

技术摘要：迈向预测性、对齐且可扩展的机器人学习 (Lumo-2)

问题陈述

当前的具身智能系统，特别是视觉-语言-动作（VLA）和世界-动作模型（WAM），在泛化能力、时间推理和跨模态对齐方面面临重大挑战。

显式推理的局限性： 先前的方案（如 Lumo-1）依赖于显式文本推理（由粗到精的规划），这存在灵活性不足、可扩展性差以及推理延迟高等问题。
动作模态失配： 在标准的 VLA/WAM 模型中，动作模态往往未得到充分探索。动作 Token 通常针对低层信号保真度（重构）进行优化，而非与视觉和语言进行语义对齐。这导致了重构质量与下游控制性能之间的失配。
单时间步观测中的歧义性： 由于部分可观测性和时间上的歧义性（例如，在倒水等任务中，相同的视觉状态可能对应不同的执行阶段），瞬时观测往往不足以确定底层系统状态。
可扩展性与数据效率： 现有模型难以在没有专门迁移学习机制的情况下，有效地利用多样化的数据源（如人类视频、跨具身机器人数据），通常难以泛化到未见过的物体或复杂的长程任务。

方法论：Lumo-2

作者引入了 Lumo-2，这是一个通用的潜在世界-动作模型（latent world-action model），它通过**潜在推理（latent reasoning）**取代了显式文本推理。其核心假设是：动作生成的质量受控于潜在空间的几何结构，而该结构必须通过渐进式的多模态对齐来构建。

1. 核心架构与潜在推理

Lumo-2 基于 Qwen3.5-4B 基座模型构建。模型并非直接从观测中预测动作，而是首先推断出一个潜在世界动力学表示 ( $\phi$ )。

潜在世界动力学： 该表示捕捉了物理驱动的视觉转换以及由动作引发的未来可能性。它作为一个隐式的推理桥梁，在编码动作相关信息的同时，过滤掉与动作无关的冗余信息（例如光照变化）。
上下文区分： 为了解决感知歧义，模型引入了一个短时记忆机制 ( $\omega_{t-H':t}$ )，由过去动作和观测构成的时序上下文缓冲区组成，从而使模型能够推断当前的执行阶段。
分块自回归 (Block-wise Autoregression, BAR)： 为了解决推理延迟问题，模型采用了分块因果注意力掩码。模型不再逐个生成 Token，而是并行预测动作 Token 块，实现了比标准自回归解码快 2.71 倍的端到端推理速度。

2. 三阶段渐进式训练范式

训练过程遵循不断增加对齐难度的课程学习，以构建潜在空间：

第一阶段：与潜在世界动力学的预对齐
- 目标： 构建具有物理基础的潜在空间，并获得上下文感知的动作编码器。
- 方法： 采用特征融合与双向约束的协同训练范式。基于视觉的逆动力学模型（IDM）将帧间视觉变化编码到潜在空间 ( $Z^V_t$ ) 中。该潜在空间被注入动作解码器以重构动作，同时动作潜在变量 ( $Z^A_t$ ) 对视觉表示进行正则化。这强制要求视觉动力学能够预测物理运动，且动作根植于全局上下文。
- 数据： 自采集的 Astribot S1 数据、跨具身机器人数据（AGIBot, Galaxea 等）以及第一视角人类视频（Ego4D, EPIC-KITCHENS）。
第二阶段：与视觉及语言的语义对齐
- 目标： 将动作 Token 转化为语义丰富的表示，并统一视觉-语言-动作（V-L-A）模态。
- 方法： 引入语义模块和多任务学习。动作编码器经过增强，能够产生语义丰富的 Token ( $A_s$ )。
- 任务： 包括动作重构、行为理解（从视觉+动作生成文本）、视觉-语言引导的动作生成，以及跨模态预测/判别。这一阶段确保了动作 Token 具备语义可解释性，并与 VLM 的嵌入空间对齐。
第三阶段：大规模协同训练
- 目标： 实现系统的理解、投影与控制。
- 方法： 在大规模语料库上进行联合协同训练，包括：
  - VLM 数据： 专注于定位、认知和规划的高质量视觉-语言数据（FineVision, EO-Data1.5M）。
  - 视频数据： 通用互联网及第一视角视频，用于学习广泛的世界动力学。
  - 机器人数据： 多样化的操纵任务。
- 策略： 模型被训练为同时预测潜在世界动力学和动作块，利用已预对齐的语义空间。

核心贡献

潜在世界-动作模型： 一种新颖的形式化方法，使用紧凑的潜在空间来表征世界动力学以指导动作生成，用隐式、预测性的推理取代了显式的推理轨迹。
多阶段模态预对齐： 一种将动作模态与世界动力学、视觉及语言进行对齐的系统化方法。通过强制执行跨模态一致性并促进抽象，解决了“重构 vs 控制”的失配问题。
可扩展训练方案： 一个成功整合了异构数据源（机器人、人类、互联网视频）并实现有效扩展的三阶段训练范式，证明了结构化对齐能提升泛化能力。
高效推理： 引入的分块自回归（BAR）显著降低了推理延迟，使得实时控制在不牺牲世界建模优势的情况下成为可能。

实验结果

作者在 Astribot S1 双臂移动机器人上，针对分为时间推理、物理理解和控制复杂度三个类别的 22 项现实世界任务对 Lumo-2 进行了评估。

基准测试表现： Lumo-2 在所有类别中均一致优于强基线模型 ( $\pi0.5$ $π 0.5$ 和 Fast-WAM$)。
- 时间推理： 在动态场景反应（如接球）和记忆密集型任务（如倒水、擦黑板）方面取得了显著提升，模型成功消除了视觉相似状态带来的歧义。
- 物理理解： 在需要因果推理的任务（如翻转鸡蛋、钉钉子）中表现卓越，而基线模型往往因动作空间受限或缺乏物理先验而失败。
- 长程与灵巧操纵： Lumo-2 在复杂序列（如“制作咖啡”、“整理行李箱”）中实现了近乎完美的执行，能够保持阶段感知并在中间环节失败时进行恢复。
泛化能力： 模型展示了强大的少样本适应能力，以及对未见物体和指令的泛化能力。
人到机器人的迁移： 无需专门的迁移学习，通过使用人类演示数据（VisionPro 和多视角第一视角视频）进行微调，显著提升了模型在处理未见物体时的表现，验证了其利用多样化数据源的能力。
缩放与对齐： 消融实验证实，与仅使用第一阶段的 Token 化相比，第二阶段的预对齐策略带来了更低的动作重构误差和更好的语义判别力。

意义

本文声称，结构化多模态对齐结合预测性推理是推动通用具身智能发展的基本原则。通过将动作模态视为“一等公民”，并将其与具有物理基础的潜在世界动力学空间进行渐进式对齐，Lumo-2 构建了一个统一的框架，弥合了感知、推理与控制之间的鸿沟。这项工作表明，超越简单的重构目标，转向语义结构化的潜在空间，能够使机器人具备对未来可能性的推理能力，并能以更高的鲁棒性和可扩展性执行复杂的长程任务。