💻 computer science

LaST $_{0}$ : Latent Spatio-Temporal Chain-of-Thought for Robotic Vision-Language-Action Model

laST $_0$ 是一个机器人视觉-语言-动作框架，它通过在双系统混合 Transformer 架构中采用一种高效的、潜在的时空思维链（Spatio-Temporal Chain-of-Thought），克服了显式语言推理带来的延迟与表示限制，从而在多种现实世界的操控任务中实现了显著的成功率提升。

原作者： Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人做煎蛋。你对它说：“把蛋从锅里舀出来，放到面包上。”

旧的方法（显式推理）：
在过去，为了完成这个动作，机器人必须停下来，大声思考，并写出一篇分步骤的论文后才能移动手臂。它可能会说：“首先，我需要降低手部。然后，我需要倾斜平底锅。然后，我要进行舀取的动作……”
当机器人在忙着写这篇论文时，蛋已经变凉了，或者更糟，平底锅翻倒了。这种“大声思考”非常耗时（延迟），使得机器人动作缓慢且笨拙。此外，有些东西很难用语言描述，比如蛋滑动的精确感觉，或是平底锅的 3D 形状。

新的方法 (LaST0)：
这篇论文介绍了一种名为 LaST0 的机器人大脑，它的思考方式与众不同。它不再生成文字来解释自己要做什么，而是使用一种**“沉默且隐形的思考过程”**（称为潜空间时空思维链，Latent Spatio-Temporal Chain-of-Thought）。

以下是 LaST0 的工作原理，我们使用简单的类比：

1. “无声电影” vs. “剧本”

LaST0 不再生成文字来解释其意图，而是生成一部关于未来的**“无声、内部电影”**。

它看到了什么： 它不仅仅是在看图片；它在想象蛋的 3D 形状、平底锅的质感，以及机器人自身手臂的感觉（本体感受）。
“潜空间 (Latent)”的部分： 这些想法不是可以用文字阅读的词汇，而是紧凑、高速的数据包。这就像是读一本冗长的食谱（慢速）与拥有厨师的肌肉记忆（快速且直觉化）之间的区别。这使得机器人能够“感知”物理状况，而不会陷入词汇量的限制。

2. “大脑与身体”团队（双系统）

LaST0 将其大脑分为两个专门的专家协同工作，就像**“战略指挥官”和“反应型运动员”**。

指挥官（慢速推理专家）： 这部分工作的速度较慢。它观察大局，想象未来几秒钟内的“无声电影”，并制定计划。它会问：“如果我这样移动手臂，0.5 秒后蛋会在哪里？”它只是偶尔进行此类思考（就像每隔几秒检查一次地图）。
运动员（快速行动专家）： 这部分速度极快。它不会停下来思考宏大的计划。它只需观察指挥官最新的更新，并对周围环境做出即时反应。它处理的是捕捉掉落鸡蛋等高频动作所需的快速反应。

神奇的连接： 它们共享一个“心灵感应链接”（共享注意力）。指挥官向运动员更新新计划，而运动员立即执行。这意味着机器人可以在不减慢当前动作速度的情况下，进行深度思考。

3. 为什么它更好

速度： 因为它不再浪费时间写句子，机器人的速度比之前那些“大声思考”的方法快了 14 倍。它可以实时做出反应，就像人类一样。
理解物理特性： 它捕捉到了文字无法描述的东西。它通过其内部的 3D 模型理解蛋的“重量”和“湿滑度”，而不仅仅是通过文本。
连贯性： 因为它在想象一段连续的“电影”，所以它的动作是平滑且连贯的。它不会出现顿挫或抽搐，而是行云流水。

实验结果

研究人员在 10 种不同的现实任务中测试了这种机器人，从简单的桌面技巧到涉及移动机器人和灵巧手（如人手）的复杂任务。

成功率： LaST0 比之前的顶尖机器人成功率高出 13% 到 14%。
长程任务： 它在长时、复杂的任务（例如舀起蛋、放到面包上并重复此过程）中表现尤为出色，而其他机器人会在这些任务中感到困惑并失败。

总结：
LaST0 是一个停止了“自言自语”并开始“感知未来”的机器人。通过使用 3D 空间和时间的沉默内部模拟，并将其大脑分为慢速规划者和快速执行者，它能以人类般的敏捷和优雅进行动作，而不是像一台正在阅读手册的计算机那样犹豫不决。

技术摘要：LaST0 – 用于机器人视觉-语言-动作模型的潜在时空思维链

1. 问题陈述

视觉-语言-动作（VLA）模型通过整合视觉-语言模型（VLM）的语义理解能力与机器人控制策略，近期展现出了强大的泛化能力。然而，试图提升推理能力的现有方法在机器人操控领域面临两个根本性的局限：

推理延迟： 在采取行动之前，显式生成语言推理轨迹（思维链，CoT）或预测未来视觉观测的方法会产生显著的自回归生成开销。这种延迟限制了实现实时、闭环机器人控制所需的时序分辨率。
表示瓶颈： 显式推理受限于语言空间，难以忠实地捕捉那些难以用言语表达的“不可言说”的物理属性和精细的机器人动力学特性。机器人智能体需要对物理和几何状态进行推理，而这些状态往往超出了自然语言的表达能力。

2. 方法论：LaST0 框架

作者提出了 LaST0，这是一个统一的 VLA 模型，通过 潜在时空思维链（LaST CoT） 实现高效的“先推理后行动”行为。该模型不再生成文本或图像，而是在一个紧凑的连续潜在空间内进行推理。

核心架构

LaST0 基于 混合 Transformer（Mixture-of-Transformers, MoT） 设计构建，并使用 Janus-Pro (DeepSeek-LLM 1.5B) 作为骨干网络进行初始化。它将推理与控制解耦为两个专门的专家，这两个专家共享一个全局自注意力上下文，但运行在不同的频率下：

慢速推理专家（Slow Reasoning Expert）： 以低频运行（例如每 $k$ 个时间步一次）。它进行自回归推理以生成 LaST CoT，即代表未来物理动力学的潜在标记（latent tokens）序列。
快速行动专家（Fast Acting Expert）： 以原生的高频控制速率运行。它根据高频观测以及从推理专家那里定期更新的潜在表示，生成连续的动作指令。

潜在时空思维链 (Latent Spatio-Temporal CoT)

LaST CoT 是一个具有标记效率的潜在空间，它在时间跨度 $H$ 内自回归地预测三种模态的未来状态：

2D 视觉潜在表示： 从未来的 RGB 帧中编码而来，使用冻结的 SigLIP-Large 编码器。
3D 几何潜在表示： 从未来的点云中编码而来，使用预训练的 Uni3D 编码器（仅在训练期间用于提供地面真值目标）。
机器人本体感觉潜在表示： 从未来的机器人状态（关节角度、速度、夹持器状态）中编码而来。

这些模态按时间顺序交错排列（ $z^v_1, z^p_1, z^s_1, \dots$ ），以建模耦合的时空依赖关系。在训练期间，推理专家通过针对源自未来观测的地面真值潜在序列进行 余弦相似度损失 进行监督，而非进行离散的标记预测。

训练策略

预训练： LaST0 在来自 Open-X-Embodiment、DROID 和 RoboMIND 的超过 40 万条多样化轨迹语料库上进行预训练。
有监督微调 (SFT)： 模型进行联合优化，其中推理专家最小化潜在回归损失，而动作专家最小化流匹配（Flow Matching）损失。
异构频率训练： 动作专家使用随机混合的快慢运行比例进行训练（例如 1:1, 1:2, 1:4）。这使得模型能够在部署期间自适应地选择合适的执行频率，从而在推理更新率变化时确保鲁棒性。

3. 核心贡献

潜在时空思维链： 一个新颖的框架，在紧凑的潜在空间内进行推理，能够捕捉难以用语言表达的精细物理和机器人动力学（2D、3D 及本体感觉），同时支持时序一致性的建模。
双系统 MoT 架构： 一种通过混合 Transformer 方案协调低频潜在推理与高频动作生成的架构。这使得模型能够在不牺牲实时控制响应能力的前提下进行深思熟虑的推理。
高效的训练与推理： 通过用潜在回归取代显式的文本/图像生成，并利用异步频率协调，该方法相比于显式 CoT 方法实现了显著的加速。

4. 实验结果

作者在仿真和真实世界基准测试中评估了 LaST0，并将其与最先进的 VLA 模型（如 OpenVLA, $\pi_0.5$ , CoT-VLA, SpatialVLA）进行了对比。

仿真基准测试

RLBench： 在 10 个多样化操控任务中，LaST0 达到了 82% 的平均成功率，超过了最强基线（HybridVLA-7B 为 74%）8 个百分点。同时，它也展示了优于显式 CoT 方法（1.1 Hz）的推理速度（15.4 Hz）。
LIBERO： LaST0 达到了 98.1% 的 SOTA 平均成功率，超越了 $\pi_0.5$ (96.9%) 和 OpenVLA-OFT (97.1%)。值得注意的是，它在长程任务 LIBERO-Long 系列中表现出色（95.6%），证明了其处理扩展任务的有效性。

真实世界实验

在涵盖桌面操作（单臂/双臂）、移动操作和灵巧手控制的 10 个复杂任务上进行了评估：

性能： LaST0 在 Franka 平台上达到了 72% 的平均成功率，显著优于 SpatialVLA (41%)、 $\pi_0.5$ (59%) 和 CoT-VLA (50%)。
长程鲁棒性： 在一个需要连续三次成功执行的任务（反复将鸡蛋放在面包上）中，LaST0 在各步骤中保持了 66% $\to$ 47% $\to$ 33% 的成功率，而 $\pi_0.5$ 则降至 47% $\to$ 20% $\to$ 7%。
泛化能力： 该模型成功泛化到了移动平台（AgileX）和灵巧类人手（天工 2.0），能够处理复杂的关节物体操控。

5. 意义与主张

本文声称 LaST0 解决了机器人 VLA 模型中推理深度与推理速度之间的关键权衡问题。通过将推理从语言空间转向具有物理基础的潜在空间，该框架捕捉了对于稳健操控至关重要的“不可言说”的物理动力学，且没有带来自回归文本生成带来的延迟惩罚。

作者强调，双系统架构允许模型在保持“先推理后行动”（时序一致性、物理理解）优势的同时，以适用于实时控制的频率运行。实验结果表明，对于需要精细物理交互和长程规划的任务，潜在推理比显式的文本或视觉预测是一种更有效且更高效的具身智能范式。