🤖 AI

Thinking in Text and Images: Interleaved Vision--Language Reasoning Traces for Long-Horizon Robot Manipulation

本文提出了交错式视觉 - 语言推理（IVLR），这是一种策略框架，通过生成在文本子目标与视觉关键帧之间交替的显式轨迹，将逻辑连贯性与几何 grounding 相结合，以实现稳健的长视野机器人操作，并在具有挑战性的基准测试中取得了最先进的成功率。

原作者： Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人清理杂乱的厨房。这个任务不仅仅是“拿起勺子”。它是一个漫长的故事：“首先，把脏盘子移到水槽，然后拿起海绵，擦洗台面，最后把海绵放回去。”

目前的机器人“大脑”（称为视觉 - 语言 - 动作策略）就像演员：他们擅长演绎下一句台词，却极不擅长记住整本剧本。他们看着水槽，看到盘子，然后把它拿起来。但如果任务要求他们先拿杯子再拿盘子，他们可能会感到困惑，拿错东西，或者忘记自己最初为什么在这里。他们是“近视”的——只能看到紧接的下一步。

这篇论文提出了一种让机器人思考的新方法，称为IVLR（交错视觉 - 语言推理）。以下是其工作原理，使用简单的类比：

1. 问题：“健忘的演员”

将标准机器人想象成一个拿到剧本却必须在表演时逐行背诵的演员。如果剧本很短，他们没问题。但如果剧本很长（即“长视野”任务），他们就会忘记情节。

纯文本计划就像一句写着“拿起杯子”的剧本。它告诉机器人做什么，但没有说明确切在哪里，或者场景应该是什么样子。这就像没有图片的食谱。
纯视觉计划就像未来的电影胶片。它向机器人展示场景的样子，但如果没有文字，机器人可能无法理解为什么杯子在那里，或者事情发生的顺序。

2. 解决方案：“分镜导演”

作者赋予机器人一个分镜脚本。在机器人移动肌肉之前，它会暂停并在脑海中构建整个任务的完整“电影”。这个分镜脚本被称为IVLR-Trace。

这个轨迹很特殊，因为它像漫画书一样将两样东西混合在一起，交替呈现：

文本面板：“拿起白色马克杯。”（逻辑/因果顺序）。
图像面板：一张白色马克杯正好放在它需要去的地方的图片。（视觉目标）。

机器人会在最开始一次性生成整个分镜脚本。这就像导演说：“好的，这是整部电影。场景 1：拿起马克杯。场景 2：放在盘子上。场景 3：拿起黄色马克杯……"

3. 机器人如何使用它：“带地图的 GPS"

一旦分镜脚本制作完成，机器人就不会像电子游戏角色那样盲目地跟随图像。相反，它在工作时会将分镜脚本“缓存”（保存在短期记忆中）。

循环：在每一刻，机器人都会观察现实世界（它此刻看到的）并将其与分镜脚本（它计划看到的）进行核对。
类比：想象你开车去参加派对。你有一张地图（分镜脚本），显示了路线和目的地。但你也有眼睛（实时摄像头）。如果你拐错了弯，你的眼睛会告诉你：“嘿，那不是地图上的那条街！”然后你会修正方向。
机器人会不断这样做。它利用分镜脚本来记住事件的顺序和视觉目标，但利用它的实时眼睛来确保它不会撞进一张在制定计划时并不存在的椅子。

4. 他们如何教导机器人（“伪监督”）

真实的机器人并没有自带分镜脚本；它们只有人们执行任务的视频。作者必须教导机器人如何制作自己的分镜脚本。

他们取机器人执行任务的视频，并使用智能 AI 将视频切割成“场景”（阶段）。
然后，他们使用另一个 AI 为每个场景编写说明（例如，“夹爪移动到马克杯”），并挑选一个“关键帧”（该时刻的代表性照片）。
他们将这些制作好的分镜脚本作为训练数据喂给机器人。这就像给学生的课本填上了答案，以便他们以后能学会自己解决问题。

5. 结果：为什么这很重要

该论文在计算机模拟中测试了这种方法，机器人必须执行长步骤、多步骤的任务（如堆叠积木或移动马克杯）。

没有分镜脚本：机器人经常失败，尤其是在长任务中（成功率仅为约 37%）。它在故事中间迷失了方向。
仅有文本或仅有图像：表现有所改善，但不够好（约 60-68%）。
使用完整的“分镜脚本”（文本 + 图像）：机器人在最困难的任务中成功了92.4%。

关键发现是你需要两者兼备。你需要文本来记住顺序（因果性），需要图像来记住位置（几何结构）。缺一不可。

6. 局限（注意事项）

该论文诚实地指出了缺点：

思考时间：机器人在开始移动前必须“思考”约 10 秒以创建分镜脚本。这对于缓慢、谨慎的任务来说是可以接受的，但对于需要躲避快速移动球的机器人来说，这太慢了。
过时的计划：如果机器人在制定计划之后世界发生了变化（例如，机器人在思考时有人移动了杯子），分镜脚本就会出错。机器人可能会试图遵循一个针对已不存在的世界的计划。
仅限模拟：他们在计算机模拟中测试了这一点，而不是在真实厨房中的真实机器人上。

总结

这篇论文提出，与其强迫机器人仅根据此刻所见来猜测下一步，不如让它先为整个任务编写一本“漫画书”。通过将文字（计划）和图片（目标）混合成单一的“轨迹”，机器人可以在对即时世界做出反应的同时，记住全局画面。这是一种从“反应”向“规划与反应”的转变。

以下是论文《在文本与图像中思考：用于长时程机器人操作的交错视觉 - 语言推理轨迹》的详细技术总结。

1. 问题陈述

长时程机器人操作需要策略同时满足两个相互冲突的要求：因果连贯性（保持子目标的逻辑顺序）和几何落地性（精确的空间定位）。

当前方法的局限性：
- 标准 VLA（视觉 - 语言 - 动作）策略： 通常将规划隐藏在潜在状态中。它们常受困于“时间短视”，无法在长序列中维持状态，或导致步骤执行顺序错乱。
- 纯文本思维链（CoT）： 能很好地编码因果顺序，但缺乏低层控制所需的特定空间姿态、接触几何和目标放置细节。
- 视觉预测/世界模型： 提供几何线索，但往往局限于局部且语义约束不足，导致产生看似合理但任务错误的视觉未来。
差距所在： 缺乏一种显式的中间表示，能够同时捕捉整个任务时程内的语义逻辑（文本）和几何状态（视觉）。

2. 方法论：交错视觉 - 语言推理（IVLR）

作者提出了IVLR，这是一个以IVLR-Trace为核心的框架，该显式中间表示交替排列文本子目标与视觉关键帧。

A. 核心表示：IVLR-Trace

该轨迹是一个阶段序列 $z = [(c^{(1)}, k^{(1)}), \dots, (c^{(N)}, k^{(N)})]$ ，其中：

$c^{(i)}$ ：一个文本子目标（描述），描述该阶段的因果作用。
$k^{(i)}$ ：一个视觉关键帧（RGB 图像），锚定该阶段预期的空间状态。
这创建了一个“全时程故事板”，使机器人的推理过程可见且可消融分析。

B. 架构

系统利用一个单一原生多模态 Transformer（基于 Show-o2 1.5B 初始化），包含两个 distinct 阶段：

推理阶段（t=0）：
- 输入：初始观测（ $o_0$ ）和任务指令（ $I$ ）。
- 过程：模型生成完整的 IVLR-Trace。
- 机制：文本通过语言头自回归解码；视觉关键帧通过流匹配头生成（预测向量场以将噪声传输至目标潜在空间）。
执行阶段（t>0）：
- 输入：当前观测（ $o_t$ ）、原始指令（ $I$ ）和缓存的轨迹（ $z$ ）。
- 过程：闭环动作解码器预测连续动作（ $a_t$ ）。
- 机制：动作令牌关注完整的缓存轨迹和实时观测，允许模型根据当前状态动态选择计划的相关部分，而无需硬编码的阶段指针。

C. 伪监督流程

由于标准机器人数据集缺乏交错轨迹，作者构建了一个流程来生成用于训练的伪轨迹：

分割： 使用通用视觉分解器（UVD），基于视觉嵌入中的单调性中断，将演示轨迹分割为阶段。
关键帧选择： 每个片段的最后一帧成为视觉关键帧（ $k^{(i)}$ ）。
描述生成： 视觉 - 语言模型（Qwen3-VL）为每个阶段生成结构化的文本描述（ $c^{(i)}$ ），描述夹爪 - 物体交互及空间关系。

D. 训练目标

总损失由三个部分组成：

$L_{text}$ ： 描述文本的下一令牌交叉熵。
$L_{flow}$ ： 视觉关键帧的流匹配损失。
$L_{action}$ ： 连续动作预测的 L1 损失。
鲁棒性： 训练期间应用随机轨迹噪声和动态上下文掩码，以防止对完美轨迹的过度依赖。

3. 主要贡献

显式 IVLR-Trace： 提出了一种全时程、文本与 RGB 关键帧交错的序列，作为 VLA 控制的语义 - 几何接口。
统一架构： 在单一原生多模态 Transformer 中实现，一次性生成计划，并基于缓存轨迹条件化闭环执行。
可扩展的伪轨迹构建： 利用 UVD 和 VLM 的流程，将非结构化机器人演示改造为带阶段的多模态监督数据。
实证验证： 证明了在长时程任务中，交错轨迹显著优于单模态基线，并且对中等程度的执行漂移和轨迹损坏具有鲁棒性。

4. 实验结果

该方法在LIBERO（模拟操作）和SimplerEnv-WidowX（视觉分布偏移）上进行了评估。

主要性能（LIBERO）：
- IVLR： 平均成功率达到95.5%。
- LIBERO-Long（长时程）： 达到92.4%，显著优于 CoT-VLA（69.0%）和 VLA-0（87.6%）。
- SimplerEnv-WidowX： 总体成功率达到59.4%，优于 SpatialVLA（42.7%）。
消融研究（交错的必要性）：
- 无轨迹： LIBERO-Long 上的成功率降至37.7%。
- 纯文本轨迹： 62.0%（顺序良好，但缺乏空间锚点）。
- 纯视觉轨迹： 68.4%（几何良好，但缺乏语义序列）。
- 完整 IVLR： 92.4%（证明文本和视觉是互补的，而非可互换的）。
鲁棒性压力测试：
- 执行扰动： 在末端执行器随机位移 2cm 的情况下，成功率仅适度下降（95.5% $\to$ 92.1%），表明闭环性质可以从微小失误中恢复。
- 轨迹损坏： 掩码 30% 的文本或视觉令牌导致性能适度下降（至约 90-92%），表明系统能容忍局部内容缺失。

5. 意义与局限性

意义：

显式推理： 将范式从隐式潜在规划转变为显式、可检查且可控的多模态推理。
可扩展性： 证明了伪监督轨迹可以有效训练复杂多阶段任务的策略，而无需人工标注的符号计划。
互补性： 验证了将语义逻辑（文本）与几何落地（视觉）相结合对于长时程成功至关重要。

局限性：

延迟： 在执行开始前，生成完整轨迹需要约 10 秒（在 H20 GPU 上），这成为动态环境的瓶颈。
静态假设： 该方法假设 $t=0$ 时存在完全观测的静态工作空间。如果规划后场景发生剧烈变化（例如物体移除、遮挡），缓存的轨迹将过时。
仅限模拟： 结果目前仅限于模拟基准测试；真实机器人部署需要进一步验证。

未来方向：
作者建议探索异步边执行边规划（在执行当前阶段时生成未来轨迹阶段）和自触发重规划，以应对动态场景变化。