💻 computer science

CrossTracer: Cross-Embodiment Navigation via VLA Model Reasoning and Trace Residuals Adapting

CrossTracer 是一个层级化框架，它通过结合基于 VLA 的轨迹提议器与通过自动化 CE-RRT* 训练的具身条件残差适配器，来实现跨具身机器人导航，从而生成在物理上可行的像素空间导航规划，并显著超越了最先进的基准模型。

原作者： Yao Wang, Siyuan Wang, Zhirui Sun, Wenzheng Chi, Liang Lin, Jiankun Wang, Wenjun Xu

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Yao Wang, Siyuan Wang, Zhirui Sun, Wenzheng Chi, Liang Lin, Jiankun Wang, Wenjun Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在拥挤、凌乱的房间里行走。你可能会对它说：“去把桌子上的那个红杯子拿过来。”一个超级聪明的机器人大脑（被称为视觉-语言-动作模型）能完美理解这句话。它知道什么是“红杯子”，知道“桌子”通常在哪里，也知道“拿取”是什么意思。但棘手的地方在于，这个机器人大脑并不知道这个机器人是一个摇摇晃晃的双足步行者、一个平滑的四轮小车，还是一个蹦蹦跳跳的类狗机器。对于聪明的脑子来说，迈一小步上路缘石看起来就像一条简单的路径。但对于轮式机器人，这个路缘石就是一堵墙；对于腿式机器人，这却是一个有趣的跳跃。如果机器人试图遵循一条不符合其身体特征的路径，它就会发生碰撞。这篇论文解决的正是一个这样的问题：我们如何将一个聪明的、通用的路径构想进行微调，使其真正适用于尝试走这条路的特定机器人？

开发 CrossTracer 的研究人员意识到，解决这个问题最好的方法不是强迫聪明的脑子同时学习每一种机器人的身体构造。相反，他们构建了一个两步走的团队。首先，一个“视觉-语言轨迹提议者”（我们称之为“梦想家”）观察房间和目标，并在纸上画出一个粗略的、理想的路径。这条路径对于“旅程的概念”来说是完美的，但它并不关心机器人拥有的是轮子还是腿。然后，第二个团队成员——“CE-适配器”（即“现实检查员”）会观察那幅粗略的图画和特定的机器人身体。它会说：“嘿，‘梦想家’忘了轮子不能爬楼梯了，”然后画出红色的小箭头，将路径推离楼梯，引导至平坦的地面。他们将这些微调称为“轨迹残差”。

为了教会“现实检查员”如何做到这一点，而不需要人类手动绘制成千上万条完美的路径，该团队发明了一个巧妙的训练技巧，叫做 CE-RRT*。想象一个虚拟机器人，它能瞬间看清整个房间，并且确切知道哪些地面对轮子是安全的，哪些对腿部是安全的。这个虚拟机器人运行一个快速的计算机搜索，为每种机器人类型找到最安全的路径，并使用这些计算机生成的路径作为“正确答案”来教导“现实检查员”。这就像拥有一个超快速的模拟器，承担了处理物理规律的繁重工作，这样 AI 就可以从错误中学习，而不会在现实中撞毁真实的机器人。

当他们测试这个系统时，结果非常令人印象深刻。在名为 NaviTrace 的标准测试中，CrossTracer 得分为 45.68 分。这大幅超过了他们对比的最强的通用 AI 模型（Gemini-2.5-Pro）——高出了约 10 分，即 28% 的提升。论文指出，这一巨大的飞跃来自于“现实检查员”修正“梦想家”错误的能力。当他们移除“现实检查员”，只让“梦想家”绘制路径时，得分大幅下降至 22.56，证明了“微调”这一步骤是必不可少的。

他们不仅在计算机测试中进行了实验，还在现实世界中将该系统应用于真实的机器人。他们将该系统安装在了一个轮式机器人和一个腿式机器人上。结果显示，Cross-Tracer 帮助机器人更频繁且更快地达到了目标。对于轮式机器人，成功率从 40% 提高到了 65%；对于腿式机器人，则从 45% 跳升到了 70%。论文表明，这种方法使机器人变得更加可靠，帮助它们避免碰撞，并找到符合其特定身体结构的更平滑的路线。虽然该系统仍然依赖于计算机“看清”地面的能力（如果计算机误将地毯识别为墙壁，机器人可能会感到困惑），但这种方法表明，将“做什么”与“怎么做”分离是一种让机器人变得更聪明、更安全的高效方式。

技术摘要：CrossTracer

问题陈述

现实世界的机器人导航需要既能理解高层语义目标，又能严格遵守特定机器人形态物理运动约束的策略。虽然近期的视觉-语言-动作（VLA）模型为决策提供了强大的语义先验，但其输出往往缺乏对机器人特定运动能力的落地（grounding）。对于足式机器人而言在语义上合理的路径（例如穿越崎岖地形），对于必须绕行的轮式机器人来说可能是物理上不可行的。现有的方法难以解决这种“形态差异”（embodiment gap）：端到端的 VLA 策略往往将语义推理与控制约束纠缠在一起，导致难以适配不同的平台；而通过从有限候选路径中进行选择的分层方法，则可能因为所有候选路径都包含局部不可行的路段而失效。此外，训练具备形态感知能力的精炼模型通常需要针对多样化场景和不同机器人类型进行昂贵的人工轨迹标注。

方法论

作者提出了 CrossTracer，这是一个旨在通过自适应轨迹残差（adaptive trace residuals）来弥合语义意图与物理落地之间鸿沟的分层框架。该系统的核心洞察在于：2D 像素空间导航轨迹作为一个统一的中介表示，实现了语义提议与特定形态适配的解耦。

该框架由三个核心组件组成：

视觉-语言轨迹提议器 (VL-Tracer)：
- 该模块改编自预训练的 VLA 模型 (OmniVLA)，能够根据第一视角 RGB 观测和灵活的目标规范（语言、像素坐标或两者结合），生成初始的、与形态无关的语义导航轨迹 ( $T_{init}$ )。
- 它输出图像平面内的一组归一化 2D 路标点，在不涉及特定机器人低层控制空间的情况下，保留了 VLA 推断出的场景级结构。
- 它使用低秩自适应（LoRA）在现有的导航轨迹数据 (VAMOS) 上进行微调。
CE-Adapter (形态感知精炼模块)：
- 该模块通过预测残差修正 ( $\Delta T_e$ ) 来精炼初始轨迹，该修正以机器人身份、视觉可通行性线索以及初始轨迹为条件。
- 它采用多模态架构，其中机器人身份被映射为一个可学习的嵌入 ( $z_e$ )。该嵌入通过特征线性调制 (FiLM) 层来调节视觉特征。
- 交叉注意力机制允许轨迹查询（trace queries）关注经形态条件的视觉标记（tokens），使模型能够推理出哪些区域对于特定机器人是可行的。
- 最终轨迹计算为 $T_e = T_{init} + \Delta T_e$ 。
CE-RRT (自动化规划器监督标注)：*
- 为了避免昂贵的人工标注，作者引入了跨形态 RRT* (CE-RRT*)，这是一个用于生成训练参考轨迹的自动化流水线。
- CE-RRT* 将全景分割掩码转换为以机器人为条件的通行代价地图。不同的语义类别根据特定机器人的运动约束被分配不同的代价（例如，楼梯对轮式机器人是高代价，但对足式机器人是低代价）。
- 它在图像平面内应用 RRT* 算法，生成代价最小化且无碰撞的像素空间轨迹 ( $T^*_e$ )，作为 CE-Adapter 的监督信号。

训练目标： CE-Adapter 使用由以下部分组成的复合损失函数进行优化：

轨迹损失 (Trace Loss)： 最小化精炼后的轨迹与规划器监督的参考轨迹之间的距离。
通行性重建损失 (Traversability Reconstruction Loss)： 鼓励视觉编码器预测经形态条件的代价地图。
代价损失 (Cost Loss)： 惩罚位于高代价区域的路标点，并由形态敏感系数加权。
平滑损失 (Smoothness Loss)： 对轨迹进行正则化，以防止剧烈的方向变化。

核心贡献

CrossTracer 框架： 一种分层导航框架，使用归一化的像素空间轨迹作为 VLA 式语义推理与机器人条件物理落地之间的统一接口。
CE-Adapter & CE-RRT：* 开发了一个形态感知精炼模块，用于预测自适应轨迹残差，并通过一个自动化流水线 (CE-RRT*) 进行训练，该流水线通过语义分割和代价地图合成特定形态的参考轨迹，从而消除了对手动轨迹标注的需求。
实证验证： 在 NaviTrace 基准测试上进行了全面评估，并在轮式和足式机器人上进行了真实世界部署，证明了形态感知的轨迹精炼能显著提高导航质量和执行可靠性。

结果

NaviTrace 基准测试

CrossTracer 在 NaviTrace 基准测试上进行了评估，该测试旨在测试从第一视角观测、语言和机器人类型生成形态一致轨迹的能力。

整体性能： CrossTracer 获得了 45.68 的总分，优于最强的通用基准模型 (Gemini-2.5-Pro, 35.67) 10.01 分（相对提升 28.1%）。它也超过了最强的具身基准模型 (Robobrain-2.5-8B) 17.72 分。
消融研究： 去除 CE-Adapter（CrossTracer w/o CE-Adapter）导致得分降至 22.56，凸显了精炼阶段的关键作用。改进在需要物理落地的类别中最为显著，如“无障碍性”（从 -3.18 提升至 33.79）和“社会规范”（从 1.28 提升至 37.78）。
目标位姿输入： 当提供额外的目标像素坐标时，系统得分增加到 63.91，证明了在精确几何信号可用时像素空间接口的有效性。

真实世界部署

该系统部署在两个异构平台上：轮式机器人和足式机器人。

指标： 使用成功率 (SR)、路径长度加权成功率 (SPL) 和任务时间加权成功率 (STT) 进行评估。
性能： CrossTracer 一致优于基准模型 OmniVLA。
- 轮式机器人： SR 从 0.40 提升至 0.65；SPL 从 0.37 提升至 0.59。
- 足式机器人： SR 从 0.45 提升至 0.70；SPL 从 0.31 提升至 0.58。
定性分析： 视觉对比显示，CrossTracer 生成的路径更接近人类专家参考路径，并且在复杂环境（尤其是存在障碍物或地形变化时）能更平滑地收敛至目标。

意义与主张

论文声称 CrossTracer 通过将语义路径提议与物理可行性精炼解耦，成功解决了机器人导航中的“形态差异”问题。通过使用统一的像素空间轨迹表示，该框架允许将单一的语义计划适配到不同的机器人形态，而无需重新训练整个策略。

作者强调，通过利用由 CE-RRT* 生成的规划器监督信号，其方法实现了形态感知模型的可扩展训练，无需手动轨迹标注。结果表明，显式的形态感知轨迹精炼对于将语义导航意图落地到异构机器人的物理约束中至关重要，从而提高了现实场景中的成功率和执行效率。

局限性与未来工作

作者承认，目前的数据生成流水线依赖于全景分割，这意味着分割误差可能会传播到代价地图和训练轨迹中。此外，不同形态的代价地图配置需要手动指定，这对于新平台需要专业知识。未来的工作旨在从机器人交互数据中直接学习依赖于形态的通行性，将表示扩展到 3D 场景结构，并集成针对动态环境的闭环重规划。