💻 computer science

Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies

本文提出了一种跨视角动作一致性方法，该方法通过正则化基于流的视觉-语言-动作策略，仅利用 RGB 图像和本体感受，实现了对场景-相机视角变化的鲁棒性，在无需相机标签或深度输入的情况下，显著提升了在模拟和真实世界机器人任务中的性能。

原作者： Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

发布于 2026-09-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

通过人类演示进行学习的机器人正变得越来越强大，但它们往往面临着一种奇特的脆弱性：它们受限于教导它们时的特定视角。想象一下，一个机器人在训练时，摄像头位于桌子上方架子上的位置，它正在学习如何拿起一个杯子。如果这个摄像头被碰撞、移动到侧面或升高，机器人可能会突然失败，尽管杯子、桌子和机器人自身的身体都没有移动。这是因为机器人的“大脑”——一种将所见与应做之事相联系的人工智能——已经学会了基于原始摄像头的精确角度来识别任务。在现实世界中，摄像头会被碰撞，机器人会移动，光照也会变化，因此，一个无法适应视角偏移的系统并不是真正有用的。研究人员曾尝试通过给机器人提供更复杂的传感器（例如能看到3D效果的深度摄像头）或教它们理解房间的几何结构来解决这个问题，但这些解决方案通常需要昂贵的硬件或难以维护的复杂校准。

来自清华大学和阿姆斯特丹大学的一个研究小组发现了一种方法，可以在不增加任何新传感器或改变机器人在现实世界中操作方式的情况下，使这些机器人策略对摄像头移动具有鲁棒性。他们专注于一种特定的机器人控制器，这种控制器通过预测动作的“流”（flow）来学习，类似于水流向目的地，而不是仅仅猜测下一步动作。他们发现的核心在于一种强迫机器人与其自身保持一致的训练方法。他们创建了成对的训练图像，展示从两个不同角度观察的完全相同的物理场景：一个是来自原始摄像头位置，另一个是来自稍微移动后的位置。至关重要的是，他们确保机器人被告知对这两幅图像执行完全相同的动作。通过训练机器人为这两个视角预测相同的运动流，他们教会了机器人忽略摄像头位置的变化，而只关注任务本身。

研究人员在名为 LIBERO-Plus 的模拟环境中测试了这个想法，该基准测试专门用于观察机器人处理摄像头偏移的能力。他们将这种新方法与标准的训练技术进行了对比。当摄像头移动时，使用标准方法训练的机器人仅在约 17% 的尝试中成功。使用多种不同摄像头角度但没有采用其特殊一致性规则进行训练的机器人，成功率提高到了约 75%。然而，使用他们这种新的跨视图一致性规则训练的机器人，成功率达到了 87.2%。这种提升是显著的，并且在不同的随机训练起点下都保持一致。研究人员还证明了这种成功完全取决于两幅图像展示了相同的物理状态。当他们打乱训练数据，让机器人尝试将一个视角的杯子与针对另一种状态的动作相匹配时，性能骤降至 25.8%，这表明机器人不仅仅是在平滑它的答案，而是真正学会了将不同视角的同一现实与同一个动作联系起来。

为了确保这不仅仅是计算机模拟的结果，团队将他们的方法应用到了实验室中的真实机械臂上。他们利用三个同步观察同一张桌子的摄像头收集训练数据，从而能够创建现实世界中必要的视图对。随后，他们使用一个放置在训练期间从未见过的位置的单个摄像头对机器人进行了测试。使用他们的新方法训练的机器人在这些未见过的摄像头测试中成功率为 74.4%，而标准方法仅为 53.3%。这种改进在困难任务中最为显著，例如从支架上取下耳机，在新的摄像头位置下，标准方法完全失败，但新方法却成功了近一半。这项研究证实，通过教导机器人识别其动作在不同角度下的连贯性，它可以变得更加可靠，且无需额外的摄像头、深度传感器或复杂的几何图谱。机器人只需学习到，即使画面发生了变化，任务本身依然如故。

技术摘要：面向相机鲁棒性视觉-语言-动作策略的跨视角动作一致性研究

问题陈述

视觉-语言-动作（VLA）策略，特别是那些从固定场景相机采集的演示数据中微调而来的策略，在相机被移动、碰撞或重新安装时往往会失效，即使物理任务状态、语言指令和机器人本体感受保持不变。现有的解决该鲁棒性问题的方法通常会改变推理契约，要求引入深度传感器、点云、校准的多视图输入、相机标签或具备几何感知能力的架构。这些方法在部署时会引入硬件依赖或计算开销。

本文旨在解决如何仅使用单张场景 RGB 图像、语言指令和本体感受状态，实现基于流（flow-based）的 VLA 在场景相机视角下的鲁棒性。目标是在不依赖深度数据、相机外参或推理阶段进行新视角渲染的情况下，防止性能下降。

方法论：跨视角动作-流一致性

所提方法引入了一种在训练阶段进行的优化目标，该目标直接对**动作-流速度场（action-flow velocity field）**进行正则化，而非中间特征表示。其核心洞察在于：对于基于流的策略，动作是通过积分学习到的速度场 $v_\theta$ 生成的。如果两个不同的相机视角观察到了相同的物理状态，则策略应在相同的流坐标处预测一致的速度向量，从而产生一致的动作块（action chunks）。

1. 动作等效对（Action-Equivalent Pairs）

该方法依赖于构建训练对 $(o_0, o_p, l, q, a)$ ，其中：

$o_0$ 和 $o_p$ 是从标称相机 $c_0$ 和扰动相机 $c_p$ 渲染出的相同物理状态 $s$ 的 RGB 观测图像。
$l$ （语言）、 $q$ （本体感受）和 $a$ （演示动作块）对于这两个视图是完全相同的。
在仿真中，这些对是通过将 MuJoCo 环境重置到存储的状态并重新渲染生成的。在真实机器人上，它们通过观察同一时间戳的同步多相机设置进行采集。
至关重要的是，在训练和推理过程中均屏蔽了腕部相机流，以防止策略利用未受扰动的视觉捷径。

2. 损失函数

对于一对视图，策略在采样的流坐标 $(t_k, \epsilon_k)$ 处预测速度场 $v_0$ 和 $v_p$ 。总损失 $\mathcal{L}$ 结合了两个项：

标准流匹配 ( $\mathcal{L}_{FM}$ )：两个视图都被监督以匹配演示的动作目标 $u_{t_k}$ 。
$\mathcal{L}_{FM} = \frac{1}{2} (\|v_0 - u_{t_k}\|^2 + \|v_p - u_{t_k}\|^2)$
跨视角一致性 ( $\mathcal{L}_{CV}$ )：鼓励两个视图预测的速度在活跃动作维度上达成一致。
$\mathcal{L}_{CV} = \|v_p[\cdot, : A_{act}] - v_0[\cdot, : A_{act}]\|^2$

总目标为 $\mathcal{L} = \frac{1}{K}\sum \mathcal{L}_{FM} + \lambda_{CV} \frac{1}{K}\sum \mathcal{L}_{CV}$ 。

3. 理论依据

论文指出，特征层面的不变性并不保证动作层面的不变性。通过对速度场本身进行正则化，该方法直接限制了积分动作块的散度。在局部 Lipschitz 假设下，从标称视图和扰动视图生成的动作块之间的期望平方差，受限于其速度预测沿积分轨迹的期望平方差。

4. 控制机制

为了验证增益来自于动作等效配对而非通用的平滑处理，作者采用了随机打乱对（shuffled-pair）控制实验。在此消融实验中，跨视角损失比较的是来自不同物理状态的速度（破坏了动作等效性），同时保持流匹配标签正确。该控制实验导致性能崩溃，从而证实了该方法依赖于真实的物理状态对应关系。

核心贡献

形式化定义：本文将基于流的 VLA 的场景相机鲁棒性形式化为一个跨动作等效视图的局部动作-流一致性问题。
优化目标：提出了一种跨视角动作-流一致性目标，直接对速度场进行正则化。该方法在推理阶段无需增加传感器、校准或相机特定输入。
实证验证：通过受控消融实验，作者证明了：
- 性能提升取决于动作等效配对（随机打乱对会导致失败）。
- 收益可扩展至训练对中未覆盖的相机位姿（方位角、距离、旋转）（即具备外推性）。
- 该方法在提高鲁棒性的同时，不会牺牲在标称相机视图上的性能。

实验结果

仿真环境 (LIBERO-Plus)

在 LIBERO-Plus 相机扰动基准测试（C1：距离/尺度；C2：球面位置；C3：末端取向）上进行评估：

所提方法：在相机扰动轨道上实现了 87.2 ± 0.4% 的成功率。
基线模型：
- 比仅使用相同数据的流匹配（FM）对照组（79.8%）高出 7.4 个百分点 (pp)。
- 比标准的混合相机监督微调（SFT）(74.7%) 高出 12.5 pp。
- 比仅针对标称相机的基线（16.8%）高出 70.4 pp。
标称性能：该方法在标准标称相机基准测试中保持了高成功率（94.2% 对比 FM-only 的 93.6%），表明不存在标称性能权衡。
消融实验：随机打乱对使性能降至 25.8%，证明了动作等效对应关系的必要性。

真机评估

在三个桌面任务（拾取与放置、接触密集型任务、灵巧操作）上进行评估，使用同步多相机训练和留出相机部署：

留出相机成功率：从 53.3%（FM-only）提升至 74.4%（所提方法）。
具体任务：在笔记本电脑盖任务中，所提方法在留出相机上的成功率达到了 100%。耳机架任务显示出最大的相对增益（从 16.7% 提升至 46.7%），尽管绝对性能仍受限于观测问题（细小物体被遮挡）。
泛化能力：对于几何结构变化剧烈的留出相机放置位置（如更高、更接近顶视的角度），增益最为显著。

重要性与主张

本文主张，动作层面的一致性是实现相机鲁棒性比特征层面不变性更有效的目标。通过对直接生成动作的速度场进行正则化，该方法确保了同一状态的不同视图能产生相同的预期行为。

这项工作的意义在于它能够在不改变推理契约的情况下提高鲁棒性。不同于需要深度传感器、相机标签或 3D 重建的方法，此方法允许 VLA 仅使用单个 RGB 相机进行部署，同时对视角变化保持鲁棒。作者强调，这是一种训练时的方案，通过利用观察到的动作等效视图（通过仿真重置或同步相机），教会策略忽略干扰性的视角变化，使其适用于现有的如 $\pi_{0.5}$ 等基于流的 VLA 架构。

论文对其局限性也保持了审慎的态度：它无法恢复被相机遮挡的信息（例如接触点附近的深度线索，如细小物体），且训练需要真实的动作等效对，这排除了标准的单相机数据集。然而，它为相机鲁棒的 VLA 训练建立了一个新的基准，该基准与标准的 RGB-only 推理兼容。