技术摘要：通过表示锚定与语言-动作对齐实现可泛化的 VLA 微调

1. 问题陈述

视觉-语言-动作（VLA）模型已成为机器人操控的标准方法，通常是通过在机器人演示数据上通过行为克隆（BC）来微调预训练的视觉语言模型（VLM）。虽然这种方法可以将 VLM 的语义先验（对空间布局、颜色、形状等的理解）转移到控制策略中，但标准的 BC 微调存在两个关键的失效模式，这些模式会降低泛化能力：

1. 表示的灾难性遗忘： 标准的 BC 仅优化动作预测损失。在微调过程中，更新会逐步覆盖在互联网规模预训练期间获得的视觉语言和空间概念。因此，一个被训练为抓取“绿色杯子”的策略可能会在同一场景中抓取“粉色杯子”时失败，或者在物体位置交换时无法适应，因为其骨干网络已经失去了颜色和空间推理能力。
2. 语言-动作失配： 常见的补救措施（例如在通用的网络图像-文本数据上进行协同训练，如 VQA、描述生成）将语言和动作损失应用于不同的观测值。这使得 VLA 拥有脱节的监督：动作头从专家演示中学习，而语言头从通用的任务中学习。由于它们从未在同一个机器人观测值上接受过监督，它们的预测可能会相互矛盾（例如，动作头预测向“右”，而语言头预测向“左”），而标准的基准测试往往无法揭示这种失配。

2. 方法论：Anchor-Align

作者提出了 Anchor-Align，这是一种增强了标准 BC 的微调方案，通过增加两个特定目标来保留预训练表示并使语言与动作对齐。该方法除了标准的 VLA 设置外，不需要额外的训练数据、标注或架构更改。

2.1 基础架构

该方法适用于使用预训练 VLM 骨干网络配合专用动作头（支持回归和流匹配动作头）的 VLA 架构。骨干网络编码视觉观测和语言指令，而状态投影器编码机器人本体感受。动作头基于这些多模态表示预测连续的动作块（action chunks）。

2.2 视觉-语言锚定

为了防止灾难性遗忘，Anchor-Align 引入了一种蒸馏损失，将可训练的 VLA 骨干网络锚定到原始预训练 VLM 的冻结副本（即“锚定 VLM”）上。

• 机制： 冻结的锚定 VLM 并行处理相同的输入批次（图像和文本）。在每个解码器层 $u$，可训练骨干网络中的视觉和文本标记的隐藏状态 ($H^S_u$) 被强制与冻结锚定模型的隐藏状态 ($H^A_u$) 相匹配。
• 损失函数： 锚定损失是这些隐藏状态之间平方 Frobenius 范数的差值，并在所有解码器层上取平均值：
  $$L_{anchor} = \frac{1}{|D|} \sum_{u \in D} \| H^S_u[m] - H^A_u[m] \|_F^2$$
  其中 $m$ 表示视觉和文本标记的位置集合。这作为表示空间中的正则项，在不要求权重空间约束的情况下，保留了语义基底。

2.3 语言-动作对齐

为了解决语言与动作之间的失配问题，该方法引入了一个联合监督目标，即两个头都在同一个机器人观测值上进行训练。

• 机制： 从专家演示中提取的连续动作目标被程序化地转换为离散的运动方向标签（例如“上”、“下”、“左”、“右”、“前”、“后”）。这是通过对动作块的平移分量求平均、过滤近乎静止的样本并离散化主轴来实现的。
• 损失函数： 模型被训练使用语言头的输出在相同的观测值上预测该离散方向标签。具体而言，指令标记的最后一个隐藏状态（它总结了视觉前缀和指令）通过冻结的预训练语言头进行投影，以生成词表上的逻辑值（logits）。对齐损失是这些逻辑值与真实方向标签之间的交叉熵：
  $$L_{align} = CE(\hat{a}_{lang}, a_{lang})$$
• 总目标： 最终的训练损失结合了标准的 BC 动作损失 ($L_{action}$)、锚定损失和对齐损失：
  $$L_{total} = L_{action} + \lambda_{anchor} L_{anchor} + \lambda_{align} L_{align}$$

3. 核心贡献

1. 识别双重失效模式： 本文指出标准 BC 会导致表示漂移（遗忘），并且协同训练无法在同一观测值上对齐语言与动作，从而导致预测冲突。
2. Anchor-Align 框架： 一种新颖的微调方案，结合了视觉-语言锚定（通过蒸馏保留预训练表示）和语言-动作对齐（将语言预测在同一观测值上落地到动作目标）。
3. 高效的数据解决方案： 该方法无需新数据集、人工标注或架构修改，仅依赖于现有的演示数据和冻结的 VLM，即可实现显著的性能提升。
4. 诊断工具： 该对齐框架提供了一个直接指标，用于诊断协同训练 VLA 中的语言-动作失配问题，研究表明更好的对齐与更高的任务成功率相关。

4. 实验结果

4.1 仿真基准测试

该方法在 LIBERO-PRO、LIBERO-Plus 和 CALVIN 基准测试上进行了评估，使用了两种不同的 VLA 架构（VLA-Adapter 和 StarVLA）。

• LIBERO-PRO (分布外泛化)： Anchor-Align 显著优于所有基准模型，包括协同训练模型。值得注意的是，在“位置交换”（Position Swap）测试中（即物体位置被重新排列），标准 BC 和协同训练基准模型的得分接近 0%（仅在重复记忆的轨迹），而 Anchor-Align 达到了 22.6%。
• LIBERO-Plus (感知鲁棒性)： Anchor-Align 在所有七个扰动维度（相机视角、光照、背景等）上都提高了性能，其中在背景纹理（+8.9%）和传感器噪声（+7.4%）方面的增益最大。
• CALVIN (长程任务)： 在长程 ABC→D 基准测试中，Anchor-Align 在完成五个指令链的任务中取得了最高的成功率（77.9%，而 OpenVLA-OFT 为 66.5%），证明了保留语义可以提高对复合误差的抵抗力。

4.2 真实世界实验

实验是在物理 xArm7 机器人上进行的，涵盖了包括空间重排、杂乱场景和语义扰动在内的挑战性条件。

• 泛化能力： 在未见的空间和语义扰动下，Anchor-Align 将真实机器人的成功率从 28% 提升至 54% (VLA-Adapter) 以及从 37% 提升至 60% (StarVLA)。
• 语义扰动： 在一个关键测试中，当被指示抓取“粉色杯子”时，针对“绿色杯子”训练的策略 90% 的情况下都会失败（默认去抓绿色杯子），而 Anchor-Align 100% 成功抓取了正确的物体。
• 错误分析： 错误模式分析显示，与标准 BC 相比，Anchor-Align 几乎消除了“语义错误”（从 7 个降至 0 个）和“错误物体”接近行为（从 10 个降至 1 个）。

4.3 消融实验与分析

• 两项术语的必要性： 消融研究确认了锚定（Anchoring）和对齐（Alignment）都是必要的；单独使用其中之一虽然比标准 BC 有所改进，但结合使用效果最佳。
• 对齐 vs. 正则化： 使用损坏标签（打乱 Shuffle 和 散射 Scatter）进行的对照实验表明，收益不仅仅源于正则化效应，而是源于真正的语言-动作对齐。
• 相关性： 研究发现，语言-动作对齐程度与任务成功率之间存在强正向 Pearson 相关系数（+0.51），而协同训练的基准模型显示出近乎零的相关性。
• 表示保留： 视觉推理测试 (GQA) 显示，虽然标准 BC 在微调期间丢失了 94% 的推理准确度，但 Anchor-Align 保留了 70%。

5. 重要性与主张

本文声称，保留预训练表示与有效的动作学习在本质上并不矛盾。通过将 VLA 微调重新定义为一个保留并对齐预训练 VLM 先验的过程，而非将其作为控制能力的代价而放弃，Anchor-Align 提供了一种简单且高效的数据方案，用于将基础模型适配到具身任务中。

作者强调，其方法：

• 解决了标准 BC 中固有的“灾难性遗忘”问题。
• 修复了协同训练中固有的“语言-动作失配”问题。
• 证明了这些改进在不同架构（回归和流匹配）和规模（0.5B 到 3B 参数）下均有效。
• 为开发既能保留广泛时空先验，又能保持可控性和语义落地能力的“世界模型”提供了路径。

这项工作表明，未来的 VLA 开发应侧重于锚定表示和在同一观测值上对齐模态，而不是仅仅扩大数据或模型规模。