技术摘要：SemiVLA —— 半监督视觉-语言-动作自适应

1. 问题定义

本文旨在解决在动作标签演示数据稀缺的情况下，如何将视觉-语言-动作（VLA）模型适配到新机器人、新环境及新任务分布中的挑战。虽然大规模 VLA 模型（如 OpenVLA, $\pi_0$, GR00T）拥有强大的通用先验，但对其进行微调通常需要密集的、低层级的机器人动作标签，而这些标签通过遥操作收集的成本极高。

作者定义了一个半监督自适应场景，其中：

• 一组较小的轨迹集 ($D_l$) 包含完全监督的信息：视觉观测 ($o$)、语言指令 ($q$) 以及地面真值动作 ($a$)。
• 一组较大的轨迹集 ($D_u$) 仅包含视觉观测和语言指令，缺乏动作标签。

核心难点在于缺失监督信息的本质。与图像分类中伪标签为离散类别的标准半监督学习（SSL）不同，VLA 的伪标签是具身动作信号。这些信号必须满足：

1. 视觉对齐：在观测中具有视觉基础。
2. 语义一致：与语言指令保持语义一致。
3. 物理可行：在机器人的动作空间内物理可行。
4. 时间稳定：在整个轨迹中保持时间稳定性。

直接应用传统的 SSL（例如基于置信度的伪标签）会失败，因为 VLA 模型可能会对一个物理上不可能实现或视觉上无依据的动作赋予高置信度，从而导致闭环执行中的复合误差。

2. 方法论：SemiVLA

作者提出了 SemiVLA，这是一个自蒸馏教师-学生框架，旨在从无标签轨迹上的可靠伪动作中学习。该方法由三个主要部分组成：

A. 训练流水线

1. 监督预热：首先在有限的标记集 ($D_l$) 上对学生策略 ($\pi_\theta$) 进行微调，以建立针对目标动作空间的稳定自适应方向。
2. 教师初始化：教师策略 ($\pi_\xi$) 从预热后的学生模型中初始化。
3. 自蒸馏伪动作学习：
   • 教师策略利用观测的“弱”视图生成无标签轨迹的伪动作 ($\hat{a}_t$)。
   • 学生策略在“强”视图（带有裁剪、抖动、噪声等扰动）上学习匹配这些伪动作，但前提是该伪动作被判定为可靠。
   • 学生通过监督损失（在 $D_l$ 上）、自蒸馏损失（在可靠的 $D_u$ 上）以及对齐/一致性目标进行学习。

B. VLA 特有的可靠性控制器

为了过滤掉噪声伪动作，SemiVLA 引入了一个可靠性控制器，它计算由三个互补信号乘积组成的得分 $r_t$：

1. 视觉-语言对齐 ($r^{vl}_t$)：衡量语言指令嵌入与观测中相关视觉标记之间的余弦相似度。这确保了动作在正确的物体/区域中具有视觉基础。
2. 动作可行性 ($r^{act}_t$)：评估物理合理性。对于连续动作，它惩罚过大的幅度和突发的跳变（时间变化）。对于动作标记，它检查分布熵和一致性。
3. 时间转换一致性 ($r^{temp}_t$)：使用轻量级转换预测器来验证伪动作是否能解释从 $o_t$ 到 $o_{t+1}$ 的视觉转换。高分表示该动作与观察到的轨迹在动力学上是一致的。

只有可靠性得分高于阈值的伪动作才会被用于训练。

C. 瓶颈投影对齐更新

由于标准的指数移动平均（EMA）可能会传播噪声化的学生更新，SemiVLA 采用了瓶颈投影对齐更新。

• 分解：将可训练参数分为语义对齐组（视觉投影器、视觉-语言 PEFT）和动作精度组（动作头、后期策略 PEFT）。
• 过滤：
  • 只有当视觉-语言子空间稳定（对扰动不敏感）时，才会更新语义组。
  • 只有当伪动作可行且时间一致时，才会更新动作组。
• 投影：学生模型的参数位移 ($\Delta$) 在更新教师之前，需通过一个瓶颈门控进行投影。这防止了“干扰敏感型”的视觉更新或不稳定的动作修正污染教师模型，确保教师始终是一个可靠的伪动作生成器。

D. 推理

在推理阶段，仅使用学生策略。教师、可靠性控制器及更新机制均被丢弃，这意味着 SemiVLA 不增加额外的推理成本。

3. 核心贡献

1. 问题形式化：本文明确提出了在监督信号有限情况下的半监督 VLA 自适应问题，通过强调具身动作信号的独特约束，将其与监督微调和传统 SSL 区分开来。
2. SemiVLA 框架：一种自蒸馏教师-学生架构，利用无标签的视觉-语言轨迹来提升自适应能力，而无需密集的动作标签。
3. 可靠性控制器：一种新型机制，通过视觉-语言对齐、动作可行性和时间一致性来评估伪动作，超越了简单的置信度阈值。
4. 瓶颈投影更新：一种教师更新策略，通过稳定的子空间过滤学生反馈，防止噪声污染并提高自蒸馏循环的质量。
5. 实验验证：通过在多个基准测试上的综合实验，证明了 SemiVLA 优于监督微调和现有的 SSL 基准。

4. 实验结果

作者使用 OpenVLA 作为骨干网络，在 LIBERO 和 CALVIN 基准测试上评估了 SemiVLA，其中仅有 10% 的轨迹 包含动作标签。

• LIBERO 上的表现：

  • SemiVLA + Selective LoRA 实现了 89.0% 的平均成功率。
  • 这比表现最好的监督基准（OpenVLA + LoRA, 81.0%）高出 8.0 个百分点。
  • 它也显著优于零样本 OpenVLA (69.8%)，提升了 19.2 个百分点。
  • 在 LIBERO-Long（长程任务）上增益尤为显著，SemiVLA + Selective LoRA 达到了 82.3%，而监督 LoRA 仅为 70.3%。

• 跨基准测试泛化能力 (CALVIN)：

  • SemiVLA + Selective LoRA 平均完成了 2.58 个任务，而监督 Selective LoRA 为 1.86，零样本为 1.32。
  • 这表明该方法提高了向不同长程操作基准迁移的能力，而不仅仅是在训练分布内。

• 少样本自适应：

  • 在 1-shot 和 5-shot 设置下，SemiVLA 始终优于其监督对应模型，展示了其利用无标签数据补偿极端动作标签稀缺性的能力。

• 效率：

  • SemiVLA 通过参数高效的方法（例如仅含 31.6M 可训练参数的 Selective LoRA）实现了这些增益。
  • 在有限标签的情况下，它不需要全参数微调（7.0B 参数）即可达到最先进的结果。

• 消融实验：

  • 去除可靠性控制器或瓶颈更新会显著降低性能，证实了伪动作的质量和教师进化的方法对于两者都至关重要。
  • 完整的可靠性控制器（结合了 VL + Action + Temporal）更为严格（仅接受约 36.8% 的伪动作），但比仅基于置信度的方法获得了更高的成功率，证明了在 VLA 中质量重于数量。

5. 重要性与主张

本文主张 SemiVLA 提供了一种通用的半监督自适应机制，能够有效地将无动作标签的视觉-语言轨迹转化为可靠的监督信号。

• 数据效率：它证明了通过利用丰富的无标签视觉-语言数据，可以用显著更少的动作标签演示来适配高性能机器人策略。
• 超越置信度：这项工作认为标准的 SSL 置信度指标对于具身控制是不够的；相反，可靠性必须通过物理可行性、视觉对齐和时间动态来评估。
• 鲁棒性：该方法提高了对未知任务和环境扰动（光照、干扰物）的泛化能力，表明可靠性控制器有助于模型学习稳定的视觉-语言-动作对应关系，而非仅仅记忆特定的演示。
• 实用性：通过不增加推理成本并配合参数高效的微调技术，该方法被呈现为在动作标签收集成为瓶颈的现实世界部署 VLA 模型时的实用解决方案。