技术摘要：面向视觉 - 语言 - 动作模型的自适应失败知情学习（AFIL）

1. 问题陈述

视觉 - 语言 - 动作（VLA）模型已成为机器人操作的可扩展范式，它利用大规模预训练的视觉 - 语言表示来实现具身决策。然而，当前的 VLA 模型在部署过程中存在显著的脆弱性。这一局限性主要源于其对仅基于成功的行为克隆的依赖。训练数据通常由在受限环境中收集的遥操作轨迹组成，缺乏针对次优状态或未见状态的校正信号。

因此，仅基于成功演示训练的策略往往容易过拟合到狭窄的行为流形上。当发生微小的执行错误时，这些错误会迅速累积，导致不可恢复的、分布外的失败。虽然近期研究表明从失败数据中学习可以提高鲁棒性，但现有方法面临关键局限：

• 人工设计：许多方法依赖于手工设计的失败分类体系（例如定义“打滑”或“抓取不完整”等特定类别），这需要领域专业知识，且无法捕捉现实世界失败的随机多样性。
• 人类依赖：恢复过程通常依赖于特定任务的启发式规则或实时人工干预，限制了可扩展性。
• 计算成本：将负向引导（类似于图像生成中的负向提示）应用于序列机器人动作并非易事。传统方法通常需要为期望分布和非期望分布分别建立模型，这对于基于大型视觉 - 语言模型（VLM）骨干构建的 VLA 系统而言，计算成本过高。

2. 方法论：自适应失败知情学习（AFIL）

作者提出了自适应失败知情学习（AFIL），这是一个专为基于扩散和流匹配的 VLA 策略设计的端到端框架。AFIL 利用失败轨迹作为自适应负向引导，将动作生成引导至远离易发生失败的区域。

2.1 双动作生成器（DAG）架构

AFIL 引入了一种**双动作生成器（DAG）**架构，该架构在保持参数效率的同时，联合从成功和失败数据中学习：

• 共享骨干：两个生成器共享一个通用的预训练 VLM 骨干（$\Phi_{VLM}$），用于视觉感知和语义 grounding。
• 双头结构：该架构采用两个独立的动作生成器：
  1. 成功生成器（$\mathcal{G}_{succ}$）：仅在成功轨迹上训练，以建模分布 $p_{succ}(a | o, \ell)$。
  2. 失败生成器（$\mathcal{G}_{fail}$）：仅在失败轨迹上训练，以建模分布 $p_{fail}(a | o, \ell)$。
• 在线失败生成：AFIL 不依赖人工标注，而是通过在任务条件执行下 rollout 预训练的 VLA 来在线生成失败轨迹。这些轨迹自然地捕捉了涌现的和累积的错误模式。

2.2 训练策略

该模型在混合数据集 $\mathcal{D} = \{\mathcal{D}_s, \mathcal{D}_f\}$ 上进行训练。

• 对于基于扩散的策略，每个生成器预测噪声 $\epsilon_\theta$，并在其各自的数据集上最小化标准的扩散目标。
• 对于流匹配策略，各头预测速度场，将样本从噪声传输到数据分布。
• 关键在于，底层的生成式训练目标保持不变；创新之处在于联合训练结构以及推理时的引导机制。

2.3 自适应失败知情采样

在推理阶段，AFIL 采用了一种受文本到图像生成中负向提示启发的动态引导机制。AFIL 不使用静态的引导尺度，而是根据每个扩散步骤中成功预测与失败预测之间的差异，自适应地调节负向引导的强度。

引导后的分数 $\epsilon^*_{FI}$ 计算如下：
$$\epsilon^*_{FI} = \epsilon_{succ} - \hat{\lambda}_\eta(\mathbf{a}^\eta) (\epsilon_{fail} - \epsilon_{succ})$$
其中，自适应引导尺度 $\hat{\lambda}_\eta$ 由成功生成器和失败生成器预测的噪声向量之间的余弦相似度决定：
$$\hat{\lambda}_\eta(\mathbf{a}^\eta) = \alpha (1 - \cos(\epsilon_{succ}, \epsilon_{fail}))$$

自适应性的理由：

• 早期阶段：在回合开始时，成功和失败的 rollout 通常具有相似的抓取动作。此时余弦相似度较高，导致引导尺度较低，从而避免抑制有效的动作。
• 发散阶段：随着轨迹的推进，如果出现失败模式（例如物体掉落），预测将发生发散。余弦相似度降低，引导尺度随之增加，从而主动将策略从失败流形上推开，并将其引导至校正行为。

3. 主要贡献

本文概述了三项主要贡献：

1. AFIL 框架：引入了面向基于扩散和流匹配的 VLA 的自适应失败知情学习，利用在线生成的失败 rollout 作为序列动作生成的原则性自适应负向引导形式。
2. DAG-VLA 架构：一种新颖的架构，通过共享 VLM 骨干联合学习成功和失败行为，实现了在有限参数开销下的高效失败感知策略学习。
3. 实证验证：证明了 AFIL 在多样化的域内和域外操作任务（包括短视距和长视距设置）中，一致地提高了成功率和鲁棒性。

4. 实验结果

作者在 ManiSkill 和 LIBERO 基准测试上，使用 $\pi0.5$ 骨干网络评估了 AFIL。

4.1 域内性能（ManiSkill）

• 短视距任务：AFIL 显著提高了仅基于成功的基线的成功率。例如，在“垂直提起 peg"任务中，成功率从 70.7%（仅成功）提升至 90.7%（自适应-FIL）。
• 长视距任务：在错误会累积的复杂多步任务中，提升最为显著。在“将罐子放在盘子上并将香蕉放在盘子上”任务中，成功率从 39.3% 上升至 71.3%，比静态失败知情采样高出 12% 以上。
• 消融实验：研究证实，自适应引导（$\alpha=1.0$）优于静态引导，特别是在平衡失败模式的排斥与避免在轨迹早期阶段抑制有效动作方面。

4.2 基准评估（LIBERO）

• AFIL 在所有四个 LIBERO 套件（空间、物体、目标和长视距）中均取得了最先进的性能。
• 在具有挑战性的 LIBERO-10（长视距）套件上，该方法将基线 $\pi0.5$ 的性能从 92.4% 提升至 95.8%。
• 所有套件的平均成功率从 96.9% 提升至 98.4%，表明即使是强大的预训练策略也能从自适应失败引导中受益。

4.3 域外（OOD）评估

• 在涉及未见物体、新几何形状和杂乱环境的场景中，仅基于成功的策略性能显著下降（例如，在水果排序任务中仅为 10.7%）。
• AFIL 展现了强大的泛化能力，在水果排序任务中实现了 64.0% 的成功率，显著优于仅基于成功的基线以及没有自适应引导的“成功 + 失败校正”基线。

5. 意义与主张

本文主张，AFIL 提供了一种可扩展且高效的机制，用于生成鲁棒的机器人动作，而无需：

• 手工设计的失败模式或分类体系。
• 特定任务的恢复启发式规则。
• 用于失败检测的独立、大规模 VLA 模型。

通过显式建模失败分布并将其用作自适应负向引导，AFIL 解决了仅基于成功训练中固有的脆弱性。作者认为，这种方法为开发能够泛化到现实部署环境的 VLA 策略提供了有前景的方向，在这些环境中，错误、分布偏移以及恢复需求是不可避免的。该方法被描述为与模型无关，适用于任何基于扩散或流匹配的 VLA 策略。