技术摘要：WIZARD —— 通过权重空间元学习实现机器人策略适配

问题陈述

视觉-语言-动作（VLA）模型已成为一种极具前景的机器人操控范式，通过在海量演示语料库上进行大规模预训练来利用其能力。然而，其部署过程中存在一个显著的瓶颈：将这些通用模型适配到新的、未见过的任务时，通常需要带有动作标签的任务特定演示以及额外的微调。这一过程成本高昂、难以规模化，并且在模型遇到分布偏移时（例如，最先进的 $\pi0.5$ 模型在未见的 LIBERO-Spatial 数据集上成功率为 0%）往往会导致性能严重下降。

虽然低秩适配（LoRA）提供了一种参数高效的模型专业化方法，但标准的 LoRA 微调仍然需要针对每个新目标任务的动作标签数据和基于梯度的优化。现有的替代方案（如上下文提示或参数生成方法）通常依赖于特权信息（例如目标图像）、动作空间监督，或者无法扩展到大型 VLA 主干网络。所解决的核心挑战是：能否在测试时无需进行任务特定的优化，仅依靠语言指令和简短的演示视频，即可使 VLA 策略适配到新任务？

方法论：WIZARD

作者提出了 WIZARD（基于机器人演示的权重空间推理零样本适配），这是一个权重空间元学习框架。WIZARD 不在推理过程中优化策略参数，而是将适配视为一个参数推理问题，即元网络直接根据任务证据预测特定任务的 LoRA 更新。

1. 公式化与元数据集构建

该框架运行在一个冻结的 VLA 主干网络（参数为 $W$ 的 $G_W$）之上。

• 任务证据 ($z$)： 对于每个任务 $\tau^{(k)}$，通过使用冻结的 VLA 编码器对语言提示 ($p$) 和视觉观测 ($v$) 进行编码来生成任务嵌入。该嵌入是从若干个回合的子集中聚合而成的。
• 专家更新 ($\Delta W$)： 对于元训练集中的每个任务，通过在带有动作标签的数据上进行标准微调，训练出一个专家 LoRA 适配器 ($\Delta W^{(k)}$)。
• 元训练数据： 数据集由对 $(z^{(k)}, \Delta W^{(k)})$ 组成，即将任务证据映射到相应的专家权重更新。至关重要的是，元网络仅在证据 ($p, v$) 及由此产生的权重上进行训练；它不会接触用于训练专家的状态-动作轨迹 ($s, a$)。

2. 元网络架构与训练

元网络 $f$ 学习将 $z$ 映射到 $\Delta \tilde{W}$，即在单次前向传播中预测新任务的 LoRA 参数。为了确保在机器人控制中的稳定性和有效性，引入了三个特定的设计原则：

• 多模态权重结构： 认识到 VLA 结合了感知、推理和控制模块，LoRA 更新被构建为张量 ($\mathbb{R}^{L \times 3 \times r \times H}$)，明确分离视觉、语言和动作组件，同时保留架构边界。
• 尺度感知参数生成： 机器人策略对参数量级非常敏感。网络共同预测归一化后的权重更新以及逐层统计量（均值和标准差）。最终权重使用这些预测的统计量进行缩放，以防止由异构参数量级引起的发散。
• 面向对齐的监督： 除了标准的均方误差（MSE）重构外，训练目标还包括余弦相似度损失。这强制要求生成的权重与专家更新在权重空间中保持方向一致性，从而确保策略的功能方向得到保留。

总损失函数结合了 MSE、尺度重构和余弦对齐项：
$$\mathcal{L} = \mathcal{L}_{\text{MSE}} + \lambda_{\text{scale}} \mathcal{L}_{\text{scale}} + \lambda_{\text{cos}} \mathcal{L}_{\text{cos}}$$

3. 零样本推理

对于具有新提示词和视频 ($p_{\text{new}}, v_{\text{new}}$) 的未见任务，系统执行以下操作：

1. 计算任务嵌入 $z_{\text{new}}$。
2. 通过单次前向传播生成适配器 $\Delta \tilde{W}_{\text{new}} = f(z_{\text{new}})$。
3. 将适配器注入冻结的主干网络 ($W + \Delta \tilde{W}_{\text{new}}$)。
   此过程不需要动作标签、不需要特权目标信息，也不需要在测试时进行基于梯度的优化。

核心贡献

1. 针对 VLA 的权重空间元学习： WIZARD 是第一个能够直接从任务证据生成冻结 VLA 策略特定 LoRA 适配器的框架，绕过了每个任务都需要微调的需求。
2. 无需微调的适配： 该方法实现了仅使用语言提示和简短演示视频的零样本适配，消除了对动作标注或测试时优化的需求。
3. 鲁棒的训练机制： 本文引入了针对机器人权重生成的特定技术，包括多模态权重结构化、尺度感知预测和方向性监督，这些对于连续控制领域的稳定收敛至关重要。

实验结果

该框架在 LIBERO 基准测试套件（包含 Goal, Object, Spatial 和 10 个数据集）以及真实的 Franka Emika Panda 机器人上进行了评估。

仿真基准测试 (LIBERO)

• 未见数据集： 在未见数据集集合上（例如，在 Object/Goal/10 上训练，在 Spatial 上测试），WIZARD 的性能比多任务 VLA (MT-VLA) 基线提升了约 2 倍。
• 未见任务： 在留出分布中的特定未见任务上，WIZARD 相比基线实现了高达 14 倍 的提升。
• 对比： 虽然基础 $\pi0.5$ 模型在未见任务上的成功率为 0%，且 MT-VLA 基线仅取得微小增益（例如在 Spatial 上为 19%），但 WIZARD 在 LIBERO-Spatial 上达到了 40% 的平均成功率，并显著优于基于检索（最近邻）和标准微调的基线。
• 真实世界表现： 在 Franka Emika Panda 上，WIZARD 持续优于经过真实领域适配的基线（在 DROID 上预训练并轻量适配），在五项操控任务中将平均成功率从 0.22 提高到了 0.41。

效率与热启动

• 数据效率： WIZARD 在未使用任何任务特定梯度更新的情况下，达到了与使用 25 次演示进行微调的 MT-VLA 策略相当的性能。
• 热启动： 如果随后允许进行微调，使用 WIZARD 生成的权重进行初始化可以加速收敛，与标准初始化相比，只需 70 步即可达到专家水平（标准为 90 步）。

意义与主张

本文声称 WIZARD 证明了机器人策略参数存在于一个结构化的、可学习的权重流形之上。通过在这一空间内进行元学习，可以实现对新空间配置和任务的零样本泛化，而无需测试时微调。

作者将 WIZARD 定位为解决大型 VLA 模型部署瓶颈的可扩展解决方案。通过从多模态证据中按需生成适配器，该框架弥合了预训练基础模型与特定任务专家之间的鸿沟。这项工作强调，权重空间生成可以恢复标准零样本基线所缺失的任务特定结构和可达性，为在无需为每个新场景收集带标签动作数据的情况下部署可适配的机器人策略提供了路径。

承认局限性： 作者指出，WIZDARD 的性能取决于任务证据的质量（模糊的演示可能会产生不可靠的适配器），并且目前主要针对单任务专家生成，这限制了其在 LIBERO-10 等长程组合任务中的有效性。