论文技术总结：Plug-in Visual Injection (PVI) for Vision-Language-Action Models

1. 研究背景与问题 (Problem)

视觉 - 语言 - 动作 (VLA) 模型已成为语言条件机器人操作的主流范式，通常由预训练的视觉语言模型 (VLM) 负责语义理解，配合基于扩散 (Diffusion) 或流匹配 (Flow-Matching) 的“动作专家 (Action Expert)"生成连续动作。然而，这种架构存在两个核心瓶颈：

1. 几何细节丢失：VLM 的骨干网络主要针对语义抽象优化，倾向于压缩掉精细的几何线索（如物体边缘、局部深度、抓取姿态），导致动作专家缺乏执行灵巧操作所需的空间精度。
2. 时序信息缺失：现有的 VLA 通常基于静态图像观测，缺乏对运动连续性、接触动态和子任务转换等时序动态的显式建模。
3. 现有方法的局限性：
   • 在 VLM 端融合几何特征：仍受限于 VLM 的语义压缩。
   • 直接注入辅助特征：现有方法多针对静态特征，或需要大幅修改预训练骨干网络架构以支持时序输入，导致训练成本高且难以复用预训练权重。

核心挑战：如何在不修改预训练 VLA 骨干架构、不进行从头预训练的前提下，轻量级地注入包含时序信息的辅助视觉特征，以增强动作专家的性能？

2. 方法论 (Methodology)

作者提出了 Plug-in Visual Injection (PVI)，一种轻量级、编码器无关 (Encoder-agnostic) 的模块，直接插入预训练 VLA 的冻结动作专家中。

2.1 核心架构设计

PVI 采用双路径 (Dual-Pathway) 设计，保持主网络冻结，仅训练注入路径：

• 主路径 (Frozen Main Path)：保留原始的预训练 VLM 和流匹配动作专家 (DiT)，接收语言指令和静态图像特征，维持原有的语义理解能力。
• 辅助路径 (Trainable Copy Branch)：
  • 编码器无关：引入一个冻结的辅助视觉编码器 (Auxiliary Encoder)，可以是处理静态图像的 (如 DINOv2) 或处理视频时序的 (如 V-JEPA2)。
  • 结构镜像：构建一个与主 DiT 架构完全相同的可训练“副本 (Copy)"，但其条件输入替换为辅助视觉特征。
  • 零初始化残差注入：辅助路径的层间隐藏状态通过零初始化的线性层 (Zero-initialized Linear Layers) 映射，并以残差形式注入到主 DiT 的对应层中。

2.2 训练策略

• 冻结策略：冻结 VLM、主 DiT 骨干以及辅助视觉编码器。
• 可训练参数：仅训练投影层 (Projection)、辅助 DiT 副本块、注入层 (Injection Layers) 以及特定于具身的状态/动作适配器。
• 零初始化优势：由于注入层初始化为零，训练开始时辅助路径输出为零，模型行为完全等同于原始预训练 VLA。随着训练进行，辅助信息逐渐融入，确保了训练的稳定性，避免了破坏预训练知识。
• 单阶段微调：无需多阶段训练或复杂的预训练过程。

3. 主要贡献 (Key Contributions)

1. PVI 框架：提出了一种稳定、侵入性最小且编码器无关的视觉注入框架。通过层对层的零初始化残差注入，实现了在保留预训练行为的同时注入辅助信息，仅需单阶段微调。
2. 系统性的注入策略对比：在双机械臂仿真任务中，PVI 将平均成功率从 35.7% 提升至 59.7% (+24.0%)，显著优于 Concat、ControlNet、ControlVLA 等其他注入策略。证明了注入机制本身的重要性。
3. 时序与静态特征的对比研究：利用 PVI 作为受控测试平台，发现时序视频特征 (V-JEPA2) 在需要状态跟踪和多阶段协调的任务中，表现显著优于强静态图像特征 (DINOv2)。这证明了时序动态信息对于灵巧操作具有互补价值。
4. 真实世界验证：在真实机器人 (Airbot 双机械臂) 上成功部署，完成了长视野的布料折叠任务，证明了 PVI 在仿真之外处理高变形物体和复杂协调任务的有效性。

4. 实验结果 (Results)

• 仿真基准 (RoboTwin 2.0)：
  • 注入策略对比：PVI 在 20 个双机械臂任务中平均成功率提升 24 个百分点，远超其他基线。特别是在低成功率任务（如敲击、点击闹钟）上提升巨大。
  • 特征类型对比：
    • 基线 (微调 GR00T)：39.8%
    • • 静态特征 (DINOv2)：56.8%
    • • 时序特征 (V-JEPA2)：69.4% (提升最大)
    • • 混合特征：68.9% (与纯时序相当，说明静态特征带来的额外增益有限)。
  • 消融实验：发现 2-4 帧的时序上下文效果最佳；零初始化对于保持训练稳定性至关重要。
• 多任务扩展性：在 20 任务和 50 任务混合训练中，PVI 均能带来显著的性能提升，证明其具有良好的泛化能力。
• 真实机器人实验：在 Airbot 平台上，PVI 驱动双机械臂完成了包含 8 个子步骤的复杂布料折叠任务，无需人工重置，展现了在长视野、高变形物体操作中的鲁棒性。

5. 意义与影响 (Significance)

• 范式转变：PVI 提供了一种无需重新预训练或修改骨干网络即可增强 VLA 能力的通用方案，降低了高性能机器人策略的部署门槛。
• 时序价值验证：该研究通过受控实验明确证实，对于精细操作，时序动态信息 (运动趋势、接触变化) 比单纯的静态几何信息更为关键，为未来 VLA 模型引入视频理解能力提供了理论依据。
• 工程实用性：其“即插即用 (Plug-in)"的特性使得现有的预训练 VLA 模型能够轻松集成各种先进的视觉编码器（如最新的视频基础模型），加速了从仿真到真实世界的迁移。

总结：PVI 通过巧妙的架构设计，解决了 VLA 中语义与几何/时序信息割裂的问题，证明了轻量级注入时序视觉特征能显著提升机器人在复杂、长视野操作任务中的表现。