Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation

这是一篇发表于 ICLR 2026 的会议论文，题为 《CORTICAL POLICY: A DUAL-STREAM VIEW TRANSFORMER FOR ROBOTIC MANIPULATION》（皮层策略：一种用于机器人操作的双流视图 Transformer）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现有的基于视图的 Transformer（View Transformers）在机器人操作任务中虽然表现优异，但主要存在两个核心缺陷，导致其在复杂和动态环境中表现不佳：

• 3D 空间推理能力不足：现有方法通常以特定视图的方式提取静态视觉特征，简单地融合多视图 2D 信息，缺乏对跨视图几何关系的建模，导致难以理解复杂的 3D 场景结构（例如在物体之间放置物体时容易出错）。
• 动态适应性缺失：现有方法依赖预定义的静态相机配置，缺乏类似人类“背侧通路”的动态视觉感知能力。当目标物体在操作过程中发生位移或环境发生变化时，现有模型无法实时调整轨迹，导致任务失败。

2. 方法论 (Methodology)

受人类大脑视觉处理机制的启发（特别是腹侧通路负责静态场景理解，背侧通路负责动态运动控制），作者提出了 Cortical Policy，一种新颖的双流视图 Transformer 架构。

核心架构：双流设计

1. 静态视图流 (Static-View Stream)：

   • 目标：增强 3D 空间理解能力，建立持久的环境结构表征。
   • 技术实现：
     • 基于 RVT-2 骨干网络，但引入了几何约束。
     • 利用预训练的 3D 基础模型 VGGT (Visual Geometry Grounded Transformer) 生成几何一致的关键点（Geometrically Consistent Keypoints）。
     • 提出跨视图几何一致性学习目标（Cross-view Geometric Consistency Learning），通过 VGGT 预测的深度图和相机参数，将不同视图中的特征对齐到共享的 3D 空间。
     • 使用 SmoothAP Loss 和循环几何一致性损失 (Cyclic Geometric Consistency Loss) 来优化特征排序，确保同一 3D 点在不同视图下的特征一致性，从而消除视图偏差。

2. 动态视图流 (Dynamic-View Stream)：

   • 目标：模拟人类背侧通路，实现基于运动线索的自适应动作推理。
   • 技术实现：
     • 利用机器人手腕相机的第一人称（Egocentric）动态视图。
     • 基于预训练的眼动估计模型 (GLC) 进行位置感知预训练 (Position-aware Pretraining)。该模型原本用于预测人类视线，作者将其迁移用于预测机械臂末端执行器（End-effector）的位置。
     • 通过构建动态虚拟相机渲染数据集，解决人类眼动数据与机器人手腕视角的域差异，使模型能够学习从动态视觉反馈中提取动作导向的特征（Feature Maps）和热力图（Heatmaps）。
     • 该流能够实时感知物体位移，并据此调整轨迹。

3. 融合与动作预测：

   • 将静态流的空间理解与动态流的自适应特征融合，通过动作头（Action Head）生成最终的 6-DoF 抓取姿态。
   • 静态流提供几何基础，动态流提供实时调整能力，两者互补以处理空间复杂和动态变化的任务。

3. 主要贡献 (Key Contributions)

1. 双流架构创新：提出了首个将静态视图（用于 3D 空间理解）和动态视图（用于自适应调整）结合的双流视图 Transformer，模仿了人类皮层的腹侧和背侧通路，显著提升了视觉 - 运动模仿学习的能力。
2. 跨视图几何一致性学习：不同于以往独立处理视图的方法，引入基于 VGGT 的 3D 基础模型监督，强制跨视图特征在 3D 空间中对齐，大幅增强了静态流的 3D 推理鲁棒性。
3. 动态视图流设计：设计了全新的动态视图流，利用位置感知预训练的眼动模型提取动作导向表征，使机器人具备在动态环境中实时重规划轨迹的能力，这是以往工作所缺乏的。

4. 实验结果 (Results)

作者在 RLBench、COLOSSEUM 基准以及真实世界任务上进行了广泛评估：

• RLBench 基准：
  • Cortical Policy 在 18 个任务上的平均成功率达到 81.0%，优于当前最先进（SOTA）的基线模型 RVT-2（77.5%），提升了 3.5%。
  • 在需要复杂空间推理的任务（如“堆叠杯子”、“在瓶子间放置物体”）中表现尤为突出。
• COLOSSEUM 基准（泛化与鲁棒性）：
  • 在包含物体颜色/纹理/大小变化、光照、干扰物、相机姿态变化等 14 种未见过的扰动下，Cortical Policy 取得了**69.9%**的平均成功率，比 RVT-2 高出 9.4%。
  • 消融实验表明，动态视图流是提升鲁棒性的主要驱动力，特别是在严重扰动下。
• 真实世界实验：
  • 在真实机器人（Franka Panda 和 Agilex ALOHA）上测试了包括“在瓶子间堆叠”和“目标/底座位移”在内的动态任务。
  • 在动态扰动任务中，Cortical Policy 取得了 80% 的成功率，而仅依赖静态视图的方法（如 RVT-2）成功率为 0%，证明了其动态重规划能力。

5. 意义与影响 (Significance)

• 理论突破：将神经科学中的双通路理论（腹侧/背侧）成功转化为机器人视觉 - 运动控制的计算框架，为机器人感知提供了新的视角。
• 技术价值：解决了当前基于 Transformer 的机器人策略在 3D 空间推理和动态适应性方面的瓶颈，证明了结合 3D 几何先验（VGGT）和动态视觉反馈（眼动模型迁移）的有效性。
• 应用前景：该方法不仅提升了机器人在非结构化、动态环境中的操作能力，也为未来更广泛的基于视觉的机器人控制（如开放世界任务、多任务泛化）奠定了基础。

总结：Cortical Policy 通过模仿人类大脑的双流处理机制，成功结合了静态 3D 几何理解与动态运动适应，显著提升了机器人在复杂和动态环境下的操作鲁棒性和成功率，是目前机器人操作领域的一项重要进展。