技术摘要：GeoProp —— 将机器人状态在视觉中进行几何对齐以实现通用操作

1. 问题陈述

当前的机器人操作架构，从基于扩散的控制器到视觉-语言-动作（VLA）模型，都面临着高维视觉观测与低维本体感受反馈之间结构性脱节的问题。标准的融合方法通常将本体感受视为一个孤立且未经过对齐（ungrounded）的全局状态向量，通过简单的拼接或交叉注意力进行融合。

作者指出这种范式的一个关键局型限制：由于缺乏 3D 运动学与 2D 视觉特征图之间的显式对应关系，模型必须隐式地学习物理状态与场景之间的对齐。实证分析表明，这种缺乏对齐的方法可能会产生适得其反的效果，引入伪相关性，导致策略的表现甚至低于仅视觉（vision-only）的基线模型。状态向量无法将机器人的配置锚定在视觉流形内，导致注意力模式弥散，无法聚焦于夹持器或被操作物体。

2. 方法论：GeoProp

为了解决这一问题，作者提出了 GeoProp，这是一个轻量级、即插即用的适配器，通过显式的几何对齐和空间特征采样，将本体感受与视觉进行对齐。GeoProp 在感知与状态表示的接口处运行，无需修改主干网络架构。它由三个核心组件组成：

2.1 几何投影与特征对齐

GeoProp 不仅仅是将本体感受状态 $p_t$ 作为全局向量注入，而是利用相机内参（$K$）和外参（$R, t$）将 3D 末端执行器位置 $r_t$ 投影到 2D 图像平面上。
$$q_t = \Pi_K(R r_t + t)$$
投影后的图像坐标 $q_t$ 被映射到视觉特征网格上的连续坐标 $\bar{q}_t$。该位置的视觉特征通过双线性插值进行采样，从而创建一个对齐状态标记（$\tau_t$）。该标记携带了机器人当前交互点处的局部场景证据，并在同一视觉潜空间内继承了场景语义。

2.2 空间对齐的特征调制

为了将几何先验注入更深的视觉层级，GeoProp 采用了以本体感受状态为条件的 FiLM（特征线性调制）。

• 对于每一层 $\ell$ 的中间特征图 $F^\ell_{enc}$，识别出与投影后的末端执行器对应的对齐网格单元 $c^\ell_t$。
• 使用两层 MLP 根据 $p_t$ 预测通道维度的调制参数 $\gamma^\ell_t$ 和 $\beta^\ell_t$。
• 调制仅应用于与末端执行器几何对齐的特征单元：
  $$F^\ell_{mod}[c] = \begin{cases} (1 + \gamma^\ell_t) \odot F^\ell_{enc}[c] + \beta^\ell_t & \text{if } c = c^\ell_t \\ F^\ell_{enc}[c] & \text{otherwise} \end{cases}$$
  这确保了本体感受的条件化在通过特征金字塔网络（FPN）进行多尺度聚合之前，保持在空间上的局部性。

2.3 预测性运动采样

为了捕捉运动意图，GeoProp 使用一个预测标记来增强对齐状态。

• 利用近期 3D 位置的时间窗口，通过多项式外推估计一个短时界限的未来路标 $\hat{r}_{t+1}$。
• 该路标被投影到图像平面并映射到特征网格，以获得前瞻坐标 $\bar{q}^{pre}_{t+1}$。
• 从未调制的特征图中采样一个预测标记（$\tau^{pre}$）。这提供了预期运动的空间预览，且不依赖于状态调制，从而将“前瞻”上下文与当前状态解耦。

最终的策略输入将对齐状态标记、预测标记以及全局视觉标记（以及语言标记，如果可用）进行拼接。

3. 核心贡献

1. 对失配现象的实证分析： 作者证明了将本体感受视为未对齐的全局向量可能会降低操作性能，甚至比仅视觉的基线表现更差，从而强调了需要显式的、基于几何的状态-视觉对应关系。
2. GeoProp 适配器： 他们引入了一个即插即用的模块，将 3D 本体感受转化为图像对齐的视觉标记。该模块通过几何投影、局部化 FiLM 调制以及运动意图的预测采样，弥合了表示差距。
3. 泛化性与效率： GeoProp 在不同的策略架构（Diffusion Policy 和 VLA 模型如 $\pi_0$）以及环境（仿真和真实世界）中得到了验证。它实现了显著的性能提升，而参数开销极小（仅 2–3%）。

4. 实验结果

作者在 67 个任务上评估了 GeoProp，包括 63 个仿真任务和 4 个在 Mobile ALOHA 系统上的真实世界任务。

仿真基准测试

• Diffusion Policy (DP)： 在使用 ResNet-18 和 ViT-Base 主干的 63 个任务（MetaWorld, RLBench, RoboTwin）中，GeoProp 比传统的融合基线平均成功率提高了 8.7%。
• VLA 模型 ($\pi_0$)： 在 RoboTwin 子集上，GeoProp 使 3B 参数量的 $\pi_0$ 模型成功率提升了 4.0%，并在 7 个任务中的 5 个任务上优于传统基线。
• 消融研究： 几何对齐被确定为主要的改进来源。添加预测采样和局部 FiLM 调制提供了互补性的增益。该方法优于其他空间对齐基线，如热力图注入（Heatmap injection）和 RC-PE。

真实世界实验

在 Mobile ALOHA 双臂平台上进行的四个家庭任务（扔纸屑、取咖啡、清理桌面、擦桌子）中进行了评估：

• Diffusion Policy： GeoProp 实现了 50.0% 的平均成功率，比传统融合基线绝对提升了 11.2%，比仅视觉基线提升了 21.2%。
• $\pi_0$： GeoProp 将平均成功率从 43.8% 提高到了 53.8%（提升了 10.0 个百分点）。
• 增益在需要精确局部接触和夹持器-物体对齐的任务中最为显著。

鲁棒性

GeoProp 依赖于相机-机器人标定。在合成的外参扰动下，该方法性能逐渐下降，但在平移误差不超过 2.5 cm 和旋转误差不超过 1.5° 的情况下，仍然优于基线。

5. 重要性与主张

本文声称 GeoProp 为通用具身策略提供了一个简单且高影响力的归纳偏置。通过解析投影将机器人的状态锚定到同位置的视觉语义上，GeoProp 解决了标准融合方法中固有的模态失配问题。

作者强调，这种方法是框架无关的，既能提升浅层融合方法（Diffusion Policy），也能提升深层跨模态注意力模型（$\pi_0$）。结果表明，显式的几何对齐是扩展具身智能的关键组成部分，使策略能够更好地将本体感受状态与相关的视觉证据联系起来，而无需复杂的 3D 场景重建或更改主干架构。

承认的局限性：

• 需要已知的相机内参和外参；当发生显著的标定漂移时，性能会下降。
• 目前仅对 3D 末端执行器位置进行对齐，而非更丰富的运动学结构（如关节、指尖）。
• 预测采样假设运动是局部平滑的；剧烈的方向变化可能会导致前瞻点偏离任务目标。
• 当被操作物体遮挡了投影的末端执行器，或者当基线已经接近性能上限时，增益会减小或消失。