💻 computer science

OA-WAM: Object-Addressable World Action Model for Robust Robot Manipulation

本文介绍了 OA-WAM，即一种可寻址对象的世界动作模型，该模型将场景分解为带有地址向量的持久性对象槽，以实现基于指令的精确操作，相较于整体基线方法，其实现了最先进的性能并具备对场景扰动的更优鲁棒性。

原作者： Yushan Liu, Peibo Sun, Shoujie Li, Yifan Xie, Lingfeng Zhang, Xintao Chao, Shiyuan Dong, Fang Chen, Xiao-Ping Zhang, Wenbo Ding

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Yushan Liu, Peibo Sun, Shoujie Li, Yifan Xie, Lingfeng Zhang, Xintao Chao, Shiyuan Dong, Fang Chen, Xiao-Ping Zhang, Wenbo Ding

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于OA-WAM论文的解释，已用通俗易懂的语言并配合生动的类比进行翻译。

核心难题：机器人的“模糊”大脑

想象一下，你正在教机器人“把红色的马克杯放到绿色的托盘上”。

旧式机器人（整体模型）： 这些机器人像看一张模糊的照片一样观察整个场景。它们看到的只是“一张摆着东西的桌子”。当摄像头稍微移动，或者背景中出现新物体时，机器人就会感到困惑。它无法判断训练中看到的“红色马克杯”是否就是现在的这个红色马克杯，因为那张“模糊照片”已经变了。它可能会抓错物体，或者因为背景看起来不同而陷入停滞。
问题所在： 机器人的大脑混淆了物体“是什么”（其身份）与物体“在哪里”以及“周围有什么”。如果场景发生偏移，机器人就会失去对特定目标的掌控。

解决方案：OA-WAM（“姓名标签”系统）

作者提出了OA-WAM（可寻址对象世界动作模型）。你可以将其理解为给机器人世界中的每个物体都分配一个永久且不可更改的姓名标签。

机器人不再去查看一张模糊的照片，而是将场景分解为一个个独立的“插槽”或“容器”，其中一个给机械臂，其余的给它看到的每个物体。

1. 两部分组成的 ID 卡

对于每个物体（比如那个红色马克杯），机器人会创建一张特殊的 ID 卡，包含两个截然不同的部分：

姓名标签（“地址”）： 这部分是冻结的。它写着“我是红色马克杯”。它是基于语言指令（“红色马克杯”）和物体的初始外观在开始时计算得出的。无论马克杯如何移动、旋转或被阴影遮挡，它永远不会改变。 这是机器人的锚点。
状态报告（“内容”）： 这部分每秒都在更新。它写着“我目前位于左上角，倾斜 15 度，并反射着光线”。随着世界的移动，这部分会不断变化。

类比： 想象一位在派对上的保安。

旧方法： 保安看着一张人群照片。如果有人移动，保安就会搞不清谁是谁。
OA-WAM 方法： 保安拥有一份 VIP 名单，上面有永久性的 ID 徽章（姓名标签）。即使 VIP 换到了另一个房间、戴上了帽子，或者站在黑暗中，保安也能确切知道他们是谁，因为姓名标签从未改变。保安只使用姓名标签来决定与谁交谈，而状态报告则告诉他们那个人此刻在哪里。

2. “严格的交通警”（架构）

论文在机器人的大脑（Transformer 层）内部引入了一条巧妙的规则：

当机器人需要决定抓取哪个物体时，它只被允许查看姓名标签。
严格禁止它为了做出该决定而去查看状态报告（即变化的位置或光照）。
这由一位“交通警”强制执行，该交通警会阻断任何关于物体当前状态的信息去影响选择哪个目标的决策。

这确保了即使摄像头角度改变或光线变化，机器人仍然知道“我需要红色马克杯”，因为对于选择而言，只有姓名标签才是重要的。

实际运作方式

观察： 机器人观察场景并识别物体（使用 SAM 3 和 DINOv3 等高级视觉工具）。
打标签： 它根据指令为红色马克杯分配一个永久的“姓名标签”。
思考： 机器人在脑海中进行模拟。它预测：“如果我移动机械臂，红色马克杯的状态报告会改变，但其姓名标签保持不变。”
行动： 机器人生成一个平滑的、包含 16 个步骤的移动计划来抓取马克杯。

结果：为何这很重要

研究人员在具有挑战性的场景中对这种方法进行了测试，这些场景中场景被扰乱了（不同的摄像头、不同的光照、物体被移动）。

测试： 他们要求机器人交换目标。如果你告诉机器人去抓取“蓝色书本”，但秘密地将“蓝色书本”的地址与“红色马克杯”的地址互换，机器人应该抓取红色马克杯。
结果：
- 旧式机器人： 感到困惑。它们抓错了东西或什么也没做。它们的“交换绑定”得分接近零（例如 0.05）。
- OA-WAM： 立即抓取了新目标。它的得分非常高（0.87）。
- 性能： 它在标准测试中击败了所有其他顶级机器人，并且在环境发生变化时表现出显著更强的鲁棒性。

总结

该论文声称，通过将身份（它是谁？）与状态（它在哪里？）分离开来，机器人变得更加可靠。它们不再因视觉噪声而感到困惑，能够专注于人类要求的具体物体，即使其周围的世界看起来完全不同。

文中提到的局限性：

目前它仅在模拟环境（电脑游戏）中有效，尚未应用于真实的物理机器人。
如果摄像头过于模糊，或者物体是透明/反光的，机器人可能无法首先“看到”物体以赋予其姓名标签。这是一个视觉问题，而非决策问题。

技术摘要：OA-WAM：面向鲁棒机器人操作的可寻址对象世界动作模型

1. 问题陈述

现有的视觉 - 语言 - 动作（VLA）和世界动作模型（WAMs）通过扩展骨干网络和数据，在标准操作基准测试中取得了高成功率。然而，这些模型在适度的场景扰动下（例如物体布局、相机视角、光照或机器人初始状态的变化）往往表现失败。作者将这种脆弱性诊断为缺乏对象可寻址性。

在全局 WAM 中，预测的世界状态被表示为全帧图像、视频令牌流或全局潜在变量。虽然这些表示捕捉了场景的演变，但它们将目标对象的身份与其在令牌流中的周围上下文纠缠在一起。当场景几何结构发生偏移时，动作解码器难以隔离指令中命名的特定对象，导致“漂移”，即策略作用于错误的对象或无法泛化。当前以对象为中心的方法通常依赖动态槽位发现（例如 Slot Attention），这容易受到遮挡和杂乱的干扰；或者它们将身份、外观和姿态编码为单个向量，未能将“对哪个对象进行操作”与“该对象当前是什么”解耦。

2. 方法论：OA-WAM

作者提出了OA-WAM（可寻址对象世界动作模型），将世界预测重构为每个对象的槽位状态预测。该架构在张量级别强制分离对象身份与随时间变化的内容。

2.1 可寻址对象令牌化

每一帧被分解为 $N+1$ 个槽位（1 个机器人槽位， $N$ 个对象槽位）。每个槽位向量 $s^t_k$ 通过拼接以下部分构建：

身份地址（ $addr_k$ ）： 一个冻结的 32 维向量，在每次任务中根据语言标签和初始 DINOv3 特征计算一次。它在整个任务过程中永不更新。
随时间变化的内容（ $cnt^t_k$ ）： 一个 256 维向量，每一步根据 SAM 3 掩码和 DINOv3 特征刷新，表示对象的当前状态（外观、姿态）。
辅助嵌入： 帧索引（ $\pi^t$ ）和角色标签（ $\rho_k$ ）。

这些槽位通过一个可学习的槽位适配器投影到 4096 维的隐藏空间，并与文本、图像-VQ、本体感知和过去动作令牌融合，形成由 70 亿参数 Chameleon 风格 Transformer 主干处理的块因果序列。

2.2 可寻址注意力（OA 约束）

核心架构创新是在每个 Transformer 层应用一个无参数约束，确保动作解码器仅基于身份而非当前外观或上下文来关注正确的对象。这是通过两个操作实现的：

仅地址键投影： 对于槽位类型的位置，键投影（ $K$ ）仅读取残差流的前 32 维（即 $addr $子向量）。查询（$ Q $）和值（$ V$）投影使用完整的隐藏状态。这强制跨槽位注意力仅基于身份进行路由。
每层地址重置： 在每个 Transformer 块之后，通过前向钩子（forward hook）将槽位位置处残差流的前 32 维覆盖为缓存的 $addr_k$ 。这防止了身份地址在残差流的内容更新中发生漂移或损坏。

2.3 预测头

模型执行单次前向传播以生成：

世界头： 回归每个槽位的下一帧状态，预测内容（ $\hat{c}^{t+1}$ ）和姿态（ $\hat{p}^{t+1}$ ）。这为时间一致性提供了辅助监督。
动作头： 一个流匹配 MLP，从可学习的动作查询令牌（ $[ACT\_Q]$ ）解码出 16 步连续动作块。
辅助图像-VQ 头： 复用主干的语言头来预测下一帧的 VQ 令牌，有助于在不引入新参数的情况下进行预训练。

2.4 训练

模型分三个阶段进行训练：

阶段 0： 在混合语料库（网络图像 - 文本 + 机器人数据）上预训练 70 亿参数主干，同时强制执行 OA 约束。
阶段 I： 在冻结主干权重的情况下，对齐槽位适配器和世界头。
阶段 II： 使用 LoRA 对主干进行全系统微调，并训练动作头。损失函数结合了动作流匹配、世界预测均方误差（MSE），以及针对干扰项排列不变性和角色对齐的辅助正则化项。

3. 主要贡献

对象可寻址性的形式化： 本文指出，缺乏稳定、可查询的对象接口是现有 WAM 在几何扰动下鲁棒性失败的根本原因。
架构解耦： OA-WAM 引入了一种张量级机制（冻结地址 + 仅地址路由），在结构上将“对哪个对象进行操作”与“该对象是什么”解耦，无需引入额外令牌或依赖动态槽位发现。
最先进的鲁棒性： 该模型在 LIBERO-Plus 基准测试的几何维度上取得了新的 SOTA 结果，该基准专门测试对布局、相机和机器人初始状态变化的鲁棒性。

4. 实验结果

作者在三个基准测试上评估了 OA-WAM：LIBERO、SimplerEnv 和 LIBERO-Plus。

标准基准测试： 在分布内任务上，OA-WAM 达到或超过了 SOTA VLA 和 WAM 基线。
- LIBERO： 平均成功率 97.8%（VLA-JEPA 为 97.2%）。
- SimplerEnv (WidowX)： 平均成功率 79.3%（CoWVLA 为 76.0%）。
鲁棒性 (LIBERO-Plus)： OA-WAM 在与假设最一致的几何维度（相机、机器人初始化、布局）上设定了新的 SOTA。
- Geo-Avg（相机/机器人/布局）： 84.3%，比 $\pi0.5$ 提高了 +4.8%。
- 特定维度： 相机维度为 80.5%（比 Cosmos-Policy 提高 +4.7%），机器人初始化维度为 89.6%。
- 传感器噪声： 该模型在传感器噪声方面表现滞后（比此前最佳水平低 -17.1%），作者将此归因于上游感知栈（槽位提取）的失败，而非策略本身。
机制验证：
- 消融实验： 移除 OA 约束（掩码或重置钩子）会导致几何鲁棒性急剧下降（例如，相机维度下降 -13.3%），而分布内性能基本保持不变，证实了该偏差是特定于分布外（OOD）的。
- 因果干预： 在推理时，如果将目标槽位的地址与干扰项的地址交换，OA-WAM 的轨迹会转移到新目标，其余弦对齐度为 0.87。相比之下，所有全局基线的对齐度均 $\le 0.09$ ，证明 OA-WAM 的动作是建立在显式地址子空间基础上的。

5. 意义与主张

本文声称，将世界模型明确组织为可寻址对象状态，是实现场景扰动下鲁棒机器人操作的有效途径。通过将目标选择锚定在一个冻结的、基于语言的身份向量上，OA-WAM 使鲁棒性成为架构的结构属性，而非训练数据多样性的结果。

作者强调，这种方法提供了一个“可干预的对象级接口”，无论场景如何重新排列，策略都能可靠地查询任务相关对象。他们承认局限性，指出该方法目前仅限于模拟器，且当冻结的感知栈失效时（例如在重度传感器噪声下，或针对透明/被遮挡的物体），性能会下降，但他们认为该架构贡献成功地将路由机制与感知和策略阶段隔离开来。