💻 computer science

OA-WAM: Object-Addressable World Action Model for Robust Robot Manipulation

本論文は、シーンを持続的なオブジェクトスロットとアドレスベクトルに分解して精密な指示に基づく操作を可能にするオブジェクトアドレス可能ワールドアクションモデルであるOA-WAMを導入し、ホリスティックなベースラインと比較して最先端の性能とシーン摂動に対する優れた頑健性を達成する。

原著者： Yushan Liu, Peibo Sun, Shoujie Li, Yifan Xie, Lingfeng Zhang, Xintao Chao, Shiyuan Dong, Fang Chen, Xiao-Ping Zhang, Wenbo Ding

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC0 1.0

原著者： Yushan Liu, Peibo Sun, Shoujie Li, Yifan Xie, Lingfeng Zhang, Xintao Chao, Shiyuan Dong, Fang Chen, Xiao-Ping Zhang, Wenbo Ding

原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、OA-WAM 論文の説明を、日常的な言葉と創造的な比喩を用いて翻訳したものです。

大きな問題：ロボットの「ぼんやりした」脳

あなたがロボットに「赤いマグカップを緑のトレイの上に置いて」と教えると想像してみてください。

古いロボット（ホリスティックモデル）： これらのロボットは、ぼやけた写真のように全体像を見ています。「何かが乗ったテーブル」が見えるだけです。カメラがわずかに動いたり、背景に新しい物体が現れたりすると、ロボットは混乱します。訓練中に見た「赤いマグカップ」と今の赤いマグカップが同じかどうか判断できません。なぜなら、「ぼやけた写真」が変わってしまっているからです。間違った物体を掴んだり、背景が異なるために立ち往生したりする可能性があります。
問題点： ロボットの脳は、物体が「何か（正体）」と、「どこにあるか」および「周囲に何があるか」を混同してしまいます。シーンが変化すると、ロボットは特定のターゲットに対する把握を失ってしまいます。

解決策：OA-WAM（「名札」システム）

著者らは、OA-WAM（Object-Addressable World Action Model：物体アドレス指定可能世界行動モデル）を提案しています。これは、ロボットの世界にあるすべての物体に、永久的で不変の名札を付けるようなものです。

ぼやけた写真を見る代わりに、ロボットはシーンを「スロット」や「箱」のような個々の要素に分解します。ロボットアーム用と、目にするすべての物体用に、それぞれ一つずつ割り当てられます。

1. 二部構成のIDカード

すべての物体（例えば赤いマグカップ）について、ロボットは2つの明確な部分を持つ特別なIDカードを作成します。

名札（「アドレス」）： この部分は固定されています。「私は赤いマグカップです」と記されています。これは言語指示（「赤いマグカップ」）と物体の初期の外観に基づいて最初に計算され、決して変わりません。マグカップが移動したり、回転したり、影に覆われたりしても、これは変わりません。これがロボットの支え（アンカー）となります。
ステータスレポート（「内容」）： この部分は毎秒更新されます。「現在は左上にあり、15度傾き、光を反射しています」と記されています。この部分は、世界が動くにつれて絶えず変化します。

比喩： パーティーにいる警備員を想像してください。

古い方法： 警備員は群衆の写真を見ています。誰かが動くと、誰が誰なのか混乱してしまいます。
OA-WAM の方法： 警備員には、恒久的なIDバッジ（名札）がついたVIPリストがあります。VIPが別の部屋に移動したり、帽子をかぶったり、暗闇に立ったりしても、名札が変わらないため、警備員は彼らが誰なのか正確に知っています。警備員は、誰と話すかを決める際に名札のみを使用し、その人が今どこにいるかを知るためにステータスレポートを使用します。

2. 「厳格な交通整理係」（アーキテクチャ）

論文では、ロボットの脳（トランスフォーマー層）の中に巧妙なルールを導入しています。

ロボットがどの物体を掴むかを決める必要があるとき、それは名札だけを見てよいとされています。
その決定をするために、ステータスレポート（変化する位置や照明）を見ることは厳しく禁止されています。
これは「交通整理係」によって強制され、物体の現在の状態に関する情報が、どの物体をターゲットにするかの決定に影響することをブロックします。

これにより、カメラの角度が変わったり照明が変化したりしても、ロボットは「赤いマグカップが必要だ」と認識し続けます。なぜなら、選択において重要なのは名札だけだからです。

実際の動作

視覚： ロボットはシーンを見て、物体を特定します（SAM 3 や DINOv3 などの高度な視覚ツールを使用）。
タグ付け： 指示に基づいて、赤いマグカップに恒久的な「名札」を割り当てます。
思考： ロボットは頭の中でシミュレーションを実行します。「腕を動かすと、赤いマグカップのステータスレポートは変わるが、名札は変わらない」と予測します。
動作： ロボットはマグカップを掴むための滑らかな16段階の動作計画を生成します。

結果：なぜ重要なのか

研究者らは、シーンが混乱している状況（異なるカメラ、異なる照明、物体が移動しているなど）でこれをテストしました。

テスト： 彼らはロボットにターゲットを交換するよう指示しました。「青い本」を掴むよう指示しましたが、裏で「青い本」のアドレスと「赤いマグカップ」のアドレスを密かに交換した場合、ロボットは赤いマグカップを掴むはずです。
結果：
- 古いロボット： 混乱しました。間違ったものを掴んだり、何もしなかったりしました。「スワップバインディング」スコアはほぼゼロ（0.05 程度）でした。
- OA-WAM： 即座に新しいターゲットを掴みました。そのスコアは非常に高く（0.87）、他のトップロボットを標準テストで凌駕し、環境が変化してもはるかに頑健でした。

結論

この論文は、正体（それは誰か？）と状態（どこにあるか？）を分離することで、ロボットがはるかに信頼性が高くなると主張しています。視覚的なノイズに混乱することがなくなり、周囲の世界が全く異なって見えても、人間が要求した特定の物体に集中できるようになります。

言及された限界点：

現時点ではシミュレーション（コンピュータゲーム）内でのみ機能しており、実際の物理ロボットではまだ動作していません。
カメラがぼやけすぎている場合や、物体が透明・反射性である場合、ロボットはそもそも物体に名札を付けるために「見る」ことに失敗する可能性があります。これは意思決定の問題ではなく、視覚の問題です。

技術概要：OA-WAM（Object-Addressable World Action Model）：堅牢なロボット操作のためのオブジェクトアドレス指定可能ワールドアクションモデル

1. 問題定義

既存のビジョン・言語・アクション（VLA）モデルおよびワールドアクションモデル（WAM）は、バックボーンとデータのスケールアップにより、標準的な操作ベンチマークで高い成功率を達成しています。しかし、これらのモデルは、物体配置の変更、カメラ視点、照明、またはロボット初期状態など、わずかなシーン摂動下では頻繁に失敗します。著者らは、この脆弱性を「オブジェクトのアドレス指定可能性（object addressability）」の欠如と診断しています。

ホリスティックな WAM では、予測されたワールド状態は、全フレーム画像、ビデオトークンストリーム、またはグローバル潜在変数として表現されます。これらの表現はシーンの進化を捉えますが、トークンストリーム内でターゲット物体のアイデンティティとその周囲の文脈が絡み合っています。シーン幾何学が変化すると、アクションデコーダは指示で名付けられた特定の物体を分離することが困難になり、「ドリフト」が発生します。これにより、方策が誤った物体に作用したり、一般化に失敗したりします。現在の物体中心のアプローチは、しばしば動的なスロット発見（例：Slot Attention）に依存しており、これは遮蔽や雑多さに敏感です。あるいは、アイデンティティ、外観、姿勢を単一のベクトルに符号化し、「どの物体に作用するか」と「その物体が現在何であるか」を分離することに失敗しています。

2. 手法：OA-WAM

著者らは、ワールド予測を物体ごとのスロット状態予測として再定義する OA-WAM（Object-Addressable World Action Model）を提案します。このアーキテクチャは、テンソルレベルで物体のアイデンティティと時間変化するコンテンツの間に厳密な分離を強制します。

2.1 オブジェクトアドレス指定可能トークン化

各フレームは、 $N+1$ 個のスロット（1 つのロボットスロット、 $N$ 個の物体スロット）に分解されます。各スロットベクトル $s^t_k$ は、以下の要素を連結することで構成されます：

アイデンティティアドレス（ $addr_k$ ）： エピソードごとに一度、言語ラベルと初期の DINOv3 特徴から計算される、凍結された 32 次元ベクトルです。エピソード中は更新されません。
時間変化するコンテンツ（ $cnt^t_k$ ）： SAM 3 マスクと DINOv3 特徴から各ステップごとに更新される 256 次元ベクトルであり、物体の現在の状態（外観、姿勢）を表します。
補助的埋め込み： フレームインデックス（ $\pi^t$ ）と役割ラベル（ $\rho_k$ ）。

これらのスロットは、学習可能なスロットアダプタを介して 4096 次元の隠れ空間に射影され、テキスト、画像-VQ、固有受容感覚、過去のアクショントークンと融合されます。その後、ブロック因果的なシーケンスとして、7B パラメータの Chameleon スタイルのトランスフォーマートランクによって処理されます。

2.2 オブジェクトアドレス指定可能アテンション（OA 制約）

中核的なアーキテクチャの革新は、各トランスフォーマー層に適用されるパラメータフリーの制約であり、アクションデコーダが現在の外観や文脈ではなく、アイデンティティのみに基づいて正しい物体にアテンションすることを保証します。これは以下の 2 つの操作によって実現されます：

アドレス専用キー射影： スロットタイプの位置に対して、キー射影（ $K$ ）は残差ストリームの最初の 32 次元（$addr $部分ベクトル）のみを読み取ります。クエリ（$ Q $）とバリュー（$ V$）射影は、完全な隠れ状態を使用します。これにより、スロット間アテンションはアイデンティティのみに基づいてルーティングされます。
層ごとのアドレスリセット： フォワードフックが、各トランスフォーマーブロックの後に、スロット位置における残差ストリームの最初の 32 次元をキャッシュされた $addr_k$ で上書きします。これにより、アイデンティティアドレスがドリフトしたり、残差ストリーム内のコンテンツ更新によって破損したりするのを防ぎます。

2.3 予測ヘッド

モデルは単一のフォワードパスを実行して以下のものを生成します：

ワールドヘッド： 各スロットの次フレーム状態を回帰し、コンテンツ（ $\hat{c}^{t+1}$ ）と姿勢（ $\hat{p}^{t+1}$ ）の両方を予測します。これは時間的整合性に対する補助的監督を提供します。
アクションヘッド： 学習可能なアクションクエリートークン（ $[ACT\_Q]$ ）から 16 ステップの連続的なアクションチャンクをデコードするフローマッチング MLP です。
補助的画像-VQ ヘッド： トランクの言語ヘッドを再利用して、次フレームの VQ トークンを予測し、新しいパラメータなしで事前学習を支援します。

2.4 学習

モデルは 3 つの段階で学習されます：

ステージ 0： OA 制約を強制しながら、混合コーパス（ウェブ画像・テキスト＋ロボットデータ）で 7B トランクを事前学習します。
ステージ I： 凍結されたトランク重み上で、スロットアダプタとワールドヘッドをアライメントします。
ステージ II： トランクに対して LoRA を使用したフルシステム微調整と、アクションヘッドの学習を行います。損失関数は、アクションフローマッチング、ワールド予測 MSE、およびダミー物体の置換不変性と役割アライメントのための補助的正則化子を組み合わせます。

3. 主要な貢献

オブジェクトアドレス指定可能性の定式化： 本論文は、既存の WAM が幾何学的摂動下で堅牢性の失敗を起こす根本原因として、安定した問い合わせ可能な物体インターフェースの欠如を特定しています。
アーキテクチャ的脱結合： OA-WAM は、追加トークンの導入や動的スロット発見への依存なしに、「どの物体に作用するか」と「その物体が何であるか」を構造的に脱結合するテンソルレベルのメカニズム（凍結されたアドレス＋アドレス専用ルーティング）を導入します。
最先端の堅牢性： このモデルは、特にレイアウト、カメラ、ロボット初期状態の変化に対する堅牢性をテストする LIBERO-Plus ベンチマークの幾何学的軸において、新しい最先端（SOTA）の結果を達成しました。

4. 実験結果

著者らは、OA-WAM を LIBERO、SimplerEnv、および LIBERO-Plus の 3 つのベンチマークで評価しました。

標準ベンチマーク： OA-WAM は、分布内タスクにおいて SOTA の VLA および WAM ベースラインと同等かそれ以上の性能を示します。
- LIBERO： 平均成功率 97.8%（VLA-JEPA の 97.2% に対して）。
- SimplerEnv（WidowX）： 平均成功率 79.3%（CoWVLA の 76.0% に対して）。
堅牢性（LIBERO-Plus）： OA-WAM は、仮説と最も整合性の高い幾何学的軸（カメラ、ロボット初期状態、レイアウト）において新しい SOTA を確立しました。
- Geo-Avg（カメラ/ロボット/レイアウト）： 84.3%。 $\pi0.5$ より +4.8% の改善。
- 特定の軸： カメラで 80.5%（Cosmos-Policy より +4.7%）、ロボット初期状態で 89.6%。
- センサーノイズ： モデルはセンサーノイズにおいて劣ります（先行する最良の手法より -17.1%）。著者らは、これは方策そのものではなく、アップストリームの知覚スタック（スロット抽出）の失敗に起因すると帰属させています。
メカニズムの検証：
- アブレーション： OA 制約（マスクまたはリセットフック）を除去すると、幾何学的堅牢性が劇的に低下します（例：カメラで -13.3%）が、分布内性能はほとんど変化しません。これはバイアスが OOD 固有であることを確認します。
- 因果的介入： 推論時にターゲットスロットのアドレスをダミー物体のアドレスと交換すると、OA-WAM の軌道は新しいターゲットへシフトし、コサインアライメントは 0.87 となります。対照的に、すべてのホリスティックベースラインはアライメントが $\le 0.09$ であり、OA-WAM のアクションが明示的なアドレス部分空間に根ざしていることを証明しています。

5. 意義と主張

本論文は、ワールドモデルをアドレス指定可能な物体状態として明示的に組織化することが、シーン摂動下での堅牢なロボット操作への効果的な道であると主張しています。ターゲット選択を凍結された言語に基づくアイデンティティベクトルに固定することで、OA-WAM は堅牢性を訓練データの多様性の結果ではなく、アーキテクチャの構造的性質として実現します。

著者らは、このアプローチが「介入可能な物体レベルのインターフェース」を提供することを強調しています。これにより、方策はシーンがどのように再配置されても、タスクに関連する物体を確実に問い合わせることができます。彼らは限界を認め、このアプローチは現在シミュレータのみで動作し、凍結された知覚スタックが失敗する場合（例：重度のセンサーノイズ下、または透明な物体や遮蔽された物体の場合）に性能が低下することを指摘しつつも、アーキテクチャ的貢献がルーティングメカニズムを知覚段階と方策段階から成功裏に分離したと論じています。