動画を見て学習するロボットが現実のものとなりつつありますが、彼らはある手強い問題に直面しています。それは、カメラの角度が変わると失敗してしまうことが多いということです。例えば、テーブルの左側にカメラが置かれている状態で、ロボットがコップを掴む練習をしたと想像してください。もしそのカメラを右側に移動させると、たとえコップが全く同じ場所にあったとしても、ロボットは停止したり、コップを落としたりしてしまうかもしれません。これは、ロボットが物理的なタスクそのものを理解したのではなく、学習中に見た特定の視点と動作を関連付けて学習してしまったために起こります。これを解決するために、科学者たちは「ワールド・アクション・モデル（世界行動モデル）」と呼ばれる、ビデオにおける次の展開とロボットが行うべき物理的な動きの両方を予測する人工知能を開発しています。動画から学ぶことで、ロボットが世界の仕組みについての一般的な感覚を得ることができ、視点が変化しても正しく行動できるようになることが期待されています。しかし、これらのモデルをカメラの変化に対して頑健にするためのこれまでの試みは壁に突き当たっており、ロボットの内部ロジックと、自身が保持しているカメラの安定性を混同してしまうことがよくありました。
清華大学の研究チームは、これらのモデルが異なるカメラ角度を扱うように訓練される際の手法における根本的な誤りを特定し、正確な修正案を提示しました。彼らは、同じ物理的な状態が異なる角度から見ると異なって見えることをロボットに理解させる際、予測のすべての部分を同様に扱うことはできないことを発見しました。ロボットの出力は2種類の情報の混合物です。一つは、カメラの位置に応じて変化する「次に予想されるシーン」であり、もう一つは、カメラの位置に関わらず一定であるべき「物理的な動作」です。研究者たちは、変化するシーンの詳細についてモデルに一致することを強制すると、モデルが混乱し、結果として未来に対する視界をぼやけさせてしまうことを発見しました。代わりに、彼らは「選択的クロスビュー一貫性（Selective Cross-View Consistency）」と呼ばれる手法を開発しました。これは、物理的な動作については一致するように強制する一方で、予測されるシーンはカメラに合わせて自然に変化することを許容する手法です。
このアイデアをテストするために、研究者たちは、単純な暗記と真の汎化能力を区別する、厳格で新しい評価方法を作成しました。多くの先行研究では、ロボットは学習中にすでに見たことのあるカメラ角度でテストされており、それが誤った安心感を与えていました。新しい手法では、ロボットに幅広いカメラ角度で学習させた上で、あえて特定の角度帯を除外してテストを行います。これにより、チームはロボットが未経験のカメラ位置を扱えるかどうかを確認できます。また、彼らはロボットのテストにおける大きな欠陥にも対処しました。多くのシステムは、ロボットの手首に取り付けられたカメラを使用しており、メインのシーンカメラが動いても、手首のカメラは動きに伴って安定してしまうため、システムが頑健であるかのように錯覚させてしまいます。研究者たちは、シーンカメラのみを使用するバージョンのロボットを用いてテストを行うことで、環境に対する真の理解を測定していることを確実にしました。
この選択的なアプローチの結果は、明確かつ具体的でした。ロボットが学習範囲を大きく外れた、一度も見聞きしたことのないカメラ角度でテストされた際、この新手法は、同じデータで学習させた標準的なモデルと比較して、成功率を12.2パーセントポイント向上させました。この向上は、カメラを上下に動かす、あるいは距離を変えるといった、さまざまな種類のカメラの動きにおいても有効でした。しかし、ロボットがすでに見た範囲内のカメラ角度でテストされた場合には、この手法の恩恵はなく、標準的なモデルとパフォーマンスは同一でした。この区別は極めて重要です。なぜなら、この手法が単にロボットのあらゆる面を向上させているのではなく、未知の視点に対して特化して汎化を助けていることを証明しているからです。また、研究者たちは制御された実験を通じて、予測の誤った部分（変化するシーン）に対してモデルに一致することを強制すると、実際にパフォーマンスが低下し、未来を見る能力が縮小してしまうことも確認しました。
この研究は、より適応性の高いロボットを作るための明確な道筋を示しています。ロボットの未来のシーンの予測はカメラと共に変化しなければならない一方で、その行動の決定は一定でなければならないということを理解することで、開発者は真に頑健なシステムを構築できます。本研究は、適切な制約を与えることで、たとえ世界がこれまで見たものと異なって見えたとしても、ロボットが正しく行動できるように学習できることを示しています。これは、視覚的な予測を無理に一致させようとすることで混乱が生じるのではなく、何が一定であるべきで、何が変化することを許容されるのかを正確に教え込むことが、頑健なロボット制御の鍵であることを示唆しています。
技術要約：世界行動モデル（World Action Models）における選択的クロスビュー一貫性
問題提起
World Action Models (WAMs) は、ビデオ生成バックボーンとロボット制御ポリシーを統合し、将来の観測と行動を共同で予測するものである。これらのモデルは、汎化性能のために視覚的な事前知識を活用している一方で、カメラの視点変化に対して著しい脆弱性を示す。この堅牢性を向上させるための重要な課題は、モデルの出力が、**視点共変的（view-covariant）**な座標（カメラとともに変化しなければならない予測される将来のシーン）と、**視点不変（view-invariant）**な座標（視点に関わらず一定であるべきアクションチャンク、将来の固有受容感覚、およびバリュー）の複合体であることを踏まえ、どのように一貫性学習を適用するかを決定することである。
視点に堅牢なビジュオモーター・ポリシーに関する先行研究では、一貫性損失を一様に適用したり、手首カメラの安定性に依存したりすることが多いが、これはシーンの視点不変性と、ロボットのアームに取り付けられたカメラ自体の固有の安定性を混同させてしまう。さらに、既存の評価プロトコルは、分布適合された性能と、保持された視点に対する真の外分布（OOD）汎化性能を区別できていないことが多い。
手法
著者らは、WAMsの構造化されたデノイジング・ターゲットに特化して設計された学習目的関数である**選択的クロスビュー一貫性（Selective Cross-View Consistency: SCVC）**を提案する。
選択的制約: すべての出力次元に対して一致を強制する標準的な一貫性学習とは異なり、SCVCは不変ブロック（YI: アクション、固有受容感覚、バリュー）に対してのみ一貫性ペナルティを課す。共変ブロック（YC: 将来のシーン）は、標準的な視点ごとの教師あり学習によって訓練される。
- 理論的正当性: 本論文では、共変ブロック（将来のシーン）に対して一貫性を強制することは、証明可能に有害であることを示している（命題1）。それは、モデルに「ゴースト化した平均」を予測させ、正当な視点固有のコンテンツを真の価値の 1/(1+4λ) の割合まで縮小させてしまう。
- ノイズ・マッチング: 有効な一貫性信号を確保するために、本手法はトレーニングペアの両方のブランチに対して、同じノイズ実現値（σ,n）を共有する。これは、拡散モデルのノイズ条件付き構造から導出された要件である（命題2）。
Carve-and-Hold-Out 評価プロトコル: データ漏洩なしに堅牢性を厳密に評価するために、著者らはLIBERO-Plusベンチマークにおいて新しい評価フレームワークを導入した。
- Carving（切り出し）: トレーニングペアは、カメラ軸（方位角、仰角、ドリー、エンドポイント）の全深刻度範囲をカバーするが、特定の「穴（補間ギャップ）」と「帯（外挿領域）」を意図的に除外している。
हुआ
- Bucketing（バケット化）: 公式ベンチマークタスクを、イン分布（in-distribution）（訓練範囲内）、補間（interpolation）（訓練範囲内の穴）、および外挿（extrapolation）（訓練エンベロープを超えた保持領域）に分割する。
- Matched Control（一致制御）: ベースラインモデルは、一貫性ウェイトをゼロ（λ=0）に設定した全く同じカーブド・データセットを用いて訓練される。これにより、単なるマルチビュー・ペアへの露出の効果から、一貫性目的関数の効果を分離する。
Scene-Only Audit（シーン限定監査）: 手首の安定性がシーンの視点不変性の問題を隠蔽してしまうのを防ぐため、著者らは**シーン限定（scene-only）**ポリシー（手首カメラの入力を除外したもの）を明示的に訓練し、評価している。
主要な結果
実験は、LIBERO-Plusカメラトラックを用いた2BパラメータのWAM（Cosmos Policy）を用いて行われた。
- 保持された外挿（Held-Out Extrapolation）: SCVCは、外挿視点（訓練エンベロープ外の視点）におけるクローズドループ成功率を大幅に向上させた。
- 軌道方位角軸において、SCVCは一致制御に対して**+12.2ポイント**（95% CI [7.4, 17.0]）の成功率向上を実現した。
- この利得は、第2の訓練シード（+15.5ポイント）および他の2つのカメラ軸（ドリーおよび仰角）でも再現された。
- 補間およびイン分布: 本手法は、訓練エンベロープ内の補間タスクにおいては利得を示さず（わずかな負の傾向が見られた）、これは、その恩恵がサンプリングされた分布を超えて汎化することに特有であることを裏付けている。イン分布の能力は維持された（$-0.6および-0.2$ ポイントの変化）。
- 収縮法則の検証: 制御実験により、誤った（共変的な）座標に一貫性を適用すると、予測される将来のシーンが視点平均化された「ゴースト」画像へと崩壊するという理論的予測が確認された。これにより、選択性の必要性が検証された。
- 手首の混同（Wrist Confound）: マスキング監査により、公開されているカメラ堅牢性の数値は、手首カメラの姿勢安定性によって大きく混同されていることが明らかになった。手首を備えたポリシーは、シーンカメラがブラックアウトしても高い成功率を維持したが、シーン限定ポリシーは手首なしでは崩壊した。これは、従来のベンチマークが、真のシーン視点不変性ではなく、手首の安定性を測定していることを示唆している。
意義と主張
本論文は、主に4つの貢献を主張している：
- 構造的原理: WAMsにとって、クロスビュー一貫性は選択的でなければならないことを確立した。共変的な出力（将来のシーン）に一貫性を強制することは、特定の収縮法則によって定量化されるように、視点固有のコンテンツを縮小させ、性能を積極的に低下させる。
- 評価の厳密性: 分布適合された性能と、真のOOD汎化を分離するcarve-and-hold-out プロトコルを導入し、カバレッジと堅牢性の混同を防ぐ。
- 実証的検証: 選択的一貫性が、イン分布の性能を維持しつつ、特に外挿レジーム（訓練エンベロープを超えた領域）において測定可能な堅牢性の向上をもたらすことを実証した。
- 現状の慣行への監査: 現在のカメラ堅牢性ベンチマークが、手首カメラの姿勢安定性という混同要因により、シーンの視点不変性を測定する上でしば理不当であることが多いことを示す、クロスバックボーン監査を提供した。
著者らは、SCVCが、訓練時およびテスト時のいずれにおいてもカメララベル、外部パラメータ、または深度情報を必要とせずに、WAMsにおけるゼロショット・ギャップの「視点方向喪失（viewpoint-disorientation）」コンポーネントに対処する、標的を絞った修復策を提供すると結論づけている。また、制限事項として、同一状態のクロスビュー・ペアの必要性（現在はシミュレーションにおいて実現可能）と、評価がLIBERO-Plusベンチマークおよびシミュレーション環境に限定されていることを挙げている。
毎週最高の computer science 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録