UNITAS: A 3D-Native World Action Model for Embodied Manipulation
UNITASは、ロボットと人間の手の動作を共通のメトリック3D空間内でシーンのダイナミクスと統合し、アクション条件付きのシーン予測および実世界の操作タスクの両方において最先端の性能を達成する、先駆的な17億パラメータの3Dネイティブ・ワールド・アクション・モデルです。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットは、単なる画像の集まりとしてではなく、物体が動き、衝突し、変化する空間として物理世界を理解することに長らく苦心してきました。数十年にわたり、研究者たちはビデオを見せることで、次に何が起こるかを予測するように機械を教えてきました。これらのシステムは、視覚的な未来を予測できれば、その未来を実現するためにロボットアームをどのように動かせばよいかも理解できるはずだと期待して、映画の次のフレームを推測することを学習します。しかし、このアプローチには根本的な欠陥があります。ビデオは、三次元の世界を二次元に投影した平坦なものに過ぎないということです。写真では、遠くにある小さな物体が、近くにある大きな物体と同じ大きさに見えることがあります。また、カメラの角度によっては、数ピクセルの動きがわずかな移動を意味することもあれば、劇的な跳躍を意味することもあります。このため、ロボットが正確にどれだけ手を伸ばすべきか、あるいはどれほど強く押すべきかを知ることは非常に困難です。なぜなら、カメラによる視覚的な言語は、物理的な距離の言語を話さないからです。
このギャップを埋めるために、研究チームは平坦な画像を完全にスキップし、三次元空間で直接機能する新しい種類のモデルを開発しました。次の画像を予測する代わりに、このシステムは空間内の点がどのように移動するかを予測します。それは世界を、座標の集合がシフトし、流れるものとして扱い、カメラがどこを見ているかにかかわらず一貫した方法で、自身の行動がもたらす物理的な結果をロボットが理解できるようにします。映画を「見る」ことから物理的な空間を「マッピングする」ことへのこの転換は、ロボットに世界の仕組みに関する真の感覚を与え、棚の整理やバッグへの荷詰めといった複雑なタスクを人間と同じ信頼性で実行できる能力へと近づける重要な一歩となります。
この研究の背後にある研究者たちは、UNITASと名付けられた彼らの創造物を用いて、特定の課題を解決しようとしました。それは、ロボットが見るもの、ロボットが行うこと、そしてそれに応じた世界の変化を、一つの共有されたフレームワークの中でいかに統合するかという問題です。以前の試みの多くは、非常にリアルな画像を作成することには長けているものの、物理法則を遵守することには失敗しがちな、学習済みのビデオ生成モデルに依存していました。ビデオモデルは、カップがテーブルの上を滑る様子を予測できるかもしれませんが、同時にカップが現実にはあり得ないほど伸びたり歪んだりする様子や、静止しているべき背景が流れていく様子を予測してしまうこともあります。新しいモデルであるUNITASは、この視覚優先のアプローチを拒絶します。その代わりに、あらゆる観察、あらゆるロボットの動き、そして環境のあらゆる変化が、三次元座標という同一のメトリック（計量）言語を用いて記述される、「3Dネイティブ」な世界を構築します。
このシステムにおいて、ロボットは単にカメラの映像を見ているのではありません。周囲の空間のメンタルマップ（精神的地図）を構築しているのです。ロボットが手やグリッパーを動かすとき、モデルはその手が空中を移動する際の特定の点の経路を追跡します。同時に、近くにある花瓶や本のような物体の点が、その動きに反応してどのように変化するかを追跡します。研究者たちは、実在のロボットの記録、両腕を用いたタスクのシミュレーション、そして人間の手が同様の動作を行うビデオを含む、膨大な混合データを用いてモデルを訓練しました。人間の手の動きとロボットのグリッパーの動きを、同じ種類の三次元的な軌跡として扱うことで、モデルは普遍的な動きの言語を学習しました。人間の指であろうと金属の爪であろうと、それが物体を押す際の物理学は変わらないということを、モデルは学んだのです。
このシステムの核心は、人間が物理世界を経験する方法と一致する、時間と動きの表現手法にあります。カメラによって速度が変動する可能性があるビデオフレームを数えるのではなく、モデルは時間を実際の「秒」として測定します。モデルは、ある特定の期間における点の全経路を表す単一の連続的なトークンとして、動きを分解します。これにより、システムは、高速で記録されたものから低速で記録されたものまで、異なるソースからのデータを混乱することなく扱うことができます。モデルに「花を花瓶に挿入せよ」といったタスクが与えられると、モデルは単にその動作のビデオを生成するのではなく、グリッパーが取るべき正確な三次元経路を計算し、花と花瓶の各点がその動作を受け入れるためにどのように動くかを正確に予測します。
このアプローチの結果は驚くべきものです。一連の厳格なテストにおいて、モデルは従来のシステムが到達できなかったレベルの精度を示しました。ロボットが動いた後にシーンがどのように変化するかを予測するよう求められた際、UNITASは既存の最高の3Dモデルと比較して、予測誤差をほぼ半分に減少させました。複雑な操作スキルをテストするために設計されたシミュレーション環境において、このシステムはLIBEROとして知られる標準的なベンチマークで99.8パーセントの成功率を達成し、ビデオ生成に依存するより大規模なモデルを凌駕しました。さらに重要なことに、研究者が実世界の実際のロボットでモデルをテストした際にも、高いパフォーマンスを維持しました。本棚に本を整理したり、ボールをバッグに入れたりするタスクにおいて、ロボットはそれぞれ90パーセントと80パーセントの確率で成功し、他の主要な手法を大幅に上回りました。
研究者たちはまた、異なるカメラ角度や予期せぬ障害物など、環境の変化に対してシステムがどの程度うまく対処できるかもテストしました。モデルは、変化するカメラの視点ではなく、固定された三次元空間に基づいているため、視覚的な入力が変化しても堅牢性を維持しました。カメラが移動したり照明が変わったりしても、ロボットアームを正しく動かす方法を依然として導き出すことができました。これは、モデルが単に特定の視覚的パターンを記憶しているのではなく、タスクの幾何学を真に学習したことを示唆しています。視覚的な外観ではなく、行動の物理的な結果を予測できる能力が、この堅牢性の鍵となっているようです。
この研究の最も魅力的な側面の一つは、異なる種類のロボット間、さらには人間と機械の間での知識転移能力です。モデルは人間の手、片腕のロボット、両腕のロボットからのデータで訓練されましたが、学習した内容をあらゆる形態（エンボディメント）にシームレスに適用することができました。人間が手本を示した場合、モデルはその動きをロボットのグリッパーのための計画へと翻訳でき、その逆も同様でした。この統一性は、操作の物理的ルールは普遍的であり、物質の三次元的な流れに焦点を当てることで、機械は特定の身体形状に依存することなく世界と相互作用することを学べるということを示唆しています。
この研究の意義は、単なるロボット性能の向上にとどまりません。世界を、行動と結果が直接結びついた共有されたメトリック空間として扱うことで、研究者たちは「身体化された知能（embodied intelligence）」の新しい基盤を提供しました。このアプローチは、ロボットが人間と同じように、視点の曖昧さや照明の影響を含んだ世界を「見る」必要があるという考え方から脱却しています。代わりに、ロボットに物理空間の直接的な理解を与えます。モデルは未来のビデオを想像する必要はありません。単に空間内の点の軌跡を計算するだけなのです。この明快さにより、迅速かつ信頼性の高い意思決定が可能になります。システムは、視覚的な錯覚を解釈したり、カメラのアーティファクトを修正したりするために時間を浪費する必要がないからです。
結局のところ、UNITASの成功は、その背後にある数学は複雑であっても、概念のシンプルさにあります。ロボットが世界を操作するためには、二次元ではなく三次元で世界を理解しなければならないということを、このモデルは認識しています。予測を物理的な座標に基づかせ、時間をフレームではなく秒として測定することで、モデルは以前は手の届かなかったレベルの正確さと信頼性を達成しています。研究者たちは、ロボットに映画を見せるのではなく、物理的な空間をマッピングすることを教えれば、日常の生活を助ける汎用ロボットという夢に近づく、自信と精度を持った動きを学習できることを証明しました。進むべき道は明確です。ロボット操作の未来は、より優れたカメラにあるのではなく、私たちが共有する三次元の世界に対する、より深く直接的な理解にあるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。