← 最新の論文
💻 コンピュータサイエンス

ZZ-sight: Unifying Vision-Language-Action and Latent World Modeling

ZZ-sightは、将来の空間トークンとアクションをVLM独自のトークン空間内で直接予測することにより、ピクセル再構成や外部エンコーダに依存することなく、多様なベンチマークにおいて最先端の性能を達成する、視覚・言語・行動制御と潜在世界モデリングを統合した統一ロボット基盤モデルである。

原著者: Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong, Ruohai Ge, Rong Xue, Benjamin J Kolligs, Aditya Dutt, Sasanka Nagavalli, Nassim A. Samad, Gaurav S. Sukhatme, Jyotirmoy V. Deshmukh, Yue W
公開日 2026-11-19
📖 1 分で読めます☕ さくっと読める

原著者: Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong, Ruohai Ge, Rong Xue, Benjamin J Kolligs, Aditya Dutt, Sasanka Nagavalli, Nassim A. Samad, Gaurav S. Sukhatme, Jyotirmoy V. Deshmukh, Yue Wang, Yuliang Guo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む

ロボットは長らく、人間のような流暢な直感を持って世界を移動することに苦心してきました。特定の動作を完璧に繰り返すようプログラムすることは可能ですが、環境がわずかに変化したり、リアルタイムでの適応が必要な一連のステップを伴うタスクであったりする場合、しばしば失敗に終わります。この溝を埋めるために、科学者たちは視覚、言語、そして行動を組み合わせたシステムを開発してきました。これらのシステムにより、ロボットは「カップをテーブルの上に置いて」といった命令を理解し、それを実行するためにどのように腕を動かすべきかを判断できるようになります。しかし、重大な障壁が依然として残っています。それは、ほとんどのシステムが「現在」の瞬間しか見ていないという点です。彼らは現在のシーンを見て次の動きを決定しますが、次に何が起こるかを真に予期することはありません。この先読みする能力がなければ、物体を運びながら歩いたり、移動に合わせて変化する障害物を避けたりといった、複雑な動きの調整を必要とするタスクにおいて、ロボットはつまずいてしまいます。

Maven Roboticsと南カリフォルニア大学の研究者によって開発された「Z-sight」と呼ばれる新しいアプローチは、ロボットに一種の「先見性」を与えることで、この問題を解決しようとしています。単に今見えているものに反応するのではなく、このシステムは、ほんのわずかな時間の未来に視覚的な世界がどのようになるかを予測することを学習し、その予測を利用して行動を導きます。これは、計算コストが高く低速になるような、完全な未来のビデオを生成することではありません。むしろ、システムはロボットの脳がシーンを理解するために使用する本質的な視覚パターンを予測します。次の瞬間を想像することと、同時に次の動きを決定することを同時に学習することで、ロボットはよりスムーズに経路を計画し、従来のシステムがフリーズしたり失敗したりしていた複雑なタスクを処理できるようになります。

研究者たちは、人間が日常的なタスクを行う数千時間のビデオや、様々なロボットからの記録を含む膨大なデータコレクションを用いて、このシステムを構築しました。トレーニングプロセスはいくつかの段階に分かれています。まず、システムはドアを開けたり服を畳んだりする人々が行っているビデオを通じて、人間の動きと言語を理解することを学びました。次に、異なる種類のロボットのデータにさらされ、それらの人間のような観察結果を、ロボлоティックな動きの具体的なメカニズムへと翻訳する方法を学びました。最後に、システムはヒューマノイドマシンである「Unitree G1」に微調整(ファインチューニング)され、椅子をテーブルの下に押し込んだり、ゴミ箱にゴミを投げ入れたりするようなタスクを習得しました。このプロセス全体を通じて、システムは「世界の未来の視覚的状態を予測すること」と「その状態に到達するために必要な物理的なアクションを生成すること」の2つを同時に行うよう教えられました。

核心となる革新は、システムがこれらの予測をどのように扱うかにあります。ロボットに先見性を与えようとする従来の試みの多くは、未来の完全なビデオフレームを生成するか、あるいは何が起こるかを推測するために、切り離された固定のシステムを使用していました。これらの手法は、計算が遅すぎるか、あるいはロボット自身の世界の捉え方から乖離していました。Z-sightは、未来を予測する際に、ロボットが現在を理解するために使用しているのと同じ「視覚言語」で直接予測することで、これらの落とし穴を回避しています。これは、ピクセル単位で完璧なビデオを再現しようとするのではなく、シーンを表す抽象的な「視覚トークン」を予測するものです。これにより、ロボットは現在の理解と密接に統合された「可能性の集合」として未来を見ることができ、予測される未来が展開するにつれて、即座に行動を調整することが可能になります。

このアプローチの結果は、コンピュータシミュレーションと実世界の実験の両方でテストされました。全身のコーディネーションをテストするために設計されたシミュレーション環境において、システムは様々な複雑なタスクに対して81.9パーセントの成功率を達成し、既存の最も強力な手法を大幅に上回りました。実世界の部屋にある物理的なUnitree G1ロボットを用いたテストでは、物体を動かす、家具を避けて移動する、多段階の家事を行うといった6つの異なるタスクにおいて、73.3パーセントの試行成功率を記録しました。比較として、次点のシステムは、これら実世界の試行においてわずか53.3パーセントの成功率でした。研究者たちは、椅子まで歩き、それを押し、その上に物を置くといった一連の動きを必要とするタスクにおいて、システムの先見能力が極めて重要であることを発見しました。この先見性がなければ、ロボットはタスクの最初の部分を完了しても、次のステップへ移行しようとする際に停止してしまうことがよくありました。

改善が単にモデルの規模や複雑さによるものではなく、先見メカニズム自体によるものであることを確認するために、研究者たちはいくつかの制御実験を行いました。未来を予測できないバージョンのシステムをテストしたところ、同じ計算能力を持っていても、性能が著しく低下することが分かりました。また、システムが予測の内容自体に依存しているのか、それとも単に予測を行っているという事実自体に依存しているのかもテストしました。予測される未来をランダムなノイズや現在の静止画像に置き換えたところ、ロボットの性能は崩壊しました。これは、システムが動きを導くために、未来の予測の具体的な詳細を真に利用していたことを示しています。さらに、システムはこれらの複雑な予測と決定を非常に高速に行うことができ、30ステップの塊をわずか110ミリ秒で処理しました。これは、ラグなしにロボットをリアルタイムで制御するのに十分な速度です。

この研究は、物事がうまくいかない場合にシステムがどのように振る舞うかも調査しました。テスト中に意図的に予測ストリームを妨害することで、研究者たちはロボットが適応できることを観察しました。もしシステムが「予測が信頼できない」と告げられた場合、それは次に何が起こるかを推測するのではなく、今見えているものにより強く依存するように振る舞いました。この柔軟性は、システムが計画と反応のバランスを取るための堅牢な方法を学習していることを示唆しています。研究者たちは、システムは非常に効果的であるものの、現在は「見ているもの」のみに基づいて未来を予測しており、行動を決定する前に異なるアクションの選択肢を明示的にテストすることはないと指摘しています。これは、将来のバージョンにおいて、行動に移す前に異なる潜在的な結果を比較できるようにすることで、計画能力をさらに強化できる可能性を残しています。

最終的に、Z-sightは、ロボットが次に何が起こるかを理解するために、未来の完全なビデオを生成する必要はないことを証明しました。現在を理解するために使用するのと同じ抽象的な視覚空間の中で未来を予測することを学ぶことで、このシステムは、以前は到達が困難であったレベルの協調性と適応性を実現しました。このアプローチにより、ロボットは連続性を持って動くことができ、「世界を見ること」と「世界の中で行動すること」の間の溝を埋めることができます。シミュレーションおよび実世界のヒューマノイドロボットにおけるこの手法の成功は、知覚、予測、そして行動をこのように組み合わせる方法が、より有能で自律的な機械のための標準的な基盤になり得ることを示唆しています。

自分の分野の論文に埋もれていませんか?

研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。

Digest を試す →