GaussVLA: Geometry-Aware Spatial Reasoning for Vision-Language-Action Model
GaussVLAは、2D特徴量をコンパクトな3Dガウス・トークンに変換するGaussian Spatial Tokenizerと、構造化された幾何学的推論のためのDepth-Aware Chain-of-Thoughtモジュールを導入することで空間推論を強化した、パラメータ効率の高いMambaベースのVision-Language-Actionモデルであり、わずか2億個のパラメータでLIBEROベンチマークにおいて最先端の性能を達成しています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人間が物を操作する様子を見て学習できるロボットは、現代の人工知能における中心的な目標となっています。長年、研究者たちはカメラによる世界の視界を、デジタル写真のような色の付いた正方形の平らな格子として扱うモデルに頼ってきました。これらのモデルは、どのような物体が存在するかを認識したり、言語による指示を理解したりすることには非常に優れていますが、それらの物体の三次元空間における物理的な形状や位置を理解することには苦戦しています。彼らはカップを、単なるピクセルのパターンとして捉えてしまい、テーブルの上に置かれた特定の高さと向きを持つ固形物としては捉えられません。この限界は、壊れやすいアイテムを拾い上げたり、乱雑な作業スペースを移動したりといった、精密な取り扱いを必要とするタスクを行うロボットにとって困難をもたらします。なぜなら、ロボットには真の幾何学的感覚が欠けているからです。
この溝を埋めるために、研究チームは、ロボットに物理的な世界に対するより直感的な理解を与えるよう設計された「GaussVLA」と呼ばれる新しいシステムを開発しました。このシステムは、平らな画像に頼る代わりに、視覚データを、空間に浮遊する小さな三次元形状の集合へと変換します。それぞれの形状は、その物体がどこにあり、どのくらいの大きさであり、その情報に対してどれほどの確信度を持っているかという情報を持っています。この幾何学的な理解を、動く前に空間的な問題を「考える」ための新しい手法と組み合わせることで、研究者たちは非常に正確かつ驚くほど小型のロボットコントローラーを作り上げました。テストにおいて、このシステムははるかに大きく複雑なモデルを凌駕しました。これは、ロボットに単に脳を大きくするよりも、空間感覚を与えることの方が重要であることを示唆しています。
問題の核心は、現在のロボットがどのように「見ているか」にあります。従来のシステムは、カメラの画像を平らなパッチの長いリストへと分解し、遠くの壁であっても目の前の道具であっても、画像のあらゆる部分を等しく重要であるとして扱います。これは単純なタスクには機能しますが、ロボットが距離や表面の角度を判断する必要がある場合には失敗します。これらを修正しようとする他の試みでは、デプスマップ（各ピクセルがどれくらい離れているかを示す数値の集合）を追加することが行われてきました。しかし、これらのデプスマップは、表面の向きや距離測定の信頼性に関する情報に欠けていることが多く、環境が変化するとロボットを推測させる状態にしてしまいます。
研究者たちは、「Gaussian Spatial Tokenizer（ガウス空間トークナイザー）」と呼ばれる新しい視覚データ処理方法を導入することで、この問題に対処しました。平らな画像を、あらゆるパッチを空中に持ち上げ、小さな、ぼんやりとした3Dの雲へと変える様子を想像してください。これらの雲には、中心点、サイズ、そしてその物体が表す局所的な幾何学形状を記述する形状があります。決定的なのは、システムが各雲に対して「確信度スコア」を割り当て、その3D世界の断片についてどれほど確信しているかをロボットに伝えることです。これにより、ロボットはテーブルの端やカップの取っ手のように最も信頼できる部分に集中し、不確実な領域を無視することができるようになります。この変換によって、平らな写真は、ロボットが推論できる構造化された三次元マップへと変わります。
ロボットはこの3Dマップを手に入れた後、次に何をすべきかを判断する必要があります。以前のシステムは、動く前にテキストベースの思考による長いリストを生成しようとすることが多く、そのプロセスは遅く、実際の物理的な動作とも切り離されていることがありました。新しいシステムは、「Depth-Aware Chain-of-Thought（深さ認識型思考の連鎖）」と呼ばれる異なるアプローチを使用します。長い物語を書き出す代わりに、ロボットは一連の集中した質問を用いて、3Dマップを素早くスキャンし、タスクに必要な最も重要な空間関係を抽出します。例えば、「ターゲットとなる物体はロボットの手に対してどこにあるか」といった問いを自らに投げかけ、その答えを用いて動きを直接導きます。これは、ゆっくりとしたステップバイステップのテキスト生成ではなく、動きの決定と同期して行われる、高速で構造化された推論プロセスです。
システム全体は「Mamba（マンバ）」として知られるバックボーン・アーキテクチャに基づいて構築されており、これは今日のほとんどの人工知能で使用されている標準的なモデルよりもはるかに高速かつ効率的に情報を処理するように設計されています。この効率性は、大規模なコンピュータを必要とせずにリアルタイムで意思決定を行うために不可欠です。研究者たちは、物体の移動、ブロックの積み重ね、複雑な指示に従うことなど、さまざまなシミュレーションタスクでこのシステムをテストしました。これらのテストにおいて、新しいシステムは標準的なベンチマークで93.5パーセントの成功率を達成し、はるかに大規模な他の主要モデルを凌駕しました。空間推論をテストするために設計された特定のタスクにおいては、100パーセントの完璧なスコアを記録しました。
これらの結果を特に驚くべきものにしているのは、システムのサイズです。多くの競合モデルが機能するために数十億のパラメータを必要とする一方で、この新しいシステムはわずか2億のパラメータで動作しています。これは、現在使用されている最大級のモデルよりも約97パーセント小さいことを意味しますが、それでも物理的な空間を理解する必要があるタスクにおいて優れたパフォーマンスを発揮しています。研究者たちは、物理的な研究所の実際のロボットアームでもシステムをテストしました。カメラのノイズや物体の配置のわずかな違いといった現実世界の課題に直面しても、システムは高い成功レベルを維持し、シミュレーションで学習した3D幾何学的理解が現実世界にも転移できることを証明しました。
また、研究では、照明の変化や物体の色の変化など、システムが予期せぬ変化に直面した場合に何が起こるかも調査されました。システムは強い堅牢性を示しましたが、環境が劇的に変化すると依然として困難に直面することも研究者によって指摘されており、ロボットをあらゆる現実世界のシナリオに適応させるためには、まだやるべきことがあることを示しています。しかし、これらの結果は、ロボットの操作性を高める鍵は、単により多くのデータやより大きなモデルを持つことではなく、ロボットが占める空間に対する構造化された三次元的な理解を与えることにあるということを明確に示しています。平らな画像を3Dの雲へと変え、それらをナビゲートするための集中した推論を用いることで、研究者たちは、ロボットがより高いスキルと信頼性を持って物理的な世界を扱うための明確な道筋を示したのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。