Towards Embodied Cognition in Robots via Spatially Grounded Synthetic Worlds
本論文は、空間推論および視覚的観点取得（Visual Perspective Taking）に関する視覚言語モデルを学習させるためにNVIDIA Omniverse内で生成された、公開可能な合成データセットを紹介するものであり、これはヒューマンロボットインタラクションにおける身体化された認知に向けた基礎的な一歩として機能するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが巨大で散らかったリビングルームで、友達と隠れんぼをしている場面を想像してみてください。あなたはソファの後ろに隠れていて、友達はドアのそばに立っています。もしあなたが「僕の左側に赤いボールが見えるよ！」と叫んだら、友達は非常にトリッキーなことをしなければなりません。彼らは自分の場所から単に左を見るだけではいけません。あなたの立場に精神的に入り込み、あなたの角度から見えるように回転して、そこから見てその赤いボールが自分に対してどこにあるのかを理解しなければならないのです。この心の体操は「視点取得（Visual Perspective Taking）」と呼ばれます。これは、他人が何を見、何を考え、何を感じているかを理解することを可能にする、人間が持つスーパーパワーです。ロボットが私たちと一緒に過ごしたり、遊んだり、家の中で手助けしたりするためには、この同じスーパーパワーが必要です。現在、ロボットは、自分自身の目から見た世界しか見ることができない人々のようで、自分にとっての「左」があなたにとっての「右」であるかもしれないということを理解するのが苦手です。この論文は、人工知能（AI）の世界に深く入り込み、ビデオゲームのシミュレーターのような特別な種類のトレーニングデータを使って、ロボットにこの「精神的な回転」の仕方を教えられるかどうかを探ります。
ジョエル・キュリーとそのチームによる研究者たちは、特定の課題に取り組んでいます。それは、ロボットとその脳を動かすAIは、物体を認識することには長けているものの、それらの物体が3D空間内の正確にどこにあるのか、特に異なる角度から見た時の把握が非常に苦手であるということです。古いロボットの手法の中には、空間を把握するために硬直した数学的ルールを使用するものもありますが、チームは、現代の「ビジョン・ランゲージ・モデル（画像を見ることができ、テキストを読めるAI）」が未来であると考えていますが、それにはより優れた教育が必要だと示唆しています。論文では、これらのスマートなモデルが空間推論に失敗しているのは、彼らが「愚か」だからではなく、オブジェクトの外観とそれが存在する正確な位置を完璧に結びつけるデータが十分に学習されていないからだと主張しています。
これを解決するために、チームはロボットのための全く新しい「トレーニングジム」を作り出しました。ただし、実際の部屋ではなく、NVIDIA Omniverseと呼ばれる強力なビデオゲームエンジンの中にデジタルな部屋を構築しました。これは、デジタルな砂場のようなもので、そこに少し形が崩れた一つの立方体を置き、ランダムな高さのカメラからその写真を撮り、それを説明する文章を書くことができます。魔法のような部分は、コンピュータ内にこの世界を構築したため、立方体がどこにあるのかという正確な数学的情報を、ミリ単位まで把握していることです。彼らは、画像、言語プロンプト、そして正確な「4×4変換行列（オブジェクトがどのように配置されているかを正確に伝える高度な数学的グリッド）」をペアにしたデータセットを生成しました。
この最初の実験において、チームはAIに3D空間のパズル全体を一気に解かせようとはしませんでした。代わりに、よりシンプルで基礎的なスキルに焦点を当てました。それは、他のすべてを固定した状態で、物体がZ軸（カメラに対する奥行きの線）に沿ってどれくらい離れているかを推測することです。彼らは、AIが画像と説明文を見て、その距離を正しく推測できるかどうかを確認したいと考えています。もしAIがこの完璧な合成世界の中でこれを学習できるのであれば、将来的には、現実の部屋の複雑で混沌とした状況にも対処できるようになると期待されています。論文では、これを「概念実証（proof-of-concept）」、つまり、アイデアが機能するかどうかを確認するための初期段階のテストとして提示しています。彼らは今日、ロボットの知能を解決したと主張しているわけではありません。むしろ、基礎となる最初のレンガを置いているのです。彼らはこのデータセットを公開しており、他の科学者が自分たちのロボットを訓練するために使用できるようにしています。これは、ロボットが「他人が何を見ているか」を真に理解し、私たちが当たり前のように持っている空間認識能力を持って私たちの世界をナビゲートできる未来を目指すものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。