Beyond Relative Geometry: Metric-Aware Geometry Perception for Robotics

私たちの世界を動き回るロボットは、根本的な難問に直面しています。それは、自分が見ているものを、どのようにして実行可能な動作へと変換するかという問題です。長年、人工知能システムは、人間が写真を見ている時のように、平らな画像から物体を認識し、シーンを理解することにおいて驚異的な能力を発達させてきました。しかし、コップの写真を見ることと、手を伸ばしてそれを掴むことは全く別物です。物理的な世界と相互作用するためには、機械には単なる視覚的なマップ以上のものが必要です。つまり、物事がどれくらいの距離にあり、実際にどれほどの大きさなのかを正確に知る必要があります。この正確なスケールの感覚がなければ、ロボットは小さな玩具を大きな箱だと思い込んだり、ドアが実際には数フィート離れているのに、わずか数インチ先にあると考えてしまったりするかもしれません。この「見えていること」と「物の真の大きさを知っていること」の間のギャップが、部屋の片付けや家具の組み立てといった複雑なタスクに必要な器用さをロボットに与える上での、長年の障壁となってきました。

研究チームは、このギャップを埋めるための新しいアプローチを開発し、ロボットが相対的な形状としてではなく、実測可能な次元で世界を知覚できるシステムを作り上げました。彼らの研究は「メトリック・アウェア・ジオメトリー・パーセプション（MAGP：計量認識幾何学知覚）」として知られ、機械に一貫したスケール感を持って三次元シーンを再構成することを教え、ロボットが左側から見ても、右側から見ても、あるいは正面から見ても、椅子が同じ大きさに見えるようにします。ロボットの視覚を実際の物理的な測定値に固定することで、このシステムはより信頼性が高く精密な動きを可能にし、漠然とした空間的な推測を、具体的で実行可能なデータへと変えるのです。

長い間、最高のコンピュータビジョンモデルであっても、シーンの「相対的」なマップを構築することしかできませんでした。家具の形や配置は正しく見えるものの、そのソファが2メートルなのか2センチなのかを知る術がない部屋の写真を見ている場面を想像してみてください。モデルは物体間の関係（ランプがテーブルの上にあり、テーブルが床の上にあることなど）は理解していますが、それらに現実世界のサイズを割り当てることはできません。これは部屋の中に何があるかを特定するには十分ですが、ロボットが腕を動かす必要がある場合には失敗します。もしロボットの内部マップが、実際の定規に基づいた数値ではなく推測に基づいたもので、「この隙間は通り抜けられる広さだ」と判断していた場合、ロボットは壁に衝突してしまう可能性があります。問題は、標準的なカメラは遠くの物体は小さく、近くの物体は大きく見える「遠近法」を捉えるため、画像のみに頼るとコンピュータがスケールを見誤りやすいという点にあります。

研究者たちは、既存の手法が、カメラがどれだけ移動したか、あるいはシーンの奥行きがどれくらいであるかを示す具体的な手がかりをしばしば無視していることを発見しました。既存の手法は、例えば「コーヒーマグは標準的なサイズに見えるから、それくらいの大きさだろう」というように、物体がどのように見えるかに基づいて物体のサイズを推測する傾向がありました。このアプローチは脆弱です。照明が変わったり、ロボットが奇妙な角度から物体を見たりすると、その推測は大きく外れる可能性があります。新しいシステムであるMAGPは、推測をやめ、測定を開始するように設計されました。これは、カメラが2つのスナップショット間でどれだけ移動したか、あるいはレーザースキャナーからの深度情報といった、ロボットのセンサーから提供される物理的なデータにコンピュータを注意を向けさせることで実現されます。

システムに視覚的な推測ではなくこれらの物理的な手がかりに依存させるために、研究者たちは巧妙なトレーニング手法を用いました。彼らはシーンを取り込み、画像の見た目は全く同じに保ったまま、距離の測定値とカメラの動きのスケールを人工的に変化させました。もしロボットの内部モデルがシーンの外見に基づいて単に推測しているだけなら、調整に失敗するはずです。しかし、システムが変化する数値に従うように訓練されていたため、物理的なデータが変化するたびに、部屋のサイズのメンタルマップを更新することを学習しました。このプロセスは「メトリック・スケール・等変オーグメンテーション（metric scale equivariant augmentation）」と呼ばれ、「もしカメラが2倍移動したなら、部屋も2倍の大きさでなければならない」ということを、物体の見た目に関わらず学習させたのです。

その結果、ロボットは一貫した定規を持って世界を見るようになりました。部屋や物体を用いた現実世界のデータセットを用いたテストにおいて、この新システムは距離測定の誤差を2メートル以上からわずか7センチメートルへと減少させました。これは、ぼんやりとした不確かな推定を、鋭く信頼できる測定へと変える劇的な改善です。このシステムは、ロボットが異なる種類のセンサーを使用している場合や、一部のデータが欠落している場合でも機能し、利用可能な情報に応じて空間の一貫したイメージを構築します。

この新しい知覚システムを実際のロボット制御ソフトウェアに組み込んだところ、パフォーマンスの違いは明白でした。物体を動かす一連の標準的なタスクにおいて、メトリック・アウェア・システムを使用したロボットは、古い手法を用いたものよりも高い成功率を記録しました。二本の腕を連携させて作業するロボットを用いた特定のテストでは、成功率は6パーセント以上跳ね上がりました。ロボットは、グリッパーを正確にどこに配置すべきか、どれくらい手を伸ばすべきかをより正確に把握できるようになり、ミスが減り、動きがスムーズになりました。ロボットが未経験のタスクを与えられた場合でも、システムは迅速な適応を助け、真のスケール理解が汎用的な知能にとって強力なツールであることを示しました。

この研究は、ロボットが物理的な世界を真にマスターするためには、環境を平らな画像として扱うのではなく、測定可能な空間として扱い始めなければならないことを示唆しています。視覚を現実世界の次元に根付かせることで、これらの機械は単に物体を認識することから、人間の手のような自信と精密さを持って物体と相互作用することへと進化できるのです。研究者たちは、ロボットが物事の正確な大きさを知ったとき、単にそれらを見ている以上のことができるようになることを証明しました。