Map-Det3D: Metric Feed-Forward 3D Reconstruction Prior for Multi-view 3D Object Detection from Streaming Inputs

あなたは、家の中を歩き回り、テーブルにぶつかることなくコーヒーマグを手に取ることができるロボットを作ろうとしていると想像してください。これを行うには、ロボットは世界を3次元的に理解する必要があります。つまり、マグカップがどれくらい離れた位置にあるのか、どのくらいの大きさなのか、そして空間内の正確にどこに位置しているのかを知る必要があります。長い間、ロボットはこの問題を、距離を直接測定するために不可視のレーザーを放つLiDARや深度カメラといった「超視覚」を備えたメガネを装着することで解決してきました。しかし、これらの装置は重くて高価であり、バッテリー消費も激しいため、小型で安価なロボットやスマートグラスに搭載するのは困難です。

そこで、科学者たちは、スマートフォンのカメラのような普通のカメラだけで、ロボットに3Dを見せる方法を教えようとしてきました。これは「単眼（モノキュラー）」ビジョンと呼ばれます。問題は、単一の平坦な写真は少し「トリック」を含んでいることです。それは世界を平面化してしまうため、おもちゃの車がレンズのすぐ近くにある小さな模型なのか、それとも遠くにいる本物の車なのかを判別することを不可能にします。距離とサイズは「制約不足（underconstrained）」であり、数学的にはあまりにも多くの答えの可能性があります。現在の手法の多くは、2D画像の中でまず物体を見つけ、次に「ルールブック（推測の規則）」を用いてそれを3D空間へと「持ち上げる」ことで、3Dの形状を推測しようとします。しかし、このルールブックは脆弱です。カメラが変わったり照明が変わったりすると、その推測はしばしば失敗し、ロボットは椅子が宙に浮いていると勘違いしたり、あるいは家の大きさほどもあると判断したりしてしまいます。

この論文は、このパズルを解くための新しい方法であるMap-Det3Dを紹介しています。単一の平坦な写真から3D形状を推測する代わりに、このシステムは短いビデオクリップを、わずかに異なる角度から撮影された複数の写真のセットとして扱います。これは強力な「幾何学的バックボーン（複数の視点から3D形状を把握することに非常に長けた、学習済みのAI）」を利用して、シーンのメトリックスケール（実世界の尺度）を再構築します。つまり、相対的な推測ではなく、実際のサイズと距離を算出します。そして、この再構築された3D世界を検出器に直接入力し、物体の周囲にボックスを描画します。著者らは、この検出を3D再構築の上に直接構築することで、システムが異なる部屋やカメラ間を移動する場合でも、高価な深度センサーを必要とせずに、はるかに安定し、かつ正確になることを示唆しています。

Map-Det3Dの物語

一枚の写真が平らな絵画だと考えてみてください。絵の中に描かれた列車を見ても、それが棚の上にあるおもちゃなのか、あるいは数マイル先にある本物の機関車なのかは分かりません。画家がそのように描いたからです。従来のAIは、絵の中の列車を見て「おそらく本物の列車だろう」と推測し、その周囲にボックスを広げることで解決しようとします。しかし、もしAIが距離について推測を誤れば、その3Dボックス全体が間違った場所に配置されてしまいます。

Map-Det3Dは、「推測するのではなく、映画（動画）を見よう」と言うことで、ゲームのルールを変えます。

このシステムは、部屋の中を移動しながら、例えば連続する5フレームといった、スライディングウィンドウ形式の短いビデオフレームを取り込みます。そして、これらのフレームを、わずかに異なる視点から撮影された複数の写真のセットとして扱います。次に、MapAnythingと呼ばれるモデルに基づいた特別なツールを使用します。これは、数枚の写真を見て、実世界の寸法（メトリックスケール）を備えた完全な部屋の3Dモデルを即座に構築できる「マスター建築家」のように機能します。この建築家は、ドアが単に「高い」のではなく、「高さ約2メートル」であることを知っています。

このビデオから3D「マップ」が構築されると、Map-Det3Dは2Dのボックスを3Dへ持ち上げようとはしません。代わりに、作成されたばかりの3D空間を直接見渡します。そして、「この3D世界の中に物体はどこにあるのか？」と問いかけ、それらの周囲に3Dボックスを描きます。サイズと距離がすでに建築家によって算出された空間内で作業しているため、ボックスは非常に正確になります。

論文では、このアプローチが「オンライン」検出においてゲームチェンジャーであることが示されています。これは、ロボットが動きながらリアルタイムで実行できることを意味し、後でビデオ全体を処理するために停止する必要がありません。研究者たちは、1,000以上の屋内シーンにおける40万個以上のユニークな3D物体を含むCA-1Mというデータセットでシステムをテストしました。その結果、Map-Det3DはAP25（25%の重なりにおける平均精度）という指標で16.9を記録し、CuTR（13.5）やCube R-CNN（4.6）といった他のトップレベルの手法を上回る、新たなSOTA（最先端）の性能を達成しました。

さらに印象的なことに、このシステムは未知の環境への汎化性能を示しました。追加の学習なしで別のデータセットであるScanNetV2を用いてテスト（ゼロショット・テスト）した際、Map-Det3DはAP15で15.2を記録し、異なるデータで訓練された他の手法を大幅に上回りました。これは、この手法が単に訓練された部屋を暗記しているのではなく、3D空間を捉える堅牢な方法を実際に学習していることを示唆しています。

著者らはまた、カメラが部屋の中を移動する様子をシミュレートした「パー・シーン（シーンごと）」のテストも行いました。単純なトラッキング手法を用いることで、Map-DT3Dは27.6のAP15を達成し、通常は大きなアドバンテージとなるグラウンドトゥルース（正解）の深度情報を使用した手法さえも打ち負かしました。

しかし、論文ではその限界についても注意深く述べています。このシステムは、屋内データで訓練されているため、現在は屋内シーンに最適です。また、このシステムは「そこに物体があるか」および「どこにあるか」を見つけることに焦点を当てており、まだ「その物体が何か（例：椅子かテーブルか）」を詳細に伝えることはできませんが、著者らは将来的にこれを追加できる可能性があると示唆しています。

要約すると、Map-Det3Dは、普通のカメラで3Dを見るための最善の方法は、平らな写真から深度を推測することではなく、ビデオ自体を使用してまず3Dマップを構築し、そのマップの中で物体を見つけることであると示唆しています。これは「サイズを推測する」ことから「空間を計測する」ことへの転換であり、その結果は、ロボットが私たちの世界をナビゲートするためのより信頼できる道筋であることを示しています。