ORBIT++: Benchmarking SfM in the Wild with 360{\deg} Video

コンピュータがどのように世界を見ているかを理解するために、一連の二次元の写真だけを使って三次元の部屋を再構成しようとしているところを想像してみてください。これは「構造化モーション（structure-from-motion）」と呼ばれる分野の根本的な課題です。その目的は、カメラが空間内を移動するビデオを取り込み、数学的に、カメラがすべての瞬間において正確にどこにいたのかを特定しながら、同時に周囲の風景の3Dモデルを構築することです。この技術は、リビングルームに仮想の家具を配置する拡張現実（AR）アプリや、自動運転車を誘導する地図、そして映画制作者が没入感のある仮想世界を創造することを可能にするツールの背後にある、目に見えないエンジンとなっています。長年、研究者たちは新しいコンピュータビジョン・アルゴリズムが機能するかどうかを確認するために、標準的なテストに頼ってきました。しかし、これらのテストはしば der 多くの場合は単純で静止したシーンや、現実世界の乱雑で混沌とした状況を反映していないコンピュータ生成のシミュレーションを使用しています。カメラが素早く動いたり、地面が雪で覆われていたり、あるいは群衆がフレーム内を歩いていたりする場合、最も高度なソフトウェアであっても、どちらが上なのか、あるいは物体がどのくらい離れているのかさえ判別できず、完全に失敗してしまうことがよくあります。

Google DeepMindといくつかの大学の研究チームは、ORBITと呼ばれる、より困難な新しいテストを作成することで、このギャップに対処しました。彼らは、カメラが野生の世界をナビゲートする能力を真にテストするためには、視覚情報が極めて豊富であり、かつ処理が困難なデータソースが必要であると気づきました。彼らは、その情報源を、消費者向けカメラによって撮影された360度ビデオの増え続けるライブラリの中に見出しました。狭い窓越しに覗き見る標準的なビデオとは異なり、360度カメラは全天球を捉え、あらゆる方向を同時に見ています。研究者たちは、これらの全方位のビューを用いて、現在のテクノロジーを打破するために特別に設計されたベンチマーク・データセットを作成しました。これらの全方位の視点を利用して標準的な広角クリップへと切り出すことで、スマートフォンやドローンが遭遇する可能性のある、高速移動、低照度、移動する群衆といった困難な状況を模倣した、何百もの挑戦的なシナリオを作り出したのです。

このテストを構築するプロセスは、慎重な検証作業でした。研究者たちはまず、カヌーの旅からスキーのコース、賑やかな観光地まで、インターネットから多様な360度ビデオを収集しました。元のビデオは球体全体を捉えているため、チームは特殊なコンピュータ・アルゴリズムを使用して、カメラの経路を高精度に計算することができました。たとえ視界の一部がぼやけていたり動いていたりしても、球体の他の部分が鮮明で安定していれば、経路を特定できるからです。彼らはカメラを、4つの独立したレンズを保持するリグ（装置）のように扱い、複数の角度から経路を相互チェックすることで、データの正確性を確保しました。信頼できる「グラウンドトゥルース（正解）」となる360度ビデオの経路が得られた後、彼らは映像をデジタル的に再投影して、標準的な透視投影ビデオを作成しました。これらの新しいクリップは単なるランダムな切り抜きではありません。研究者たちは、動く水面や高速で移動する車両を直接見るなど、困難であることが分かっている視点を意図的に選択し、さらにシミュレートされたカメラの揺れを加えることで、タスクをさらに難しくしました。最終的な成果物は、それぞれ最大30秒の長さを持つ308個のビデオクリップのコレクションであり、これらはコンピュータビジョン・ソフトウェアにとって厳格な障害物コースとして機能します。

研究者が現在の最先端の手法をこの新しいベンチマークに対してテストしたところ、結果は残酷なものでした。彼らは、長年業界の標準であった伝統的なツールや、人工知能を用いた新しい学習ベースのシステムを含む、いくつかの主要なアルゴリズムを評価しました。その結果、既存の最高峰の手法であっても、こうした現実世界の条件下では著しく苦戦することが明らかになりました。多くのクリップにおいてソフトウェアは完全に失敗し、つまりコンピュータが数秒間以上のカメラの動きを追跡できない状態となりました。例えば、建物のエッジや地面のテクスチャのような、画像内の明確なパターンを見つけることに依存する伝統的な手法は、水面や雪のような滑らかな表面に直面すると、しばしば追跡を断念しました。一方で、学習中に学んだパターンに基づいて3D構造を推測するように設計された新しいAI駆動型の手法は、カメラが素早く動いたり、未経験の回転を行ったりすると、頻繁に躓きました。データは、単一の手法ですべての課題に対処できるものはないことを明らかにしました。ある手法は群衆の中での追跡には優れているがテクスチャのない環境で迷い、別の手法は高速移動には対応できるが低照度では機能しない、といった具合です。

この研究は、テストが簡単すぎるために、進歩を測定することが困難な段階に分野が到達していることを浮き彫りにしています。研究者たちは、この新しいベンチマークにおいて、テストされたすべての手法が少なくとも36%のクリップでカメラの位置を正しく推定できなかったことを発見しました。これは、現在の世代のテクノロジーが、最も要求の厳しい実世界のアプリケーションにはまだ準備ができていないことを示唆しています。論文では、信頼できる困難なベンチマークの欠如がこの分野の足かせとなっており、研究者が単純なタスクでの成功を主張できる一方で、複雑で動的なシーンで発生する根本的な問題を見逃させていると論じています。多様で厳格に検証されたデータセットを提供することで、チームは開発者に明確な改善目標を与えることを目指しています。この研究は、これらの問題に対する新しい解決策を提示するものではなく、むしろ問題を測定するためのより優れた方法を示すものであり、コンピュータが人間と同じように、予測不能で野生的な世界を確実にナビゲートできるようになるまでには、まだ長い道のりがあることを示しています。