Geometry-aware attention for robust visual odometry

世界をナビゲートするためには、ロボットや自動運転車は自分がどこにいて、どこへ向かっているのかを知る必要があります。すでに持っている地図に頼ることはできません。なぜなら、未知の新しい環境に入ることが多いからです。その代わりに、カメラを通して世界が通り過ぎる様子を観察することで、自らの動きを把握しなければなりません。このプロセスは「ビジュアル・オドメトリ（視覚的走行距離計）」と呼ばれ、暗い部屋の中を歩きながら、壁に触れたり、周辺視野の中で家具がどのように動くかを観察したりして、自分の進む道を推測しようとする人間の姿に似ています。何十年もの間、科学者たちは、2つの異なるルールを与えることで、機械にこの方法を教えようとしてきました。一方のルールは、画像全体の光や色の変化に注目し、シーン全体を一つの塊として見るよう機械に命じるものです。これは全体像を把握するには適していますが、照明が変わったりカメラが速く動きすぎたりすると混乱することがあります。もう一方のルールは、テーブルの角や壁の特定のレンガのように、鋭く明確な点だけに集中するよう機械に命じるものです。これは非常に精密ですが、壁が無地であったり、カメラのレンズが汚れたりすると、完全に機能しなくなります。

長い間、エンジニアはこの2つのアプローチのどちらかを選ばなければならず、機械は「全体像を見るのが得意」か「鋭い細部を追跡するのが得意」かのどちらかであり、両方を兼ね備えることは稀であるという現状を受け入れてきました。この限界により、ロボットは雨の中の運転、混雑した部屋の歩行、あるいは特徴のない狭い廊下を飛ぶドローンの飛行といった、現実世界の混沌とした状況に直面した際、しばしばつまずくことになりました。現在、ブラジルとカナダの研究チームが、この問題を解決するための新しい方法を提案しています。彼らは、どちらかを選ばなくてよいシステムを構築しました。その代わりに、世界の広範な視点と特定の点の鋭い詳細の両方を同時に使い、一方の手法の弱点をもう一方の強みで補うように、それらを融合させることを学習させたのです。

ハドソン・ブルーノ氏率いる研究者たちは、「DDI-VO」と呼ぶ新しいアーキテクチャを作成しました。その名前は「Deep Direct-Indirect Visual Odometry（深層直接・間接ビジュアル・オドメトリ）」の略であり、システムの仕組みを表しています。これには、並行して動作する2つの主要な部分があります。第一の部分は、広角の観測者のように機能します。それは画像の一対（ペア）全体を見渡し、光の流れ、地面の質感、そして環境の一般的な形状を取り込みます。この部分は、たとえ道が濡れていてぼやけていても、道が前方に伸びていることから「車が前進している」と理解できるような、コンテキスト（文脈）を理解することに非常に長けています。第二の部分は、細部にこだわったトラッカーとして機能します。それは建物の角や壁の独特なパターンなど、画像内の特定の鋭い点を見つけ出し、それらを密接に追跡します。この部分は正確な距離を測定することには優れていますが、壁が真っ白であったり、カメラが激しく揺れたりすると、制御不能になります。

彼らの設計の天才的な点は、これら2つの部分がどのように対話するかというところにあります。システムの中央には、ある瞬間において広角の視点と鋭い点のどちらをどの程度信頼すべきかを決定するメカニズムが存在します。街を歩くナビゲーターを想像してみてください。時として、ナビゲーターは自分がどの方向を向いているかを知るためにスカイライン（空の景色）全体を見ます。また別の時には、正確にどこにいるかを知るために、特定の道路標識を見ます。新しいシステムはこれを自動的に行います。もしカメラのレンズが水滴で覆われていれば、システムは水滴によるぼやけた歪んだ点を無視することを学習し、シーンの全体的な形状により依存するようになります。もしカメラが特徴の少ない長い白い廊下を移動しているなら、システムは特定の点を探そうとするのではなく、画像全体の微妙な変化へと焦向をシフトさせます。このように動的に焦点を切り替える能力により、視覚的な条件が極めて劣悪な状況でも、機械は前進し続けることができるのです。

システムにこれらの判断方法を教えるために、研究者たちは巧妙なトレーニング戦略を用いました。彼らは、いきなり複雑な運転シミュレーションの中に機械を放り込んだわけではありません。代わりに、より単純なタスクから始めました。まず、カメラの角度が変わったときに、紙や壁のような平らな面がどのように動き、歪むのかを理解するようにシステムを教えました。これは、形が空間内でどのように関連しているかを理解するための基本的な幾何学的スキルです。システムがこの基礎的な幾何学を習得した後、彼らは、3D環境の中でカメラが正確にどのように動いたかを突き止めるという、より困難なタスクを教えました。このステップ・バイ・ステップの学習プロセスは、著者らが「カリキュラム」と呼ぶものであり、現実世界のビデオという厄介な現実に直面する前に、システムが幾何学的な理解の強固な土台を持てるようにするためのものです。

研究者たちは、さまざまな現実世界のシナリオを代表する多様な困難なデータセットを用いて、この新システムをテストしました。高速道路を走る車、屋内の部屋を飛ぶドローン、そして混雑した空間を移動する手持ちカメラのデータを使用しました。あらゆるケースにおいて、彼らは既存の最高水準の手法と比較を行いました。その結果、条件が厳しくなると既存のシステムがしばしば劇的に失敗する一方で、新システムは安定性を保っていることが示されました。例えば、カメラのレンズが水で覆われたり、照明が突然変化したりするテストにおいて、新システムは経路を正確に追跡し続けたのに対し、古い手法は道を見失い、進行方向から逸れてしまいました。このシステムは、追跡すべき明確な特徴が少ない屋内環境において特に印象的であり、これは従来のメソッドが通常失敗する状況です。

研究では、システムがどのように判断を下しているのかについても調査が行われました。システムが「何を見ているか」を可視化することで、研究者たちは、システムが人間の観察者を混乱させるような要素を無視することを学習していることを発見しました。カメラが走行中の車両がある通りを移動しているとき、システムは動いている車両が追跡を欺く可能性があることを理解し、静止した道路や建物に焦点を当てることを学習しました。レンズが濡れているときには、水滴によって生じるぼやけた箇所を抑制することを学習しました。このことは、システムが単にパターンを暗記しているのではなく、幾何学と運動の根本的なルールを実際に学習していることを示唆しています。システムは、何が信頼できるランドマークであり、何が単なる視覚的なノイズであるかを区別することを学んだのです。

研究結果は、ロボットナビゲーションの未来が、異なる種類のセンサーやアルゴリズムの選択にあるのではなく、それらをいかに知的に組み合わせるかにあることを示唆しています。広範でコンテキストを認識できる視点と、精密で細部にこだわった視点を融合させることで、研究者たちは現実世界の予測不可能な性質にも対応できる堅牢なシステムを作り上げました。このシステムは完璧ではなく、最も極端な条件下では依然として課題に直面していますが、自動車の運転、ドローンの飛行、あるいは病院内を移動するロボットの誘導など、あらゆる場面で安全かつ確実にナビゲートできる自律機械を実現するための大きな一歩となります。この研究は、機械に「全体像」と「細部」のバランスを取らせることで、その構成要素の総和よりも遥かに強靭なシステムを構築できることを証明しています。