BOP-Distrib++: Local Symmetry Discovery for 6D Pose Benchmarking Under Visual Ambiguities

ロボットや拡張現実（AR）システムは、ある根本的な能力に依存している。それは、物体が空間内のどこにあり、どのように回転しているかを正確に把握することである。「6自由度ポーズ推定（six-dimensional pose estimation）」として知られるこのタスクは、カメラに対する物体の3次元的な位置と3次元的な向きを計算することを伴う。これは、ロボットアームが道具を掴んだり、デジタルオーバーレイが動いている部品に固定されたりすることを可能にする、目に見えない論理である。この技術を機能させるためには、コンピュータを、正解が既知である膨大な画像ライブラリを用いて学習させなければならない。しかし、それらの正解が提供される方法における隠れた欠陥が、このパズルを解くために設計されたアルゴリズムの評価を長らく歪めてきた。問題は、物体が異なる角度から見て同じように見える場合や、その一部が隠れている場合に発生する。このような視覚的な曖昧さがある瞬間には、唯一の正解は存在せず、複数の妥当な可能性が存在するのである。

長年、これらのシステムをテストするための標準的な手法は、画像がそれを示唆している場合であっても、あらゆる物体がただ一つの真の姿勢を持っているかのように扱ってきた。研究者たちは単一のグラウンドトゥルース（正解となる位置）を取り出し、対称性を考慮するために固定された一連のルールを適用し、それらのルールがあらゆる画像に対して等しく適用されると想定してきた。このアプローチは、シーンの現実を無視していた。もしカメラがコップの滑らかで丸い側面だけを見ているなら、コンピュータはそのコップが直立しているのか、あるいは逆さまなのかを判別できない。もし穴が見えていれば、答えは明確になる。旧来の手法は、これらのケースを区別できず、混乱を招くような曖昧な視界を、明確で曖昧さのない視界と同じものとして扱っていた。これは、最高峰のアルゴリズムをランク付けするためのベンチマークが不完全な基礎の上に築かれていたことを意味し、運良く正解を推測できた手法を報いる一方で、複数の可能性を正しく特定した手法を罰してしまう可能性があった。

Université Paris-Saclaおよびその他の機関の研究チームは、「BOP-Distrib++」と呼ばれる新しいアプローチによって、この見落としを修正した。BOP-Distrib++は、すべての画像に対して単一の静的な回答を割り当てる代わりに、実際に何が見えているかに基づいて、物体の特定の対称性を自動的に発見する手法を開発した。彼らはまず、物体の3Dデジタルモデルを分析し、回転パターンや、異なる角度から見ても同一に見える平坦な面といった、その物体固有の対称性を見つけ出した。次に、データセット内のあらゆる画像に対してカメラの視界をシミュレートし、物体のどの部分が隠され、どの部分が見えているかを判定した。物体の形状と特定の視点を組み合わせることで、その瞬間の状況に即した一意の「可能な位置のセット」を生成したのである。このプロセスにより、グラウンドトゥルースは単一の点から「可能性の分布」へと変貌を遂げ、シーンが明快であるか、あるいは混乱しているかを正確に反映できるようになった。

研究者たちは、このより精密なラベリングシステムを、世界をリードするポーズ推定手法をテストするための標準的なデータセットに適用した。彼らが、これらトップクラスのアルゴリズムを、画像ごとの分布を用いた再評価を行ったところ、結果は劇的に変化した。以前はトップにランクされていた手法のスコアは大幅に低下し、一方で上昇したものもあった。この変化が起きたのは、従来のベンチマークが寛容すぎたためである。つまり、たとえ特定の画像に対しては間違っていたとしても、物体の別の視点に対しては技術的に正しかった回答を、従来は受け入れてしまっていたのである。新しい評価は、多くの最先端システムが、部分的な視界や対称的な形状に直面した際、以前考えられていたほど堅牢ではないことを明らかにした。この研究は、テストが公平であり、特定の視覚的コンテキストを考慮に入れたとき、これらのテクノロジーのパフォーマンスの風景が全く異なるものであることを示した。

単一回答システムに対するランキングの修正を超えて、この研究は、単一の推測ではなく、一連の可能な位置の集合を予測する新しい世代の手法を評価するための扉を開いた。これまで、これらのマルチポーズ（多重ポーズ）手法は、実世界のデータセットには必要なアノテーション（注釈）が欠けていたため、合成されたコンピュータ生成画像でしかテストできなかった。新しい画像ごとの分布を用いることで、研究者たちは初めて、これらの高度なシステムを実物の写真でテストすることが可能になった。彼らは、視界が明快な場合には単一ポーズ手法の方が特定の場所を特定することに優れている一方で、視界が曖昧な場合にはマルチポーズ手法が全範囲の可能性を捉えることに長けていることを見出した。この、複数の妥当な解決策を認識してリストアップする能力は、ロボットが物体と相互作用しようとする前に、その物体がいくつかの場所のいずれかにある可能性があることを理解する必要があるという、実世界のアプリケーションにおいて極めて重要である。

本研究は、マシンビジョンの成功を測定する方法は、現実世界の複雑さに合わせて進化しなければならないと結論づけている。画一的な「正しさ」の定義から脱却し、視覚的な曖昧さという流動的な性質を受け入れることで、研究者は工場、家庭、屋外などの予測不可能な環境に真に対応できるシステムを構築し、テストできるようになる。この研究は、視覚的な曖昧さという問題を解決したと主張しているのではない。むしろ、将来のイノベーションがより高い精度と信頼性を持って進むための、最初の正確な地形図を提供したのである。