How Sampling Strategy Affects Imbalance Mitigation in LiDAR Segmentation: A Study of Structured vs. Random Point-Based Architectures

自動運転車や自律型ドローンが、目ではなくレーザービームで「見る」ことでナビゲーションを行う世界を想像してみてください。これらの機械は、地面や建物、木々に跳ね返る光のパルスを放ち、それらが戻ってくることで、数百万個の個別の点の雲を作り出します。こうして、彼らは周囲の状況の三次元マップを構築します。しかし、これらのマップは完全にバランスが取れているわけではありません。典型的な都市のシーンでは、レーザーは遠くにある小さな道路標識や歩行人に当たるよりも、はるかに多くの回数、広大で平坦な道路や建物の側面に当たります。これは深刻な不均衡を生み出します。コンピュータは巨大なものを絶えず目にしている一方で、小さく重要な細部にはほとんど気づかないのです。もし機械の脳がこの問題を処理するように訓練されていなければ、道路に関する膨大なデータの量に圧倒され、歩道に立っている人を自信を持って無視してしまうかもしれません。

何十年もの間、研究者たちは、一部の物体が他のものよりもはるかに頻繁に現れない標準的な2D写真における同様の問題を解決しようとしてきました。彼らは、コンピュータが希少なアイテムにもっと注意を払うように強制するための様々な数学的なトリックを開発しました。しかし、これらの同じトリックを、レーザーの点群という混沌とした三次元の世界に適用したとき、結果は不可解なものでした。ある手法は機能しましたが、他の手法は問題を悪化させているようにも見えました。問題は、コンピュータがこれらのレーザーの点をどのようにサンプリングするかが、実際にどのトリックが機能するかを左右するのか、ということでした。キプロス大学とKIOS研究イノベーション・エクセレンスセンターの研究者による新しい研究は、現実世界のデータを用いて幅広いソリューションをテストすることで、この問いに答えるべく取り組みました。

研究者たちは、コンピュータがこれらのレーザーの雲を処理する2つの異なる方法に焦点を当てました。第一の方法は、KPConvと呼ばれるシステムで使用されるもので、注意深い測量士のように振る舞います。それは、すべての部分が特定の幾何学的な論理に基づいてサンプリングされることを保証しながら、構造化され組織化されたパターンで点を選びます。第二の方法は、RandLA-Netで使用されるもので、より混沌としています。それは、ビーチから砂を両手で掴む子供のように、完全にランダムに点をつかみ取ります。チームはこれら両方のシステムを、極端な不均衡（641対1）を持つ大規模な都市の航空スキャン、中程度の不均衡を持つ建物の屋内スキャン、そして合成されたコンピュータ生成環境という、3つの非常に異なるデータセットに対してテストしました。そして、どの手法がコンピュータに希少な物体を最もよく認識させるのに役立つかを確認するために、11種類の戦略を適用しました。

結果は、驚くべき明確な判定を下しました。この分野における最も一般的な直感、つまり、希少な物体がどれくらいの頻度で出現するかに基づいて、単にコンピュータに重み付けを強く指示するという手法は、悲惨な結果に終わりました。研究者がこの標準的な「逆頻度（inverse-frequency）」の重み付けを使用したとき、コンピュータの性能は大幅に低下し、時には最大12パーセントも落ち込みました。最悪の場合、システムは壊滅的に失敗し、ポールやフェンスのような小さな物体を完全に見逃してしまいました。この研究は、この人気のあるアプローチを明確に否定し、希少なクラスの重要性を盲目的に高めることが、実際にはモデルを混乱させ、世界を正しく見る能力を低下させることを示しました。

代わりに、研究は、最善の解決策はコンピュータがデータをどのようにサンプリングするかに完全に依存していることを明らかにしました。構造化された測量士のようなシステムの場合、最も単純なアプローチがしばしば最善でした。すべてのクラスを特別な数学的調整なしに平等に扱う一様重み付けを使用すると、最も複雑でカスタム設計された公式とほぼ同等の性能を発揮しました。その差は2パーセント未満と非常に小さく、複雑な重みを計算するための追加の努力は実質的な利益をもたらしませんでした。構造化されたサンプリング手法は、コンピュータが希少な項目に注意を払うよう強制する必要がないほど、不均衡を自然に処理できているようでした。

しかし、物語はランダムで混沌としたサンプリング手法においては異なります。このシステムはシーンの自然な幾何学的構造を破棄するため、不均衡に対してより敏感です。ここでは、単純な一様アプローチは力不足であり、専門的な技術に最大4.6パーセントまで遅れをとりました。このタイプのアーキテクチャに対して、研究者たちは、間違いから学習する方法を調整するLDAMと呼ばれる特定の損失関数が、顕著な改善をもたらすことを見出しました。それでもなお、注意が必要でした。2D写真でうまく機能した他の複雑な公式は、ランダムなシステムにおいて、単純な重み付けが構造化システムで行ったのと同様に、システムを失敗させてしまいました。

研究者たちは、なぜこのような違いが生じるのかを理解するために、「学習プロセス」の形状についても調査しました。彼らは、構造化されたシステムの場合、学習タスクの難易度はデータの不均衡具合に関連しており、不均衡が大きくなるほど、学習経路はより鋭く困難なものになることを発見しました。しかし、ランダムなシステムの場合、難易度はシーン自体の物理的な複雑さによって駆動されていました。椅子やテーブルのような細い物体が多い混雑した屋内環境では、希少な物体がどれだけ存在するかに関わらず、学習経路はギザギザでナビゲートが困難なものになりました。これは、ランダムな手法が、コンピュータがシーンを理解するのを助ける構造的な文脈を失ってしまうために苦戦していることを示唆しています。

最終的に、この研究はこれらのシステムを構築するエンジニアのための実用的なガイドを提供しています。もし構造化されたサンプリング手法を使用しているのであれば、ソリューションを過剰に設計しようとする誘惑を避け、すべてのクラスを平等に扱う単純な方法が堅牢で効果的であることを示唆しています。もしランダムなサンプリング手法を使用しているのであれば、不均衡に対処するための専門的なツールが必要ですが、間違ったツールを選ぶとシステム全体を壊してしまう可能性があるため、慎重に選ばなければなりません。研究は、すべての3Dビジョン・タスクに効く魔法の弾丸は存在しないという結論で締めくくられています。代わりに、いかなる解決策の有効性も、データの収集方法、コンピュータがどのようにサンプリングするか、そして理解しようとしている環境の具体的な性質の間の、繊細な相互作用によって形作られるのです。