Investigating the performance of novel class discovery (NCD) approach for semantic segmentation on realworld SLAM LiDAR point cloud data

現代のマッピングの世界において、LiDARと呼ばれる技術は、周囲の三次元的な形状を把握するための強力なツールとなっています。光のパルスを高速で照射し、それが跳ね返ってくるまでの時間を測定することで、これらのセンサーは、建物、樹木、あるいは地面の特定の地点を表す数百万もの個別の点からなる膨大なポイントクラウド（点群）を作成します。このデータは非常に詳細ですが、それを自動的に理解させることは困難な作業です。コンピュータは、道路、家、樹木といった、以前に学習したオブジェクトのみを認識するように訓練されることがよくあります。もしコンピュータが、独特な形状のフェンスや建設資材の山のような新しいものに遭遇した場合、たとえ適合性が低くても、それを既知のカテゴリーのいずれかに無理やり分類してしまうことがよくあります。この限界により、複雑な現実世界の環境において、自動生成された地図は重要な詳細を見落としたり、完全に誤認したりする可能性があります。これを解決するために、研究者たちは「新規クラス発見（novel class discovery）」と呼ばれる手法を模索しています。これは、コンピュータに既知のものを認識させるだけでなく、新しいものが現れたときにそれを察知し、それらを自律的にグループ化させることを目的とした手法です。

インドネシアのガジャ・マダ大学の研究チームは、屋外環境を移動する携帯型デバイスから取得されたデータを用いて、このアイデアをテストすることに乗り出しました。静止型のスキャナーとは異なり、「SLAM LiDARシステム」として知られるこのデバイスを使用すると、人はキャンパス内を歩きながら、センサーが同時にエリアのマッピングを行い、自身の位置を追跡することができます。これにより、世界の連続的で流動的な記録が作成されますが、同時に、制御された実験室の設定では発生しない、ポイント密度の変化や位置のわずかな誤差といった課題も導入されます。研究者たちは、建物、植生、舗装された表面が混在する、約18ヘクタールの大学キャンパス内の特定のエリアに焦点を当てました。彼らはこのエリアを15の異なる経路で歩き、現実世界の複雑さを表す膨大な量の生のポイントクラウド・データを収集しました。

彼らの研究の第一歩は、この生のデータをクリーニングし、コンピュータモデルに彼らが重視する3つの主要な要素、すなわち「地面」「植生」「建物」を認識させることでした。彼らは、コンピュータのガイドとなるように、データの一部を手動でラベル付けし、これら3つのカテゴリーがどのような外観であるかを教えました。モデルの学習が終わると、データセット全体を通じて既知のオブジェクトを識別する能力をテストしました。結果は地面については有望であり、モデルは非常に高い精度で識別できました。植生も良好に認識されましたが、樹木と建物が接する境界部分では混乱が生じることがありました。建物は最も困難な対象となりましたが、これは建物の形状が多岐にわたることや、歩行時の角度によって携帯型スキャナーが壁や屋根の一部を見逃してしまうことが原因と考えられます。こうした不完全さにもかかわらず、モデルは複雑な地形においてこれら3つの主要なカテゴリーを区別することに成功しました。

しかし、真のテストはその後に行われました。研究者たちは、モデルに対して確信が持てないポイントを「未知（unknown）」として扱うよう指示しました。これらの不確かなポイントを、地面、植生、あるいは建物というカテゴリーに無理やり押し込む代わりに、システムはそれらを新しい、独立したクラスターへとグループ化するように設計されていました。これが新規クラス発見アプローチの核心であり、コンピュータ自身に、理解できないものに対して独自のグループを見つけさせるというものです。モデルは全ポイントのわずか数パーセント、データの約9パーセントを「未知」として特定しました。その後、モデルはこれらの未知のポイントを3つの新しいグループに分類しました。研究者がこれらの新しいグループに実際に何が含まれているかを確認したところ、成功と限界の両方が見られました。一つの新しいグループは、電柱やケーブルといった、主要なカテゴリーとは明らかに異なる明確なオブジェクトを、見事に分離することに成功していました。

しかし、この研究は、この手法が現実世界の屋外データに対してはまだ完璧ではないことを明らかにしました。これらの新しい「未知」のグループに配置されたポイントの大部分は、実際には既知のカテゴリーに属するものでした。例えば、モデルが確信を持てなかった建物の断片や樹木の一部が、誤って新しいオブジェクトと共にグループ化されてしまいました。これは、初期モデルが自身の予測に対して十分な確信を持てず、既知のオブジェクトの一部を新しい発見として誤ってラベル付けしてしまったために起こりました。研究者たちは、これらの新しいグループの質が、元の3つのカテゴリーをモデルがいかに上手く理解しているかに大きく依存していることを見出しました。もしモデルが特定の建物や密集した茂みに対して苦戦していれば、そのエラーがシステム全体に波及し、真に新しいオブジェクトではなく、単に混乱した古いオブジェクトの断片である「乱れた新しいグループ」を作り出してしまうのです。

また、本研究は、データの物理的な性質が結果にどのように影響したかも浮き彫りにしました。センサーが移動していたため、オペレーターの歩行速度やオブジェクトへの距離に応じて、ポイントの密度が変化しました。ポイントがまばらであったりノイズが多かったりする領域では、モデルは既知のオブジェクトと新しいオブジェクトの区別をつけることがより困難になりました。さらに、研究者たちは探すべき新しいグループの数を固定値として決定しなければならず、この硬直した選択によって、無関係なオブジェクトが同じバケットに押し込まれたり、単一のオブジェクトの種類が複数のグループに分割されたりすることがありました。これらの新しいオブジェクトが本来どのようなものであるかについての完璧な参照ガイドがないため、研究者たちは視覚的な検査に頼って結果を判断しましたが、その結果、システムは新しいパターンを見つけ出すことはできるものの、それらのパターンはしばしば不安定であり、既知のクラスからのエラーが混在していることが確認されました。

結局のところ、この研究は、新規クラス発見の概念が現実世界のマッピングにおいて大きな期待を集めている一方で、複雑な環境下で移動型センサーを用いて取得されたデータに適用する場合、重大な障壁に直面していることを示しています。システムは「何かが違う」ということは識別できますが、その「違い」を、データのノイズや不確実性から綺麗に切り離すことに苦慮しています。新しいクラスを発見する成功は、既知のオブジェクトの初期認識の精度と深く結びついています。コンピュータが建物について確信を持てなければ、近くにある電柱が何か新しいものであるという確信も持てないのです。著者らは、この技術が実用的なものとなるためには、基礎となるモデルがより堅牢である必要があり、未知のオブジェクトを特定する方法はより柔軟である必要があり、そしてこれらの新しいグループの評価はより体系的である必要があると結論付けています。今後の道筋は、現実世界の乱雑で不完全なデータからどのように学ぶかを洗練させ、新しいものを発見したときに、それが単なるミスではなく、本当に新しい何かを見ているのだと保証できるようにすることにあります。