Bootstrapping a 4D LiDAR Annotation Tool from Video Foundation Models

自動運転車は、周囲の世界を理解するために、絶え間ない高速のデータストリームに依存しています。カメラはシーンの視覚的な豊かさを捉えますが、悪天候や低照度下では苦戦することがあります。これを補うため、多くの自動運転システムはLiDAR（ライダー）を使用しています。これは、レーザー光のパルスを高速で発射して距離を測定し、周囲の環境の3次元マップを構築するセンサーです。このマップは、レーザーが当たった表面を表す数百万もの微細な点の集合体（ポイントクラウド）として現れます。このデータをナビゲーションに役立てるためには、コンピュータはそれらの点が何に属しているのかを学習しなければなりません。そのクラスターは歩行者なのか、車なのか、それとも木なのか？ さらに、車両は移動しているため、システムはこれらの物体を時間の経過とともに追跡し、次の瞬間へと点を結びつけて、動きと意図を理解する必要があります。「4次元セグメンテーション」として知られるこのプロセスは、安全な自動運転のバックボーンですが、大きな障壁に直面しています。それは、これらのシステムを教えるために必要なデータを作成することが、非常に困難で高価であるという点です。

コンピュータがLiDARの点群の中で物体を認識する方法を学ぶには、人間がまず数千フレームにわたって手動でラベル付けを行い、すべてのポイントクラウド内のあらゆる車や人物の周囲にアウトラインを描く必要があります。これは、遅く、退屈で、ミスが起こりやすい作業です。点は3次元空間の中に疎らで散在しているため、そのラベル付けは、平らな写真に線を描くことよりもはるかに直感的ではありません。その結果、これらのシステムの進歩は、アルゴリズムの知能ではなく、高品質でラベル付けされたデータの圧倒的な不足によって停滞することがよくあります。研究者たちは、コンピュータがすでに数十億の画像や動画から学んだ視覚的理解を借りることで、このトレーニングデータを自動的に生成する方法があるのではないかと、長年考えてきました。

KAISTと中央大学の研究チームは、「LiDAR-SAM2」と呼ばれる新しいフレームワークによって、その問いに対する答えとなる重要な一歩を踏み出しました。彼らの研究は、ポイントクラウド上に一本の線も人間が描くことなく、3D LiDARデータの強力なラベル付けツールを作成することが可能であることを証明しています。手動のアノテーションに頼る代わりに、彼らはビデオベースの人工知能モデルの能力を、3Dレーザースキャンの言語へと翻訳するシステムを構築しました。核となるアイデアは、膨大な量のビデオデータで訓練され、時間を追って物体を追跡できる「基盤モデル（foundation model）」を利用し、それをLiDARセンサー特有の幾何学的構造を理解できるように適応させることです。これにより、彼らは2Dビデオのエキスパートを、4D LiDARの監督者に変えたのです。

プロセスは、同期されたデータセットから始まります。それは、3D LiDARスキャンと、同じ車両に搭載された標準的なビデオ映像のシーケンスです。研究者はまず、ビデオ映像をビデオ基盤モデルに投入します。このモデルは、物体を特定し、フレーム間でその動きを追跡することに長けています。ユーザーが最初のビデオフレーム内の車をクリックすると、モデルはその車をビデオシーケンス全体を通じて自動的に追跡し、その後のすべてのフレームにおいて車両を囲むマスクを作成します。研究者は次に、これらの2Dのアウトラインを、対応する3D LiDARの点へと投影します。カメラとレーザーセンサーは、両者が互いにどのように関連しているかを正確に把握するように校正されているため、システムはどのレーザーの点がビデオマスクのピクセルに対応するかを判断できます。

しかし、単に2Dのマスクを3Dの点に投影するだけでは不十分です。単一のカメラでは車両全体を見ることはできず、側面は見えても背面が見えなかったり、あるいは他の物体によって視界が遮られたりすることがあります。これを解決するために、研究者たちは複数のカメラからの視点を組み合わせ、それらを時間とともに繋ぎ合わせる手法を開発しました。彼らは、車両の既知の動きを利用して、前の瞬間に見えていたものを現在の瞬間に投影し、カメラの視界が制限されていた部分を補完します。これにより、3Dの点に対して高密度で一貫したラベルセットが作成され、高品質なトレーニングデータセットが事実上自動的に生成されます。研究者が「疑似ラベル（pseudo-labels）」と呼ぶこれらの生成されたラベルは、その後、LiDARデータを理解するために特別に設計された新しいモデルの訓練に使用されます。

完成したシステムであるLiDAR-SAM2は、インタラクティブなツールとして機能します。オペレーターは、LiDARシーケンスの最初のフレームにある物体を一度クリックするだけでよく、システムはビデオ全体を通じてその物体の整合性のある高品質なトラックを自動的に生成します。研究者は、複雑な都市部の走行シーンを含む「SemanticKITTI」という標準的なデータセットを用いて、このアプローチをテストしました。その結果、彼らのシステムによって生成されたラベルは極めて正確であり、高い適合率（precision）と再現率（recall）を達成していることがわかりました。これらの自動生成されたラベルを使用して標準的な3Dセグメンテーションモデルを訓練したところ、モデルは、人間が丹念にラベル付けしたデータで訓練されたモデルとほぼ同等の性能を発揮しました。実際、セマンティック・セグメンテーションのタスクにおいて、自動生成されたラベルで訓練されたモデルは、訓練に使用されたLiDARの点に対して人間による手動のアノテーションが一度も行われていないにもかかわらず、人間による完全なグラウンドトゥルース（正解ラベル）に迫る性能レベルに達しました。

研究では、ラベル自体の品質についても調査が行われました。出力を可視化することで、研究者たちは、システムが物体の周囲にクリーンな境界線を生成し、物体がシーン内を移動する際の一貫したアイデンティティを維持していることを示しました。この一貫性は、10秒前に見た車が今見ている車と同じものであることをシステムが知っていなければならない自動運転において、極めて重要です。研究者たちは、このレベルの品質が、物体の追跡を開始するための数回のクリックという最小限の人間による入力だけで達成できることを実証しました。これは、3Dおよび4Dのシーン理解におけるデータアノテーションの重い負担が大幅に軽減できる可能性を示唆しており、大規模な人間のアノテーター・チームを必要とせずに、より安全でより高性能な自動運転システムを迅速に開発できることを示しています。

この研究は、「高品質な3Dトレーニングデータは常に人間の労働から来るものでなければならない」という概念に明確に異を唱えるものです。以前のインタラクティブな4Dセグメンテーションの試みは、システムに物体の追跡方法を教えるために人間がアノテーションしたデータセットに依存していましたが、今回の新しいアプローチは、最小限のプロンプトのみを要求することで、その依存度を最小限に抑えています。研究者たちは、ビデオ基盤モデルに備わっている時間的な理解を活用することで、3Dのラベル付けシステムをゼロからブートストラップ（立ち上げ）できると主張しています。彼らは、自分たちの手法が単なる理論的な可能性ではなく、使用可能な高忠実度のデータを生成する実用的なツールであることを示しました。結果は、自動生成されたデータと人間がラベル付けしたデータの間の溝が急速に縮まっていることを示しており、次世代の知覚システムへのスケーラブルな道筋を提示しています。

人工知能という広い文脈において、この研究は、ある種類の強力なモデルを使って別のモデルを教えるという転換を浮き彫りにしています。2Dビデオモデルを3Dデータの教師（監督）として扱うことで、チームは3D領域の伝統的な限界を回避しました。彼らは世界を見るための新しい方法を発明したのではなく、コンピュータがすでにビデオについて知っていることを、レーザースキャンの言語へと翻訳する方法を見つけたのです。この知見は、自動運転のデータの未来が、より多くのアノテーターを雇うことにあるのではなく、異なる種類の視覚データ間のよりスマートな架け橋を築くことにあるかもしれないことを示唆しています。技術が成熟するにつれ、これは自律走行車のための膨大で多様なデータセットの作成を可能にし、技術をより堅牢でアクセシブルなものにするでしょう。研究は、適切なフレームワークがあれば、自動的で高品質な3Dアノテーションという夢は、もはや遠い目標ではなく、現実の課題であると結論付けています。