技術要約: GhostPoint

問題提起

本論文は、LiDAR点群における自己教師あり学習（SSL）における系統的な転移ギャップ（transfer gap）について取り組んでいる。近年のSSL手法（例：Sonata, DOS, Occ-MAE）は、セマンティックおよびパノプティック・セグメンテーションといった点単位のタスクに対して効果的な表現を事前学習できるが、3D物体検出への転移においては著しく弱い。

著者らは、その根本的な原因が**表現のミスマッチ（representational mismatch）**にあることを特定している：

1. SSLの目的関数: 現在のSSL手法は、学習信号を計測されたLiDARリターン（可視表面）のみに限定して定義している。これらは、点のリターンがないボクセルを空であると扱うか、あるいは無視しており、遮蔽された領域や観測されていない領域をモデル化できていない。
2. 検出の要件: 3D物体検出には、物体の完全な幾何学的広がり、位置、および方位を推論する必要があり、これには多くの場合、遮蔽された空間や未観測の空間についての推論が含まれる。
3. 結果: 事前学習されたエンコーダは、可視表面に偏った特徴を学習する。これを検出に適用すると、予測されるインスタンスの重心が、物体の真の幾何学的中心ではなく、観測された点へと偏ってしまい、特に重度の遮蔽や疎なスキャン条件下において、局在化と範囲推定の精度低下を招く。

手法: GhostPoint

GhostPointは、発見されたインスタンスの周囲にある未観測のローカル近傍における潜在的な特徴を明示的にモデル化することで、このギャップを埋めるために設計されたSSLフレームワークである。このフレームワークは、エンコーダレベル（標準的な自己蒸留）と予測器レベル（未観測構造の幻覚化）の2つのレベルで動作する。

1. インスタンス中心の近傍サンプリング

自由空間における一様サンプリングの代わりに、GhostPointは遮蔽が発生しやすい物体の隣接領域に焦点を当てる。

• 疑似インスタンスの発見: ティーチャーエンコーダがマスクされていないLiDARリターンを処理し、Softmap（セマンティック）とセンターオフセットヘッドを用いて疑似インスタンスを生成する。
• 可視性フィルタリング: スチューデントビューにおいて完全にマスクされたインスタンスは破棄される。
• インスタンスボクセルの拡張（Dilation）: 残ったインスタンスに対し、バイナリ占有グリッドを3Dカーネル（$k_s > 1$）を用いて拡張する。これにより、以下の要素を含む近傍ボクセル集合 $\mathcal{Q}$ が作成される：
  • $Q_{vis}$: 可視の占有ボクセル。
  • $Q_{mask}$: マスクされた占有ボクセル（疑似遮蔽）。
  • $Q_{unobs}$: 未観測のボクセル（リターンが存在しない領域）。

2. トークンの初期化と洗練

スチューデント予測器は、エンコーダ特徴が存在しない $\mathcal{Q} \setminus Q_{vis}$ （マスクされた領域および未観測領域）のボクセルに対して特徴を生成しなければならない。

• 初期化: これらの新しいボクセルのトークンは、最も近い $k$ 個の可視占有近傍からの距離加重KNN補間を通じて初期化される。
• 予測: 軽量な予測器（$G_\theta$）が近傍トークンを処理し、可視ボクセルからのコンテキストを新しいトークンへと集約する。

3. 非対称なティーチャー・スチューデント蒸留

GhostPointは、観測されたボクセルと未観測のボクセルで異なる予測器レベルの監督スキームを導入している。

• 観測されたボクセル ($Q_{vis} \cup Q_{mask}$): スチューデント予測器は、ティーチャーエンコーダの特徴によって監督される。これは標準的な自己蒸留と一致する。
• 未観測のボクセル ($Q_{unobs}$): スチューデント予測器は、ティーチャー予測器の出力によって監督される。ティーチャー予測器は、スチューデントの指数移動平均（EMA）であり、かつマスクされていない完全なシーンに基づいているため、これらの空の領域に対して妥当なセマンティックおよび幾何学的表現を「幻覚（hallucinate）」させる。

4. 学習目的関数

総損失は、エンコーダレベルと予測器レベルの蒸留を組み合わせたものである：
$$\mathcal{L} = \mathcal{L}_{\text{sem,vis}} + \lambda \mathcal{L}_{\text{geo,vis}} + \mathcal{L}_{\text{sem},\neg \text{vis}} + \lambda \mathcal{L}_{\text{geo},\neg \text{vis}}$$

• $\mathcal{L}_{\text{vis}}$: 可視ボクセルに対する標準的なSoftmapおよびオフセット損失。
• $\mathcal{L}_{\neg \text{vis}}$: 非可視ボクセル（マスクおよび未観測領域）に対するセマンティック分布のKLダイバージェンスおよび幾何学的予測のオフセット損失。

主な貢献

1. 転移ギャップの分析: 本論文は、表面に整合したSSLの目的関数が3D検出において性能低下を招く限界を特性化し、それを未観測の物体形状に関する推論能力の欠如に帰着させた。
2. GhostPointフレームワーク: インスタンスボクセルの拡張を用いて近傍クエリを生成し、未観測領域の潜在的特徴を幻覚化するための予測器レベルの蒸留スキームを用いる、新しいSSLアプローチ。
3. 実証的検証: 未観測の構造を明示的にモデル化することで、セグメンテーション能力を損なうことなく、特に疎なスキャン条件下やラベルが少ないレジームにおいて、3D検出の性能が向上することを実証した。

実験結果

本手法は、nuScenesおよびWaymo Open Datasetのベンチマークで評価された。

• 性能向上:

  • プロービング（凍結バックボーン）: GhostPointは、nuScenesにおいて2番目に優れたSSL手法（PointINS）を2.8 mAPおよび1.7 NDS上回り、Waymoでは2.5 mAP上回った。
  • フルファインチューニング: GhostPointはnuScenesにおいて67.5 mAPおよび71.2 NDSを達成し、完全教師あり学習のベースラインを3.7 mAP上回った。
  • 定性的改善: 可視化により、GhostPointが、特に部分的に遮蔽された物体に対して、より優れた中心位置の特定と空間的な広がりの整合性を持つ予測を行うことが示された。

• ラベル効率:

  • ラベルがわずか0.1%の場合でも、GhostPointはnuScenesで36.9 mAPを達成し、2番目に優れたSSL手法を2.1 mAP上回った。
  • ラベルが**10%**の場合、特定の指標において完全教師あり学習の性能に匹敵するか、それを上回る。

• アブレーション研究:

  • 近傍サンプリング: 拡張（dilation）のみによって遮蔽領域へ監督を広げることで、改善が見られた。
  • 予測器: 予測器の追加とウォームアップスケジュールの導入は大幅な利得をもたらし、能動的なコンテキスト伝播の必要性を裏付けた。
  • 幻覚 vs 正則化: 利得は、単なるモデル容量の増加や正則化からではなく、未観測領域における情報量の多い幻覚ターゲットから得られていることが実験で確認された。
  • アーキテクチャの転移: Transformer（PTv3）を事前学習し、それを疎なCNN（CenterPoint）に蒸留することで、CNNを直接学習するよりも良い結果が得られた。これは、幅広い適用可能性を示唆している。

• タスク転移性: GhostPointは、セマンティックおよびパノプティック・セグメンテーションにおいても強力な性能を維持しており（mIoUにおいてPointINSと同等）、未観測構造のモデル化が点単位の特徴品質を低下させないことを証明している。

意義と主張

本論文は、GhostPointが「可視表面」から「完全な物体幾何学」へと学習目的をシフトさせることで、SSLと3D物体検出の間の転移ギャップを効果的に埋めることを主張している。未観測の近傍における潜在的な特徴を幻覚化することにより、このフレームワークはエンコーダが計測されたリターンを超えた物体の構造を内部化することを促す。

著者らは、本研究を自動運転のためのスケーラブルなソリューションとして位置づけている。自動運転では、ラベルなしのセンサーログは豊富にあるが、高密度な3Dアノテーションはコストが高い。彼らは、GhostPointが（プロービング条件下において）完全教師あり学習との差を大幅に縮めているものの、依然として完全教師あり学習には及ばないこと、また、レーダーのような他の疎なモダリティについてはまだ評価されていないことを述べている。