CLAP: Unsupervised 3D Representation Learning for Fusion 3D Perception via Curvature Sampling and Prototype Learning

本論文は、画像と点群の両方の情報を効率的に活用して融合 3D 感知タスクの性能を大幅に向上させるため、曲率サンプリングと学習可能なプロトタイプを用いた教師なし事前学習手法「CLAP」を提案し、NuScenes や Waymo データセットにおいて既存の最先端手法を凌駕する成果を示しています。

要約

この論文は、**「CLAP（クラップ）」**という新しい AI の学習方法について書かれています。

自動運転車やロボットが、カメラの画像（2 次元）とレーザーセンサーの点群（3 次元）の両方を同時に理解して、より賢く動くための技術です。

難しい専門用語を避け、**「料理」や「地図作り」**の例えを使って、わかりやすく説明しますね。

---

🍳 問題：なぜこれまでの AI は「片手料理」だったのか？

自動運転の AI を育てるには、大量のデータが必要です。しかし、3 次元の空間データを一つ一つ手動でラベル付け（「これは車」「これは歩道」と書く作業）するのは、**「1 粒の米を一粒ずつ数える」**くらい時間と手間がかかります。

そこで、AI が自分で学習する「教師なし学習」が注目されました。しかし、これまでの方法には大きな問題がありました。

• カメラの画像とレーザーの点群は、データ量が違いすぎて、一度に全部を AI に食べさせる（学習させる）ことができませんでした。
• そのため、これまでの AI は**「カメラの料理」と「レーザーの料理」を別々に作っていた**のです。
  • カメラは「形」はわかるが「奥行き」がわからない。
  • レーザーは「形」はわかるが「色や質感」がわからない。
  • 結果： 両方の良いところを組み合わせられず、AI の性能に上限があったのです。

---

🚀 解決策：CLAP という「天才シェフ」の登場

この論文で提案されているCLAPは、この「別々料理」の問題を解決し、「カメラ」と「レーザー」を同時に、そして効率的に学習させる新しい方法です。

CLAP は、2 つのすごいアイデア（魔法の道具）を持っています。

1. 🎯 「曲率サンプリング」：重要な部分だけを食べる

3 次元のデータ（点群）は、地面のように平らな部分もあれば、車のボディのように曲がっている部分もあります。

• 平らな地面は、情報が少ないので、AI が勉強する必要はあまりありません（「何もない場所」だから）。
• 曲がった車体は、情報が豊富で、AI が一生懸命勉強すべき場所です。

CLAP は、「曲率（カーブの度合い）」を計算して、「重要な曲がった部分」だけを選んで学習します。

例え話： 広大な畑（データ全体）から、野菜が育っている「 fertile な場所」だけを選んで収穫し、無駄な砂地（平らな地面）を無視するイメージです。これにより、AI が処理するデータ量が劇的に減り、「カメラ」と「レーザー」を同時に学習させることが可能になりました。

2. 🧩 「学習可能なプロトタイプ」：共通の言語を作る

カメラとレーザーは、それぞれ違う言語を話しています（画像はピクセル、レーザーは点）。これを理解し合わせるために、CLAP は**「プロトタイプ（型）」**という共通の辞書を使います。

• AI は、3 次元空間の「部分」を、このプロトタイプに割り当てて理解します。
• 例えば、「車のフロント部分」というプロトタイプがあれば、カメラの画像でもレーザーの点でも、それが「車のフロント」だと判断できるようになります。
• さらに、**「交換予測」**というゲームをさせて、カメラのデータとレーザーのデータを互いに教え合い、より深く理解させます。

例え話： 2 人の通訳（カメラとレーザー）が、お互いに直接会話するのではなく、**「共通のメモ帳（プロトタイプ）」**を使って情報を共有し、互いの言葉を完璧に理解し合うイメージです。

---

🏆 結果：劇的な性能向上

この方法を実際の自動運転データ（NuScenes や Waymo）でテストしたところ、驚くべき結果が出ました。

• 従来の最高性能な方法（UniPAD など）よりも、**学習効率が最大で 2 倍（100% 以上の向上）**になりました。
• 特に、データが少ない場合（「少量の食材」で料理する場合）でも、CLAP は非常に高い性能を発揮しました。これは、**「少ないデータからでも、より多くのことを学べる」**ことを意味します。

---

💡 まとめ

この論文の CLAP は、以下のようなことを実現しました。

1. 無駄を省く（曲率サンプリング）： 重要な部分だけを選んで、重いデータを軽くする。
2. 橋渡しをする（プロトタイプ学習）： カメラとレーザーという異なるデータを、共通の概念でつなぐ。
3. 結果： 自動運転 AI が、ラベル付けなしでも、より賢く、安全に、そして効率的に 3 次元空間を理解できるようになった。

まるで、**「広大な図書館から、必要な本だけを選んで読み、異なる言語の本同士を翻訳し合わせて、新しい知識を生み出す」**ような、非常に賢い学習システムなのです。

これにより、将来的には、より安全で高性能な自動運転車が、より少ないコストで実現できるかもしれません。

技術概要

CLAP: 曲率サンプリングと学習可能プロトタイプを用いた融合 3D 知覚のための教師なし 3D 表現学習

以下は、ICLR 2026 に掲載予定の論文「CLAP: UNSUPERVISED 3D REPRESENTATION LEARNING FOR FUSION 3D PERCEPTION VIA CURVATURE SAMPLING AND PROTOTYPE LEARNING」の技術的サマリーです。

1. 問題定義 (Problem)

自律走行などの 3D 知覚タスクにおいて、カメラ（画像）と LiDAR（点群）のマルチモーダル融合は単一モダリティよりも優れた性能を発揮します。しかし、3D 空間でのデータラベリングは非常にコストがかかるため、教師なし学習による事前学習（Pre-training）が注目されています。

既存の教師なし 3D 表現学習手法、特に微分可能なレンダリング（Differentiable Rendering）に基づく手法は有望ですが、以下の重大な課題を抱えていました：

• 計算コストの壁: 画像と大規模な点群を同時に処理して微分可能なレンダリングを行う場合、GPU メモリが不足し、バッチサイズを 1 に制限せざるを得ないほど重くなります。
• 分離された事前学習: この計算制約により、既存の SOTA 手法（例：UniPAD）は画像と点群を別々に事前学習せざるを得ませんでした。
• 相互利益の未活用: 画像から得られる高レベルな意味情報と、点群から得られる幾何学的構造情報の相補性を、事前学習段階で十分に活用できていませんでした。

2. 提案手法 (Methodology: CLAP)

著者らは、画像と点群の結合した教師なし事前学習を可能にする手法「CLAP (Curvature sampLing and leArnable Prototype)」を提案しました。主な構成要素は以下の通りです。

2.1 曲率サンプリング (Curvature Sampling)

計算コストを削減し、両モダリティの同時処理を可能にするための戦略です。

• 動機: 平坦な路面（低曲率）は情報が少なく、車両の表面など（高曲率）は情報が豊富です。
• 手法: 点群内の各点について、符号付き距離場（SDF）関数の 2 階微分を用いて法線ベクトルを推定し、その勾配（曲率）を計算します。
• 実装: 曲率が高い点ほどサンプリング確率を高くし、情報量の多い点/ピクセルを選択的にサンプリングします。これにより、全点群を処理するのではなく、重要な部分のみをレンダリング損失の計算に用いることで、GPU メモリ負荷を 1% 未満に抑えつつ、効率的な学習を実現しています。

2.2 学習可能プロトタイプ (Learnable Prototype)

画像と点群の相互関係を学習し、共通の特徴空間を構築するための機構です。

• プロトタイプ: 3D シーンの「一部（オブジェクトや背景など）」を表す学習可能なベクトル（プロトタイプ）の集合を導入します。
• EM アルゴリズム: 期待最大化（Expectation-Maximization）アルゴリズムを用いて、各モダリティ（LiDAR とカメラ）の埋め込みとプロトタイプの類似度を最大化するようにプロトタイプを最適化します。
• スワッピング予測損失 (Swapping Prediction Loss): 画像と点群の埋め込みを別々のビューとみなし、SwAV などの手法に触発された「スワッピング」予測損失を導入することで、モダリティ間の相互作用を深く探求します。
• グラム行列正則化 (Gram Matrix Regularization): プロトタイプがすべて同じベクトルに収束する（クラッシュする）のを防ぐため、プロトタイプ間の類似度を最小化する正則化項を追加します。

2.3 全体パイプライン

1. エンコーディング: LiDAR 点群とカメラ画像をそれぞれエンコードし、融合エンコーダで結合します。
2. サンプリング: 曲率サンプリングにより、情報量の多い点とピクセルを選択します。
3. レンダリング: 選択された点に基づき、微分可能なレンダリング（SDF と RGB 値の予測）を行い、再構成損失を計算します。
4. プロトタイプ学習: 共通特徴空間におけるプロトタイプ割り当てを EM 法とスワッピング損失で最適化し、グラム行列正則化で安定性を保ちます。

3. 主要な貢献 (Key Contributions)

1. 初の結合事前学習: 曲率サンプリング戦略により、計算コストの壁を突破し、画像と点群の融合知覚における初の微分可能レンダリングに基づく結合教師なし事前学習を実現しました。
2. 共通特徴空間の構築: 学習可能プロトタイプと EM 学習法を用いて、3D シーンの一部を表現する共通特徴空間を確立し、モダリティ間の相補性を活用しました。
3. 新しい損失関数の提案: モダリティ間の相互作用を探索する「スワッピング予測損失」と、プロトタイプのクラッシュを防ぐ「グラム行列正則化」を提案しました。
4. SOTA 性能の達成: 大規模な実証実験により、既存の最優秀手法を大幅に上回る性能向上を実証しました。

4. 実験結果 (Results)

NuScenes および Waymo データセットを用いた大規模な実験が行われました。

• NuScenes データセット:
  • 学習データ 5% での微調整（Fine-tuning）において、CLAP はランダム初期化に対してmAP で 2.48%、**NDS で 1.76%**の向上を達成しました。
  • 既存の SOTA 教師なし事前学習手法（UniPAD）と比較して、mAP における性能向上幅が**2 倍（100% 以上）**になりました。
  • 特定のクラス（建設車両、バス、歩行者など）において特に大きな改善が見られました。
• Waymo データセット:
  • 同様に、既存の最良の事前学習手法（OCC-MAE など）と比較して、CLAP は約 2 倍の性能向上（mAP で +1.28%）を達成しました。
• スケーラビリティ:
  • 微調整に使用するデータ量を減らす（0.5% など）ことで、事前学習データとの比率を高める実験を行いました。その結果、データ量が少なくなるほど CLAP の性能向上幅は大きくなり（mAP で +7.22%）、大規模な事前学習データセットへのスケーリング可能性が示唆されました。
• アブレーション研究:
  • 曲率サンプリングとプロトタイプ学習の両方が性能向上に寄与していることが確認されました。特にプロトタイプ学習は、共通特徴空間の学習とモダリティ間の相互作用を通じて、単なるサンプリング改善以上の効果をもたらしました。

5. 意義と結論 (Significance)

CLAP は、マルチモーダル 3D 知覚における教師なし学習の新たなパラダイムを示しました。

• 計算効率と性能の両立: 従来の「計算コストが高いため分離学習せざるを得ない」というジレンマを、曲率サンプリングによって解決しました。
• モダリティ融合の深化: 事前学習段階から画像の意味情報と点群の幾何情報を統合的に学習させることで、下流タスク（物体検出など）のサンプル効率を劇的に向上させました。
• 将来展望: この手法は、ラベル付けコストが膨大な 3D 知覚分野において、より大規模なデータセットを用いたスケーラブルな学習への道を開くものであり、自律走行システムの開発において重要な進展と言えます。

本論文は、コードとモデルの公開も予定しており、研究コミュニティへの貢献が期待されます。