技術概要：CLAP – 自律走行のエンドツーエンド向け対比潜在空間プロンプト最適化

1. 問題定義

大規模な事前学習と微調整を活用するビジョン・言語・アクション（VLA）モデルに支えられたエンドツーエンドの自律走行（AD）システムは、一般的な走行シナリオにおいて高い性能を示してきた。しかし、これらのシステムは、活発な工事区域、複雑な譲歩幾何学、悪天候の組み合わせなど、稀だが安全性上重要な「ロングテール・シナリオ」において依然として脆い。

これらの失敗に対処する支配的なアプローチは、データ収集の拡大とモデルの微調整である。しかし、本論文は、以下の理由によりこのアプローチには限界効用逓減が生じると主張している：

• 稀な事象の希少性。
• カテゴリ内の変異（レイアウト、天候、時刻）の組み合わせ的複雑性。
• ニッチなデータで頻繁に微調整を行う際の破滅的忘却のリスク。

さらに、本論文は、現在の適応戦略における特定の限界を特定している：ロングテール・フェイルは、純粋なカテゴリレベルの一般化問題というよりも、しばしば特定の道路区域（ロードブロック）に紐付いている。加えて、単一のロードブロック内では、困難な（ロングテールの）フレームと通常のフレームがモデルの潜在空間内で重く混在している。その結果、困難なフレームを修正するためにプロンプトを最適化すると、この潜在空間での混在により、通常のフレームの性能が誤って低下することが多い。

2. 手法：CLAP フレームワーク

著者は、凍結された VLA 走行モデルをロードブロックごとのソフトプロンプトで拡張する「CLAP（Contrastive Latent-space Prompt Optimization：対比潜在空間プロンプト最適化）」を提案する。これらのプロンプトは、クラウドソーシングデータ上でオフライン最適化され、V2X（Vehicle-to-Everything）通信を通じてオンデマンドで取得される。

核心的な観察

この手法は、最先端の VLA の潜在空間を分析して得られた 2 つの観察に基づいている：

1. 局所性：同一のロードブロック（安定した視覚的・幾何学的アイデンティティを持つ連続的な空間領域）からのシナリオは、他のロードブロックとは明確に区別され、潜在空間内で密にクラスタリングする。
2. 混在：単一のロードブロック内では、困難なフレームと通常のフレームは明確なクラスタに分離できず、重く混在している。

2 段階のパイプライン

CLAP は、各ロードブロック $R$ に対して、2 段階のプロンプト最適化プロセスを通じて動作する：

ステージ 1：教師付き対比学習による方向性の発見

• 目的：潜在空間内で困難なフレームを通常のフレームから分離する「ハードシーン方向（$d^\star$）」を発見する。
• メカニズム：補助的なソフトプロンプト $P_A$ を、教師付き対比（SupCon）損失を用いて最適化する。この損失は、困難なフレームの隠れ状態を通常のフレームから遠ざけるように作用する。
• 出力：分離された表現の主方向を抽出し、そのロードブロック固有の困難シーン方向のコンパクトな記述子として $d^\star$ を得る。

ステージ 2：方向正則化付きプロンプト最適化

• 目的：困難なフレームを改善しつつ、通常のフレームの性能を厳密に維持する、展開可能な性能プロンプト $P_B$ を最適化する。
• メカニズム：$P_B$ は、以下の結合損失関数のもとで訓練される：
  $$L_{total} = L_{plan} + \lambda_1 L_{dir} + \lambda_2 L_{reg}$$
  • $L_{plan}$：困難なフレームのみに計算される標準的な軌道回帰損失（ADE）。
  • $L_{dir}$（方向正則化子）：$P_B$ が、事前に発見された軸 $d^\star$ に沿って困難なフレーム表現を変位させることを促す。これにより、最適化を分離が可能である特定の部分空間に制限する。
  • $L_{reg}$（通常フレーム正則化子）：ステージ 1 の基準に対して、通常フレーム表現のいかなる変位も明示的に罰する。これにより、プロンプトが一般的な走行に影響を与える部分空間へ「漏洩」することを防ぐ。

データ分割

これを適用するため、システムはロードブロックのトレースを「困難」サブセットと「通常」サブセットに分割しなければならない。本論文は、強力な VLM による意味的識別と、経験的検証（計画誤差が閾値 $\delta$ を超えること）を用いてフレームをラベル付けする、VLM ベースのパイプラインを提案する。

3. 主要な貢献

1. ロードブロックごとの定式化：潜在空間分析を通じて、ロードブロックが潜在空間内で明確な多様体を形成するため、ロングテール問題はグローバルではなく、ロードブロックごとに局所的に対処可能であることを示す。
2. CLAP フレームワーク：対比学習を用いて分離方向を特定し、方向正則化を用いて通常性能を後退させることなくロングテール性能を選択的に改善する、新規の 2 段階プロンプト最適化手法。
3. 経験的検証：バックボーンの微調整を必要とせず、複数の最先端 VLA バックボーンにおいて、困難なシナリオの計画誤差を CLAP が削減することを示す。

4. 実験結果

著者は、3 つの最先端 VLA バックボーン（ReCogDrive、Alpamayo-R1.5、DriveVLA-W0）を用いて、NAVSIM ベンチマーク上で CLAP を評価した。

• 困難なフレームにおける性能：CLAP は、3 つのモデル全体で困難なシナリオにおける平均変位誤差（ADE）を平均**24%**削減した。
• 通常のフレームにおける性能：制約のないソフトプロンプト最適化（一部のモデルで後退を引き起こした）や明示的なテキスト通知（しばしば失敗するか性能を低下させた）とは異なり、CLAP は通常のフレームにおいて性能を維持、あるいはわずかに改善した。
• 全体的な改善：ロングテール誤差の削減と通常性能の維持の組み合わせにより、全体の ADE で平均**14%**の改善をもたらした。
• アブレーション研究：
  • ステージ 1（対比方向性の発見）を除去すると、性能が大幅に低下し、特定の方向 $d^\star$ が重要であることを確認した。
  • $d^\star$ をランダムな方向に置き換えると、ステージ 1 を完全に省略する場合よりも性能が悪化し、学習された対比方向の必要性を浮き彫りにした。
• 一般化：増強なしで変化した条件（雨、夕暮れ）下でテストした際、性能は低下した。しかし、これらの条件で生成画像編集を用いて訓練データを増強することで、CLAP は効果的に一般化し、変化した条件下での ADE のギャップを大幅に縮小した。

5. 意義と主張

本論文は、VLA の自律走行における性能向上に対して、データスケーリングやモデル微調整に代わる実用的に効率的な代替手段として CLAP を位置づける。

• 改善のモダリティ：著者は、ロングテール・フェイルはグローバルなモデル再学習を必要とするのではなく、ソフトプロンプトを通じて「局所的にパッチ適用」可能であると主張する。
• 選択性：核心的な意義は、困難なシナリオを選択的に改善しつつ、構造上、一般的な走行性能への付随的損害を防止する能力にある。これは、潜在空間の混在により制約のないプロンプト最適化が解決できない課題である。
• 展開の実現性：このフレームワークは V2X 展開向けに設計されており、中央サーバーがクラウドソーシングデータに基づいてプロンプトを最適化し、特定のロードブロックに進入する車両へプッシュする。これにより、車両側の推論コストを最小限（凍結モデル＋プロンプト注入）に抑える。

著者は限界を認め、テストされた条件を超えた天候間での一般化は未解決の課題であり、現在の対比目的はロードブロックあたり単一の支配的な課題タイプを仮定しているため、不均質なシナリオでは精緻化が必要であると指摘している。