テクニカルサマリー：Test-Time Coverage (TTCov)

問題提起

自動運転（AD）のような物理的な安全性が極めて重要な領域において、デプロイされたAIシステムは通常、広範な候補データプールに基づいて学習されます。標準的なデータキュレーション手法は、学習側の基準（多様性、不確実性、冗長性など）に基づいて学習サブセットを選択しますが、デプロイメント時のテスト分布を直接最適化するものではありません。これにより、キュレーションされた学習データが、現実世界でモデルが遭遇する特定の条件を反映していないという潜在的なミスマッチが生じる可能性があります。

転移学習やテスト時適応（TTA）技術は、推論中に未ラベルのテストデータを使用してモデルの重みを更新することで、このギャップを埋めようと試みていますが、これらのアプローチは推論レイテンシを増大させ、リアルタイムかつ安全性が重視されるシナリオにおけるモデルの検証を複雑にします。さらに、サンプルごとにモデルのチューニングを必要とするため、デプロイメントのボリュームが増えるにつれてスケーラビリティが低下します。本論文は、推論時にモデルの重数を変更することなく、学習を開始する前に学習分布を適応させる手法の必要性を提唱しています。

手法：TTCov

著者らは、データレベルのテスト条件付きキュレーションフレームワークである TTCov (Test-Time Coverage) を導入します。TTCovは、モデルの重みを更新する代わりに、デプロイメント分布に適合するように学習データセットをキュレートします。これは、問題をカバレッジ（Coverage）（どのようなデプロイメントに関連するコンテンツを含めるべきか）と分布（Distribution）（そのコンテンツがどの程度の頻度で出現すべきか）の2つのコンポーネントに分解することで実現されます。

1. アトラス (Coverage Representation)

カバレッジを表現するために、TTCovは、デプロイメントに関連する概念（シナリオ、エージェント、条件、挙動）を記述する**原子命題（Atomic Propositions: APs）の集合である解釈可能なタスク・アトラス（Task Atlas）**を構築します。

• シード生成（Seeding）: アトラスは、構造化された走行条件のオントロジーを形成するために、LLM（大規模言語モデル）によって生成されたオープンワールドのタスク知識によって初期シードが与えられます。
• 拡張（Expansion）: アトラスは、未ラベルのデプロイメント側データ（例：走行ログ）を使用して拡張されます。マルチモーダルLLM（MLLM）がテストビデオから高密度なキャプションを抽出し、それらがAPへと変換されます。
• 統合（Unification）: 以下の3段階のプロセスにより、これらのAPが洗練されます。
  1. 蒸留（Distillation）: 複雑な記述は、単一節の宣言的な文章に変換されます。
     書かれた文章は、主語・述語・目的語（SVO）または主語・属性の原子単位へと変換されます。
  2. ノイズ除去（Nuisance Filtering）: 一般化可能な概念を捉えるために（例：「赤いシャツを着た歩行者がブロードウェイを渡る」ではなく「歩行者が横断歩道を渡る」）、非本質的な修飾語（色、特定のサイズ、ブランド名、特定の通り名など）が削除されます。
  3. 重複排除（Deduplication）: 一貫した語彙を確保するため、意味的に類似したフレーズは、LLMによる検証を用いてクラスタリングおよび統合されます。

2. K-Atlas (Distribution Representation)

分布を表現するために、TTCovは、マッチしたデプロイメント側のAPとその頻度をインスタンス化し、**ナレッジ・アトラス（Knowledge Atlas: K-Atlas）**を作成します。

• K-Atlasはターゲット分布ベクトル $p^\star$ であり、各要素は、デプロイメント側のテストセットにおける特定のAPの重要度頻度を表します。
• これにより、デプロイメント分布を具体的なキュレーションターゲットとして運用可能にします。

3. グリーディ選択最適化 (Greedy Selection Optimization)

目標は、候補プール $C$ から予算化された学習サブセット $S$（サイズ $B$）を選択し、そのサブセットのAP分布 $\hat{p}_S$ がターゲットとなるK-Atlas $p^\star$ へのカルバック・ライブラー（KL）ダイバージェンスを最小化することです。
$$S^\star := \arg \min_{S \subset C, |S|=B} D_{KL}(p^\star \parallel \hat{p}_S)$$
これは組合せ最適化問題であるため、TTCovはグリーディ反復アルゴリズム（Algorithm 1）を採用します。各ステップにおいて、蓄積されたサブセットとターゲット分布との間の現在のKLギャップを最大に減少させるサンプルを、残りの候補プールから選択します。

主な貢献

1. TTCovフレームワーク: 学習を開始する前に、未ラベルのデプロイメント分布に学習データセットを適応させる、データレベルのテスト条件付きキュレーション手法であり、オンラインでのモデル適応に伴うレイテンシや複雑さを回避します。
2. AtlasおよびK-Atlas: デプロイメント条件付きキュレーションのために特別に設計された、解釈可能なカバレッジ表現（Atlas）と頻度重み付きターゲット分布（K-Atlas）の導入。
3. 最適化定式化: データキュレーションを予算化されたK-Atlasマッチング問題として定式化し、候補サンプルに対するグリーディ選択手順を用いて解決します。
4. 単調なアトラス進化（Monotonic Atlas Evolution）: 以前に選択されたデータを保持しながら、新しいドメインに対してK-Atlasを更新することで、変化するデプロイメント条件（例：都市間の拡張）に適応するためのメカニズム。
5. 実証的検証: カバレッジ指標、分布マッチング、およびダウンストリームのエンドツーエンド（E2E）自動運転性能を用いた、最先端のベースラインに対する包括的な評価。

実験結果

著者らは、Latent Transfuser (LTF) プランナーを用い、Navhard ベンチマーク（NAVSIMフレームワークの困難なサブセット）上でTTCovを評価しました。

• パフォーマンス: TTCovは、様々なデータ予算（ベースラインの0.5倍から1.5倍）において、Coreset（多様性ベース）やSSE（セマンティック選択）を含むベースラインを一貫して上回りました。
  • 1xの予算において、TTCovは手動キュレーションによるNavtrainオーラクルの性能（24.42 vs 24.70 EPDMS）と同等の性能を、人間のアノテーションなしで達成しました。
  • オーラクルのサイズを超える予算において、TTCovはオークルおよび他のすべてのベースラインを凌駕しました（1.5xで26.40 EPDMS）。
• 分布マッチング: TTCovは、すべてのベースラインと比較してK-AtlasターゲットへのKLダイバージェンスが最も低く、選択された学習データとテスト分布との間の優れた整合性を示しました。
• 都市間適応（City-to-City Adaptation）: マルチラウンドのドメイン拡張実験（都市を逐次的に追加）において、TTCovは新しいターゲット都市および元の都市の両方においてベースラインを大幅に上回り、以前の都市のためにデータを再キュレーションすることなく、あるいは破滅的忘却を起こすことなく、新しいドメインに適応できる能力を証明しました。
• カバレッジ: TTCovは、CoresetやSSEと比較して、テスト分布に近い埋め込みを持つ学習ポイントの有意に高いボリュームを選択しました（最近傍距離およびMMDによって測定）。

意義と主張

本論文は、TTCovが「リアクティブなモデルパッチ適用」から**「プロアクティブなテスト駆動型AI開発」**への転換を象徴していると主張しています。解釈可能な原子命題のアトラスを活用することで、TTCovは以下を可能にします。

• 安全性に配慮したキュレーション: 一般的な多様性指標では見落とされがちな、安全性に関わる重要なシナリオや稀なシナリオ（例：歩行者、スクールバス、特定の信号機との相互作用）を明示的にターゲットにする能力。
• スケーラビリティ: サンプルごとのモデル適応という計算オーバーヘッドを伴わずに、進化するデプロイメント条件（例：新しい都市）に適応できる。
• 解釈可能性: 原子命題の使用により、学習データがどのような概念をカバーしているかについての透明なビューを提供し、モデルの潜在的な失敗モードに関する洞察を与える。

著者らは、TTCovがテストセットの存在と基礎となるLLMの知識の限界に依存するものの、物理的なAIシステムにおいて、学習データを現実世界のデプロイメント分布に整合させるための堅牢でスケーラブルな道筋を提供すると述べています。