技術要約: WM-Cov: インタラクティブなワールドモデル形式の自動運転シミュレーションにおけるテスト妥当性

1. 問題定式化

従来の自動運転（AD）テストは、シナリオライブラリや固定された再生軌跡に依存しており、あらかじめ定義された一連のケースに対するカバレッジを測定する。しかし、インタラクティブなワールドモデル（WM）や生成型シミュレータの台頭は、テストの基盤を根本的に変化させている。これらのシステムでは、テスト対象となるエゴ・プランナー（自車プランナー）が世界の将来状態に能動的に影響を与える。背景のエージェント、センサーの観測、およびリスクプロファイルは、プランナーの行動に対して動的に反応する。

その結果、「シナリオ」はもはや固定された軌跡ではなく、マップ、ルート、初期状態、環境条件、背景エージェントのポリシー、プロンプト、およびシード分布によって定義されるインタラクティブなシナリオ・ファミリーとなる。シナリオの実現される進化は、テストされる特定のプランナーに依存する。

対処すべき核心的な問題は、このインタラクティブな設定におけるテストの妥当性（Adequacy）である。未解決の問いは、単に危険なロールアウトを生成できるかどうかではなく、テストキャンペーンを終了させるための根拠として、何が有効なクローズドループのエビデンスを構成するかである。生成されたビデオ、プロンプト、または衝突の生カウントは、以下の理由から不十分である：

• 生成された「失敗」が、ADS（自動運転システム）の真の失敗ではなく、アーティファクト（生成上の不備）（シミュレータのエラー、マップの不整合など）である可能性がある。
• 生成されたイベントが、重複しているか、あるいはコンディショニングの失敗（要求されたプロンプトが実現されていない状態）である可能性がある。
• 高い失敗数は、多様性に欠け、特定のモードに集中している可能性がある。

本論文は、妥当性は、単なる生成メトリクスではなく、固定された予算の下での有効かつインタラクティブなエビデンスの収束によって定義されなければならないと主張している。

2. メソドロジー: WM-Cov

著者らは、インタラクティブなワールドモデル形式のシミュレータによって生成されたエビデンスを監査・計上するために設計された、プロバイダーに依存しない評価レイヤーであるWM-Covを導入する。WM-Covは生成器自体を修正するのではなく、プロバイダーの上位に位置し、テストプロセスを標準化、監査、および報告する。

A. コア概念

WM-Covは、3つのレベルのカバレッジを区別する：

1. 要求されたカバレッジ ($C_{req}$): プロバイダーに対して明示的に要求されたテスト条件（例：「雨の夜」、「保護されていない左折」）。
2. 実現されたインタラクション・カバレッジ ($C_{real}$): クローズドループ実行中に実際に観測された条件。
3. 有効な実現カバレッジ ($C_{valid}$): 実現されたインタラクションのうち、妥当であり、重複がなく、アーティファクトを含まないサブセット。

本フレームワークは、要求から実現への追跡（プロンプトが機能したか？）と、妥当性の会計（結果が真のテストケースであるか？）を分離して扱う。

B. 評価パイプライン

1. トレースの取り込みとアダプター: 標準化されたアダプタースキーマにより、あらゆるプロバイダー（ニューラル・ワールドモデル、クローズドループ・シミュレータ、またはログ再生）からのトレースを取り込む。シナリオ・ファミリーID、エゴ・プランナー、要求された条件、実現されたインタラクション、およびアウトカム・スコアを含むメタデータを抽出する。
2. 特徴量タクソノミー: トレースは、ODD（運行設計領域）、インタラクション・タイプ、リスクビン、挙動クラス、妥当性ラベルをカバーする特徴ベクトルにマッピングされる。
3. 妥当性監査: レジャー（台帳）は、トレースを以下のように分類する：
   • 有効なADS失敗: プランナーに関連する、妥当で再現可能な失敗。
   • 有効な安全クリティカル・イベント: プランナーの失敗は確認されていないが、高リスクなイベント。
   • 有効な安全ケース: 妥当な非クリティカルなケース。
   • コンディショニングの失敗: 要求された条件が実現されなかったもの（例：雨を要求したが晴天になった）。
   • アーティファクト／無効な失敗: 生成器のエラー、マップのエッジの切断、またはシミュレータのグリッチによって引き起こされたイベント。
   • 重複: 繰り返される失敗パターン。
4. 予算に基づいた選択: マルチオブジェクティブ（多目的）選択ポリシーが、予算 $B$ の範囲内で有効なエビデンスを最大化するようにトレースを選択する。選択スコア $s(\tau|T)$ は以下をバランスさせる：
   • 有効なカバレッジの限界利得 ($\Delta C_{valid}$)。
   • リスク曝露 ($R$) およびリアリズム／妥当性の確信度 ($Q$)。
   • 冗長性へのペナルティ ($M$) およびアーティファクトのリスク ($A$)。
5. 停止指向の妥当性: カバレッジの成長、新しい有効な失敗モードの発見、および推定失敗確率の不確実性が、スライディングウィンドウ内で収束したとき（かつアーティファクト率が低いことを条件として）、キャンペーンを停止する。

C. 妥当性レポート

出力は単一のスカラー値ではなく、以下を含むレポート ($A_B$) である：

• カバレッジ成長メトリクス ($C_{req \to real}$, $C_{valid}$)。
• 有効な失敗数 ($VF$)、ユニークな失敗モード数 ($FM$)、およびアーティファクト数 ($AI$)。
• 有効エビデンス精度: $\Pi_v = VF / (VF + AI)$。
• 平均リスクおよびリアリズム・スコア。

3. 主な貢献

1. 問題定式化: インタラクティブなWM形式のテストを、固定された再生軌跡ではなく、シナリオ・ファミリーに対する妥当性と停止の問題として再定義した。
2. WM-Covフレームワーク: 要求されたものから実現されたもの、そして有効な実現へとカバレッジを追跡し、テストの意図と生成されたエビデンスを分離する、プロバイダーに依存しないレイヤーを導入した。
3. 妥当性メトリクス: カバレッジ成長、有効な失敗の発見、失敗モードの多様性、アーティファクトの抑制、および精度を組み合わせた包括的なレポートを定義した。
4. 実証的検証: 実行されたログ（TeraSim/SUMO）、混合トレース・プール、および2つのプランナー（UniAD, VAD）、2つのホライゾン、6つのプロンプト条件を含む、実在のクローズドループ DriveArena マトリックスを用いてフレームワークを評価した。

4. 実験結果

評価は3つのティアで行われた：

A. 実行された TeraSim/SUMO プール

• データセット: 230の有効なADS失敗、299の有効な安全クリティカル・イベント、および690のアーティファクト失敗を含む、1,219のイベントレベル・トレース。
• 知見: 大量の「危険に見える」イベントはアーティファクトであった。
• 性能: 予算100において、WM-Cov は99の有効な失敗をアーティファクトなしで選択し、有効エビデンス精度 1.00 を達成した。対照的に、「リスクのみ」の選択は100の有効な失敗をアーティファクトなしで見つけた（精度1.00）一方で、「カバレッジのみ」の選択は58個のアーティファクトを許容し、有効な失敗はわずか17件であった（精度0.23）。

B. WM風の混合トレース・プール

• データセット: 有効な失敗、重複、およびアーティファクトを含む、ワールドモデルの出力を模した合成プール。
• 知見: リスクのみの選択は、アーティファクトに予算を浪費した。
• 性能: WM-Covは、76の有効な失敗をアーティファクトなしで選択し、観察された6つの失敗モードすべてをカバーした。また、高い平均リスク（0.9686）とリアリズム（0.8932）を維持した。対照的に、「リスクのみ」の選択は61の有効な失敗を見つけたが、25個のアーティファクトを許容し、有効エビデンス精度は 0.71 ($61/(61+25)$) となった。
• 感度: 16の設定において、WM-Covはゼロのアーティファクト選択と安定したカバレッジ（0.4874）を維持しており、堅牢性を示した。
• ストレス・テスト: アーティファクトの汚染が55%に増加しても、リスクのみの選択は予算の67%をアーティファチに費やしたが、WM-Covは0%のアーティファクト選択を維持した。

C. 実在の DriveArena プロバイダー・マトリックス

• セットアップ: 360の要求されたクローズドループ試行（2プランナー $\times$ 2ホライゾン $\times$ 6プロンプト $\times$ 15ルート）。
• 実現率:
  • VAD: 5.0sホライゾンで100%の実現、7.5sで80%。
  • UniAD: 5.0sで93%の実現、7.5sで64%。
  • 合計: 304の完全な実現トレース、56の部分的実現、0の完全な未実現。
• 洞察: 実現はプランナー、ホライゾン、およびプロンプトに条件付けられている。例えば、UniADは7.5sのホライゾンにおいて「デフォルトの曇り」のプロンプトを実現できなかった。WM-Covはこれらをプランナーの安全性エビデンスではなく、部分的なプロバイダー・エビデンスとして正しく識別した。
• 不連続スライス・チェック: 離れたルート・スライスに対する80リクエストのチェックにより、要求から実現への会計挙動が特定のルート・スライスを超えて持続することが確認された。

D. 停止基準

WM風のプールにおける停止指向の研究において、WM-Covはアーティファクトゼロ、精度1.00で66トレースにおいて停止点に達した。競合する方法は、狭いカバレッジで早期に停止した（リスクのみ）か、あるいは多くのアーティファクトを許容しながら、より多くのトレース（109）を必要とした（カバレッジのみ）。

5. 重要性と主張

本論文は、WM-Cov が、キュレートされたシナリオライブラリからインタラクティブな生成型テストへの移行において、必要な評価レイヤーを提供すると主張している。その重要性は以下の点にある：

1. 生成とエビデンスの分離: 現実的な生成器であっても、不十分な特徴量カバレッジや無効なエビデンスを生み出す可能性がある。したがって、生成器の出力だけでテストの妥当性を仮定することはできない。
2. 有効なエビデンスの会計: 監査レイヤーがなければ、テストキャンペーンがアーティファクトや重複を失敗としてカウントし、安全性の関連性を過大評価する可能性がある。
3. 運用上の停止ルール: 単なる実行回数ではなく、予算内での有効なインタラクティブ・エビデンスの収束に基づく、実用的な停止基準を提案している。
4. プロバイダーに依存しない性質: 本フレームワークは、出力がトレース・アダプタースキーマにマッピングできる限り、あらゆるプロバイダー（ニューラルまたはルールベース）で使用できるように設計されている。

著者らは、本研究が新しいワールドモデルや普遍的な安全性充足性の主張を提案するものではないことを明示している。代わりに、本研究は「要求」から「実現」、そして「有効な」エビデンスへの遷移を監査することによって、いつインタラクティブなテストが妥当になるかを定義するものである。実験結果は、生成された「危険に見える」イベントの多くがエビデンスにならないアーティファクトを含んでいること、そして、テストキャンペーンが十分であるとみなされる前に、有効なクローズドループのエビデンスを蓄積し検証する必要があるという結論を支持している。