技術概要：自律運転のための推論・想像・実行（RIA）

1. 問題定義

本論文は、自律運転への大規模言語モデル（LLM）の適用における重要な欠陥、すなわち物理的基盤（physical grounding）の欠如に焦点を当てている。LLM は意味論的推論、交通規則の解釈、長尾事象の処理において優れているが、しばしば「水缸の中の脳（brain in a vat）」として機能する。これらは「緊急回避を実行する」などの論理的に整合性の高い高次命令を生成できるものの、連続物理空間における車両の動的制約を正確に捉えたり、これらの命令の数値的帰結を予測したりすることはできない。

この分離は**物理的幻覚（physical hallucinations）**をもたらす。生成された意図が運動学的または力学的に実行不可能であり、深刻な安全性リスクを招く。既存のアプローチは、明示的な動的検証なしにオンライン言語推論に依存するか、主にオフラインパイプラインで世界モデル（WM）を使用する。その結果、「規則を認識する」意味論的論理と「動的を認識する」物理的実行との間に乖離が生じている。

2. 手法：推論・想像・実行（RIA）

著者らは、オンライン安全性検証のために LLM 推論器と行動条件付き世界モデル（WM）を密に結合した閉ループフレームワークである**推論・想像・実行（RIA）**を提案する。このシステムは、推論中にパラメータ更新（微調整なし）を行わずに動作する。

コアループの構成要素

1. 推論（LLM）:

   • LLM は、現在の構造化された状態（自車特徴、道路トポロジー、社会的特徴）と、最近の行動のメモリバッファを取り込む。
   • 高次の離散行動テンプレート（例：「左車線変更」「加速」「停止」）と、一連の候補サブアクション（特定速度増分や操舵バイアスなどのパラメータ化）を出力する。
   • LLM は、コンパクトな推論空間を確保するため、構造化された JSON 出力に制約される。

2. 想像（世界モデル）:

   • 行動条件付き WM は、LLM によって生成された各候補サブアクションに対して短時間ホライズンのロールアウト（1 秒予測）を実行する。
   • アーキテクチャ: WM は、再帰的状態空間モデル（RSSM）に着想を得た潜在動的定式化を使用する。以下を採用する：
     • 社会的注意: 単純な距離よりも、相互作用リスク（例：高速で接近する割り込み）を優先する。
     • 時間的再帰: 運動の連続性（加速度、ヨーレートの変化）を追跡する。
     • 残差デコーディング: 数値的安定性のために状態変化を予測する（$\hat{s}_{t+1} = s_t + \text{residual}$）。
   • モデルは、車線逸脱、前方ギャップの崩壊、停止線リスクなどの安全性境界に特に焦点を当てて、将来の軌道と相互作用を予測する。

3. 実行（安全性スコアラーと実行）:

   • 安全性スコアラーは、コスト関数（$C$）を用いてロールアウトを評価する。この関数は、距離が 3.0m 未満などの重大なリスク、周囲のエージェントとの接近、車線違反に対してペナルティを課す。
   • システムは、最小コスト（最高安全性スコア）を持つサブアクションを選択する。
   • ハード制約: ロールアウトが差し迫った衝突を示す場合、またはすべての候補が閾値に違反する場合は、ハードルールによるフォールバック（例：緊急ブレーキ）が選択を上書きする。
   • 選択されたアクションは、高次意図を低次制御信号にマッピングするCARLA トラフィックマネージャー（TM）バックエンドを介して実行される。
   • フィードバック: 実行サマリーと検証結果は、LLM のメモリバッファにフィードバックされ、以降のステップでの反復的な自己修正を可能にする。

世界モデルの学習

WM は、専門家の方策（CARLA TM）と、正常域およびニアミス域（例：ハードブレーキ、ニアミス）を網羅するための制御された摂動を組み合わせたデータセットで学習される。学習目的は、ピクセルレベルのリアリズムではなく、候補の安全性のランキングを最適化することであり、長時間ホライズンの動画合成ではなく、短時間ホライズンの予測忠実度と境界遷移のカバレッジに焦点を当てている。

3. 主要な貢献

本論文は、3 つの主要な貢献を主張する：

1. 初の閉ループ結合: 著者らの知る限り、これは閉ループ運転パイプラインにおけるオンラインの「行動前の思考」検証のために、LLM 推論器と行動条件付き世界モデルを密に結合した最初の研究である。
2. RIA メカニズム: テンプレート条件付きの候補サブアクションを短時間ホライズンのロールアウトを通じて評価し、物理的検証信号を LLM にフィードバックして反復修正を行う意思決定メカニズムの提案。
3. 性能向上: 統合された閉ループインターフェース下において、この手法がトレーニングフリーのベースラインを一貫して上回ることを実証。具体的には、WM 検証なしの LLM と比較して、完全な RIA 手法はルート完了率（RC）を 61.21% から 80.05% に、到着率（AR）を 30.20% から 51.10% に向上させ、衝突率（ColR）を 0.40% から 0.20% に削減した。

4. 実験結果

実験は、複雑な都市環境における 1,000 エピソードにわたるランダム化されたポイントゴールナビゲーションプロトコル下で、CARLA 0.9.15シミュレーターにて実施された。

比較性能（ベースライン対比）:

• WM なし LLM 対比: RIA は安全性と完了指標を大幅に改善する。
• CARLA トラフィックマネージャー（TM）対比: RIA は、はるかに高い RC（80.05% 対 46.47%）と AR（51.10% 対 13.40%）を達成し、衝突率（0.20% 対 16.00%）を劇的に低下させる。
• MADA（LLM 駆動ベースライン）対比: RIA は、RC（80.05% 対 21.88%）や ColR（0.20% 対 53.00%）を含むすべてのコア指標において MADA を上回る。

安全性と快適性指標:

• RIA は、LLM のみのベースラインと比較して、ハードブレーキ事象（HB）、高ジャーク事象（HJ）、平均絶対ジャーク（MAJ）を大幅に削減する。
• RIA は、ネイティブ TM に比べオフロード事象がわずかに増加する（0.19 対 0.00）が、全体としてルート完了と安全性結果の優れたバランスを維持している。

5. 意義と主張

本論文は、安全な自律運転のために、意味論的推論と物理的に基盤を置いた想像の統合が不可欠であると主張する。RIA の意義は、以下の点にある：

• ギャップの埋め合わせ: 追加の方策学習や微調整を必要とすることなく、高次意味論的意図と低次物理的実行可能性を接続する。
• 反復修正の実現: 物理的フィードバックを用いてリアルタイムで LLM の意思決定を洗練させ、「物理的に幻覚した」命令のリスクを軽減する。
• 実用価値の実証: トレーニングフリーの推論時フレームワークが、動的で安全性が重要な環境において堅牢な性能を達成し、従来のルールベースシステムや他の LLM ベースのアプローチを上回ることを証明する。

著者らは、その目的が長時間ホライズンのピクセルリアリズムではなく、安全性を確保するための短い反応ウィンドウ内での信頼性の高い候補順序付けにあることを強調している。このフレームワークは再現可能に設計されており、コードと評価スクリプトが公開されている。