💻 computer science

Test-Time Trajectory Optimization for Autonomous Driving

TOADは、交差エントロピー法を活用して学習された軌道レベルの報酬を探索・最大化することで、既存のエンドツーエンド自動運転プランナーの再学習を必要とせずに性能を大幅に向上させる、プラグアンドプレイ型のテスト時軌道最適化手法である。

原著者： Yihong Xu, Eloi Zablocki, Yuan Yin, Elias Ramzi, Ellington Kirby, Alexandre Boulch, Matthieu Cord

公開日 2026-06-08

📖 1 分で読めます☕ さくっと読める

原著者： Yihong Xu, Eloi Zablocki, Yuan Yin, Elias Ramzi, Ellington Kirby, Alexandre Boulch, Matthieu Cord

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、自動運転車に混雑した都市のナビゲーションを教えていると想像してください。現在の「最先端」のアプローチでは、車の脳は**「せっかちな採用マネージャー」**のように機能しています。

旧来のシステムは次のように動作します：

履歴書のプール： 車のニューラルネットワークは、自身が取り得る（例えば100通りの）走行経路（トラジェトリー）の固定リストを素早く生成します。
面接官： 別の「スコアラー（評価プログラム）」が、安全性と快適性に基づいてこれら100通りの経路の中から最適なものを選び出します。
問題点： もし最初の100通りのリストがひどいものだった場合（例えば、すべてが壁に衝突するような経路だった場合）、面接官は「マシな方」を選ぶことしかできません。「評価者」がいかに優秀であっても、システムは質の低い選択肢に縛られてしまうのです。

新しいアイデア：TOAD（テスト時軌道最適化）

Valeo.aiと共に研究を行った著者たちは、TOADと呼ばれる新しい手法を導入しました。TOADは、単に積み上げられた履歴書の中からベストなものを選ぶのではなく、面接官がその場で**「より良い候補者を見つけに行く」**ことを可能にします。

このように考えてみてください：

従来の方法： 友人に10個のレシピのアイデアを出してもらい、その中から一番良いものを選んで料理を作る。もし友人が「焦げたトースト」の作り方しか知らなかったら、あなたは焦げたトーストを食べることになります。
TOADの方法： まず友人に、きっかけとなる10個のアイデアを出してもらいます。次に、その「最高のアイデア」をベースにして、塩をひとつまみ加えたり、火力を弱めたりといった「微調整」を始めます。そして、味を見ながら（試食しながら）、元のアイデアよりも優れたものになるまでレシピを改良し続けます。結果として、友人が元々思いつかなかったような、美味しい料理に辿り着くのです。

TOADの仕組み（「交差エントロピー」探索）

この論文では、**交差エントロピー法（CEM）**という数学的ツールを使用しています。その比喩は以下の通りです：

ウォームスタート： TOADは、車が最初に提案した「最善のパス」を取り出し、それを起点（アンカー）として使用します。
探索ループ：
- 車が霧の立ち込める野原に立っていると想像してください。車は現在の位置の周囲に円を描きます。
- その円の近くで、多くの新しい経路を生成します（サンプリング）。
- これらの新しい経路を「スコアラー（味見役）」に通します。
- スコアが高かった上位数件の経路（「エリート」）を保持します。
- 円を少し小さくし、それらエリートの経路を中心に据えて、プロセスを繰り返します。
結果： 数回の素早いループ（ミリ秒単位で行われます）を経て、車は元のリストにあったものよりも滑らかで安全な経路を見つけ出します。

秘伝の材料：「汎用性のある」スコアラー

この論文では、極めて重要な発見をしています。それは、**「すべての面接官がこの仕事をこなせるわけではない」**ということです。

質の低い面接官： 一部のスコアラーは、あらかじめ書かれた特定の固定リストの経路をランク付けすることだけを学習しています。もし彼らに、見たこともない「新しい経路」を判断させようとすると、混乱してしまい、誤ったアドバイスを与えてしまいます。このようなスコアラーをTOADと一緒に使うと、実際には車の性能を悪化させてしまいます。
優れた面接官： 論文では、特定の種類のスコアラー（DrivoRというシステムのもの）が必要であることを見出しました。これは、固定されたリストだけでなく、「あらゆる経路」を判断できるように訓練されたものです。この「汎用性のある」スコアラーは、新しい料理を味わった瞬間に、それがたとえ見たこともないレシピであっても、即座にその良し悪しを判断できる真のエキスパートのように振る舞います。

結果

チームは、実世界の走行シミュレーション（NAVSIMおよびHUGSIM）を用いて、6つの異なる自動運転システムに対してTOADのテストを行いました。

プラグアンドプレイ： 車を再学習させる必要はありませんでした。既存のシステムにTOADを「装着」するだけで済みました。
大きな勝利： 性能の低い走行システムに対して、TOADは劇的な改善（最大43%向上）をもたらしました。
最先端の性能： 最も強力な既存システム（DrivoR）に対しても、TOADはさらなるパフォーマンスを引き出し、完璧な正解情報（すべての車両の正確な位置を知っている状態など）にアクセスできる「特権的（privileged）」なシステムに肉薄する性能を実現しました。
安全性： クローズドループ・テスト（シミュレーター内で実際に走行するテスト）において、車はより安全かつ快適になりましたが、リスクを回避するために、やや慎重な動き（速度を落とすなど）を見せることもありました。

結論

この論文は、自動運転におけるボトルネックは「スコアラー（判定役）」ではなく、車が生成する**「候補リスト」**にあると主張しています。スマートな探索アルゴリズム（TOAD）を使用して、リアルタイムでこれらの候補を洗練させ、新しいアイデアを評価できる優れた判定役を用いることで、自動運転車はゼロから再学習することなく、より良く、より安全な経路を見つけることができるのです。

要約すると： TOADは、「固定されたリストからベストを選ぶ」システムを、「完璧になるまで改善し続ける」システムへと変貌させ、それを車が走行している最中に行うのです。

技術要約：自動運転のためのテスト時軌跡最適化 (TOAD)

1. 問題提起

エンドツーエンド（E2E）自動運転プランナーは、通常「生成および選択」のパラダイムに従います。すなわち、有限個の候補軌跡（事前計算された語彙集、またはオンザフライで生成されたもの）を生成し、学習されたスコアラーを用いてそれらをランク付けし、最もスコアの高い選択肢を返します。

著者らは、このパイプラインにおける決定的なボトルネックを特定しています。それは、スコアラーが生成後にのみ適用され、候補集合に影響を与えることができないという点です。もし初期の提案セットが不適切（例：すべての候補が安全でない、あるいは非効率的である）な場合、プランナーはスコアラーの質に関わらず、「質の低い集合の中での最善」を返さざブルことは避けられません。現在の手法は、スコアラーを単なる固定された集合のランキングメカニズムとして扱っており、より良い軌跡を能動的に探索するための目的関数として活用する機会を逃しています。

さらに、本論文は既存の多くのスコアラーに潜む弱点を指摘しています。固定された語彙を評価するように訓練されたスコアラーは、その訓練分布外の軌跡に対しては汎化性能が低くなります。これらを探索のための報酬関数として使用すると、「報酬ハッキング（reward hacking）」や性能低下を招く可能性があります。これは、自由にデコードされた新しい軌跡に対してスコアラーの精度が不正確になるためです。

2. 手法：TOAD

著者らは、凍結されたE2Eスコアラーを学習された報酬関数として再定義し、推論時に軌跡空間における探索を行うプラグアンドプレイの手順であるTOAD（Test-time Optimization for Autonomous Driving）を提案します。

コアアルゴリズム：交差エントロピー法 (CEM)

TOADは、凍結されたベースプランナーを、交差エントロピー法（CEM）に基づく推論時のループでラップします。

ウォームスタートと信頼領域： 探索は、ベースプランナーが選択した軌跡（ $\tau_{base}$ ）とその候補セットを使用して初期化されます。これにより、探索がプランナーの提案の周囲にある「信頼領域」内に限定され、スコアラーが信頼できる分布内に探索が留まることを保証します。
制御空間における探索： ポーズ空間で直接サンプリングする代わりに（これは動的に不可能な軌跡を生むため）、TOADは制御空間でサンプリングを行います。軌跡は、逆運動学を用いた自転車モデル（inverse kinematic bicycle model）を使用して、縦方向の加速度（ $a_t$ ）とヨーレート（ $\omega_t$ ）のシーケンスにマッピングされます。これにより、サンプリングされるすべての軌跡が滑らかで、運動学的に実行可能であることが保証されます。
目的関数： CEMは、複合目的関数 $J(u)$ $J (u)$ を最大化します。
$J(u) = S(\text{BM}(u, v_0); o, g) - \lambda_a C_{anchor}(u) - \lambda_c C_{comf}(u)$
- $S$ (スコアラー): 凍結されたプランナーから得られる学習された報酬。
- $C_{anchor}$ : 信頼領域を維持するために、ベースプランナーのアンカー軌跡からの偏差にペナルティを課す正則化項。
- $C_{comf}$ : 学習されたスコアラーが粗い推定しかできない可能性を考慮し、加速度やジャーク（加加速度）などにペナルティを課す、クローズドフォームの快適性正則化項。
反復的な洗練： 各イテレーションにおいて、 $M$ 個の制御シーケンスがガウス分布からサンプリングされ、軌跡へと展開（ロールアウト）され、スコア付けされます。その後、上位 $E$ 個の「エリート」シーケンスを用いて、ガウス分布のパラメータ（ $\mu, \sigma$ ）を再適合させます。
最終選択： $K$ 回のイテレーション後、収束した平均によって誘導される軌跡を、元のベース提案と比較します。最終的なスコア（快適性ペナルティを含む）が高い方が選択されます。

重要な設計上の選択：スコアラー

重要な知見として、すべてのスコアラーがTOADに適しているわけではないという点があります。

固定語彙スコアラー： 事前計算された軌跡をランク付けするためだけに訓練されたスコアラー（例：Hydra-MDP, GTRS）は、探索の報酬として使用すると失敗します。これらは特定の語彙外の軌跡に対して精度が著しく低下します。
分離されたスコアラー： TOADには、自由にデコードされた軌跡を評価できるように訓練されたスコロラー（例：DrivoRのスコアラー）が必要です。このようなスコアラーは、提案分布の外側でも精度を維持できるため、CEMループにおける有効な報酬関数となります。

3. 主な貢献

スコアラーの再定義： 著者らは、E2E軌跡スコアラーを、固定された集合のための単なるランキングツールではなく、最適な軌跡の探索を導くことができる学習された報酬関数として捉えることを提案しました。
TOADフレームワーク： ベースプランナーを再学習させることなく、任意の既存プランナーにプラグインできるテスト時探索アルゴリズムです。CEMを用いて制御空間内で軌跡を最適化し、プランナーの提案からウォームスタートを行います。
スコアラーの限界の特定： 本研究は、標準的なランキング評価が、スコアラーの汎化能力の欠如を明らかにしないことを露呈させました。TOADは、テスト時の最適化を成功させるには、訓練時の提案を超えて汎化するスコアラーが必要であることを示しており、これは固定語彙型のアプローチには欠けている特性です。
プラグアンドプレイの性能： TOADは、計算コストをほとんど増やすことなく、計算量の大幅な更新なしに、複数のベンチマークにおいて多様な6つのベースプランナー（語彙ベースおよびオンザフライ生成器の両方）の性能を向上させました。

4. 実験結果

本手法は、NAVSIM-v1、NAVSIM-v2、およびクローズドループのHUGSIMシミュレータで評価されました。

NAVISM-v2 (新しい最先端性能):
- DrivoRにTOADを適用した結果、56.3 EPDMSを達成し、特権的な情報を持つPDM-Closedベースライン（56.6）に肉薄する新たなSOTA（State-of-the-Art）を記録しました。
- すべてのプランナーにおいて大幅な向上が見られました。例えば、iPadは**+43.6%（34.7から49.8 EPDMSへ）向上し、DrivoRは+3.1%**向上しました。
- 探索は、弱いプランナーと強いプランナーの間の性能差を効果的に圧縮し、特に弱いプランナーにおいて大きな利得が得られました。
NAVSIM-v1:
- 一貫した改善が見られ、DrivomeR + TOADは94.7 PDMSに達し、人間による運転のベースライン（94.8）まであとわずか0.1ポイントとなりました。
HUGSIM (クローズドループ):
- フォトリアリスティックなシーンにおいて、TOTAは安全性指標（衝突なし、走行可能領域、衝突までの時間）および快適性を向上させました。
- ルート完遂率（RC）が低下する場合（より慎重な運転を示唆）もありましたが、全体的なドライビングスコア（HDS）は、特にnuScenesやKITTI360において向上しました。
アブレーション研究:
- 探索 vs 再ランキング： ベースプランナーの提案を単にスコアラーで再ランキングするだけでは、一貫した結果が得られず（時には性能を損なうこともあった）、探索によって元の集合の外にある新しい軌跡を発見すること自体に利点があることが示されました。
- スコアラーの必要性： 非汎化型のスコアラー（例：GTRS）を報酬として使用すると、性能がベースラインを下回りました。これは、汎化するスコアラーが必要であることを裏付けています。
- 制御空間： 制御空間での最適化は、直接的な軌跡空間でのサンプリングよりも優れた結果をもたらしました。
計算コスト：
- オーバーヘッドは最小限です。探索により、サンプルあたり1.9 msから20.4 msの追加時間が発生します（イテレーション数 $K$ に依存）。
- スコアラーがベースプランナーの一部である場合（パーセプションのバックボーンを共有している場合）、コストはほぼゼロです。外部のスコアラーを使用する場合、コストは冗長なパーセプション・バックボーン（約100 ms）に支配されますが、探索自体は軽量なままです。

5. 意義と主張

本論文は、現在のE2Eプランニングにおける主要なボトルネックは、スコアラーではなく、多くの場合候補セットにあると主張しています。スコアラーを最適化可能な報酬関数として扱うことで、TOADは以前はアクセス不可能であった性能を解き放ちます。

著者らは、TOADが再学習を必要としない、控えめでプラグアンドプレイな改善であることを強調しています。その成功は、汎化するスコアラーの利用可能性にかかっています。本研究は、将来のプランナー設計に対する明確な方向性を示唆しています。すなわち、生成ネットワークのアーキテクチャを変更することなく、自由にデコードされた軌跡を評価するように訓練された、生成器から分離されたスコアラーを構築することです。これにより、強力なテスト時探索を「無料」で実現し、安全性と快適性を大幅に向上させることが可能になります。

結論として、TOADは現在ベースプランナーによる初期化に依存していますが、十分に正確で汎化能力の高いスコアラーがあれば、将来的にはゼロからの探索が可能になり、ベースとなる生成器自体を不要にする可能性もあります。しかし、これはスコアラーの容量拡大に依存する将来の課題です。