Benchmarking Autonomous Driving Planners Across Leaderboards: A Unified CARLA-Based Evaluation

車が自ら走行するという夢は、何十年もの間、SFの世界の定番であり、ステアリング、ブレーキ、そして交通状況のナビゲーションという負担を人間の肩から取り除く未来を約束してきました。過去20年間、エンジニアたちはその約束を現実に変えるべく、道路を認識し、他のドライバーが次に何をするかを予測し、どのように安全に移動するかを決定できるシステムを構築するために取り組んできました。これらのシステムは、主に3つの柱に基づいています。それは、カメラやセンサーを通じて世界を認識する能力、他の人々や車両が次にどこへ行くかを推測する能力、そして安全な経路を計画する能力です。特定の都市でテスト用の車両が運用されている例は見られますが、技術はまだあらゆる場所の公道に対して準備ができているわけではありません。大きな障害が依然として残っています。それは、あるコンピュータプログラムが本当に他よりも優れているかどうかを、どうやって判断するかという問題です。異なる研究チームは、しばしば異なる仮想世界や異なるルールを用いてソフトウェアをテストするため、公平に比較することが不可能です。共通の基盤がなければ、新しい手法が真の飛躍なのか、それとも特定のテストにおいてのみ機能する手法に過ぎないのかを判断することは困難です。

サザンカリフォルニア大学の研究チームは、8つの最も高度な自動運転プランナーを単一の共有された仮想アリーナに持ち込むことで、この問題を解決しようと決意しました。彼らは、車の物理特性や都市部の複雑さを再現するCARLAと呼ばれる人気のあるシミュレーションプラットフォームを選び、それを中立的な審判として使用しました。研究者たちは、以前に3つの主要なコンペティションでトップの座を獲得したソフトウェアモデル（一つはWaymoからの実世界のデータに基づき、もう一つはnuPlanデータセットに基づき、残りはCARLAコミュニティ自体からのもの）を取り上げ、それらを同じコース上で、同じ渋滞、歩行者、および建設現場に直面させて走らせました。目的は、新しいベンチマークを作成することではなく、隔離されて開発されてきたこれらの異なるアプローチが、全く同じ基準によって判断されたときにどのようにパフォーマンスを発揮するかを見ることでした。研究には幅広い手法が含まれていました。人間によって書かれた厳格なルールに依存するもの、人間の運転を観察して学ぶもの、ビデオゲームのキャラクターのように試行錯誤を通じて学ぶもの、そして将来を予測するために複雑な数学的モデルを使用するものなどです。

この直接対決の結果、自動運転車を構築するための「唯一の最善の方法」は存在しないことが明らかになりました。むしろ、この研究は、システムの強みと弱みが、どれだけの情報が許容されるか、そしてどのように訓練されるかに大きく依存することを示しました。研究者たちは、「特権的（privileged）」な情報、つまり、まるで世界全体の完璧な地図を持っているかのように、他のすべての車や歩行者の正確な位置と速度を見ることができる情報を与えられたプランナーが、長く連続したルートにおいて著しく優れた性能を発揮することを発見しました。ルールベースのプランナーや、人間の運転を模倣するように訓練されたモデルを含むこれらのシステムは、割り当てられたルートのほぼ97パーセントを衝突することなく完了しました。対照的に、カメラやレーザースキャナーのような標準的なセンサーのみに依存する最も成功したシステムは、ルートの約70パーセントを完了しました。このことは、センサーは素早い局所的な相互作用を扱うのには適しているものの、交通状況の完璧な俯瞰的な視点を持つことが、長距離の進行を維持するために極めて重要であることを示唆しています。

しかし、完璧な視界や高い完了率を持っていることが、安全または合法的な運転を保証するわけではありません。研究は、目的地に到達することとルールを守ることの間の驚くべきトレードオフを明らかにしました。強力な予測エンジンと、定められた経路に従うように設計された制御システムを組み合わせたトップクラスのモデルの一つは、道路上に留まり目的地に到達することには非常に優れていました。しかし、その指示はルールに従うことよりも経路に留まることに焦ってあったため、赤信号での進入や一時停止の無視といった交通法規違反を頻繁に犯しました。一方で、良い行動に対して報酬を、悪い行動に対して罰を与えることで学習する強化学習を用いたモデルは、違反を回避することには非常に優れていましたが、長いルートを効率的に完了することには苦戦しました。これは、自動運転車が前進することに非常に長けていたり、礼儀正しくあることに非常に長けていたりすることはあっても、これら両方の特性を単一のシステムの中に組み合わせることは依然として困難であるという、重大な課題を浮き彫りにしています。

おそらく最も示唆に富む発見は、単一のアプローチでは最も混沌とした状況を一貫して対処できないということでした。研究者が、車が通る車線内にドアが開いたケース、建設現場、あるいは歩行者が予期せず飛び出してきたケースといった、障害物を含む特定のシナリオに対してモデルをテストした際、すべての手法が苦戦しました。ルールに基づいているか、データから学習しているか、あるいは複雑な数学的予測を用いているかにかかわらず、どの方法も、これらのトリッキーで障害物の多い環境をミスなく確実にナビゲートすることはできませんでした。これは、特異な物体に対して微細な意思決定を行う能力が、分野全体に共通するボトルネックであることを示唆しています。また、本研究は、最終的なスコアだけを見ることは誤解を招く可能性があることも示しました。二つのシステムが同じ総合評価を得たとしても、一方は衝突によって失敗し、もう一方はルールを破ったために失敗した、ということが起こり得ます。結果を特定の走行状況ごとに分解することで、研究者たちは、高いスコアが非常に異なる種類の失敗を隠してしまう可能性があることを示しました。

研究者たちはまた、新しいハイブリッドアプローチをテストとして導入しました。それは、他の車がどこへ行くかを予測することで有名なモデルに、プランニングモジュールを追加したものです。この新しいシステムは、車が経路を維持することには優れた性能を発揮しましたが、他のトップパフォーマーと同様に、交通ルールについては依然として苦戦しました。研究は、自動運転技術のシミュレーションとテストにおいて多大な進歩を遂げてきた一方で、我々はまだこれらのシステムを大量導入できる段階には達していないと結論付けました。静かなテストコースを走行できる車と、予測不可能な現実の都市の混沌に対処できる車の間のギャップは、依然として大きいです。この研究は、明確なロードマップとして機能しており、次の突破口は、単にシステムの一部分をより速く、あるいはより賢くすることからではなく、経路に従うこと、法を守ること、そして予期せぬ事態に安全に反応することの間の困難なバランスを解決することから生まれることを示しています。そのバランスが見出されるまで、完全自動運転車両の約束は、まだ手の届かないところにあります。