ロボットに車の運転を教えているところを想像してみてください。ただ鍵を渡して「行け！」と言うだけでは済まないはずです。練習が必要ですよね。しかし、ここが難しいところです。近所を永遠に走り回っているわけにはいきません。雨、雪、道路を横切るリス、工事現場、あるいは奇妙な形のトラックなど、あらゆる可能性のある状況でロボットをテストする必要があります。これが自動運転システム（ADS）の世界です。これらは自動運転車の背後にある「脳」です。安全性を確保するために、エンジニアは数千回のテストを実行しなければなりません。彼らはシミュレーション（現実のように見えるコンピュータの世界）、テストコース（安全にクラッシュできる閉鎖的なコース）、そして実際の道路（人間がいつでも介入できるように準備して走行する）を使用します。誰もが投げかけている大きな疑問は、「そのロボットが本当に一人で運転できる準備ができていると、どうやって判断するのか？」ということです。これは、試験に出る問題が正確に何であるか分からないまま、生徒が期末試験を受ける準備ができていることを証明しようとするようなものです。

ある研究チームが、そのカーテンの裏側を覗き見ることにしました。彼らは単にコードを見たり、独自のシミュレーションを実行したりしたわけではありません。彼らは情報の源泉へと直接向かいました。彼らは、実際に自動運転システムを構築・テストしている6カ国の9つの異なる企業から、9人の専門家にインタビューを行いました。彼らは、いわば自動運転リーグのヘッドコーチやスタープレイヤーたちです。研究者たちは、これらの企業が実際に何を行っているのか、何が彼らを夜も眠れなくさせる悪夢なのか、そしてこのスポーツ（業界）が次にどこへ向かうと考えているのかを知りたかったのです。

現実のチェック：専門家は何をしているのか

研究者たちは、現在の業界が大規模で多層的なトレーニングキャンプを実施していることを発見しました。それは単一の大きなテストではなく、一つのパイプラインなのです。

まず、シミュレーションから始まります。これは、車が傷つくことなく1時間に100万マイル走行できるビデオゲームのようなものです。これを使用して、何百万もの「もし〜だったら」というシナリオをテストします。次に、Hardware-in-the-LoopおよびVehicle-in-the-Loopテストへと進みます。これは、車の脳を実際の車のシャシーに入れつつ、タイヤはトレッドミル（走行台）の上に乗せた状態にする、あるいは車全体を閉鎖されたコースに乗せることを想像してください。最後に、実際の道路に到達します。これが「ラスボス」レベルであり、通常は安全運転手が座席に座り、何かが起きた際にすぐにハンドルを握れる状態で、車が現実世界を走行します。

専門家たちは、主にシナリオベースのテストを行っていると研究者に語りました。これは、ただランダムに運転するのではなく、特定の物語や「シナリオ」を作成してテストすることを意味します。例えば、「ボールが道路に転がり込み、その直後に子供が走ってきたらどうなるか？」や「雨の中の急な坂道で車はどう対処するか？」といった具合です。また、実際の走行データのログを取り込み、それを何度も再生して、車が同じミスを繰り返さないかを確認するデータ駆動型の手法も使用しています。

大きな障壁：現実との摩擦

これほどのテストを行っているにもかかわらず、専門家たちは深刻な不具合（グリッチ）が存在することを認めています。

1. 「偽物と本物」の差（Sim-to-Real Gap）：
これが最大の頭痛の種です。シミュレーションは非常に優れた映画のようなものですが、それでも映画に過ぎません。専門家によれば、カメラが濡れた路面をどのように捉えるか、あるいはセンサーが光るガラス張りのビルにどのように反応するかをシミュレートすることは非常に困難です。もしシミュレーションが完璧でなければ、車はゲーム内では完璧に運転できても、現実では衝突してしまうかもしれません。これは、完璧な人工芝でサッカーの試合の練習をして、いざ試合当日になったら泥だらけのフィールドに現れるようなものです。筋肉の反応が変わってしまうかもしれません。

2. 「未知」の問題：
専門家は**シナリオのカバレッジ（網羅性）**を懸念しています。道路上で起こりうることはあまりにも多いため、そのすべてをテストすることは不可能です。例えば、高速道路を黒い豚が横切ったらどうなるでしょうか？ あるいは、巨大な自転車を運んでいる人がいたら？ 専門家は、車は通常の車や人々に対しては優れているものの、奇妙なものや珍しいものを見たときに失敗することがあると指摘しました。彼らはこれを「アウト・オブ・ディストリビューション（分布外）」問題と呼んでいます。

3. 「それで十分なのか？」という謎：
最も混乱する部分の一つは、いつテストを止めるべきかを知ることです。専門家は、**受容基準（Acceptance Criteria）**に関する明確なルールブックが存在しないと述べました。車が安全であることを証明するために、何マイル走行する必要がありますか？ 10万マイルで十分でしょうか？ 100万マイルでしょうか？ 研究者は、企業に普遍的な答えがないことを発見しました。ある企業は「データ飽和」（自信が持てるまで走行する）に頼り、別の企業は「衝突ゼロ」のような特定の安全指標を探ります。しかし、「よし、合格だ」と言う合意された標準はありません。

4. AIのブラックボックス：
多くの現代的な自動運転システムは、人工知能（AI）とエンド・ツー・エンドの学習を使用しています。これは、厳格なルールのリストに従うのではなく、人間が学ぶのと同様に、車が道路を見て何をすべきかを決定することを意味します。問題は、AIがなぜその決定を下したのかを説明するのが難しいことです。もし車が衝突した場合、エンジニアは正確になぜそうなったのかを知ることができないかもしれません。これは、規制当局に対して安全性の根拠を提示することを困難にします。

未来：次に来るのは何か？

では、この流れはどこへ向かっているのでしょうか？ 専門家たちは楽観的ですが、現実的でもあります。

• AIがAIをテストする： 彼らは、生成AIが、人間が思いもよらないような新しい、突飛なテストシナリオを作成するために使われると考えています。例えば、車が対処できるかどうかを試すために、新しいタイプの交通渋滞を考案するAIのようなものです。
• ワールドモデル（世界モデル）： 彼らは、車の「内部の想像力」とも言える「ワールドモデル」に期待しています。単に目に見えるものに反応するのではなく、チェスのプレイヤーが三手先を読むように、次に何が起こるかを予測しようとするものです。
  。
• より高い透明性： 現在、すべての企業はテストデータを秘密にしています。専門家は、将来的に、ビデオゲームの開発者がハイスコアを共有するように、企業がベンチマークやデータを共有し、誰が本当に優れているのかを誰もが見られるようになることを望んでいます。
• 自動テスト： 彼らは、車が自分自身をテストする未来を思い描いています。車が走行し、問題を見つけ、報告し、人間がボタンを押すことなく自らのソフトウェアを更新するという光景です。

提案される解決策：クローズドループ・フレームワーク

これらすべてのインタビューに基づき、研究者たちは、エビデンス中心のクローズドループ・フレームワークと呼ぶ、新しい考え方を提案しました。

巨大なサイクルを想像してください。

1. 主張から始める： テストを行う前に、何を証明しようとしているのかを正確に述べる必要があります（例：「この車は狭い場所に安全に駐車できる」）。
2. シナリオライブラリの構築： 退屈なものから恐ろしいものまで、テストする必要があるあらゆる状況を集めます。
3. テストの経路設定： 各シナリオをどこでテストするかを決定します。ビデオゲームの中でまず駐車スポットをテストしますか？ それともテストコースですか？ それとも実際の街路ですか？
4. エビデンスの収集： テストを実行し、データを収集します。
5. ゲートキーパー（門番）： エビデンスを厳格なルールに照らし合わせます。車は合格しましたか？ もし合格なら、次の段階へ進みます。もし不合格なら、戻って修正します。
6. ループ： 車が路上に出たら、現実世界のデータを収集します。もし新しいものを見つけたり、ミスをしたりしたら、そのデータをサイクルの最初に戻し、新しいテストシナリオを作成します。

このフレームワークは、直線ではなく、連続的なループとして設計されています。これにより、車が学習し、世界が変化しても、テストがそれと共に進化することを保証します。

まとめ

この論文は、自動運転車が解決済みであると主張しているわけではありません。実際には、私たちがまだ「学習フェーズ」にいることを強調しています。専門家たちは、シミュレーション、現実世界の走行、そして新しいAIツールを組み合わせて懸命に取り組んでいますが、現実の世界は混沌として予測不能であるという事実に依然として苦慮しています。研究者たちは、どのようにテストすべきかというアイデアは持っているものの、「どれだけの」テストが十分なのか、そして私たちのコンピュータによるテストが実際に現実と一致していることをどのように確認すべきかについては、まだ解明する必要があると示唆しています。

好奇心旺盛なティーンエイジャーへの教訓はこうです。自動運転車は、非常に難しい試験に向けて勉強している学生のようなものです。彼らは図書館で練習し（シミュレーション）、模擬テストを受け（テストコース）、遠足に行っています（実際の道路）。しかし、彼らが世界から投げかけられるあらゆるサプライズに対処できることを証明でき、かつ「合格点」が何であるかについて全員の合意が得られるまでは、彼らは安全運転手の見守りのもとで運転を続けることになるでしょう。道のりは長いですが、ロードマップは日々、より明確になっています。