VideoGAN-based Trajectory Proposal for Automated Vehicles

あなたは、ロボットに混雑した都市での車の運転を教えようとしていると想像してみてください。ロボットには、単に道路を見る以上のことが求められます。他の人々が次に何をしようとしているのかを推測する必要があります。あの車は左折するでしょうか？あの歩行者は縁石から足を踏み出すでしょうか？これは、自動運転車を安全でスマートにするためのパズルの極めて重要なピースである、「軌道予測（trajectory prediction）」の世界です。

この課題を理解するために、混み合ったダンスフロアを想像してみてください。あなたが踊っているとき、あなたはただランダムに動いているのではありません。音楽や周囲のスペース、そして他のダンサーに反応しています。ぶつからないように、相手が次にどこへステップを踏むかを予想しなければなりません。運転の世界では、「ダンサー」は車、自転車、そして人々であり、「音楽」は信号機や道路のレイアウトです。従来のコンピュータプログラムは、「もし信号が赤なら、止まれ」といった厳格なルールを書き込むことでこれを解決しようとしました。しかし、現実の世界は混沌としており、驚きに満ちています。そのため、それらの硬直したルールは事態が複雑になったときに失敗することがよくあります。新しい手法は、人工知能を使用して実際のデータから学習しますが、人々が実際にどのように動くかという野生的な多様性を捉えることに苦労することがあります。ここで、本日の問いが登場します。コンピュータに、人間がドライブの様子を空想するように、現実的な未来の交通シーンを空想させることはできるのでしょうか？そして、その空想を安全な運転計画へと変えることができるのでしょうか？

「トラフィック・ドリーマー（交通の夢想家）」ロボット

この論文では、ドイツの研究チームが新しいアプローチを試みることにしました。複雑な数学を用いて考えられるすべての未来の経路を計算しようとする代わりに、彼らはこう問いかけました。「もし、コンピュータに交通ビデオについて『夢を見る』ように教えたらどうなるだろうか？」と。

彼らは、映画スタジオのクリエイティブ・ディレクターのように機能するシステムを構築しました。まず、彼らはWaymo Open Motion Datasetと呼ばれる大規模なデータセットから実際の交通データを取り出しました。そして、それらから凝った3Dの詳細を削ぎ落とし、シーンをシンプルで低解像度な、真上からの視点のビデオへと変換しました。それはまるで、ボードゲームを鳥の目（俯瞰）で見たようなものです。これらのビデオの中で、車はただの小さな長方形であり、道路は灰色の線、信号機は色の付いた点となっています。

次に、これらのシンプルなビデオをVideoGANと呼ばれる特殊な種類のAIに投入しました。GAN（敵対的生成ネットワーク）は、偽造者と探偵が猫と鼠のゲームをしているようなものだと考えることができます。「偽造者」（生成器）は、本物に見える偽の交通ビデオを作ろうとします。「探偵」（識別器）は、その偽物を見破ろうとします。彼らはこのゲームを何度も何度も繰り返します。最終的に、偽造者の腕前が上がりすぎて、探偵が違いを判別できなくなります。その結果はどうなるでしょうか？AIは、車が動き、止まり、曲がる様子を含め、本物と全く同じに見える新しい偽の交通ビデオを生成し始めるのです。

空想から運転計画へ

ここが巧妙な部分です。研究者たちは単に綺麗な画像が欲しかったわけではありません。彼らは、これらの「夢のビデオ」が実際に車の運転に役立つかどうかを知りたかったのです。そこで、彼らはビデオをデータへと戻すためのパイプラインを構築しました。

1. ラスタライザー（Rasterizer）: 彼らは現実世界の交通データを、それらのシンプルな真上からのビデオフレームへと変換しました。
2. ドリーマー（Dreamer）: 彼らはこれらのビデオに対してVideoGANを訓練しました。これにより、車が現実的に振る舞う新しいシーンを生成することを学習しました。
3. トランスレーター（Translator）: 彼らは生成されたビデオを取り出し、コンピュータビジョンのツールを使用してそれを「読み取り」ました。ツールは各フレームを観察し、小さな長方形（車）を見つけ、フレームごとにそれらを追跡して、速度と方向を特定しました。

その結果、一瞬で生成された、あらゆる車における起こりうる未来の経路のリストが得られました。

ドリーマーは正解を出せたか？

チームは、生成された交通状況が実際に安全で現実的であるかどうかを確認するために、彼らの「トラフィック・ドリーマー」をテストにかけました。彼らは、生成されたビデオをWaymoデータセットの現実世界のデータと比較しました。

• スピードテスト: このシステムは非常に高速です。15秒間の交通シーンを約20ミリ秒で生成できます。これは人間のまばたきよりも速いスピードです！さらに、2分間のシーンであってもわずか150ミリ秒しかかかりません。この速度は、これがリアルタイムの運転アプリケーションに使用できる可能性を示唆しています。
• 現実性のチェック: 生成されたビデオを見たとき、車はどのように運転すべきかを理解しているようでした。車は車線を維持し、互いに安全な距離を保ち、そして最も重要なことに、信号に従っていました。信号が赤になると、「夢の車」は止まりました。信号が緑になると、彼らは進みました。
• 統計: 研究者たちは、車の速度や車同士の距離などの要素を測定しました。彼らは、AIの夢の中の速度や距離の分布が、現実世界と非常に密接に一致していることを見出しました。例えば、生成されたビデオ内の車は、平均して実物の車よりも約**10%**大きいだけであり、交通密度（道路上の車の数）も適切に見えました。

ドリーマーがまだできないこと

この論文は、その限界についても正直に述べています。このAIは一般的な交通の流れを生成することには長けていますが、細部については時折おかしな挙動を見せることがあります。例えば、交差点で曲がる際などに、車が伸びたり、半分に割れたように見えたりすることがあります。著者らは、これはAIが車がどのようにシーンに入ったり離れたりするかを理解しようとしている過程であると示唆していますが、まだ完璧ではありません。また、現在のシステムは比較的規模の小さい単純なシーン（約20メートル×10メートル）で訓練されています。何百もの車が存在する巨大で混沌とした交差点については、まだテストされていません。

結論

この論文は、AIにビデオ形式で「夢を見る」ことを教えることが、現実的な交通シナリオを生成するための有望な方法であることを示唆しています。VideoGANを使用することで、チームは、高速（推論において20ミリ秒未満）でありながら、信号で止まることや安全な距離を保つことといった交通ルールを驚くほどよく理解しているシステムを作り上げました。これはまだあらゆる運転状況に対する完璧な解決策ではありませんが、生成AIを使用して、自動運転車が未来を想像することを助け、私たちの道路をより安全にできる可能性があることを示しています。著者らは、将来的にさらに複雑なシーンにも対応できるよう、この研究を発展させていくことを望んでいます。