LightEMMA: A Longitudinal Evaluation of Vision-Language Models for Autonomous Driving

自動運転車は、厳格なルールに基づいたシステムに従うスクリプト型のものや、生のセンサーデータからステアリング操作を直接導き出す学習ベースのフレームワークに長らく依存してきました。これらのアプローチは大きな進歩を遂げてきましたが、建設作業員が手を振っている場面や、突然の曖昧な交通パターンなど、トレーニングデータに含まれない稀で複雑な状況といった「予期せぬ事態」への対応には、しばしば苦慮してきました。このギャップを埋めるために、研究者たちはビジョン・ランゲージ・モデル（視覚と言語のモデル）に注目してきました。これらは画像と人間の言語の両方を理解するように訓練された強力な人工知能システムであり、人間がドライバーである時のように、目に見えるものを記述し、意図を解釈し、文脈に基づいて意思決定を行うという、シーンに関する推論を行うことができます。主流の期待は、これらのモデルがより高度になり、一般的な推論能力を備えるにつれて、自然と運転技術も向上し、最終的には道路専用に設計された特化型システムをも凌駕していくのではないかというものでした。

ミシガン大学の研究チームは、これらのモデルが実際にどのように機能するかを厳密かつ長期的に検証することで、この仮定をテストすることに乗り出しました。彼らは、特別なトレーニングを与えたり内部設定を微調整したりすることなく、これらのモデルの運転スキルを測定するために設計された、「LightEMMA」と呼ばれる新しい評価フレームワークを導入しました。モデルに運転方法を教えるのではなく、研究者たちは単に、街路のシーンを見て、次に車がどこへ進むべきかを予測するようモデルに求めたのです。彼らは、3年間の急速な発展過程を網羅する5つの主要なファミリー、15種類の異なるモデルを用い、現実世界の都市部での走行シーンを含む困難なデータセットを使用してテストを行いました。その目的は、最新かつ最も強力なモデルが、以前のモデルよりも真に優れたドライバーになっているのか、それとも一般的な知能の飛躍が、より安全で正確な運転へと結実しなかったのかを確認することでした。

この縦断的研究の結果は、驚くべき乖離を明らかにしました。モデルが大型化し、一般的な推論速度が上がり、複雑な言語の理解力が高まったにもかかわらず、車両の軌道を予測する能力が一貫して向上したわけではありませんでした。実際、最新世代のモデルが、同じファミリーの旧バージョンよりも性能が低下しているケースもありました。予測された経路を実際の車の経路と比較して精度を測定したところ、新しいモデルの方が誤差が大きくなることが頻繁に判明しました。例えば、GPTファミリーのトップクラスのモデルの一つは、3秒間の予測ウィンドウにおいて平均誤差がわずか1メートル強であったのに対し、同じファミリーや他のファミリーの他の新しいモデルは、誤差が2メートルを超えることもあり、より高いエラー率を示しました。これは、単にモデルを一般的な意味で「賢く」することが、必ずしも優れたドライバーに直結するわけではないことを示唆しています。

また、本研究では、これらのモデルが現実の運転シナリオに直面した際にどのような失敗をするのかについても明らかにしました。一つの一般的なエラーは、車の直近の履歴への過度な依存でした。もし車両が交差点で右折した直後であれば、モデルは車が直進して前方の道がクリアになっていたとしても、右方向へのカーブを予測し続けてしまうことがよくありました。彼らは現在の視覚情報に基づいてメンタルモデルを更新することに苦戦し、代わりに以前のアクションを前方へと投影してしまったのです。他にも、矛盾する視覚的合図を調整できないケースもありました。信号が青に変わった一方で、前方に車両が停止している場合、一部のモデルは車が待機すべきであることを正しく予測しましたが、他のモデルは障害物を無視して、交差点を突き進むと予測しました。同様に、赤信号に接近した際、一部のモデルは急激で激しい停止を予測しましたが、他のモデルは減速すら行わないといった現象も見られました。

精度以外にも、研究者たちはこれらのモデルを使用する際の実用的なコストを調査しました。その結果、推論時間（モデルが画像を処理して予測を生成するまでの時間）には大きな幅があることが分かりました。最も速いモデルは1フレームの処理に約4.5秒を要しましたが、最も遅いものは40秒以上かかりました。高速道路の速度で走行する車にとって、判断を下すために数秒間待つことはあまりにも長すぎます。リアルタイムの運転にはミリ秒単位の判断が必要です。さらに、このタスクに商用モデルを使用するコストは膨大であり、一部のモデルでは1フレームあたり数セントの費用がかかり、継続的な運用においては禁止的なほどの支出となる可能性があります。研究では、最高のモデルであっても指示に従えないことが時折あり、読み取りや解析が困難な出力が生成されることも指摘されましたが、研究者たちはほとんどのフォーマットエラーを修正する方法を開発しました。

結局のところ、この研究は、ビジョン・ランゲージ・モデルを用いた安全な自動運転への道は、単に次世代の汎用AIが登場するのを待つこと以上のものが必要であることを示唆しています。これらのモデルはシーンを記述し、言語を理解することはできますが、物理的な世界を安全かつ確実にナビゲートするために必要な、ドメイン特化型の直感的な理解を欠いています。研究者たちは、これらのシステムを実用的なものにするためには、広範で一般的な推論能力だけに頼るのではなく、運転特有のルールやダイナミクスを学習するための専門的な適応が必要であると結論付けています。LightEMMAフレームワークは、コミュニティがこれらのモデルを継続的にテストし、洗練させていくためのツールとして、人工知能の進歩が道路上での具体的な改善へと確実につながるよう、今後も活用されていくことでしょう。