A Simple Approach to Constraint-Aware Imitation Learning with Application to Autonomous Racing

自律走行レースという極限の世界において、勝利と惨事の境界線は、しばしば数ミリメートルや数ミリ秒という単位で測られます。自動運転車が競技に参加するためには、単に経路を辿るだけでは不十分です。車両を物理的な能力の限界まで追い込み、グリップを最大化しつつもスリップして衝突してしまうという、紙一重のライン上でバランスを取らなければなりません。これは、従来のプログラミングが苦戦する領域です。なぜなら、変数が変化するスピードがあまりに速いため、人間のエンジニアが考えうるあらゆるシナリオに対してルールを書き込むことができないからです。代わりに、研究者たちは「模倣学習（イミテーション・ラーニング）」と呼ばれる手法を用います。これは、コンピュータプログラムが熟練したドライバーを観察することで学習するというものです。考え方は単純です。もし機械がエキスパートの動作を十分に正確にコピーできれば、同様に優れた走行ができるはずだというものです。しかし、このアプローチには決定的な欠陥が存在します。もしエキスパートがミスをした場合、あるいは機械が状況を誤解してわずかに誤った方向へ逸れてしまった場合、その結果は壊滅的なものになりかねません。機械は速く走ることは学べるかもしれませんが、安全性の概念が組み込まれていなければ、容易にコースアウトしてしまう可能性があるのです。

これこそが、研究者のシェンファン・カオ、ユンヒョク・ジョア、そしてフランチェスコ・ボレッリが解決しようとした課題でした。彼らは、タスクがマシンのハンドリングの限界付近での操作を伴う場合、単にエキスパートを模倣するだけでは不十分であると認識していました。彼らの研究では、エキスパートを模倣したいという欲求と、厳格な内部的な安全性感覚を組み合わせた、自動運転車を教えるための新しい方法を開発しました。単にコンピュータにエキスパートのステアリング操作をコピーするように命じるのではなく、「この動作は安全か？」と問いかけるシステムを構築したのです。この安全チェックを学習プロセスに直接組み込むことで、彼らは速く走ることを学ぶだけでなく、衝突につながる特定の種類のエラーを回避することも学ぶポリシー（方策）を訓練しました。彼らのアプローチは、高度なコンピュータ・シミュレーション内のレースカーを用いてテストされました。そこでは、車両が壁に衝突することなく50周連続でラップを完走しなければなりませんでした。結果として、標準的な手法は失敗したり、信頼性を得るために過度な訓練時間を必要としたりすることが多かったのに対し、この新しい安全性重視の手法は、より速く一貫して安全に走行することを学習できることが示され、機械が理性を失うことなく限界での走行を学べることを証明しました。

問題の核心は、これらの学習システムが通常どのように機能しているかにあります。標準的なセットアップでは、コンピュータはエキスパート・ドライバーのビデオを観察し、与えられた状況においてドライバーがどのような行動をとるかを予測しようとします。ドライバーがハンドルを左に切れば、コンピュータは左に切ることを学びます。これは、コンピュータが以前に見たことのある状況であればうまく機能します。しかし、レースは未知の、予期せぬ瞬間の連続です。もし車がトレーニングデータとはわずかに異なる状況に遭遇した場合、コンピュータは小さなミスを犯す可能性があります。通常の運転シナリオであれば、小さなミスは単に車が少し漂う程度で済みます。しかしレースにおいては、その同じ小さなミスが、車を壁に押し付けたり、スピンアウトさせたりすることになります。研究者たちは、単にエキスパートをより正確にコピーしようとすることは解決策ではないことを見出しました。完璧なコピーを行ったとしても、システムには安全性の境界を理解する方法が欠けていたのです。それは、たとえエキスパートの動きに似ていたとしても、それが車の物理的限界に違反しているために危険であるということを理解していませんでした。

これを修正するために、著者らはエキスパート・ドライバーの傍らにいる「第二の教師」として機能する「セーフティ・フィルター」を導入しました。マスター・インストラクター（熟練の指導者）から運転を教わる学生が、同時に道路のルールや車両の限界を知っているセーフティ・オフィサー（安全管理官）からも教わっている様子を想像してください。学生はインストラクターを模倣しようとしますが、学生がクラッシュを引き起こしそうな行動をとろうとすると、セーフティ・オフィサーが介入します。この新しいシステムでは、コンピュータは両方のソースから同時に学習します。エキスパートのパフォーマンスを模倣しようとする一方で、どの状態が安全で、どの状態が安全でないかを認識することも学ぶのです。研究者たちは、車の物理学に関する完璧な数学的モデルを必要とせずに、コンピュータに「安全」とは何かを教える巧妙な方法を開発しました。彼らは、成功した試行と失敗した試行を含む多くの走行の試行をコンピュータに観察させるテクニックを用いました。成功した試行を分析することで、システムは「セーフゾーン」のマップ、つまり車がクラッシュせずにレースを完走できるすべての位置と速度の集合体を構築します。そして、そのセーフゾーンから車を押し出すようなあらゆる動作を回避することを学習します。

実験は、カメラビューや速度センサーを備えた、実車の物理特性を模した高度なシミュレーション環境で行われました。目標は、車両がコースの境界に衝突することなく50周連続で完走することです。研究者たちは、この新しい安全性重視の手法を、セーフティ・フィルターを持たない標準的な模倣学習のアプローチと比較しました。結果は驚くべきものでした。標準的な手法は、トレーニングデータが明示的に罰を与えないような小さな不安定な逸脱によって、10周すら完走できずに失敗することがよくありました。対照的に、新しい手法は安全かつ一貫して走行することを学習しました。あるテストでは、安全性重視の車は80回未満のトレーニング・セッションで50周を完走しましたが、標準的な手法は10周を越えることができませんでした。新しいシステムは、速いラップタイムを達成しながらも、壁から安全な距離を保つことを学習しており、環境の制約を理解したことを示しました。

このアプローチが特に強力である理由は、車がすべてを完璧に見ることができない場合でも機能することにあります。現実の世界では、車は完璧で全知的な位置把握ではなく、カメラといくつかの速度センサーしか持っていない場合があります。研究者たちは、実際の車が経験するのと同様に、カメラ画像と速度データのみをコンピュータに提供するという制限を設けて、彼らの手法をテストしました。この部分的な情報を用いても、安全性重視のシステムは標準的な手法を上回り、より速く安全な走行ポリシーを回復しました。安全性のガイダンスを欠いた標準的な手法は、不安定なまま失敗しやすい状態でした。このことは、セーフティ・フィルターがコンピュータの汎化性能を高め、現実世界のセンサーの不確実性やノイズに対してより効果的に対処できるようにしていることを示唆しています。研究者たちは、システムが単にクラッシュを避けることを学んだだけでなく、一貫性を学ぶことを指摘しました。ラップタイムはより予測可能になり、車の挙動はより信頼できるものになりました。これは、現実世界で動作する必要があるあらゆる自律システムにとって不可欠なことです。

この研究はまた、複雑なタスクを実行するために機械をどのように教えるかについての重要な洞察を明らかにしました。単に正しい答えを示すだけでは不十分であり、間違った答えが災厄につながる場合には、何が間違った答えであるかを教えなければなりません。学習プロセスに安全性のペナルティを組み込むことで、研究者たちは、エキスパートのあらゆる動きを完璧に模倣することよりも、安全ゾーン内に留まることを優先するシステムを作り上げました。これは、車がゆっくりと慎重に走ることを意味するのではありません。むしろ、危険なラインを越えることなく、パフォーマンスの限界を追求することを学ぶのです。研究者たちは、このアプローチが完璧な模倣を目指すよりも効率的であることを発見しました。なぜなら、それによって車は、はるかに少ない学習ステップで、安全かつ高性能なポリシーを学習できるからです。

今後の展望として、研究者たちは、自分たちの結果は有望ではあるものの、それらはシミュレーションに基づいていることを認めています。現実の世界はより複雑であり、予測不可能な天候、変化する路面状況、そしてコンピュータ・シミュレーションでは完全に捉えきれない機械的な不完全さが存在します。彼らは、この手法を物理的な車両でテストし、現実世界の不確実性に対処できるようにセーフティ・フィルターを洗練させていく計画です。また、この安全性重視のアプローチを、レース以外の他のタイプの学習タスクにも応用できるかについても探求していく予定です。究極の目標は、困難なタスクを実行できるほど賢いだけでなく、自らの限界を知ることができるほど賢明な自律システムを作り出すことです。記録的なラップと事故の差が、しばしば数インチの差で決まる高速の自律走行レースの世界において、この模倣と安全性の融合は単なる技術的な改善ではなく、自律走行車を真に信頼できるものにするための不可欠なステップなのです。