Anticipatory Risk-Guided Reinforcement Learning for Safe Flight Through Dynamic Clutter

小さな、ブンブンと音を立てるドローンが、新しい配送員、ピザ運び、そして救急レスポンダーとなる世界を想像してみてください。彼らが任務を遂行するためには、人々や車、あるいは他のドローンに衝突することなく、混雑した都市や森林、忙しい通りを飛び回らなければなりません。これが、マイクロ航空機（MAV）における「自律航法」の課題です。厄介なのは、今目の前にあるものを見ることだけではありません。今から一瞬後に何が起こるかを予測することなのです。もしドローンが、自分に向かって走ってくる人を目で捉えてから反応するだけでは、止まるには遅すぎるかもしれません。ドローンは、危険が到来する前にそれを予期できる「プロアクティブ（先見的）」な思考家である必要があります。

伝統的に、エンジニアはドローンに、あらゆる物体を明示的に追跡し（それらを「人」、「車」、「木」などとラベル付けし）、その速度を計算させる「脳」を与えることで、この問題を解決しようとしてきました。しかし、これはまるで、ジャグリングをしながら数学の問題を解こうとするようなものです。それは時間がかかりますし、もしドローンが一瞬でも物体の視界を見失えば、計画全体が崩れてしまいます。別の手法では、「強化学習」を用いています。これは、ドローンがビデオゲームのキャラクターのように、試行錯誤を通じて学習する方法です。しかし、標準的なビデオゲームの学習は、多くの場合、漠然とした報酬（「よくできました」や「衝突しました」など）に依存しており、なぜそれが危険だったのかという理由までは教えてくれません。本論文は、カメラのみを使用し、目に見えるすべての物体に名前を付けたり追跡したりすることなく、衝突のリスクを「感じる」ようにドローンを教える方法に取り組んでいます。

研究者たち（メイ氏とその同僚たち）は、「Anticipatory Risk-Guided Reinforcement Learning（予測的リスク誘導型強化学習）」と呼ぶ手法を用いて、これらの飛行ロボットを訓練する巧妙な新しい方法を提案しています。彼らのアプローチは、ドローンに高速の「ホットポテト（熱いジャガイモ）」ゲームを教えるようなものだと考えてください。ただし、音楽が止まるのを待つのではなく、ドローンはジャガイモが近づいてくる前に、そこから放射される熱を感じ取る方法を学ぶのです。

従来の方法では、ドローンは動いている歩行者を特定し、その速度を計算してから、回避することを決定しようとします。これは動作が重く、カメラがブレたり物体が隠れたりするとエラーが発生しやすくなります。著者らは、この「明示的な追跡」手法に対して異を唱え、それは非常に複雑で混沌とした環境には不向きであると示唆しています。代わりに、彼らは、ドローンが（目の前の世界を3D映画のように捉えた）一連の深度画像を見て、即座に「リスクマップ」を感じ取るシステムを構築しました。このマップは物体のリストではなく、衝突が最も起こりやすい場所とタイミングを示す、一種の「圧力」のような感覚です。

ドローンにこのスキルを教えるために、研究者たちは「特権的（privileged）」な訓練方法を用いました。教官が他のすべての飛行機や障害物がどこに位置するかを正確に把握しているシミュレーターの中で、訓練生パイロットが飛行している場面を想像してください。教官は、もし何も変わらなければ衝突することになる正確な地点である「最近接点（CPA: Closest Point of Approach）」を示す、光る赤いゾーンを学生の画面上に描きます。学生パイロット（ドローンのAI）は、教官から毎回答えを教えてもらうことなく、単に風景を見るだけで、この光る赤いゾーンを予測するように訓練されます。論文では、障害物がどれほど速く動き、ドローンにどれほど近いかを組み合わせた、この「最近接点（CPA）」という数学的概念を用いて、このリスクマップを作成しています。

彼らの発明の核心は、「非対称アクター・クリティック（asymmetric actor-critic）」アーキテクチャです。簡単に言えば、これは訓練中に協力し合う2つの脳を持っているようなものです。「クリティック（批評家）」の脳は、すべての秘密のシミュレーターデータ（教官の視点）にアクセスでき、真のリスクを知っています。「アクター（俳優）」の脳は、実際に現実世界でドローンを飛ばすためのもので、生のカメラ映像しか見ていません。クリティックは常にアクターに対して、「あの赤いゾーンを見逃したぞ！左側から来る危険を察知する必要がある！」と小言を言います。これにより、アクターは、物体の名前や速度を知ることなく、純粋に視覚的なパターンから将来の危険マップを予測する方法を学ぶよう強制されます。

コンピュータシミュレーションと実世界の飛行の両方で行われたテスト結果は、この手法が驚くほど上手く機能することを示しています。20から50個の動的および静的な障害物があるシミュレーションにおいて、この新手法は一部のシナリオで最大95%の成功率を達成し、高い障害物密度で苦戦する従来の手法を大幅に上回りました。さらに重要なことに、ドローンはただ生き残っただけでなく、より効率的に飛行しました。従来の手法では、安全のために停止したり非常に低速で動いたりすることが多かったのに対し、この新しいドローンは、障害物からより安全な距離（平均2.8メートル以上のクリアランス）を保ちながら、秒速約3.4〜4.0メートルという平均速度を維持しました。

おそらく最も印象的な部分は、ドローンがコンピュータシミュレーションで学習した内容を、追加のチューニングなしで現実世界でも完璧に飛ばせたことです。これは「ゼロショットSim-to-Real転送（zero-shot Sim-to-Real transfer）」と呼ばれます。研究者たちは、木々のある森林や、積み上げられた箱のある倉庫の中をドローンで飛行させました。歩行者が角から突然飛び出してきても、ドローンは即座に反応しました。ドローンは衝突したり、立ち往生したりするのではなく、ブレーキをかけ、ホバリングし、滑らかにそれらを回避してステアリングを切りました。論文は、ドローンに単に物体を追跡させるのではなく、将来の危険の「形状」を予測させることで、より堅牢で機敏なものになると示唆しています。

著者らは、彼らの手法が、障害物が短時間、ほぼ一定の速度で動くという仮定に基づいていること、および前方カメラを使用しているため死角があることを注意深く述べています。しかし、これらの制限内において、将来のリスクに対する「第六感」をドローンに与えることが、従来のメソッドでは到達できなかったレベルの安全性と速度で、複雑で動的な環境をナビゲートできることを、この論文は実証しています。これは、ドローンが単にルールに従う機械としてではなく、予期せぬ事態を予測できる知的なパイロットとして、私たちの忙しい世界を駆け抜ける未来への一歩となります。