Distributionally Robust and Safe Imitation Learning

あなたは、ロボットに複雑なタスク（例えば、森の中をドローンで飛行したり、都市の交通の中を車で運転したりすること）を教える場面を想像してみてください。ロボットに対し、一秒ごとに何をすべきかを指示する何千行ものコードを書きたいわけではありません。代わりに、人間のエキスパート（専門家）の動きを見て学習してほしいと考えています。これは、学生がマスターシェフの弟子になるようなものです。学生は、マスターがどのように野菜を刻み、パンケーキをひっくり返すのかを観察し、それからその動きを真似ようとします。

しかし、厄介な問題があります。もし学生が早い段階で小さなミスをした場合——例えば、ニンジンを少し厚めに切ってしまった場合——、それが後の混乱を招き、料理全体を台無しにする連鎖的なエラーにつながる可能性があります。ロボットの世界では、これを**分布シフト（distribution shift）と呼びます。ロボットは、エキスパートが見せてくれなかった状況に陥ってしまい、完璧な条件下での模倣しか学んでいなかったために、パニックに陥ってしまうのです。さらに、現実の世界は混沌としています。風が吹いたり、地面が滑りやすかったり、センサーが誤作動したりすることがあります。これらは不確実性（uncertainties）**です。もしロボットが穏やかで晴れたシミュレーションの中だけで学習したなら、突風に直面した瞬間に墜落してしまうかもしれません。だからこそ、研究者たちは、単にエキスパートを模倣するだけでなく、たとえ状況が悪化しても「安全」かつ「堅牢（ロバスト）」に模倣できるロボットを構築しようと切実に求めているのです。

---

この論文の核心： 「スーパー学生」ドローン

この論文において、Ahmed AboudoniaとNaira Hovakimyanは、単にコピーするだけでなく、動きの背後にある「なぜ」「もし〜だったら」まで理解するように学ぶ、「スーパー学生」のような新しいロボット学習法を提案しています。彼らはこの手法を**「分布ロバストかつ安全な模倣学習フレームワーク（Distributionally Robust and Safe Imitation Learning framework）」**と呼んでいます。

彼らが何をしたのかを理解するために、あなたが自転車の乗り方を学んでいるところを想像してみてください。

1. 標準的な学習（行動クローニング / Behavioral Cloning）： プロのライダーを見て、その正確な体の動きを真似ようとします。もし体がふらついたら、ふらつきを修正する方法を学んでいないため、転倒してしまうかもしれません。
2. この論文の第一のトリック（TaSIL）： 著者らは、**テイラー級数模倣学習（Taylor Series Imitation Learning: TaSIL）**と呼ばれる手法を用いています。ロボットは、ライダーの「位置」を単にコピーするのではなく、ライダーの「微分（変化量）」をコピーすることを学びます。簡単に言えば、ライダーが「どこにいるか」だけでなく、どれくらいの速さで回転しているか、どれくらいの速さで加速しているか、そしてそれらの変化がどのように変化しているかを学ぶのです。これは、単なるスナップショットではなく、動きの「流れ」を学ぶことに相当します。これにより、たとえ軌道から少し外れても、ロボットは軌道に復帰し続けることができます。
3. この論文の第二のトリック（L1-DRAC）： しかし、もし突然の突風が吹いたらどうでしょう？ ロボットにはセーフティネットが必要です。著者らは、**L1分布ロバスト適応制御（L1-Distributionally Robust Adaptive Control: L1-DRAC）**という層を追加しました。これは、超高速で動く「見えない副操縦士」のようなものです。風がドローンを押し流そうとしたとき、この副操縦士は、ドローンが風に気づく前に、意図した経路を維持するために必要な修正を即座に計算し、風の影響を事実上「打ち消し」ます。

新しいひねり： セーフティネットを備えた学習

この論文の真の革新は、これら2つのアイデアを組み合わせて、不確実性と安全性を同時に扱う方法にあります。

通常、ロボットがエキスパートから学習する場合、エキスパートの経路を正確に一致させようとします。しかし、もしエキスパートの経路が崖のすぐ横を通っており、そこに風が吹いていたらどうでしょうか？ スマートなロボットは、エキスパートを盲目的にコピーして崖に突っ込むべきではありません。著者らは、標準的な学習手法では、「現実の世界」が「訓練の世界」とわずかに異なる可能性があることを考慮していないという事実に気づきました。

彼らは、ロボットのための新しいトレーニング・ゲームを作成しました：

• 「最悪のケース」の球体： エキスパートが取った正確な経路だけを学習するのではなく、ロボットはエキスパートの経路の周囲にある、起こりうる経路の「球体（集合）」を想定します。この球体は、風やセンサーのエラーによってロボットがコースアウトする可能性のあるあらゆるパターンを表しています。
• 安全制約： そして、ロボットはその球体の中の「最悪のシナリオ」においても優れたパフォーマンスを発揮できるように訓練されます。これは、晴天の日だけでなく、嵐に備えて練習するパイロットのようなものです。
• 安全ペナルティ： 彼らは、ロボットの宿題に特別な「安全項（safety term）」を追加しました。もしロボットの計画が危険なゾーン（飛行禁止区域など）に近づきすぎた場合、大きなペナルティが課されます。これにより、ロボットは次のように学習します。「エキスパートに従うことはできるが、もし風が自分を危険地帯へと押し流そうとしたら、安全を確保するために進路を変えなければならない」。

実験結果（シミュレーション）

著者らは、このアイデアを無人航空機（UAV）、つまりドローンを用いてテストしました。ドローンが円を描いて飛行しながら、特定の「危険領域（進入すべきではないゾーン）」を回避しなければならないシミュレーションを設定しました。彼らは、エピステミック不確実性（ドローンに作用するランダムで予測不可能な力のようなもの）と、アレオリック不確実性（センサーのグリッチのようなランダムなノイズ）を導入しました。

シミュレーションでは以下のことが起こりました：

• 標準的なロボット： 完璧な世界で標準的な模倣学習ロボットを使用した場合、円を完璧に飛行しました。しかし、風とノイズを加えた途端、ロボットはふらつき始め、最終的に危険ゾーンに衝突しました。あまりにも硬直的すぎたのです。
• 副操縦士（L1-DRAC）付きのロボット： 標準的なロボットに「見えない副操航士」を追加した場合、風に対してよりうまく対処し、円の近くに留まることができました。しかし、風によって危険ゾーンに押し出された場合に、どのように回避すべきかまでは理解していませんでした。風には強かったものの、厳密な意味での「安全」には至りませんでした。
• 「スーパー学生」（新しいフレームワーク）： 新しい分布ロバストかつ安全な手法で訓練されたロボットが勝者となりました。シミュレーションにおいて、このロボットはエキスパートと同じくらい上手く円を飛行しました。しかし、風が自分を危険ゾーンへと押し流したとき、パニックに陥ることはありませんでした。代わりに、危険を避けるためにエキスパートの正確な経路から意図的に逸脱し、危険が過ぎ去った後は、スムーズに円へと戻りました。

この論文は、不確実性の一定の範囲内における「最悪のシナリオ」を想定するようにロボットを教え、危険に近づくことに対して明示的にペナルティを与えることで、高度なスキルと極めて高い安全性を両立したシステムを構築できることを示しています。

結論

この論文は、ロボット学習のすべての問題を永遠に解決したと主張しているわけではありません。その代わりに、著者らは広範なシミュレーションを通じて、彼らの新しいフレームワークが機能することを証明しました。動きの「流れ」を学ぶ手法（TaSIL）と、不確実性と積極的に戦う手法（L1-DRAC）を組み合わせ、さらに先を見越して考えることを強制する安全ルールを加えることで、世界が乱雑で予測不可能であっても自信を持って飛行できるドローンを構築できることを示したのです。これは、ロボットが単に私たちを模倣するだけでなく、私たちが望む通りに、賢く、かつ慎重に振る舞うことを学ぶための、一歩前進なのです。