Learning-Based Stochastic Optimal Control with Infinite-Horizon Probabilistic Constraints

あなたは、高密度の小惑星帯を航行する宇宙船のキャプテンであると想像してください。あなたの任務は、できるだけ少ない燃料を使用して、遠くの恒星に到達することです。しかし、一つ問題があります。単に「今見えている」小惑星を避ければよいわけではありません。出発から着陸まで、航路全体が非常に高い確率で安全であることを保証しなければならないのです。これが、**確率的最適制御（stochastic optimal control）**と呼ばれる分野の核心です。これは、未来が不透明で驚きに満ちているときに、いかに最善の決定を下すかという科学です。

この課題を理解するために、危険に対処する2つの方法を考えてみましょう。1つ目は、毎秒バックミラーを確認して、「よし、今は安全だ」と言うような方法です。これは「段階的（stagewise）」なチェックと呼ばれます。2つ目は、より困難なアプローチで、地図上の飛行経路全体を見渡し、「この線上のあらゆる一点が小惑星から離れていることを約束する」と言うような方法です。これは**結合チャンス制約（joint chance constraint）**です。これは「ミッション全体」にわたる約束です。問題は、未来の経路がそれまでのあらゆる凹凸や曲がり角に依存するため、この約束を果たすことはコンピュータにとって極めて困難であり、計算量が爆発的に増加してしまうことです。通常、計算を管理可能なものにするために、エンジニアは過度に慎重になり、燃料を浪費する広くて遅い迂回路を選んだり、あるいはある一定の時間が経過した後は宇宙が危険でなくなることを前提としたりする必要があります。

Francesco Cordiano、Kanghui He、Bart De Schutterによるこの論文は、どのようにして、過度に慎重になったり危険が消滅することを前提としたりすることなく、この無限に続く危険な経路を航行するかという問題に取り組んでいます。彼らは、電力網や高速道路を走る自動運転車のように、永遠に続くシステムに対して、コンピュータがいかに完璧で、安全かつ燃料効率の良い決定を下せるよう教えるかという、巧妙な新しい方法を提案しています。

魔法の手品：記憶の問題を状態の問題に変える

「ミッション全体」の安全性の約束における最大の悩みは、それが**非マルコフ的（non-Markovian）**であることです。簡単に言えば、コンピュータは、安全であるかどうかを知るために、時間の始まりからのすべてを記憶しておく必要があるということです。一度も小惑星に当たっていなければ安全です。もし昨日当たっていたら、すでに「失敗」しています。標準的なコンピュータの脳（マルコフ方策）は、通常、次に何をすべきかを決めるために「今、自分がどこにいるか」だけを見ます。長期的な記憶は持っていません。

著者たちの最初の突破口は、**状態拡張（state augmentation）**と呼ばれる「魔法の手品」です。彼らは、宇宙船に取り付けるための新しい「仮想センサー」を考案しました。

1. 「オールクリア」ライト（状態 $\xi$）: これは、船が一度も小惑星に当たっていない限り「ON」（1）のままになるバイナリ・スイッチです。小惑星に当たった瞬間、スイッチは「OFF」（0）に切り替わり、そのまま固定されます。
2. 「初ヒット」アラーム（状態 $\psi$）: これは、船が「初めて」小惑星に当たったまさにその瞬間にのみ鳴る特別なアラームです。もしこれが鳴れば、システムは「ああ、これが失敗の瞬間だ」と認識します。
3. 「タイムダイヤル」（状態 $\phi$）: 宇宙船は無限の未来にわたって燃料使用量を最小化しようとしているため、燃料使用の重要性は時間とともに変化します。このダイヤルは、その変化する重要性を追跡します。

これらの3つの仮想センサーを宇宙船の実際の位置に加えることで、コンピュータはもはや全履歴を記憶しておく必要がなくなります。現在のセンサーの状態を見るだけでよいのです。「オールクリア」ライトがONであれば、これまでのところ安全であると分かります。OFFであれば、すでに失敗したことが分かります。これにより、複雑でメモリ負荷の高い問題が、ステップごとに解決可能な標準的で扱いやすい問題へと変わります。

バランスの取り方：安全の代償

問題が扱いやすくなった今、次の課題は「無限の地平（infinite horizon）」の部分です。宇宙船は、単に次の10分間だけでなく、永遠に安全でなければなりません。著者らは、この問題を解決するために**ラグランジュ双対性（Lagrange duality）**という数学的概念を使用しています。

あなたがロボットを雇って車を運転させていると想像してください。あなたはこう指示します。「できるだけ速く走れ。ただし、衝突するな」。ロボットは、スピードと安全のバランスをどう取るべきか分かりません。そこで、あなたは「安全の代償」を導入します。「衝突しそうになるたびに、罰金を支払ってもらう」と伝えるのです。

• もし罰金が低すぎると、ロボットは無謀に運転して衝突します。
• もし罰金が高すぎると、ロボットはあまりにゆっくりと安全に運転しすぎて、どこにも辿り着けなくなります。

この論文が提案するアルゴリズムは、賢い交渉人のように機能します。まず低い罰金から始めて、ロボットを走らせます。もしロボットが頻繁に衝突するなら、アルゴリズムは罰金を上げます。もしロボットが非常にゆっくりと安全に走りすぎているなら、罰金を下げます。目標は、ロボットが安全要件を正確に満たしながら、可能な限り速く走行できる「ゴールドリックス（理想的な）」罰金（双対変数 $\lambda$ と呼ばれる）を見つけ出すことです。

著者らは、この交渉が完璧に機能することを証明しています。ロボットの「最速の戦略」が、同時に「最も安全な戦略」でもある特定の価格が存在することを示しています。これにより、困難な「安全制約」問題を、より単純な「コスト ＋ 罰金」の最小化問題へと変換することができます。

ニューラルネットワークによるロボットへの教育

最後のパズルの一片は、現実世界のシステム（ロボットや電力網など）には、どこにいても、何をしてもよい無限の可能性があります。あらゆる可能性に対してルールを書き記すことはできません。これに対処するため、著者らは機械学習を使用しています。

彼らは、あらゆる状況における「価値」を学習するために、ニューラルネットワーク（人間の脳に触発されたコンピュータの脳の一種）を訓練します。

• まず、安全ルールが「すでに破られている」場合に何が起こるかをネットワークに教えます。この場合、ロボットは安全性を無視して、単に目標に向かって最短で進もうとします。
• 次に、「オールクリア」の状態を教えます。ここでは、ネットワークはスピードと「安全の代償」としての罰金のバランスを取る方法を学びます。

訓練はオフラインで行われます。つまり、ロボットが実際に動き出す前に、コンピュータがすべての難しい思考を完了させます。一度訓練が終われば、ロボットは現在の状態とニューラルネットワークのアドバイスを見るだけで、わずか（テストでは0.01秒）で意思決定を行うことができます。

結果：より速く、より安全に、よりスマートに

著者らは、迷路の中央にある危険な障害物を避けながら進もうとする「ユニサイクル・ロボット（一輪車ロボット）」のシミュレーションを用いて、彼らの手法をテストしました。彼らは、自らの手法を、一般的な手法である**モデル予測制御（MPC）**と比較しました。MPCとは、ロボットが次の数ステップを計画し、それが安全かどうかを確認してから、再度計画を立て直すような手法です。

結果は驚異的でした。

• 安全性: 新しい手法は、違反率を約**4.5%に抑えました。これは許容限界である10%を十分に下回っています。従来のMPC手法は、大幅な調整を加えたとしても、違反率は17%**となり、安全テストに失敗しました。
• パフォーマンス: 新しい手法は、目標に到達するための「燃料（コスト）」を大幅に削減できました。新手法のコストは528.3であったのに対し、MPC手法のコストは672.0でした。新しい手法はリスクの取り方がスマートでした。万が一障害物に当たった場合（稀なケースですが）、即座に目標への最速ルートに切り替わりましたが、MPC手法は保守的なループに陥っていました。
• 速度: これが最大の勝利です。従来のMPC手法は、各ステップでの意思決定に平均2.94秒かかり、時には10秒の制限に達して遅延が発生しました。新しい手法は、わずか0.01秒しかかかりませんでした。これは300倍近い高速化です。

なぜこれが重要なのか

この論文は単に「できました」と言っているだけではありません。彼らの手法が機能し、最適な解に収束するという厳密な数学的証明を提供しています。安全であることと効率的であることは、二者択一ではないことを示しています。巧妙な状態拡張とスマートな学習アルゴリズムを使用することで、無限の未来においても、驚くほど速く、かつ厳密に安全なシステムを構築できるのです。

著者らは、彼らの手法がシミュレーションに依存していること、そして特に危険地帯の境界付近において、学習プロセスが正確であるためには十分なデータが必要であることを認めています。しかし、複雑で連続的なシステムにおいて、このアプローチが大きな飛躍であることを実証しています。かつては解決が困難すぎた問題を、コンピュータが瞬きする間に解決できる問題へと変え、現実世界のより安全で効率的な自律システムへの扉を開いています。