ロボットにビデオゲームの遊び方を教えているところを想像してみてください。ただし、ちょっとしたひねりが加わっています。ロボットは、いろいろなことを試しながら学習します。時には、何が起こるかを見るために、大胆な推測をすることもあります。これは「強化学習」と呼ばれるもので、自動運転車やチェスのプレイといった複雑なタスクを習得するために機械が用いる手法です。しかし、ここには大きな問題があります。もしロボットが行った「大胆な推測」があまりに無謀すぎると、車を衝突させたり、ゲームを壊したりしてしまうかもしれません。私たちは、ロボットが探索し、学習できるようにしたい一方で、危険なことをする直前でそれを止める方法を見つける必要があります。

この問題を解決するために、科学者たちは「予測安全フィルター（Predictive Safety Filter）」と呼ばれるものを使用しています。これは、ロボットのすぐ横に立っている、非常に賢い守護天使や、厳しいコーチのようなものだと考えてください。ロボットが動き出す前に、コーチは頭の中で素早いシミュレーションを実行します。「もしあそこにジャンプしたら、壁にぶつかるだろうか？」もし答えが「おそらくそうなる」であれば、コーチが介入し、ロボットの動きをより安全なものに変更します。従来、これらのコーチは非常に慎重であり、動作させるためには世界の完璧な教科書的な記述を必要としていました。しかし、現実の世界は混沌としており、複雑です。そのため、従来のコーチは行き詰まったり、複雑なゲームを扱うことができなかったりしました。この論文は、非常にスマートでありながら非常に慎重な、新しい種類のコーチを紹介しています。これにより、ロボットは壊れることなく、より速く学習できるようになります。

問題点： 「ブラックボックス」のコーチ

機械学習の世界には、「プロバビリスティック・アンサンブル（Probabilistic Ensemble: PE）」と呼ばれる人気のあるツールがあります。あなたがゲームの次に何が起こるかを予想しようとしている、5人の異なる専門家（ニューラルネットワーク）のチームを想像してください。一人だけの意見を信じるのではなく、5人全員に聞き、その答えを確認します。全員の意見が一致していれば、自信を持つことができます。もし全員が意見を違えていれば、モデルがよく分かっていない「霧の中」のような領域にいることが分かります。これは複雑なことを学ぶには素晴らしいのですが、欠点があります。それは、時としてこのチームが、霧の中でも過剰に自信を持ってしまうことです。彼らは、実際にはデタラメな推測をしているにもかかわらず、「私たちは、あなたが衝突しないことに100%確信を持っています」と言ってしまうことがあるのです。

これらの「エキスパート・チーム」を安全なコーチとして使用しようとするこれまでの試みは、失敗に終わっていました。なぜなら、チームが実際に真実を言っているのか、それとも単に幻覚を見ているだけなのかを確認するための厳密な方法を持っていなかったからです。それは、地図を確認することなく「大丈夫だと思うよ」と言うコーチのようなものであり、ロボットがリスクの高い試みをした際に事故を招いてしまいました。

解決策： UPSi（「ウップ・シー」フィルター）

著者らは、UPSi（「ウップ・シー」と発音）と呼ばれる新しいシステムを紹介しています。これは**不確実性を考慮した予測安全フィルター（Uncertainty-Aware Predictive Safety Filter）**の略です。

UPSiを、単にエキスパートに答えを求めるだけでなく、彼らの信頼度もチェックする安全コーチだと考えてください。これは、ロボットの起こりうる未来の経路の周囲に「安全な泡（セーフティ・バブル）」を描くための、巧妙な数学的トリックを使用しています。

1. 安全な泡： 単一の未来の経路を推測する代わりに、UPSiはロボットがたどり着く可能性のある場所の「雲」全体を計算します。そして、この雲全体が「安全ゾーン」（例えば、コース内に留まること）の中に収まるようにします。
2. 確実性のチェック： これが魔法の部分です。UPSiには特別なルールがあります。「エキスパートたちが『確実な集合（Certain Set）』の中にいる場合にのみ、彼らを信頼する」というルールです。もしロボットが、エキスパートたちが混乱している領域（不確実性が高い領域）へ移動しようとすると、UPSiは「いや、私はこの領域について安全を保証できるほど十分な知識を持っていない。そこへは行かせない」と判断します。これにより、モデルが推測しているがゆえに、危険な動きを安全であると誤認させることを防ぎます。

実践における仕組み

研究者たちは、3つの異なるシミュレーション環境でUPSiをテストしました。

• ペンデュラム（振り子）： 禁止区域に当たることなく、振り上げるように動くロボットアーム。
• カートポール： 動くカートの上でポールを直立させ続けなければならない、古典的なバランス調整。
• ドローン： クラッシュすることなく目標の高度に到達しようとする飛行ロボット。

これらのテストにおいて、彼らはUPSiを他の安全フィルターと比較しました。結果は明白でした。

• クラッシュの減少： UPSiは、以前の手法よりもはるかに頻繁に、ロボットの危険な動きを阻止しました。カートポールのテストでは、従来の方法は7.15%の確率で失敗（クラッシュ）しましたが、UPSiの失敗はわずか0.75%でした。
• 学習能力の維持： UPSiは非常に慎重であるにもかかわらず、ロボットはフィルターなしの場合と同じくらい上手くゲームを学習できました。つまり、学習プロセスを遅らせることはありませんでした。

「もしも」と「確信度」

著者らは、自分たちの主張に対して非常に慎重です。彼らは単にUPSiが機能すると推測したのではなく、彼らの「安全な泡」（到達可能集合と呼ばれます）が、たとえロボットの世界モデルが多少間違っていたとしても、あらゆる起こりうる結果を捉えるのに十分な大きさであることを数学的に証明しました。もしロボットがこれらの泡の中に留まっているならば、数学的に安全であることが保証されることを示しました。

しかし、彼らは現在のバージョンが、非常に複雑な状況（高速で動くドローンなど）におけるリアルタイムの使用には少し遅いことも認めています。シミュレーションでは、複雑さに応じて、フィルターが決定を下すのに0.04秒から25秒かかりました。これは、彼らが行ったテストにおいては十分に速いものですが、現実世界の瞬時の判断に間に合うほど高速化することは、将来の課題であると述べています。

まとめ

この論文は、現代のAIの柔軟で強力な学習能力と、伝統的なエンジニアリングの厳格で信頼できる安全性という、二つの世界の架け橋となるものです。UPSiは、強力なデータ駆動型のAIモデルを使用してロボットに複雑なスキルを教えることができる一方で、それが「分からないときは分からないと言える」ような安全フィルターで包み込む必要があることを示しています。これは、世界を壊すことなく未知の領域を探索できるロボットへの一歩なのです。