Composing Reinforcement Learning Policies, with Formal Guarantees

あなたは、ロボットに巨大で変化する迷路をナビゲートする方法を教えようとしていると想像してください。これは単なる単純な迷路ではありません。壁が動き、床が変化し、ロボットが空飛ぶ障害物に当たらないように瞬時の判断を下さなければならない世界です。これが、人工知能の一分野である**強化学習（RL）**の世界です。強化学習は、犬がご褒美をもらうために「お座り」を学習するように、試行錯誤を通じて学習するエージェントの領域です。目標は、「ポリシー（方策）」、つまりあらゆる状況において最善の結果を得るためのルールを見つけ出すことです。

しかし、一つ問題があります。強強化習は経験から学ぶことには長けていますが、保証を与えることに関しては極めて不得意です。標準的な強化学習ロボットに「あのフォークリフトに衝突しないと100%確信できますか？」と尋ねても、通常、数学的な「はい」と答えることはできません。彼らは「大丈夫だと思います」とは言うかもしれませんが、自動運転車や電力網の管理のような安全性が極めて重要な仕事においては、「たぶん大丈夫」では不十分なのです。ここで**形式検証（formal verification）**が登場します。これは、「これらの特定の条件下では、この行動は確実に安全である」と断言する厳格な数学的証明のようなものです。科学者が直面している課題は、経験から学ぶことと数学的証明という、これら二つの世界が通常は相容れないという点です。学習には膨大で混沌としたデータが必要ですが、証明には整然とした単純なモデルが必要です。この論文は、その混沌とした境界線へと踏み込み、学習による高度なスキルを持ちつつも、なお「安全証明書」を備えたロボットを実現できるかどうかを検証しています。

---

ビッグアイデア：地図と部屋

著者たち（ベルギー、イスラエル、オランダ、デンマーク、イギリスの研究チーム）は、問題を二つに分割するという巧妙な方法を提案しています。巨大な倉庫を想像してください。**ハイレベル（高次）**の視点は、ドアでつながれた部屋のグリッドという単純なマップです。あなたはマップを完璧に把握しています。部屋Aは部屋Bにつながっており、部屋Bは出口につながっていることを知っています。しかし、各部屋の中はどうなっているでしょうか？そこは未知の世界です。「ダイナミクス（物の動きや障害物の位置）」は不明であり、混沌としています。

著者らはこれを**「二層構造」**と呼んでいます。

• ハイレベル（マップ）： これは簡単な部分です。単なる部屋とドアのグラフです。
• ローレベル（部屋）： これは難しい部分です。各部屋の中では、エージェントは動いているフォークリフトや作業員、あるいは他のロボットを回避しなければなりません。ここでのルールは複雑で、未知のものです。

この論文の主なトリックは、**「関心の分離（separation of concerns）」**です。彼らは、二つの異なるレベルに対して二つの異なるツールを使用しています。ハイレベルのマップには、**リアクティブ合成（Reactive Synthesis）**を使用します。これは、マップと一連のルール（例：「何にも当たらずに出口に到達せよ」）を見て、取るべき最適な経路を数学的に証明できる、非常にスマートな論理的プランナーだと考えてください。これは、完璧な地図を持っているために決して道に迷うことのないGPSのようなものです。

しかし、GPSはロボットに「部屋の中でフォークリフトをどう避けるか」までは教えられません。そのために、彼らは**強化学習（RL）**を使用します。ロボットは各部屋の中でシミュレーションを実行し、衝突せずに入口から出口まで到達する方法を学習します。問題は、標準的な強化学習は「ブラックボックス」であることです。どのように機能しているのか正確には分からず、それが安全であると証明することもできません。

マジックトリック：「潜在的（Latent）」なショートカット

ここからが、この論文の非常に興味深い部分です。各部屋に対して、ただ巨大で乱雑なニューラルネットワーク（数学で作られた脳）を学習させるのではなく、著者らはロボットに**簡潔な潜在モデル（concise latent model）**を学習させるように教えています。

あなたが、動く障害物でいっぱいの混沌とした部屋を友人に説明しようとしていると想像してください。すべての物体のあらゆる動きを一つずつ説明しようとすれば、時間はいくらあっても足りず、記憶することも不可能です。あるいは、部屋の「本質」を捉えた**簡略化されたスケッチ（潜在モデル）**を作成することもできます。「左に行けば、たいてい壁に当たる。右に行けば、たいていドアが見つかる」といった具合です。

著者らは、WAE-DQNと呼ばれる新しい学習手法を開発しました。これは、ロボットが同時に二つのことを学習するプロセスです。

1. どのように行動するか（ポリシー）。
2. どのように簡略化されたスケッチを描くか（潜在モデル）。

決定的なのは、彼らが単にスケッチを推測しているのではなく、そのスケッチがどれほど優れているかという**「保証」を計算している点です。彼らはPAC境界（Probably Approximately Correct bounds）**と呼ばれるものを使用しています。これは「信頼スコア」と考えてください。これは「このスケッチは完璧だ」と言っているわけではありません。「このスケップが実際の部屋の挙動の範囲内に収まっている確率が95%である」と言っているのです。

すべてを統合する：プランナー

ロボットがこれらの簡略化されたスケッチと、すべての部屋に対する「信頼スコア」を学習すると、ハイレベルのプランナーが作動します。プランナーはマップとスケッチを確認します。そしてこう問いかけます。「もし私がロボットを部屋Aに送り込み、右へ行けと指示したら、出口に到達できる確率はどのくらいか？」プランナーは、スケッチから得られた信頼スコアを用いて、これを数学的に算出します。

プランナーは各部屋のスケッチの「安全マージン」を知っているため、たとえロボットが試行錯誤によって部屋の詳細を学んだとしても、数学的に機能することが保証されたグローバルな計画を構築することができるのです。

実験：それは機能するか？

チームはこのアイデアを、二つの全く異なる世界でテストしました。

1. グリッドワールド： 動く敵がいるデジタル迷路。
2. ViZDoom： ロボットが視覚入力（カメラのようなもの）を使用して、敵を避けながらナビゲートしなければならないビデオゲーム環境（クラシックな『Doom』に基づいたもの）。

グリッドワールドでは、動く敵が9つの部屋に配置された迷路を作成しました。標準的なAI（DQNと呼ばれる手法を使用）は、良い経路を学習するのに苦労し、しばしば立ち往生したり衝突したりしました。しかし、この新しい手法はどうでしょうか？成功裏にナビゲートすることを学習しました。さらに驚くべきことに、49の部屋と47の敵がいるより大きな迷路でテストした際も、ロボットは小さな部屋で学習した同じ「スケッチ」を使用して、巨大な迷路を正常にナビゲートできました。これは、彼らのアプローチの「再利用性」を証明しています。一度ある種の部屋の扱い方を学べば、マップがどれほど大きくなっても、その知識をあらゆる同様の部屋で使用できるのです。

ViZDoomの実験では、ロボットは視覚入力を用いて敵を撃ちながら進む必要がありました。結果は、潜在的な値（簡略化されたスケッチによる予測）が、実際のゲームで起きたことと非常に近いものでした。例えば、ロボットがある特定のシナリオで成功率を24%と予測したとき、実際の成功率は約23%でした。この近さは、その「スケッチ」が信頼できるほど正確であることを証明しています。

なぜこれが重要なのか

ここでの最大の勝利は、単にロボットがゲームに上手くなったことではありません。ロボットが**「安全証明書付き」で上手くなった**ことなのです。

かつて、複雑な環境をナビゲートするロボットが欲しい場合、以下のどちらかを選ばなければなりませんでした。

• 安全性： すべてが安全であると証明できる単純なモデルを使用するが、現実世界の混沌には対応できないほどロボットが「愚か」である。
• スキル： 混沌に対応できる強力な学習ロボットを使用するが、それが衝突するかどうかは全く分からない。

この論文は、第三の道を示しています。マップと部屋を分離し、ロボットに部屋の簡略化され検証済みのスケッチを学習させることで、彼らは賢く（スマート）（動く障害物や視覚入力に対応できる）、かつ安全（セーフ）（数学的な保証が付随する）なシステムを作り上げました。

著者らは、彼らの手法にはまだ環境の「マップ」が必要であることを認めています。完全に未知の世界にロボットを放り込み、ゼロからマップを構築することを期待することはできません。しかし、レイアウトは分かっているが（倉庫、都市のグリッド、またはソフトウェアシステムなど）、部屋の中で何が起きるかの詳細が分からない環境においては、このアプローチは強力な新しいツールを提供します。これは、学習という「ブラックボックス」を、私たちが検査し、検証し、信頼できる「ガラスボックス」へと変えるのです。