Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model

コンピュータに複雑なタスクを教えることが、幼児に向かって「お城を作れ！」と叫ぶようなものだとしたら、それはまるで、お城がどのような形をしているのか、レンガの持ち方を知らない幼児に指示を出しているようなものです。もしそうなら、幼児はただ手足をバタつかせるだけでしょう。これは、ソフトウェアエージェントが試行錯誤を通じて学習する人工知能の一分野である**強化学習（RL）**における、日常的な苦闘です。単純な強化学習では、エージェントは何かを正しく行ったときにのみ、「報酬」（ポイントやご褒美のようなもの）を受け取ります。しかし、現実世界では、報酬はめったに得られず、タスクは巨大で複雑です。エージェントは可能性の海の中で迷子になり、正しい動きを見つけ出すことができません。

これを解決するために、科学者たちは**階層型強化学習（HRL）**を考案しました。HRLを、幼児に「上司」を与えると考えてみてください。「上司」（高レベル・ポリシー）は、レンガの持ち方などには悩みません。ただ、「ここに壁を作れ」や「あそこに塔を作れ」といった大局的な命令を下すだけです。すると「作業員」（低レベル・ポリシー）が、実際にそのレンガを配置するために必要な、細かく具体的な動きを考え出します。このチームワークによって、学習は大幅にスピードアップします。しかし、一つ問題があります。それは、上司と作業員が同期していなければならないということです。もし作業員が壁を作るのが上手くなったのに、上司が作業員の古い、不器用なスキルに基づいた命令を出し続けていたら、チーム全体が失敗してしまいます。あなたがこれから読む論文は、まさにこの「上司と作業員の完璧な調和をいかに保つか」という問題に取り組んでいます。

---

上司、作業員、そして魔法の鏡

論文「Flow-Based Deep Generative Modelに基づく最適レベル同期を用いた階層型強化学習（Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model）」において、シドニー工科大学のJaeYoon Kim氏率いる研究チームは、AIチームにおける「上司」と「作業員」を完璧に同期させるための、巧妙な新しい手法を提案しています。

通常、作業員（低レベル・ポリシー）が何か新しいことを学んだとき、上司（高レベル・ポリシー）もその戦略を更新する必要があります。しかし、ここが厄鬼な点です。上司は、作業員がまだ初心者だった頃の過去のデータを使って学習しています。もし上司が、調整を行うことなくこの古いデータから学ぼうとすれば、それはまるで、プロチームのために設計されたプレーを使って、新人クォーターバックを指導しようとするコーチのようなものです。作業員の能力が変わってしまったため、上司は混乱してしまうのです。

従来の手法は、作業員が「何ができたはずか」を推測することで、この問題を解決しようとしてきました。彼らは一種の「統計的な推測」を用いて、古い目標を再ラベル付けしていました。著者らは、これは壁に映る影を見て数学の問題の答えを推測しようとするようなものであり、間接的でしばしば不正確であると主張しています。彼らはこう言います。「推測するくらいなら、直接聞けばいいではないか」と。

新しいアプローチ：魔法の鏡

チームの解決策は、**フローベース深層生成モデル（FDGM）**を使用することです。これを理解するために、作業員を単なるロボットではなく、「魔法の鏡」だと想像してみてください。かつては、作業員が何を考えているかを知るには、その動きを観察して推測するしかありませんでした。しかし、この新しい「魔法の鏡」があれば、鏡に最終的な結果（作業員が行ったアクション）を見せるだけで、その結果を生み出すために「目標がどのようなものでなければならなかったか」を、鏡が瞬時に逆方向に反転させて示してくれるのです。

これは**直接逆演算（direct inverse operation）**と呼ばれます。推測する代わりに、システムは作業員のアクションを数学的に逆転させ、完璧に更新された目標を見つけ出します。これにより、上司は、古いデータを使用している間であっても、作業員の「現在」の、高度なスキルに基づいた学習を行うことができます。これは、上司が瞬時に時間を巻き戻し、作業員の新しいスキルを確認し、それに応じて命令を調整できるようなものです。

障害：硬直した箱

しかし、この「魔法の鏡」（FDGM）を使用することには問題がありました。これらのモデルは非常に気難しいことで知られています。彼らは、入力と出力が全く同じサイズでなければならない「硬直した箱」のようなものです。もし上司が8つの数字を持つ目標を与えたなら、作業員の鏡もまた、8つの数字を持つアクションを出力しなければなりません。しかし、現実の世界では、上司の目標と作業員のアクションは、しばしば異なるサイズを持っています。この硬直性が、複雑なAIタスクにおいて鏡を使用することを困難にしていました。

著者らは諦めませんでした。彼らは、スマート・アダプターとして機能する新しいアーキテクチャを構築しました。彼らは作業員を以下の3つの部分に分割しました：

1. フォワード部分（Forward Part）： 世界と相互作用する実際の作業員。
2. 条件付き部分（Conditional Part）： 上司の目標と現在の状況を取り込み、それを洗練させる翻訳機。
3. FDGM部分： アクションを逆転させる重労働を行う、魔法の鏡。

この「翻訳機」（条件付き部分）を追加することで、彼らは情報を引き伸ばしたり縮めたりして、硬直した鏡が扱えるようにすることができました。これにより「硬直した箱」の問題が解決され、システムは壊れることなく、異なるサイズの目標を扱うことが可能になりました。

研究結果

チームは、デジタルなアリが障害物を避け、ブロックを押し、安全に落下しなければならない「MuJoCo Ant」という仮想世界で、新しいシステムをテストしました。彼らは、自分たちの「魔法の鏡」システムを、2つの有名な手法、すなわち「推測による古い手法」を用いるHIROと、「硬い箱の問題に直面している似たような鏡」を用いるLSPと比較しました。

結果は有望でした。ほとんどの困難なタスクにおいて、彼らの新しいモデルは他のモデルよりも速く学習し、より高いスコアを達成しました。

• Ant Push MultiおよびAnt Fall Multiのタスクでは、彼らのモデルは大きくリードし、古い推測手法よりも上司と作業員をはるかにうまく同期できることを示しました。
• システムに「非最適な」目標サイズを使用させた場合（つまり、上司と作業員が異なる「言語」を話している状態にした場合）でも、彼らのモデルは適応して良好なパフォーマンスを示しましたが、他のモデルは苦戦するか失敗しました。
• 彼らは、システムは素晴らしい働きをする一方で、「バイアスのある対数密度推定（biased log-density estimation）」（技術的に言えば、鏡が数学的な細部において完全に正確ではないということ）という小さな課題に依然として直面していることも発見しましたが、競合を打ち負かすには十分に正確でした。

まとめ

この論文は、AIのすべての問題を解決したと主張しているわけではありません。その代わりに、アクションを直接逆転させることで完璧な目標を見つけ出し、階層型AIチームを訓練するための、非常に具体的で強力なツールを提供しています。硬直した数学的モデルの周囲に柔軟なアダプターを構築することで、著者らは、AIの上司が過去のミスではなく、作業員の現在のスキルから学ぶことができることを示しました。これは、人間が協力して働くチームのように、複雑で多段階のタスクを自然に学習できるAIへの一歩となります。