Decoupling Policy Extraction for Offline Reinforcement Learning

車のハンドルを握って路面の感覚を味わう代わりに、完璧なドライバーの静止した一本の動画だけを勉強することを強制されている、車の運転を学ぼうとしている学生を想像してみてください。彼らはミスをすることも、新しい曲がり方を試すことも、現実世界からフィードバックを受けることもできません。これは、過去の固定されたデータのコレクションのみを使用して意思決定の方法を学ぶ人工知能の分野、オフライン強化学習の課題です。この設定では、コンピュータは、現実の世界でそれらの新しいアイデアをテストすることができないまま、目にした例よりも優れた行動をとる方法を見つけ出さなければなりません。これらのシステムを教える伝統的な方法は、二つの部分が緊密なループの中で機能することを含みます。一つはどのような行動が良いかを学び、もう一つはその行動をどのように実行するかを学びます。前者は後者を絶えず導き、価値がありそうな行動を試すように指示します。しかし、データが時間に凍結されているため、このガイダンスは危険になることがあります。もし「何が良いか」を判断する部分が間違いを犯し、リスクのある動きを過大評価してしまうと、「どのように実行するか」の部分がそれを実行しようとし、エラーを増幅させ、安全で実証された行動からさらに逸脱させてしまいます。

Simplexity RoboticsとRensselaer Polytechnic Instituteの研究チームは、この問題を解決するための異なる方法を提案し、学習フェルス中にはこれら二つの部分は互いに会話をやめるべきであると示唆しました。彼らの新しいアプローチでは、学習することとデータから学ぶこと、そして最善の行動を選択することのタスクを完全に分離しています。まず、改善を試みたり新しい戦略を推測したりすることのない、完璧な模倣者のように振る舞い、データセットに見られる行動を模倣することだけに特化してモデルを訓練します。このモデルは、データによって裏付けられた安全な行動のリストをいくつか生成します。次に、独立して訓練された価値を判断する別のシステムが、このリストを見て、実行すべき単一の最善の選択肢を選び出します。学習におけるフィードバックループを断ち切ることで、研究者たちはエラーを増幅させる罠を回避できることを見出しました。彼らの三十種類の複雑なタスク（仮想迷路のナビゲーションからロボットアームの操作まで）にわたる実験では、この分離された手法が、伝統的な密結合のアプローチを一貫して上回りました。いくつかのケースでは、成功率は半分以下から、ほぼ70パーセントへと跳ね上がり、時には、学習している最中に学習者を向上させようとしないことが最善の方法であることもあると証明しました。

研究者が特定した問題の核心は、標準的な人工知能システムが固定されたデータからどのように学ぶかという点にあります。典型的なセットアップでは、システムには行動の価値を推定する「クリティック（批評家）」と、それを実行する方法を学ぶ「アクター（実行者）」が存在します。クリティックはアクターにどの動きが良いかを伝え、アクターはそれを実行しようとします。ロボットが環境と相互作用し続けられる現実世界のシナリオでは、これはうまく機能します。なぜなら、クリティックが間違いを犯しても、アクターの新しい試みがエラーを修正する新しいデータを生成するからです。しかし、オフライン学習では、データセットはロックされています。もしクリティックが危険な行動を価値があると誤解した場合、アクターはそれを実行しようとしますが、エラーを修正する新しいデータが届かないため、間違いは悪化していきます。アクターは、データがカバーしていない行動領域へと逸脱していきます。これは研究者が「分布外増幅ループ（out-of-distribution amplification loop）」と呼ぶ現象です。これを防ぐために、既存の手法はしばしばアクターを元のデータに近づけるよう強制しますが、これは困難なトレードオフを生み出します。アクターを制限しすぎると、安全なデータ内であっても最善の動きを見つけることができず、逆に自由にしすぎると、エラーのループに陥ってしまうのです。

これを解決するために、研究者たちはプロセスを切り離しました。彼らはアクターに対し、データセットにある行動の分布をモデル化することのみを行うよう訓練しました。クリティックがアクターの訓練に影響を与えることは一切させませんでした。この「プロポーザー（提案者）」モデルが訓練されると、それは凍結され、二度と変更されることはありません。ロボットが意思決定を行う瞬間、プロポーザーは、すべてが安全で観察されたデータに基づいている候補となる行動の小さなセットを生成します。その後、独立して価値を判断するように訓練された別のクリティックが、この特定のリストを見て、最もスコアの高い選択肢を選び出します。これにより、改善の作業は学習フェーズから決定の瞬間に移行しました。アクターの脳をより良くするために微調整するのではなく、システムは単にいくつかの安全な選択肢を生成し、審判に勝者を選ばせるのです。このアプローチにより、クリティックはアクターが危険な領域へ逸脱することを心配する必要がなくなりました。なぜなら、アクターが逸脱することを最初から許さないからです。クリティックは、凍結されたプロポーザーが提供する安全な選択肢の中からランク付けを行うだけで済みました。

この実験の結果は驚くべきものでした。研究者たちは、ロボットのアントが大きな迷路をナビゲートしたり、ヒューマノイドロボットが複雑な環境を移動したりといった、目標指向の行動を含む三十のタスクでこの手法をテストしました。彼らは、アクターとクリティックを連結させたままにする標準的な手法と比較しました。AntMaze-Largeと呼ばれるナビゲーションタスクにおいて、特定のタイプの価値学習者を用いた伝統的な手法は、約31パーセントの成功率を達成しました。研究者が同じ価値学習者を用いてこの分離されたアプローチを適用すると、成功率は49パーセントに上昇しました。立方体を用いた操作タスクでは、その改善はさらに劇的で、伝統的なアプローチの21パーセントに対し、分離された手法は79パーセントの成功率に達しました。おそらく最も驚くべきことに、研究者たちは、オフライン設定では通常苦戦する非常に単純で基本的な価値学習システムであっても、この分離された選択プロセスと組み合わせることで非常に効果的になることを発見しました。パズル解決タスクにおいて、単純な価値学習器を彼らの手法と組み合わせたものは、100パーセントの成功率を達成し、より複雑な標準的システムを圧倒しました。

研究はまた、システムがより多くの選択肢を見ることができるようになった場合に何が起こるかを調べることで、なぜこの分離がこれほど上手くいくのかを明らかにしました。研究者たちは、プロポーザーが単一ではなく、いくつかの候補を生成させることで、システムがデータの安全な領域をより徹底的に探索できることを発見しました。しかし、限界もありました。システムが生成する候補が多すぎると、リスクのある分布外の行動が含まれる可能性が高まり、価値判断システムがそれを誤って選んでしまう可能性があります。最適なバランスは、候補の数を調整することによって見出されました。これは、システム全体を再訓練することなく調整できる単一の設定です。この柔軟性は、安全と性能のバランスを修正するために高価な再訓練を必要とすることが多い伝統的な手法と比較して、大きな利点です。研究者たちは、このアプローチが大規模なロボットシステムにおいて特に有望であると指摘しています。巨大なモデルを再訓練することは計算コストが高いため、メインのモデルを凍結したまま、軽量な価値システムを使用して最終的な選択を行うことで、この手法はより高いパフォーマンスへの計算効率の高い道を提供します。

研究者たちは、この手法には境界があることも認めています。システムは、凍結されたプロポーザーが生成できる行動の中からしか選択できません。もし最善の行動が元のデータの中で一度も見られなかった場合、システムはそれを発明することはできません。しかし、可能な範囲内において、分離されたアプローチは、伝統的な結合された手法よりも一貫して優れた解決策を見つけ出しました。この研究は、学習と改善が単一のループの中で同時に行われなければならないという長年の信念は、静的なデータから学習する場合、必ずしも必要ではない、あるいは望ましくない可能性があることを示唆しています。安全な選択肢の生成と最善のものの選択を分離することで、研究者たちは、人工知能が自らの間違いに囚われることなく、過去から学ぶための、より明確で安定した道を提示しました。彼らの知見は、オフライン学習においては、学習中にアクターを賢くしようとするのをやめ、代わりに過去を単に記憶させ、行動の瞬間に別個の批判的な目による改善の役割を任せることが、最も効果的な戦略である可能性があることを示しています。