💻 computer science

Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning

本論文は、増分知識（InK）と信念世界木探索を統合することで、更新可能な記号的プランニングと報酬整形されたニューラル学習を可能にし、それによって疎な報酬かつ長期的なホライゾンを持つナビゲーションタスクにおけるサンプル効率を大幅に向上させる、ニューロシンボリック階層型強化学習フレームワークを提案する。

原著者： Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

公開日 2026-08-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で変化する迷路をナビゲートするロボットに教えていると想像してください。人工知能の世界では、これは「強化学習（Reinforcement Learning, RL）」として知られる古典的な課題です。これは犬の訓練に似ています。正しい行動をしたときに報酬（おやつ）を与えると、犬はその行動を繰り返すことを学びます。しかし、ここに落とし穴があります。もし迷路が巨大で、おやつが非常に遠くに隠されている場合、犬は偶然道を見つけるまで、何百万年もさまよい続けるかもしれません。これが「サンプル効率（sample efficiency）」の問題、つまり、AIが学習するためにどれほどの試行回数が必要かという問題です。

これを解決するために、科学者たちはしばしば「階層型強化学習（Hierarchical Reinforcement Learning, HRL）」を用います。ロボットに一度にすべてのステップを理解させようとする代わりに、「ボス」と「ワーカー」を与えます。ボス（高レベル・プランナー）は「キッチンへ行く」といった大きな目標を決定し、ワーカー（低レベル・コントローラー）はそこへ到達するための細かな筋肉の動きを決定します。通常、ボスは決して変わることのない、あらかじめプログラムされた硬直的なマップです。しかし、もし迷路に、ぶつかった時に初めて現れる隠れた壁があったらどうでしょう？硬直したボスは、出現したばかりの壁に向かって歩き続け、時間を無駄にしてしまいます。この論文では、よりスマートな方法、つまり「動きながらマップを学習し、ワーカーが発見した情報に基づいてボスのマップをリアルタイムで更新する」ロボットについて探求しています。

この論文の核心的なアイデア：進みながら学ぶロボット

著者であるSubrat Prasad Panda氏とそのチームは、**InK（Neurosymbolic HRL with Incremental Knowledge）**と呼ばれる新しいシステムを提案しています。名前を分解してみましょう。「ニューロシンボリック（Neurosymbolic）」とは、2種類の脳を混ぜ合わせていることを意味します。「ニューラル（神経）」の部分は、物理的な動きを司る柔軟な学習脳（ディープラーニングのニューラルネットワークのようなもの）です。「シンボリック（記号的）」の部分は、チェスプレイヤーが先読みするように、計画を司る論理的でルールに基づいた脳です。

従来のシステムでは、論理的な脳はロボットが動き出す前に、世界の完璧なマップを構築します。それは、家を出る前にロンドンの地下鉄路線図をすべて暗記しようとするようなものです。もし路線が閉鎖されたり、新しい駅ができたりすれば、あなたのマップはやり直すまで役に立ちません。著者らは、これが非効率的であると主張しています。代わりに、彼らのロボットは**増分知識（Incremental Knowledge, InK）**を使用します。ロボットは白紙の状態、あるいは大まかな推測からスタートします。ワーカーとしてのロボットが動こうとして壁にぶつかると、それはボスに「おい、ここに壁があるぞ！」と伝えます。ボスは即座にマップを更新し、最適な経路を再計算します。これは、交通渋滞に遭遇した瞬間にルートを更新するGPSを持っているようなものであり、新しい地図が印刷されるのを待って立ち往生することはありません。

「信念世界（Belief World）」とツリー探索

論文では、不確実性を扱うための巧妙なトリックを紹介しています。想像してみてください、あなたは暗い部屋の中にいて、どこかに必ず壁が一つあることは分かっていますが、それがどこにあるかは分かりません。左にあるかもしれないし、右かもしれない、あるいは真ん中かもしれません。ロボットは単に一つの推測を選ぶのではなく、「信念集合（belief set）」、つまり壁が存在しうるすべての可能性のある世界のリストを保持します。

この不確実性の霧の中で意思決定を行うために、著者らは**信念世界ツリー探索（Belief World Tree Search, BWTS）**と呼ばれるアルゴルズムを開発しました。あなたの頭の中に巨大な木が生えていると考えてください。幹は現在のあなたの位置です。方向を選ばなければならないたびに、木は枝分かれしていきます。しかし、ここでのひねりは、単に一つの経路を推測するのではなく、BWTSは数千もの可能な未来を同時にシミュレートすることです。「もし壁がここにあったら、最善の動きは何か？もし壁があそこにあったら、最善の動きは何か？」と問いかけます。そして、それらすべての可能性において平均的に最も優れた結果となる動きを選択します。

この論文は、標準的な「ランダムな」推測手法（古いアルゴリズムのように、何が起こるかを見るためにサイコロを振るようなもの）を使用することに対して、明確に反対しています。著者らは、迷路におけるランダムな推測はしばしばロボットを円を描くように歩かせ、時間を浪費させることを発見しました。代わりに、BWTSは「戦略的なロールアウト（strategic rollouts）」を使用します。つまり、スマートで事前に計画された戦略（例えば「壁に当たったら常に左を掃引する」など）を用いて経路をシミュレートし、迷うことなく迅速に最適なルートを見つけ出します。

彼らが発見したこと：スピードと賢さ

チームは、単純なグリッドから、多くの関節を持つ仮想的な「アリ」ロボットを備えた複雑な3D環境に至るまで、コンピュータ・シミュレーションによる迷路を用いたテストを行いました。

圧倒的なスピード向上: 古い「先にマップを作る」手法（論文内ではRGLと呼ばれます）と比較して、新しいInK法は学習において驚異的に速いことが分かりました。「Four Rooms」迷路において、古い手法はゼロから初めてゴールに到達するまでに約2,080ステップを必要としましたが、新しいInK法はわずか64.9ステップで済みました。これは、試行回数が約30倍から100倍少ないことを意味します。
時間の節約: 時間の差はさらに顕著でした。古い手法は最初の経路を見つけるだけで96秒以上かかりましたが、新しい手法はそれを0.02秒で行いました。
事前知識の力: ロボットに世界のヒント（例：「どこかに壁があるが、それがどこかは分からない」）が与えられたとき、BWTSアルゴリズムは真価を発揮しました。これらのケースでは、標準的なプランナーと比較して、使用するサンプル数（試行回数）を半分に抑えられましたが、複雑な計算のためにコンピュータの処理時間は少し多くかかりました。
複雑な環境: システムは、29次元の動きを持つ高次元の課題である「Ant-Maze U-Room」でも機能しました。古い手法はマップを構築するために約10,000ステップを必要としましたが、新しい手法は1,507ステップ（あるいはBWTSプランナーを使用した場合、1,134ステップ）でゴールに到達しました。

彼らが見つけられなかったこと（および拒絶したもの）

論文では、この特定のセットアップにおいて何がうまく機能しないかについても注意深く述べています。彼らは、世界の各部分が独立していると仮定して不確実性を扱おうとするBAMCPという人気のアルゴリズムをテストしました（例：キッチンの壁は寝室の壁とは無関係であると仮定すること）。著者らは、このアプローチが彼らの迷路テストにおいて惨めな失敗に終わったことを発見しました。壁は構造的に連結しているため（もしここに壁があれば、あそこには壁が存在できない）、独立性の仮定は誤った判断と時間の浪費を招きました。BAMCPは平均で28〜40ステップを要したのに対し、新しい手法は21〜23ステップであり、かつ動作も遅かったのです。

また、著者らは、彼らの手法は高速であるものの、BWTSアルゴリズムは計算負荷が高いことも指摘しています。もし世界に関する事前知識を持っていないのであれば、よりシンプルな「D*」プランナー（標準的な増分プランナー）の方が高速であり、十分機能します。特定の構造的なヒントを利用して世界を攻略したい場合にのみ、高度なBWTSツリー探索が必要となります。

結論

この論文は、柔軟な学習脳と、リアルタイムでマップを更新する論理的プランナーを組み合わせることで、ロボットは以前よりもはるかに速く、複雑で未知の世界をナビゲートすることを学べることを示唆しています。彼らは単にロボットをシミュレートしたのではなく、これらの特定の迷路シナリオにおいて、新しい手法が従来の「まずすべてを学ぶ」アプローチを一貫して上回り、膨大な時間と労力を節約できることを証明しました。これは、ロボットが新しい家を探索し、家具がどこにあるかを学び、すべての部屋のマニュアルを必要とせずにキッチンを見つけるための、大きな一歩です。

技術要約：増分知識を用いたニューロシンボリック推論によるサンプル効率の高い階層型強化学習

1. 問題提起

深層強化学習（DRL）エージェントは、報酬が疎（sparse）で長期的な推論を必要とする環境において、しばしば膨大なサンプル複雑性の問題に直面し、苦戦します。階層型強化学習（HRL）は、タスクを異なる抽象度レベルに分解することでこの問題を軽減しますが、標準的なアプローチは通常、非増分知識（non-InK）パラダイムに依存しています。SoRBやRGLといったこれらの手法では、高レベルのシンボリックプランナーが、目標指向の行動を開始する前に、網羅的な探索を通じて完全かつ静的な抽象世界モデルを構築しておく必要があります。これは根本的な非効率性を生みます。つまり、エージェントは特定の目標に関わらず、環境全体を探索しなければならないのです。

さらに、ニューロシンボリックHRLにおいては、高レベルのシンボリックプランナーと低レベルのニューラルコントローラーの間にセマンティック・ギャップ（意味的な乖離）が存在することがあります。高レベルプランナーはある行動が可能であると仮定しますが、低レベルのニューラル方策（多くの場合、独立して訓練されているか、あるいは異なる環境で訓練されている）は、動的な制約、確率性、または未モデル化の障害物によって、その行動の実行に失敗することがあります。既存のニューロシンボリックなアプローチには、低レベルの実行フィードバックに基づいて高レベルの世界モデルを更新するメカニズムが欠けています。逆に、ロボティクスにおける古典的な増分知識（InK）アプローチ（例：Active SLAM, D*）は、実行中に世界モデルを更新しますが、通常は両レベルにおいてシンボリックなコンポーネントを想定しており、ニューラルな低レベルコントローラーの方策依存的なダイナミクスに対処できていません。

また、構造的な事前知識（例：「未知の場所に正確に1つの壁が存在する」）が存在する場合、Dやベイズ適応型MDPソルバー（BAMCP）のような現在のプランニングアルゴリズムは最適ではありません。Dは現在の観測に基づいて再計画を行いますが、平均的なパフォーマンスを最適化するために「可能性のある世界の集合（信念集合）」を考慮しません。BAMCPは状態と行動の遷移間の独立性を仮定していますが、これは一つの障害物の位置が他の障害物の可能性を制約するという構造的制約を捉えるには不十分です。

2. 手法

著者らは、実行トレースに基づいて世界モデルを継続的に更新しながら、シンボリックなプランニングとニューラル制御を統合するフレームワークである増分知識（InK）を用いたニューロシンボリックHRLを提案しています。

2.1 InKを用いたニューロシンボリックHRL

本フレームワークは、2レベルの階層を採用しています：

高レベル（シンボリック）： 環境をシンボリックな状態と行動の集合として表す、更新可能な抽象世界モデル（ $M$ ）を保持します。このモデルは、サブゴールを生成するために増分プランナー（例：D*）を用いてプランニングを行います。極めて重要な点は、このモデルが低レベルの実行からのフィードバックに基づいてリアルタイムで更新されることです。
低レベル（ニューラル）： 目標条件付きニューラル方策（ $\pi_l$ ）を用いて、高レベルから提供されたサブゴールに到達するための連続的な運動制御を実行します。これはセンサーとして機能し、その成功と失敗が、高レベルモデルを更新するために必要な実行トレース（ $\rho$ ）を提供します。
協調： 高レベルプランナーは低レベルエージェントにサブゴールを指示します。もし低レベルエージェントが失敗した場合（例：予期せぬ壁に衝突した場合）、モニターがこれを検知し、高レベルモデルに新しい制約を反映するように更新します。その後、プランナーは再計画を行います。これにより、事前の網羅的な探索の必要性が排除され、最初のエピソードから目標指向の行動が可能になります。

2.2 信念世界ツリー探索（BWTS）

標準的な増分プランナー（D*など）が、可能性のある世界の集合（ $W_0$ ）に対する構造的な事前知識を活用できないという限界に対処するため、著者らは**信念世界ツリー探索（Belief World Tree Search: BWTS）**を導入しています。

問題定式化： エージェントは、真の世界 $W_{true} \in W_0$ において動作します。ここで $W_0$ は、構造的な事前知識（例：「壁が1つ存在するが、その位置は不明」）をエンコードした有限の可能性のある世界の集合です。目標は、すべての世界における平均コストを最小化する方策 $\pi$ を見つけることです。
ツリー構造： BWTSは、2種類のノードを持つ探索ツリーを構築します：
- 決定ノード（Decision Nodes）： エージェントの行動の選択を表します。
- チャンスノード（Chance Nodes）： 行動の結果（例：経路が壁によって塞がれているか否か）を表し、信念集合 $W$ を部分集合（壁が存在する $W^-$ と、存在しない $W^+$ ）に分割します。
戦略的ロールアウト（Strategic Rollouts）： 標準的なモンテカルロ木探索（MCTS）がランダムなロールアウトを使用するのに対し、BWTSは戦略的ロールアウトを採用しています。これは、現在の信念集合内のすべての世界に対して、固定された決定論的な戦略（例：「左へ掃引」「右へ掃引」「目標へ移動」）を評価し、ノードの値を推定します。これにより、分散を抑え、確率的なロールアウトでよく見られるループを回避します。
選択と拡張： アルゴリズムは、探索と利用のバランスを取るために、上限信頼限界（UCB）スタイルの公式を使用します。不確実性を解消するために、より大きな信念集合を持つブランチを優先的に拡張します。
収束： 理論上、ツリーが完全に展開される限り、BWTSは反復回数が増えるにつれてInK問題に対する最適方策へと収束します。

3. 主な貢献

InKを用いたニューロシンボリックHRL： ニューラルな低レベルコントローラーによって導かれる、更新可能な世界モデルを維持するシンボリックな高レベルプランナーを備えた階層型フレームワークの提案。このアプローチは、低レベルの実行フィードバックを使用して高レベルの抽象化を洗練させることで、事前の網羅的な探索なしにサンプル効率の高い学習を可能にし、セマンティック・ギャップを埋めます。
信念世界ツリー探索（BWTS）： 構造的な依存関係を持つ可能性のある世界の集合に対して、平均的なパフォーマンスを最適化するプランニングアルゴングリズムの開発。BWTSは、MCTSを適応させることで、BAMCPの独立性仮定やD*の信念集合の活用不足という課題を克服し、構造的な事前知識を持つ場合の未知のダイナミクスを扱います。
実証的検証： 高次元の連続制御（Ant-Maze）を含む様々なナビゲーションタスクにおいて、InK HRLが非InKのベースライン（具体的にはRGL）に対して、サンプル効率において大幅に優れていることを実証しました。

4. 実験結果

著者らは、Point-Maze環境（Four Rooms, Medium Maze, Hard Maze）および高次元のAnt-Maze U-Roomを用いたナビゲーションタスクで彼らの手法を評価しました。

InK vs. Non-InK (RGL):
- サンプル効率： InKは、ゼロからの開始（事前知識なし）において、RGLよりも30〜100倍少ないサンプルで目標に到達しました。例えば、Hard Mazeでは、RGLが約17,456ステップを要したのに対し、InKは約209ステップで目標に到達しました。
- 訓練効率： RGLが広範な訓練フェーズ（10万ステップ以上）を完了した後でも、InK（知識ベースを構築するためにわずか75個の目標に到達した後）の方が効率的であり、目標あたりのサンプル数は18%少なく、時間は20倍高速でした。
- 高次元制御： 29次元のAnt-Mazeにおいて、InKはD*を使用して約1,500ステップ、BWTSを使用して約1,134ステップで目標に到達しましたが、非InKのベースラインは完全な抽象モデルを構築するために約10,000ステップを必要としました。
シンボリックプランナーの比較 (D vs. BWTS vs. BAMCP):*
- BWTS vs. D：* 構造的な事前知識（例：単一の水平壁）を持つ合成グリッドワールドにおいて、BWTSは、バックトラッキングを避けるために信念集合を活用することで、D*よりも低い期待コスト（例：水平壁のシナリオで15.7%の改善）を達成しました。しかし、明確な構造的利点がない複雑なシナリオ（例：混合型の壁）では、BWTSの実行時のオーバーヘッドが、得られる利得に対して大きくなりました。
- BWTS vs. BAMCP： BAMCPは、確率的なロールアウトへの依存と、構造的依存関係（例：「もしAに壁があれば、Bには壁がない」）をモデル化できないことにより、パフォーマンスが悪化しました（D*の約24ステップに対し、しばしば28ステップ以上）。BWTSの戦略的ロールアウトと明示的な構造制約のモデリングは、優れた性能をもたらしました。
- 事前知識： 事前知識（例：既知の3種類の迷路タイプ）がある場合、InK-BWTSはInK-D*と比較してサンプル数を半減させましたが、プランニングフェーズにおける計算実行時間は増加しました。

5. 意義と主張

本論文は、InKを用いたニューロシンボリックHRLが、複雑で報酬が疎な環境において、サンプル効率の高い学習を実現するための実用的なアプローチを提供すると主張しています。構造的な推論を行うシンボリックプランナーと、適応的なニューラルコントローラーを組み合わせることで、このフレームワークは、エージェントが限定的な知識を持って行動し、新しい情報を獲得するにつれて意思決定を洗練させることを可能にし、人間の推論を模倣します。

著者らは以下を強調しています：

サンプル効率： このアプローチは、Point Maze環境において、最先端の非InK手法と比較して100,000ステップを超えるサンプル効率の向上をもたらします。
不確実性下での最適性： BWTSは、信念世界上で平均的に最適にプランニングする方法を提供し、増分プランナー（事前知識を無視する）とベイズプランナー（独立性を仮定する）の両方が残した空白を埋めます。
汎用性： 本フレームワークは、目標条件付きの低レベル方策が事前訓練または学習されている限り、低次元および高次元の連続制御問題の両方に適用可能です。

結論として、BWTSは計算上のオーバーヘッドを伴うものの、構造的な事前知識が利用可能な場合にはそのトレードオフは正当化されると述べています。また、InKフレームワーク自体は、そのような事前知識がない場合でも、従来のHRLと比較して大幅な効率向上を提供します。今後の課題として、InKを操作タスクに拡張すること、および構造的な事前知識と確率的な事前知識を単一のアルゴリズムに統合することが挙げられています。