SCALAR: Learning and Composing Skills through LLM Guided Symbolic Planning and Deep RL Grounding

この論文は、LLM の計画と強化学習を双方向に結合し、RL の実行結果を LLM のスキル仕様にフィードバックして反復的に改善する「SCALAR」というフレームワークを提案し、Craftax 環境において既存手法を大幅に上回る性能を達成したことを報告するものです。

要約

SCALAR: AI にとっての「料理のレシピ」と「実践」の完璧な組み合わせ

この論文は、**「SCALAR」**という新しい AI の学習方法について書かれています。

簡単に言うと、「頭の良い AI（LLM）」と「経験豊富な職人（強化学習）」を組ませて、複雑なゲームやタスクをマスターさせるという仕組みです。

従来の AI は、高レベルな指示（「料理を作れ」）は得意ですが、具体的な手先の動き（「卵を割れ」「フライパンを温めろ」）まで指示すると失敗してしまいます。逆に、手先の動きだけを繰り返して覚える AI は、長い道のり（例：ダイヤモンドを採掘する）をゴールまでたどり着く前に挫折してしまいます。

SCALAR は、この 2 つの弱点を補い合うように設計されています。

---

🍳 比喩で理解する：「料理のシェフ」と「見習い」

この仕組みを理解するために、**「料理教室」**を想像してみてください。

1. 従来の方法（失敗しやすいパターン）

• 方法 A（LLM だけ）： 天才シェフ（LLM）が「美味しいパスタを作れ」と言いますが、具体的な手順は書けません。「卵を割れ」と言っても、どのくらい力を入れれば良いか、鍋の温度はどうか、といった**「手先の感覚」**がわかりません。
• 方法 B（経験だけ）： 見習い（強化学習 AI）が、何百万回も「卵を割る」練習をしますが、何のために割るのか、その先で何をするのかという**「全体像」**が見えていません。長いレシピ（例：パスタを作る）を全部一度に覚えようとして、途中で疲れて諦めてしまいます。

2. SCALAR の方法（完璧なチームワーク）

SCALAR は、**「天才シェフ（LLM）」と「見習い（RL）」**が互いに教え合いながら成長するサイクルを作ります。

• ステップ 1：シェフがレシピ（スキル）を提案する

  • LLM はゲームのマニュアルを読んで、「まず『木を集める』スキルが必要だ」「次に『テーブルを作る』スキルが必要だ」という**抽象的なレシピ（スキル）**を提案します。
  • 「材料は木が 3 本、石が 2 個必要」といった仮説を立てます。

• ステップ 2：見習いが実践してフィードバックする

  • 見習い（RL）がそのレシピ通りに練習します。
  • 「あ、木が 3 本じゃ足りなかった！4 本必要だった！」とか、「石を 2 個使うつもりが、実は 1 個で済んだ」という実際の結果をシェフに報告します。

• ステップ 3：シェフがレシピを修正する（ここが重要！）

  • シェフは「なるほど、私の予想は間違っていた。材料の量を修正しよう」とレシピを書き換えます。
  • これを繰り返すことで、AI は「完璧なレシピ」と「完璧な手先の動き」の両方を手に入れます。

---

🚀 SCALAR の 3 つのすごい技術

このシステムをより効率的にするための 3 つの工夫があります。

① 「軌道の分析」で勘違いを直す

• 何をする？ 見習いが初めて成功した瞬間の動きを詳しく分析します。
• なぜ必要？ シェフの最初の予想（「木が 10 本必要」）が、実際には「5 本で十分」だった場合、無駄な練習をさせないために修正します。
• 例え： 「この料理には塩が大さじ 3 必要だ」と言われたけど、実際に作ってみたら大さじ 1 で美味しかった。その事実を記録して、次からは大さじ 1 で作れるようにレシピを変える、ということです。

② 「フロンティア・チェックポイント」で時間を節約する

• 何をする？ 複雑なタスク（例：地下迷宮に入る）には、まず「木を集める」「道具を作る」という長い前準備が必要です。
• 問題点： 毎回最初からやり直すと、前準備に時間がかかりすぎて、肝心の「迷宮に入る練習」をする時間が足りません。
• 解決策： 前準備が完了した瞬間（フロンティア）に**「セーブポイント」**を作ります。次からは、そのセーブポイントから再開して、すぐに「迷宮に入る練習」ができます。
• 例え： 料理教室で「野菜を切る」練習が完了したら、その状態を「保存」しておき、次からは「炒める」練習からすぐに始められるようにする、ということです。

③ 「スキルを組み合わせて」複雑なことを可能にする

• 何をする？ 「木を集める」「石を採る」「道具を作る」といった小さなスキルを、ブロックのように組み合わせて、最終的な大きな目標（ダイヤモンド採掘）を達成します。
• 効果： 一つ一つのスキルが完璧に磨き上げられているので、複雑なタスクでも失敗しにくくなります。

---

🏆 結果：どんな成果が出た？

この方法を実験（Craftax というゲーム）で試したところ、驚異的な結果が出ました。

• ダイヤモンド採掘： 従来の最高の AI より1.9 倍も成功しました。
• 最深部への到達： 以前は「全く到達できなかった」最深のダンジョン（ノミッシュ・マイン）に、9% の確率で到達できました。
• 植物を育てるタスク： 従来の AI は 0% だったのが、SCALAR は90% 以上の成功率を達成しました。

💡 まとめ

SCALAR は、**「頭で考える AI」と「体で覚える AI」を、「失敗から学ぶフィードバックループ」**でつなぐ画期的な方法です。

これにより、人間が細かく指示しなくても、AI 自身が「何が必要か」「どう動けばいいか」を自分で発見し、修正しながら、複雑なタスクをマスターできるようになります。ロボットが家事をしたり、複雑な作業を自動化したりする未来への大きな一歩と言えるでしょう。

技術概要

SCALAR: LLM による記号計画と深層強化学習によるグラウンディングを通じたスキルの学習と構成

本論文は、大規模言語モデル（LLM）に基づくエージェントが、高レベルの行動 API を与えられた際には優れた性能を発揮する一方で、環境との低レベルな制御（モーター制御）を言語にグラウンディング（具体化）することに苦戦するという課題を解決するための新しいフレームワーク「SCALAR」を提案しています。

以下に、論文の技術的な概要を問題定義、手法、主要な貢献、結果、意義の観点から詳細にまとめます。

1. 問題定義

既存の LLM エージェント（例：Voyager）は、高レベルの API を生成することで複雑なタスクを遂行できますが、低レベルの制御を直接行うことはできません。逆に、強化学習（RL）は試行錯誤を通じてモーター制御を学習できますが、報酬が希薄で行動系列が長いタスクでは探索が困難です。
従来の LLM と RL の統合アプローチは、LLM が報酬関数やスキルを「ワンショット（一度きり）」で提案し、RL がそれを実行するというものでした。しかし、LLM の提案に誤り（過剰な資源要件や見落とし）があった場合、実行フィードバックが欠如しているため、エラーが修正されず学習が失敗するまま終わってしまいます。
課題: LLM の事前知識を活用しつつ、実行フィードバックを通じて仕様を反復的に修正・洗練させ、長期的でスパースな報酬を持つタスクを効率的に学習できるフレームワークの構築。

2. 手法：SCALAR (Self-Supervised Composition and Learning of Skills)

SCALAR は、LLM による記号的な計画と、深層強化学習による低レベル制御を双方向的に結合するフレームワークです。学習されたスキルライブラリを介して、両者をループさせます。

2.1 スキルの定義

スキルは 2 つのレベルで定義されます。

• オペレーター（記号的）: 抽象状態における遷移を定義します。事前条件（Preconditions）、正の効果（EFF+）、負の効果（EFF-、消費される資源など）を含みます。
• オプション（ニューラル）: 実際の MDP における制御方策（Policy）です。事前条件が満たされた状態で実行され、正の効果が発生するまで継続します。

2.2 学習ループの主要ステップ

1. LLM によるスキル提案:
   • LLM はゲームマニュアルやタスク記述を読み、スキル名、事前条件、効果、報酬関数を記号形式で提案します。
   • これらは「仮説」として扱われます。
2. 検証と計画（Planning）:
   • 提案されたスキルが、現在の到達可能な状態（Frontier）から実行可能か、かつ既存のスキルでは達成できない新しい効果を持つかをフィルタリングします。
   • 目標スキルを達成するために、既存のスキルを STRIPS 形式のプランナーで順序立てて構成します。
3. 方策学習（Policy Training）:
   • 必要な前提スキルを実行して目標スキルの事前条件を満たした状態に到達し、その後、目標スキルの RL 方策を学習します。
   • Frontier Checkpointing: 前提条件を満たした状態（フロンティア）で環境状態を保存し、エピソードのリセット時にその状態から再開する確率（$\alpha_{reset}$）を導入します。これにより、すでに学習済みの前提スキルの再実行を減らし、サンプル効率を向上させます。
   • 利点推定（Advantage Estimation）: 複数のスキルを構成する際、前方のスキルの利点は後続のスキルからの報酬も含めて計算され、下流のスキル成功に寄与する終了状態を学習させます。
4. 軌道分析（Trajectory Analysis）による仕様修正:
   • 学習が一定の成功率に達すると、成功した軌道（Trajectory）を分析します。
   • LLM に、提案された仕様と実際の軌道データを提示し、事前条件や資源消費量の誤りを修正させます（例：「鉄 3 個必要」と提案されていたが、実際は 1 個で成功していた場合、仕様を修正）。
   • 修正された仕様に基づいてスキルグラフを更新し、再学習を行います。これにより、LLM の誤った事前知識（Priors）が実行フィードバックによって補正されます。

3. 主要な貢献

1. 双方向 LLM-RL フレームワーク: 実行フィードバックを用いてスキル仕様を反復的に洗練させる閉ループ構造を提案。
2. Pivotal Trajectory Analysis: 成功軌道を分析することで、LLM の事前条件や効果の誤りを特定・修正するメカニズム。これにより、LLM がドキュメントから推測できない生存行動（睡眠、食事など）や正確な資源量を学習可能にします。
3. Frontier Checkpointing: 深い前提条件チェーンを持つタスクにおいて、学習フレームの大部分を目標スキルの学習に集中させるためのサンプル効率化手法。
4. オンライン適応性: 環境のダイナミクスが変化した場合（レシピ変更など）でも、軌道分析を通じて仕様を修正し、学習を継続可能にします。

4. 実験結果

環境として、オープンエンドな生存・クラフトゲーム「Craftax」とそのバリアント「Craftax-Classic」を用いて評価を行いました。

• Craftax-Classic（ダイヤモンド収集タスク）:
  • SCALAR はダイヤモンド収集成功率 88.2% を達成。
  • ベストのベースライン（PQN-RNN: 46.9%）に対して 1.9 倍 の性能向上。
  • 従来の PPO ベースライン（最高 35.4%）と比較しても大幅に優れています。
• Craftax（深いダンジョン探索）:
  • 「Gnomish Mines（ノームの鉱山）」への到達は、8 体のオークを倒すなどの複雑な前提条件が必要です。
  • 既存の手法は到達率 0% でしたが、SCALAR は 9.1% の到達率を達成しました。
• アブレーション研究:
  • 軌道分析なし: ダイヤモンド収集率が 67.3% に低下し、Gnomish Mines 到達は 0% になりました。LLM の誤った資源見積もり（過剰な資源収集）が学習効率を阻害することが示されました。
  • Frontier Checkpointing なし: 深い前提条件チェーンを持つタスクでは、フレームの大部分が前提スキルの再実行に費やされ、目標スキルの学習が不十分になります。

5. 意義と結論

SCALAR は、LLM の高レベルな推論能力と RL の低レベルな制御能力を効果的に統合する新しいパラダイムを示しました。

• 自動化の促進: 報酬設計やスキル定義の人間による手作業を大幅に削減し、複雑な長期的タスクに対する RL エージェントの学習を可能にします。
• 誤り耐性: LLM の初期提案が不完全または誤っていても、実行フィードバックを通じて自己修正できるため、ロバスト性が高いです。
• 応用可能性: ロボティクス（把持、配置、道具使用）、UI 自動化、産業プロセス制御など、構造化されたスキル構成が求められる分野への展開が期待されます。

本論文は、LLM を単なるプランナーとしてではなく、実行結果に基づいて自身の知識を修正・洗練させる「学習する計画者」として機能させることで、長期的でスパースな報酬環境におけるエージェントの能力を飛躍的に向上させることを実証しました。