🤖 machine learning

HERAKLES: Hierarchical Skill Compilation for Open-ended LLM Agents

HERAKLESは、達成可能なサブゴールを選択するための高レベルLLMポリシーと、成功した振る舞いを再利用可能なスキルへとコンパイルする低レベルコントローラーを組み合わせた階層型エージェントであり、部分観測かつ報酬が疎な環境において、効率的なオープンエンドの探索とスキルの構成を可能にします。

原著者： Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

公開日 2026-07-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

自己学習するロボットの探求

コンピュータが人間によって書かれた厳格なレシピに従うだけでなく、自ら料理を作り、構築し、探索することを学び、日々賢くなっていく世界を想像してみてください。これは、人工知能における「オープンエンド学習（開かれた学習）」という夢です。長い間、AIは巨大な教科書を暗記しているものの、本に載っていない質問をされるとフリーズしてしまう学生のような存在でした。しかし、私たち人間は異なります。私たちは単に暗記するのではなく、スキルのライブラリを構築していきます。自転車の乗り方を学ぶとき、私たちは単にバランスを取る方法を学ぶのではありません。ペダルを漕ぐ、ハンドルを切る、ブレーキをかけるといった個別のツールを学び、それらを後で組み合わせてオートバイの乗り方を学ぶための道具として活用するのです。

これからお読みいただく論文は、この分野における特定の課題に取り組んでいます。それは、「どうすればAIエージェントに、行き詰まることなく永遠に学習し続けさせる方法か？」という問題です。その鍵となるアイデアは「階層的学習」です。これは、上司と部下がいる会社のようなものだと考えてください。上司（高レベルの脳）は重労働を行うのではなく、代わりに大きな、恐ろしいプロジェクトを、部下（低レベルの脳）が対処できる小さく管理可能なタスクへと分解します。部下はそれらのタスクを実行し、一度それらに習熟すると、それらのタスクは上司がたった一言の命令で指示できる「スキル」となります。この論文では、混沌とした新しい挑戦の山を、整理された整然とした能力のツールボックスへと自動的に変えていくロボットの構築方法を探求しています。

HERAKLESの物語：自らのツールボックスを構築するロボット

自己学習を続けるために設計された、新しいタイプのロボットの脳、HERAKLESを紹介します。あなたが広大で謎めいた森を征服しようとしている若い冒険者だと想像してください。最初は、一歩ずつしか進む方法を知りません。遠くの山に到達したい場合、あらゆるステップをゼロから考え出さなければならず、それは非常に疲れ、時間がかかります。最初の丘に到達する前に、疲れ果てて諦めてしまうかもしれません。

HERAKLESは、2つの明確な役割を持つスマートなチームとして機能することで、この問題を解決します。第一の役割は、非常に賢く言語に精通したAIである将軍（高レベル・ポリシー）です。第二の役割は、実際に体を動かし、アイテムを拾い上げる、高速で効率的なロボットである兵士（低レベル・ポリシー）です。

魔法がどのように起こるのか、その仕組みを見てみましょう：

1. 将軍が計画し、兵士が実行する
将軍が「石のピッケルを作る」という大きな目標を見たとき、一度にすべてをやろうとはしません。代わりに、将兵がすでに何ができるかを確認します。おそらく兵士は「木を伐る」ことや「テーブルを置く」ことを知っています。将軍は大きな目標を次のように分解します。「まず、木を伐れ。次に、テーブルを置け。最後に、ピッケルを作れ」。将軍はこれらの小さな命令を兵士に与えます。

2. 「スキルのコンパイル」のトリック
ここがHERAKLESの非常に巧妙な点です。兵士が「木を伐る」といったタスクを完了するたびに、将軍はそれをただ忘れるわけではありません。将軍はその一連の動き全体を取り込み、一つの再利用可能なスキルへと「コンパイル（編集・集約）」します。これは、兵士が自転車の乗り方を習得すると、突然、将軍が「ペダルを漕いで、ハンドルを切って、バランスを取って、またペダルを漕いで……」と言う代わりに、「川まで走れ」と言えるようになるようなものです。

ロボットが学習を進めるにつれ、そのスキルのツールボックスは成長していきます。将軍は、より大きく、より高度な「オプション」を利用できるようになります。家を建てるために100の小さなステップを踏む代わりに、将軍は「壁を作る」（兵士がすでに習得したスキル）と言ったり、「屋根を作る」（別の習得済みスキル）と言ったりするだけで済むようになります。これにより、ロボットはより速く、より効率的になります。

3. 安全フィルター
将軍は、兵士がまだ「できない」ことを知るほど賢明です。もし兵士がまだ「火を起こす」ことを学習していなければ、将軍はそれを命じることはありません。なぜなら、それは失敗と混乱を招くだけだからです。システムは特別な「能力チェッカー」を使用し、将軍に対して、兵士が成功する可能性が高い目標のみを提示します。これにより、学習プロセスがスムーズに保たれ、ロボットが不可能なタスクで行き詰まるのを防ぎます。

研究結果

研究者たちは、デジタル世界であるCrafter（資源を集め、生き残るためにアイテムを作成する必要がある、Minecraftの2D版のような世界）でHERKALESをテストしました。目的は、HERKALESが人間の教示なしに、時間の経過とともに、より困難なタスクを実行できるようになるかどうかを確認することでした。

彼らはHERKALESを他のAI手法と比較しました：

「何でもこなそうとする」ロボット： 毎回ゼロからあらゆる小さなステップを学ぼうとするロボット。このロボットは、複雑なタスクの学習に時間がかかりすぎるため、すぐに停滞してしまいました。
「凍結された脳」を持つロボット： スマートな脳を持っているものの、体のスキルは固定されており、新しい物理的なコツを一切学習しないロボット。
「隠されたコード」を持つロボット： スキルを学習しようとするが、論理的な組み合わせが難しい、明確な言語ではなく秘密のコードを使用するロボット。

結果：
HERKALESは、長期的な観点で明確な勝利を収めました。他のロボットが簡単なタスク（木に向かって歩くなど）を学習した後に停滞した一方で、HERKLESは向上し続けました。トレーニングの終了時（ゲーム内での25万ステップ後）、HERKLESは石のピッケルのような複雑なアイテムを作成することを学習していましたが、他のロボットはまだ基本的なタスクで苦戦していました。

論文は、HERKALESが「サンプル効率」において非常に優れていること、つまり、より少ない試行回数でより多くを学習できることを示唆しています。また、驚異的な柔軟性も見せました。研究者がHERKALESに対し、「木を1つ集める」ではなく「木を4つ集める」といった、見たことのない指示を出したり、「木を集める」の代わりに「木を獲得する」といった類義語を使ったりしても、ほぼ毎回成功しました。また、「木のピッケル」を作ることを学んでいたことから、それを応用して「木の剣」を作る方法さえも理解することができました。

なぜこれが重要なのか

著者らは、この手法が、AIが真に自律的に成長し適応するための大きな一歩であると示唆しています。AIに自身のスキルのライブラリを構築させ、そのスキルを使ってさらに困難な課題に取り組ませることで、HERKALESは多くの他の学習システムを悩ませる「停滞」という問題を回避しています。

しかし、論文は限界についても認めています。現在、将軍はテキストのみを理解し、画像は理解できないため、世界を直接見ることはできません。また、システムは開始時に目標のリストを必要とし、目標自体を自ら発明することはありません。しかし、経験を「コンパイル」して、新しく再利用可能なスキルへと変えていくロボットという概念は、非常に強力なものです。それは、AIエージェントが単に過去を暗記するのではなく、終わりのない学習の未来に向けて基礎を積極的に築いていく未来を示唆しています。

技術要約: HERAKLES – オープンエンドなLLMエージェントのための階層的スキルコンパイル

問題提起

本論文は、疎な報酬（sparse rewards）と大規模かつ構造化されたゴール空間を特徴とする、部分観測環境におけるオープンエンドな学習の課題に取り組んでいる。近年の基盤モデルは静的なタスクにおいて人間レベルの性能を達成しているが、固定されたデータセットに依存しているため、**複雑性の生涯にわたる成長（lifelong growth in complexity）**に苦戦している。対照的に、人間は複雑なタスクを、以前に内面化した単純なサブスキルへと分解することで、多様なスキルを継続的に獲得していく。

既存のオープンエンド・エージェント（VoyagerやAutotelicLLMなど）は、しばしばゴールの複雑性の組み合わせ爆発に直面する。エージェントがますます複雑なゴールに遭遇するにつれ、個々の新しいゴールを単独で習得するために必要な時間は急速に増大し、学習の進捗が停滞してしまう。既存の階層型強化学習（HRL）手法は、多くの場合、定義済みのスキルセットや事前学習されたポリシーに依存しており、これらは、専門家の介入なしに自律的にスキルレパートリーを発見・拡張しなければならない真のオープンエンドなエージェントとは相容れないものである。

核心となる問題は、いかにしてエージェントが、静的なデータセットや専門家が定義したプリミティブに頼ることなく、習得した振る舞いから新しいスキルを効率的に構成することで、拡大するゴール空間に対して継続的に適応できるかである。

手法: HERAKLES

著者らは、高レベルポリシーと低レベルコントローラーを共同で学習する階層型エージェントであるHERAKLES（HiERarchicAl sKill compiLation for open Ended llm agentS）を提案している。このシステムは、ゴール空間が**前提条件の関係（prerequisite relations）**を許容し、タスクをサブゴールへと分解できるという仮定に基づいて動作する。

アーキテクチャ

エージェントは、同時に訓練される2つのポリシーで構成される：

高レベルポリシー ( $\pi_{HL}$ ): 大規模言語モデル（LLM）（具体的にはLoRAアダプターを用いたMistral 7B）として実装されている。これはプランナーおよびエクスプローラーとして機能し、観測とタスクゴールから導出されたテキストプロンプトに基づき、サブゴールを選択する。これは、低レベルポリシーが確実に達成できると推定される「呼び出し可能（callable）」なオプション（サブゴール）の制限された集合に対して操作を行う。
低レベルポリシー ( $\pi_{LL}$ ): 軽量で計算効率の高いニューラルネットワーク（ResNetベース）であり、原始的なアクションを実行する。これはゴールを直接解決するように訓練され、成功した軌跡を再利用可能なスキルへと段階的に**コンパイル（編纂）**する。

主要なメカニズム

階層的コンパイル（Hierarchical Compilation）: 階層型エージェントがゴール $g$ を正常に解決すると、原始的なアクションの全軌跡が $\pi_{LL}$ に「コンパイル」される。一度習得されると、 $\pi_{LL}$ は $g$ を単一のスキルとして直接実行できるようになる。これにより、 $\pi_{HL}$ はこの新しいスキルをより複雑なゴールのためのプリミティブとして呼び出すことができ、結果として高レベルプランニングにおける信号対雑音比（signal-to-noise ratio）を効果的に低下させる。
適応的サブゴールフィルタリング（Adaptive Subgoal Filtering）: $\pi_{HL}$ が達成不可能なサブゴールを選択することを防ぐため、能力推定器（competency estimator） ( $C_\theta$ ) がゴール空間をフィルタリングする。低レベルの軌跡に基づいて訓練されるこの推定器は、現在の状態から特定のゴールを達成できる確率を予測する。 $\pi_{HL}$ は、推定成功確率が高いゴールのみをサンプリングするため、学習の安定性が確保される。
二レベル最適化（Bilevel Optimization）: システムは**スタッケルバーグ構造（Stackelberg structure）**を持つ二レベル問題としてフレーム化されている。 $\pi_{HL}$ $π_{H L}$ は $\pi_{LL}$ $π_{LL}$ が目にする状態とサブゴールの分布を形成し、 $\pi_{LL}$ $π_{LL}$ の実行が、高レベルの分解の最適性を決定する。これら2つのポリシーは同時に訓練される：
- $\pi_{HL}$ は、高レベルの決定軌跡に対してオンポリシーRL（POAD）を通じて訓練される。
  数式： $\pi_{HL}$ は、高レベルの決定軌跡に対してオンポリシーRL（POAD）を通じて訓練される。
- $\pi_{LL}$ は、完全な階層的ロールアウト（スキルコンパイル用）とサブゴールセグメント（スキルの強化用）の2種類のデータを用いたオフポリシーRL（AWR）を通じて訓練される。

訓練ダイナミクス

訓練プロセスは自動的なカリキュラムに従う。初期段階では、 $\pi_{LL}$ は原子的なアクションのみを習得する。ゴールを習得するにつれて、それらはレパートリーに追加される。その後、 $\pi_{HL}$ はこれらの習得済みゴールをビルディングブロックとして使用し、より複雑な目的を達成する。これにより、低レベルポリシーの能力向上が高レベルポリシーの有効なアクション空間を拡大させるというフィードバックループが形成される。

主な貢献

共同学習フレームワーク: 事前に指定されたスキルや広範な事前学習を必要とせずに、LLMベースの高レベルポリシーと低レベルコントローラーを共同訓練する、オープンエンドなエージェントのための手法。
動的スキルコンパイル: 成功した振る舞いが自動的に低レベルポリシーへと蒸留されるメカニズムであり、エージェントの能力成長に伴うスケーラブルなスキル構成を可能にする。
適応的フィルタリング: 能力ベースのフィルタリングメカニズムにより、高レベルポリシーの探索空間を達成可能なサブゴールに限定し、複雑なオープンエンド環境における学習を安定させる。
言語構造化抽象化: 自然言語の構成的特性を利用してゴール空間を定義し、ゴール間の前提関係の発見を促進する。

実験結果

本手法は、アーティファクトの収集とクラフト（製作）を必要とする17のゴールを持つ達成ツリーを備えた、プロシージャル生成された2D世界であるCrafter環境で評価された。

サンプル効率: HERAKLESは、長期的な観点でベースライン（POAD, FUN, BOSS）を上回った。ベースラインは初期段階ではより速く進展したが、簡単なゴールを習得した後に停滞した。一方、HERAKLESは、より多くのゴールが $\pi_{LL}$ にコンパイルされるにつれて、緩やかで持続的な改善を示し、ベースラインが発見できなかった複雑なゴール（例：「石のピッケルを作る」）に最終的に到達した。
汎化性能: HERAKLESは、未知のゴールに対してベースラインよりも優れた汎化性能を示した：
- 構成的汎化（Compositional Generalization）: 知っているタスクの繰り返しを必要とするゴール（例：「木を1つ集める」に対し「木を4つ集める」）において高い成功率を維持したが、ベースラインは大幅に失敗した。
- 同義のゴール: 同義の動詞を効果的に処理した。
- 軌跡が類似したゴール: 類似した前提構造を持つ未知のゴールへのスキルの転移に成功した（例：「木のピッケルを作る」を学んだ後に「木の剣を作る」）。
スキル拡張: $\pi_{HL}$ から呼び出し可能な低レベルスキルの数は訓練中に着実に増加し、システムの再利用可能なスキルライブラリ構築能力を裏付けた。

意義と主張

本論文は、HERAKLESが、生涯学習が可能なオートテリック（自己目的的）エージェントへの実行可能な道筋を提供すると主張している。LLMの推論および構成能力を、特化した低レベルコントローラーの実行効率と組み合わせることで、システムはオープンエンドな学習を停滞させる「複雑性の壁」を克服する。

著者らは、彼らのアプローチが以下の点において優れていると強調している：

専門家が定義したスキルや事前学習されたポリシーに依存しない。
習得したゴールを将来の学習のためのプリミティブとして扱うことで、構成的汎化を可能にする。
過去の学習を再利用可能なスキルへとアモータイズ（償却）することで、オープンエンドな設定におけるサンプル効率を向上させる。

本研究は、**人工汎用知能（AGI）**への一歩として提示されており、特に、エージェントが自身の能力を継続的に拡張するために、自律的にゴールを生成、選択、および訓練できる必要性に対処している。著者らは、現在のテキストによるゴールの依存関係（Vision-Language Modelsへの将来的な展望を示唆）や、定期的な再訓練の計算コストといった限界を認めつつも、本手法を完全に自律的なオープンエンド・エージェントのための基礎的なステップとして位置づけている。