SuperIgor：自己誘導型プラン抽出による指示遂行タスクへのアプローチ

技術的概要（日本語）

本論文は、自然言語指示に従う AI エージェントの学習手法としてSuperIgorを提案するものです。従来の手法が事前に定義されたサブタスクや大量の専門家デモンストレーションに依存していたのに対し、SuperIgor は大規模言語モデル（LLM）と強化学習（RL）エージェントの協調学習を通じて、自己学習メカニズムにより高レベルの計画を生成・洗練させる枠組みを構築しました。

以下に、問題設定、手法、主要な貢献、実験結果、および意義を詳細にまとめます。

1. 問題設定と背景

指示遂行タスク（Instruction-Following）において、エージェントは自然言語で指定されたゴールを達成する必要があります。既存のアプローチには以下の課題がありました：

• デモンストレーション学習の限界: 高品質な専門家データ（デモンストレーション）の収集コストが膨大であり、スケーラビリティが制限される。
• 経験ベース学習（RL）の課題: 事前定義されたサブタスクがない環境では、自然言語指示を長期的な行動にマッピングすることが困難。特に、報酬がスパース（稀）で遅延する場合、 credit assignment（どの行動が成功に寄与したかの特定）が極めて困難。
• 既存の計画ベース手法の欠点: 多くの手法は「事前に定義された有限のサブゴール集合」に依存しており、環境に固有のスキルライブラリやヒューリスティックが必要。また、超大規模モデル（100B パラメータ以上）への依存が実用性を損なう。

SuperIgor が解決する核心的な課題:
「事前定義された低レベルスキルが存在しない環境において、いかにして指示遂行のための低レベル方策（Policy）を学習するか？」

2. 手法：SuperIgor フレームワーク

SuperIgor は、LLM による高レベル計画と RL エージェントによる実行を反復的な共トレーニング（Co-training）で結びつける自己学習ループを採用しています。

主要な構成要素とプロセス

1. 計画生成（Plan Generation）:

   • ゼロショット生成: 初期サイクルでは、LLM が指示から潜在的なサブタスクを抽出し、複数の候補計画を生成します。
   • オントロジー構築: 生成されたサブタスクの依存関係（プリ requisite）をモデル化し、一貫性のある階層構造（オントロジーグラフ）を構築します。これにより、矛盾する計画や冗長な表現を排除します。
   • 計画の拡張: 単一の概念的計画を、オントロジーに基づいて詳細な実行ステップに展開します。

2. 方策学習（Policy Learning）:

   • スキル・カリキュラム学習（Skill Curriculum Learning）: スパースな報酬問題に対処するため、動的なカリキュラムを導入します。
     • エージェントはまず単一のサブタスクから学習を開始。
     • 特定のサブタスクの成功率が閾値（例：70%）を超えると「習得済み」とみなし、そのサブタスクと未習得のサブタスクを組み合わせたより複雑な計画へ学習を進めます。
     • これにより、エージェントは基礎スキルを確立した上で、複雑なタスクへ段階的に挑戦できます。
   • アルゴリズム: PPO（Proximal Policy Optimization）を使用し、計画の各ステップに応じた部分ゴールに基づいて行動を学習します。

3. 計画検証と LLM 微調整（Plan Validation & LLM Fine-tuning）:

   • 検証: 生成された計画を RL エージェントで実行し、成功率を評価します。
   • DPO による微調整: 計画の品質（エージェントの成功率）に基づいて、LLM を直接選好最適化（Direct Preference Optimization: DPO）で微調整します。
     • 成功した計画と失敗した計画のペアを作成し、LLM が「実行可能な計画」を高く評価するように学習させます。
     • これにより、LLM はエージェントの実際の能力と環境の力学に基づいて、計画の優先順位付けを自動的に最適化します。

4. 反復サイクル:

   • 上記のプロセスを複数サイクル（Cycle 1〜N）にわたって繰り返すことで、計画の質とエージェントの実行能力が相互に向上します。

3. 主要な貢献

1. 新しい自己教師あり学習パラダイム: 手動で注釈付けされたデータセットを一切必要とせず、LLM と RL エージェントの相互作用のみで高レベル計画を生成・洗練させる手法を提案。
2. スパース報酬環境向けカリキュラム: 事前定義された中間報酬がない状況でも、サブタスクの習得度に基づいて学習を段階的に進める「スキル・カリキュラム」を導入。
3. CrafText 環境での SOTA 性能: 動的で部分的に観測可能なオープンエンド環境「CrafText」において、分布外（Out-of-Distribution）タスクや指示の言い換えに対して、既存手法を上回るロバスト性と汎化性能を実証。

4. 実験結果

環境: CrafText（マルチモーダル、動的、部分的に観測可能なオープンワールド環境）。
データセット: FOCUS（900 以上の指示、1,500 以上の語彙。Atomic タスクと Combo タスクを含む）。

主な結果

• 指示遂行の精度向上:
  • Atomic タスク: SuperIgor エージェントは成功率 0.34〜0.44 を達成。指示のみを学習したベースライン（0.10〜0.19）を大幅に上回りました。
  • Combo タスク: SuperIgor は 0.21 を達成（ベースライン 0.08）。Oracle（人間が作成した正解計画）の 0.43 に近づきつつあります。
• 汎化性能の優位性:
  • 新規オブジェクト（New Objects）: 訓練時に存在しなかった目標の組み合わせに対するテストでは、Oracle エージェントの性能が急落するのに対し、SuperIgor は性能の低下が緩やかでした。これは、SuperIgor が単一の正解計画ではなく、複数の代替計画から学習しているため、多様な変異に耐性があることを示唆しています。
  • 言い換え（Paraphrases）: 指示の表現を変えても、SuperIgor は安定した性能を維持しました。
• 反復サイクルの効果:
  • Cycle 1 から Cycle 2 へ進むにつれ、Atomic タスクで 0.34→0.43、Combo タスクで 0.06→0.21 と顕著な改善が見られました。
  • DPO による計画の再優先順位付けが、エージェントの学習を加速し、行動と計画の整合性を高めていることが確認されました。
• アブレーション研究:
  • 「オントロジーに基づく計画生成」と「カリキュラム学習」の両方が不可欠であることが示されました。オントロジーなしではカリキュラムは機能せず、カリキュラムなしではスパース報酬下での学習が困難でした。
  • DPO を用いた LLM の微調整が、単なる SFT（教師あり微調整）よりも RL エージェントの性能向上に寄与しました。

5. 意義と結論

SuperIgor は、指示遂行タスクにおいて**「事前定義されたスキルライブラリ」や「高コストな専門家データ」に依存しない**新しい学習パラダイムを確立しました。

• スケーラビリティ: 人間の注釈なしで、エージェント自身の経験と LLM の推論能力を組み合わせることで、複雑な環境での学習を可能にします。
• 実用性: 動的で不確実な環境（CrafText）でも機能し、長期的な指示遂行におけるロバスト性を証明しました。
• 将来展望: 本手法は、ロボット制御や複雑なゲーム AI など、事前定義が困難で長期的な計画が必要な分野への応用が期待されます。

要約すれば、SuperIgor は「LLM が計画を立て、RL エージェントが実行し、その結果が LLM の計画能力を向上させる」という自己改善ループを実現することで、指示に従う AI の自律性と汎用性を飛躍的に高めた画期的な研究です。