ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning

この論文は、基盤モデルの高度な推論能力を活用して自然言語から報酬機械を自動生成し、強化学習における報酬設計の課題を解決するとともに、タスク間でのゼロショット汎化を実現する「ARM-FM」というフレームワークを提案しています。

要約

🧭 物語：迷子になった AI と、天才ナビゲーター

1. 問題点：AI は「何をしていいか」がわからない

想像してください。新しいゲームを始めたばかりの子どもが、ゴールがどこにあるのか、どうすれば勝てるのか全くわからない状態で、ただひたすらにボタンを押し続けている様子を想像してください。
これが現在の AI（強化学習）が直面する**「報酬（ご褒美）の問題」**です。

• スパース（希薄）な報酬: 「ゴールにたどり着いた時だけ 100 点！」と言われても、ゴールまでの長い道のりで「何が良い行動だったか」が全くわからないため、AI は永遠に試行錯誤してしまい、学習が進みません。
• 手動の報酬: 人間が「ここを 1 点、あそこを 2 点」と細かく設定しようとすると、AI が「ルールを抜け道して高得点を取る（ハッキング）」ような、意図しない行動をしてしまうことがあります。

2. 解決策：AI 用の「自動生成ナビゲーター」

この論文のアイデアは、**「AI 用の『報酬機械（Reward Machine）』という、段階的なゴールマップを、AI 自身（基盤モデル）に作らせる」**というものです。

• 報酬機械（Reward Machine）とは？
  単なる「ゴール」ではなく、**「鍵を拾う → ドアを開ける → 次の部屋に行く → 宝箱を開ける」のように、大きな目標を小さなステップ（サブゴール）に分解した「自動的なチェックリスト」**のようなものです。
  これがあると、AI は「鍵を拾った！」という瞬間に「よし、次のステップだ！」と小さなご褒美をもらえ、学習がスムーズに進みます。

• これまでの課題:
  この「チェックリスト」を作るのは、これまで人間が専門知識を持って手作業で行う必要があり、非常に大変でした。

3. ARM-FM の魔法：「自然言語」から「自動マップ」へ

ここで登場するのが、この論文の主人公**「ARM-FM」**です。

• 基盤モデル（Foundation Models）の力:
  最新の AI（GPT-4o など）は、人間の言葉（自然言語）を理解し、論理的な思考やコード作成が得意です。
• 仕組み:
  人間が AI に**「青い鍵で黄色いドアを開けて、緑のゴールに行きなさい」**と自然な言葉で指示するだけで、ARM-FM が以下のことを自動でやってくれます：
  1. マップの作成: 「鍵を拾う」「ドアを開ける」といったステップごとの状態図（報酬機械）を自動生成。
  2. コードの作成: 「鍵を拾ったかどうか」を判断するプログラム（ラベリング関数）を自動で書く。
  3. 言語の埋め込み: 各ステップに「青い鍵を拾う」という言葉の意味を、AI が理解できる「数字のベクトル（意味の座標）」として付与する。

4. すごいところ：「ゼロショット一般化」という超能力

ここがこの論文の最も面白い部分です。

• 意味のつながり:
  通常、AI は「青い鍵」を覚えたからといって、「赤い鍵」の使い方がわかりません。しかし、ARM-FM は各ステップに**「言葉の意味」を埋め込んでいます。
  「青い鍵」と「赤い鍵」は、言葉の意味（ベクトル）が似ているため、AI は「あ、これは『鍵』というカテゴリの行動だ！」**と理解し、新しいタスクでも即座に適用できます。
• ゼロショット一般化:
  訓練していない全く新しいタスク（例：「青い鍵で青いドアを開ける」）を与えられても、AI は「鍵」と「ドア」という概念をすでに知っているため、追加の学習なしでそのタスクを成功させることができます。まるで、料理のレシピを覚えた人が、初めて見る野菜でも「炒める」という基本動作で料理できてしまうようなものです。

5. 実験結果：どんなに難しい世界でも勝つ

研究者たちは、この方法を様々な環境でテストしました。

• 2D パズルゲーム: 複雑な迷路や鍵の組み合わせでも、他の AI は全く動けなかったのに対し、ARM-FM は見事にゴールしました。
• 3D マインクラフト風の世界: 「木を集めて、石を採掘し、鉄を鍛えて、最後にダイヤモンドを採る」という、非常に長い工程が必要なタスクでも成功しました。
• ロボットアーム: 人間が細かく設定するのが難しいロボットの手先の動きも、この「自動マップ」があればスムーズに学習できました。

---

🌟 まとめ：何がすごいのか？

この論文は、**「人間は『何をしてほしいか』を言葉で言えばいい。あとは AI が、その言葉を『実行可能なステップごとの地図』に自動変換して、他の AI に教えてくれる」**という新しい仕組みを提案しています。

• 人間: 自然な言葉で指示を出すだけ（専門知識不要）。
• AI（基盤モデル）: 指示を分析し、論理的な「学習用マップ」と「プログラム」を自動作成。
• 学習 AI（エージェント）: そのマップに従って、効率的にタスクを習得し、未知の状況でも応用できる。

これは、AI が人間と協力して、これまで難しすぎて手が出せなかった複雑な問題（ロボット制御、複雑なゲーム、自律移動など）を解決するための、**「夢の翻訳機」**のような存在になる可能性を示しています。

技術概要

ARM-FM: 基盤モデルによる自動報酬マシンを用いた構成的強化学習の技術的サマリー

本論文は、ICLR 2026 にて発表された「ARM-FM (Automated Reward Machines via Foundation Models)」というフレームワークを提案するものです。強化学習（RL）における報酬関数の設計難易度という根本的な課題に対し、基盤モデル（Foundation Models: FMs）の推論能力を活用して、自然言語から構造化された報酬マシン（Reward Machines: RMs）を自動的に生成・実装する手法を提示しています。

以下に、問題定義、手法、主要な貢献、実験結果、そして意義について詳細をまとめます。

1. 問題定義

強化学習の応用範囲を制限する最大の課題の一つは、複雑なタスクに対する効果的な報酬関数の設計です。

• スパース報酬の問題: 目標達成時のみ報酬が得られる場合、エージェントは学習信号が不足し、探索が困難になります。
• 報酬ハッキング: 手作業で設計された密な報酬関数は、意図しない抜け道（reward hacking）をエージェントに利用され、真の目的を達成しないリスクがあります。
• 抽象と具体のギャップ: 基盤モデル（LLM など）は自然言語からタスクを分解・理解できますが、これを RL 学習に必要な具体的な構造化された報酬信号に変換する手段が欠如していました。従来の RL 手法では、この高レベルな計画を低レベルの制御に「接地（grounding）」させることが困難でした。

2. 手法：ARM-FM

ARM-FM は、自然言語のタスク記述を構造的な学習信号に変換するためのフレームワークです。

2.1 言語整合型報酬マシン（LARMs）

従来の報酬マシン（RM）は、タスクを有限状態オートマトンとして表現し、サブゴールの達成に応じて報酬を付与する形式です。ARM-FM はこれに以下の要素を追加したLARM (Language-Aligned Reward Machines) を導入します。

• 自然言語指示: 各 RM 状態（サブゴール）に、その状態の意図を説明する自然言語の指示（例：「青い鍵を拾う」）を付与します。
• 言語埋め込み: 各状態の指示を、基盤モデルを用いてベクトル埋め込み（$z_u$）に変換します。
• 実行可能ラベリング関数: 環境の状態と行動を RM の遷移イベントにマッピングする Python コード（ラベリング関数）を FM に自動生成させます。

2.2 自動生成プロセス（自己改善ループ）

LARM の生成には、生成器（Generator）と批評家（Critic）の 2 つの FM を用いた反復的な自己改善プロセスを採用しています。

1. 生成: 自然言語のタスク記述と環境の視覚観察に基づき、FM が RM の構造、遷移、報酬、およびラベリング関数を生成します。
2. 批評と改善: 別の FM（または人間）が生成された RM の正しさ、網羅性、形式を評価し、フィードバックを与えます。
3. 反復: このプロセスを数回繰り返すことで、高品質で解釈可能な LARM が完成します。

2.3 強化学習への統合

学習中のエージェントは、環境の状態 $s_t$ と、現在の RM 状態に対応する言語埋め込み $z_{u_t}$ の両方を条件として方策 $\pi(s_t, z_{u_t})$ を更新します。

• 構造化報酬: 環境からのスパース報酬 $R_t$ に、RM からの密な構造化報酬 $R^{RM}_t$ を加算し、学習に使用します。
• 意味的スキル空間: 言語埋め込みを方策に条件付けることで、「青い鍵を拾う」と「赤い鍵を拾う」といった類似したサブタスクが埋め込み空間上で近接し、知識の共有や転移学習が可能になります。

3. 主要な貢献

1. 自然言語からの完全なタスク仕様の自動生成: 基盤モデルを用いて、オートマトン構造、実行可能なラベリング関数、各状態の自然言語説明を含む LARM をゼロから生成するフレームワークを提案しました。
2. 共有スキル空間の創出: RM 状態に言語埋め込みを付与し、方策をこれに条件付けることで、関連するタスク間での経験の再利用と方策の転移を可能にしました。
3. 広範な環境での実証: 2D グリッドワールド、3D procedurally generated 環境（Minecraft 風）、連続制御のロボット操作タスクなど、多様な領域において、標準的な RL 手法では解けない長期的・スパース報酬タスクを解決できることを示しました。

4. 実験結果と評価

著者らは、MiniGrid、Craftium（Minecraft ベース）、Meta-World（ロボット操作）、XLand-MiniGrid の 4 つの環境で評価を行いました。

• スパース報酬タスクの解決 (MiniGrid):
  • DoorKey、UnlockToUnlock、KeyCorridor など、長期的な計画と探索を必要とするタスクにおいて、従来の DQN や内在的動機付け（ICM）ベースライン、ReAct などの LLM エージェントを凌駕する性能を示しました。
  • 特に、他の手法が全く学習できない複雑なタスク（UnlockToUnlock など）でも、ARM-FM を用いたエージェントは近似的に完全な報酬を達成しました。
• 複雑な 3D 環境へのスケーラビリティ (Craftium):
  • ダイヤモンドを採掘するために、木材、石、鉄を順に収集するタスクにおいて、PPO ベースラインはほとんど進展しなかったのに対し、LARM を用いた PPO はタスクを完遂しました。
• 連続制御ロボットタスク (Meta-World):
  • 関節角度などの低レベル信号を手作業で設計する代わりに、FM 生成の LARM により密な報酬信号を提供し、SAC アルゴリズムを用いて成功率を大幅に向上させました。
• ゼロショット一般化 (XLand-MiniGrid):
  • 訓練時に学習したサブゴールの組み合わせからなる、未見の新しいタスクに対して、追加の学習なしで成功しました。
  • 言語埋め込みの条件付けにより、類似したサブタスク（例：「青い鍵を拾う」）のスキルが転移され、新しいタスク構成でも有効に機能することが確認されました。
• アブレーション研究:
  • 構造化された報酬と状態の言語埋め込みの両方が、堅牢なマルチタスク学習に不可欠であることを示しました。どちらか一方だけでは性能が低下しました。

5. 意義と結論

ARM-FM は、基盤モデルの「意味的推論能力」と RL エージェントの「低レベル制御能力」の間の重要なギャップを埋める画期的なアプローチです。

• 構成的 RL の実現: 単一の報酬関数ではなく、タスクを構造化されたサブゴールの連鎖として表現することで、複雑なタスクの学習を可能にします。
• 解釈性と人間との協調: 生成された LARM は自然言語で記述されており、人間がタスク仕様を検査・修正しやすいインターフェースを提供します。
• 汎用性の向上: 特定の環境抽象化や事前定義されたスキルに依存せず、自然言語記述から直接学習信号を生成できるため、多様なドメインへの適用が可能です。

この研究は、人間の意図を基盤モデルが理解し、それを構造化された学習信号に変換することで、RL エージェントが複雑で長期的なタスクを効率的に学習し、ゼロショットで一般化できる新たなパラダイムを確立するものです。