技術的概要：行動木と大規模言語モデルを用いた構成タスクにおける報酬形成と行動マスキング

1. 問題定義

自律エージェントは、高レベルの目標を、物体への移動、操作、目標への進行といった、より単純なサブタスクのシーケンスに分解することを必要とする複雑なタスクに直面することが多い。強化学習（RL）はこれらのサブタスクの方策を最適化できるが、明確に定義された報酬関数と行動マスキングがない場合、サンプル効率の低さに悩まされる。これらのコンポーネントを手動で設計することは、以下の理由により困難である：

1. 適切なサブタスクの特定。
2. サブタスクの失敗に対する反応性の確保（例：エージェントが鍵を落としした場合、そのまま先に進むのではなく、それを再び拾うためにバックトラックしなければならない）。
3. 変化するタスク物体全体にわたるモジュール性の維持（例：物体が「赤い鍵」であれ「青い鍵」であれ、同じロジックが適用されなければならない）。

既存の、大規模言語モデル（LLM）またはビジョン・ランゲージモデル（VLM）を用いた自動化アプローチは、報酬コードや有限状態機械を生成することが多いが、失敗への完全な反応性、構成タスクのためのモジュール性、あるいは報酬と行動マスキングの同時最適化には十分に対応できていない。

2. 手法

著者は、報酬形成関数および行動マスキング関数の両方として機能する記号構造である**マスキング報酬行動木（MRBTs）**を提案する。この手法は、行動木のテンプレート、検証のための論理仕様、および LLM と SMT ソルバーを用いた自動化パイプラインという 3 つの中核コンポーネントを統合する。

2.1. マスキング報酬行動木（MRBT）

MRBT は、葉ノードが**マスキング行動報酬機械（MBRMs）**である行動木（BT）である。

• 構造: BT は制御ノード（シーケンス → およびフォールバック ?）を介して実行を調整する。
• 葉: 各葉は、エージェントの状態とタスクに基づいてスカラー報酬と離散行動マスクを出力する MBRM である。
• 反応性: BT 構造はバックトラックを可能にする。サブタスクが失敗した場合（例：相互作用の失敗）、BT は以前の状態に戻り、エージェントが不完全なシーケンスに対して報酬を受けるのではなく、必要なステップを再試行することを保証する。
• モジュール性: MRBT は、サブタスクと論理式のためのプレースホルダーを使用し、定義されたタスク空間内で異なる物体属性（例：色）に適応することを可能にする。

2.2. MRBT テンプレート

著者は、連続的な物体相互作用タスクのための特定のテンプレートを設計する。$k$個のサブタスクのシーケンスに対して、テンプレートは以下を含む：

• 論理式: 各サブタスク $i$ に対して、完了式（$\psi_i$）と物体近接式（$\phi_i$）を定義する。
• 行動マスク: 各サブタスクに対して 2 つのマスク：ナビゲーション用 $\eta_{i,1}$ と相互作用用 $\eta_{i,2}$。
• 実行ロジック: BT は MBRM のシーケンスを実行する。サブタスクが完了すれば、次のものへ進む。エージェントが物体の近くにいれば、相互作用を有効にする。そうでなければ、ナビゲーションを有効にする。サブタスクが失敗した場合（状態が Failure に遷移）、BT はバックトラックする。

2.3. 自動化生成および検証パイプライン

MRBT の作成を自動化するために、著者は（図 1 に示す）以下のパイプラインを開発した：

1. LLM 生成: LLM（ChatGPT-5）は、タスク記述、MRBT テンプレート、環境述語を入力として受け取る。これにより、特定のサブタスク、論理式（$\psi_i, \phi_i$）、および行動マスク（$\eta_{i,1}, \eta_{i,2}$）を生成する。
2. SMT 検証: 環境ダイナミクスの記号モデル（$E_{sym}$）を SMT ソルバー（Z3）で構築する。ソルバーは、生成された論理式を以下の 3 つの仕様に対して検証する：
   • 完了の正しさ: 最終タスクが完了した場合、すべてのサブタスクが完了したことを保証する。
   • 物体近接: サブタスク完了の直前にエージェントが物体の近くにあることを保証する。
   • 非後退的最大報酬: サブタスクが完了したら、最大報酬を達成するためにそれが完了したまま（後退しない）であることを保証する。
3. 洗練: SMT ソルバーが反例（例：サブタスク条件を満たさずにタスクを完了するエージェントの軌道）を発見した場合、デバッグプロンプトを生成する。LLM はこの反例で再プロンプトされ、論理式が充足可能になるまで洗練される。
4. ニューロ記号 RL 訓練: 検証済みの MRBT は、エージェントを訓練するためのニューロ記号 RL ループ（PPO 使用）に統合される。MRBT は報酬信号を提供し、各ステップで行動空間を制限する。

3. 主要な貢献

1. MRBT フレームワーク: 反応性とモジュール性のために特に設計された、報酬と行動マスクを同時に出力する記号構造の導入。
2. MRBT テンプレートおよび仕様: 連続的な物体相互作用タスクのための MRBT 構築のための体系的なテンプレートと、SMT ソルバーを用いて正しさ（完了、近接、非後退）を検証するための論理仕様。
3. 自動化パイプライン: LLM を用いて MRBT を生成し、SMT ソルバーを用いてそれらを検証および洗練するシステム。これにより、変化する物体を持つタスク空間全体で堅牢性が確保される。
4. 包括的な評価: 決定論的および確率的ダイナミクスの両方において、2 つの環境（MiniGrid および MuJoCo Fetch）の 5 つのタスク空間での実験。
5. 利点の分析: MRBT の転移性（AirSim へ）、モジュール性（階層型報酬機械よりも優れたスケーリング）、および検証可能性（Z3 による理論的保証）の実証。

4. 実験結果

著者は、MRBT アプローチを 2 つのベースラインと比較して評価した：

• タスク: タスクの完全な完了時のみ与えられる二値報酬。
• 手順: サブタスク完了に対して報酬を与えるが、反応的なバックトラックと行動マスキングを欠く VLM-CaR に基づく報酬機械。
• RBT（アブレーション）: 行動マスキングなしの MRBT。

主要な知見:

• 訓練効率と成功率: MRBT は、ベースラインおよび RBT アブレーションと比較して、一貫して高い訓練効率とタスク成功率を達成した。
• 複雑さの処理: 最も複雑なタスク空間（LockedRoom、4 つのサブタスク、36 種類の変種）において、MRBT は平均成功率 $\ge 80\%$ を達成したのに対し、ベースラインは $\le 70\%$ にとどまった。
• 確率性: MRBT は、確率的環境（例：鍵がランダムに落ちる場合）でも高い性能を維持し、反応的バックトラックの価値を実証した。
• 転移性: MiniGrid で MRBT を用いて訓練された方策は、現実的なクアッドコプターシミュレーター（AirSim）へ正常に転移し、決定論的設定で 97%、確率的設定で 94% の成功率を達成し、すべてのアブレーションを上回った。
• モジュール性: MRBT 構造は、階層型報酬機械（HRM）よりもモジュール的にスケーリングする。MRBT にサブタスクを追加するには $O(1)$ のストレージで済むのに対し、HRM は後方エッジに対して $O(k)$ のストレージを必要とする。
• 検証: SMT ソルバーは、ほとんどのタスクで 10 分未満で生成された論理式（例：近接閾値または永続条件の修正）を正常に洗練した。

5. 意義と主張

本論文は、MRBT が構成タスクにおける報酬形成と行動マスキングの自動化のための堅牢な解決策を提供すると主張する。その意義は、以下の 3 つの主要な利点にある：

1. 転移性: MRBT の記号的性質により、シミュレーションで訓練された方策が、現実的なシミュレーター（AirSim）および変化するタスク物体へ効果的に転移することを可能にする。
2. モジュール性: 有限状態機械や報酬機械とは異なり、MRBT の木構造は、タスクの複雑さが増すにつれて、より容易なスケーリングと修正を可能にする。
3. 検証可能性: SMT ソルバーを統合することで、報酬と行動マスクのロジックがタスク仕様に対して正しいという理論的保証を提供する。これは、純粋にデータ駆動型またはデモンストレーションベースのアプローチには存在しない特徴である。

著者は、このアプローチが検証のために SMT ソルバーを必要とするものの、生成された MRBT は学習効率とタスク成功率を大幅に向上させる、特に失敗への反応性が重要な複雑な多段階環境において、と結論づけている。今後の課題として、MRBT テンプレートのさらなる一般化の探求が挙げられている。