ERFSL: An Efficient Reward Function Searcher via Language Models for Custom-Environment Multi-Objective Optimization (Student Abstract)

ERFSL の技術的概要：言語モデルによる効率的な報酬関数探索器

問題定義
学習ベース（LB）の手法は多目的タスクにおいて効果的ですが、曖昧で多様なユーザー要件により、複雑な報酬関数の設計は依然として重大なボトルネックとなっています。大規模言語モデル（LLM）は、カスタム制御や仮想ゲームシナリオにおける報酬設計の支援において有望な成果を示していますが、複雑なタスクでは苦戦し、誤ったコードを生成したり、バランスの取れない重み付けの報酬関数を生成したりすることがよくあります。タスクをサブスキルに分解する既存のアプローチはフィードバックを提供しますが、カスタム環境におけるエンドツーエンドの報酬最適化のために LLM の意味理解を十分に活用できていない可能性があります。

手法：ERFSL
著者は、LLM 支援型の報酬生成を「報酬コンポーネント設計」と「報酬重み割り当て」の 2 つの明確なフェーズに分解するフレームワーク、ERFSL（Efficient Reward Function Searcher via Language Models）を提案します。このシステムは、明示的なユーザー要件と明確なフィードバックループというテキストコンテキストの下で動作します。

1. 環境記述とメタプロンプティング: システムは、自然言語による記述、環境コード/API、およびユーザー要件を受け入れます。メタプロンプトを用いて記述の質を向上させ、ユーザー要件を具体的な数値目標（例：ゼロの制約違反）に分解することで、曖昧さを減らし、人間による修正を容易にします。
2. 報酬コード生成（ステージ 1）:
   • コンポーネント設計: LLM が各ユーザー要件に対して特定の報酬コードコンポーネントを生成します。
   • 報酬クリティック: 事前の環境知識の欠如に起因する潜在的なエラーに対処するため、各コンポーネントを個別にテストします。「報酬クリティック」が出力を分析し、コードエラーを修正するための明示的なフィードバックを提供します。このプロセスは通常、要件ごとに 1 回のフィードバック反復で済みます。
   • 不完全性の処理: LLM は必要な変数を捏造し、ユーザーにそれらを完成させるよう促すことで、不完全な環境記述を効果的に管理できます。
3. 報酬重み探索（ステージ 2）:
   • 重み初期化器（RWI）: 報酬コンポーネントを比較可能なスケールに保つため、システムはコンポーネント値を事前に計算し、$K=5$ グループの初期重みを割り当てます。
   • 反復最適化: 訓練ログアナライザが訓練結果を要約します。このコンテキストに基づき、LLM が $K=5$ の重み調整を提案します。
   • 探索戦略: 遺伝的アルゴリズムに触発され、探索器は開始点と調整方向（増加/減少/微調整）を指定して重みを突然変異させます。複数の調整を行う場合、システムは突然変異した入力グループ間で交叉（クロスオーバー）を実行します。
   • プロンプトエンジニアリング: 調整提案の生成と重みグループの出力を分離することで、プロンプトを短縮し、正確な実行を確保します。

主な貢献

• 分解戦略: 本論文は、明示的なフィードバックの下で LLM の意味理解を活用し、報酬コンポーネントの生成と重み割り当てを分離するホワイトボックス探索アプローチを導入します。
• 効率的な修正メカニズム: 「報酬クリティック」の統合により、コードエラーを最小限の反復（通常はコンポーネントあたり 1 回のみ）で修正でき、ベースライン手法でよく見られる失敗モードに対処します。
• 堅牢な重み探索: フレームワークは、柔軟なステップサイズ戦略と交叉メカニズムを用いて報酬関数のパレートセットを探索し、初期重みが大幅にずれていても（例：500 倍の誤差）、回復可能です。
• モデル非依存性: 探索プロセスを分解してコンテキスト長を削減すれば、GPT-4o mini のような小規模で費用対効果の高いモデルでも適切に機能することが実証されています。

実験結果
著者は、データ転送のための移動ユニット（AUV）を含むシミュレーションベースのベンチマークタスクにおいて ERFSL を評価し、Eureka フレームワークの適応版であるEUREKA-Mをベースラインとして比較しました。

• コード修正: 報酬クリティックは、コンポーネントごとに 1 回のフィードバック反復でコードエラーを正常に修正しましたが、EUREKA-M などのベースラインは、明示的でタスク分割されたフィードバックの欠如により、修正困難なエラーに直面しました。
• 重み探索の効率性:
  • 標準的な設定では、報酬重み初期化器（RWI）がパレートセット内で多様な解を生成しました。
  • エネルギー重みが500 倍の誤差で初期化された場合でも、ERFSL はユーザー要件を満たすために平均5.2 回の反復のみを要しました。
  • 訓練ログアナライザ（TLA）を除去すると反復回数が増加し、コンテキスト分析の重要性が浮き彫りになりました。
  • 小さなランダムなステップサイズを使用したベースラインの EUREKA-M は、収束するために実質的に多くの反復を必要としました。
• 小規模モデルでの性能: GPT-4o miniを使用した場合、報酬コード生成と重み探索の性能は適切に維持され、EUREKA-M を上回りましたが、ステップサイズの選択はより大規模な GPT-4o モデルに比べて柔軟性は劣りました。

意義と主張
本論文は、ERFSL がカスタム多目的環境における報酬関数設計のための実用的かつ効率的な解決策を提供すると主張しています。タスクを分解し、明示的なフィードバックループを活用することで、LLM 支援設計においてよく見られるコードの捏造や重みの不均衡のリスクを軽減します。著者は、このシステムが LLM に高度な推論能力を必要とせず、GPT-4o mini などの小規模モデルでもアクセス可能であることを強調しています。この研究は、構造化されたプロンプトと反復的なフィードバックによって導かれる場合、LLM が単なる生成能力に依存するのではなく、報酬関数の効果的な「探索器」として機能し得ることを実証することを目指しています。