技術要約：フィードバック操作正則化 (Feedback Manipulation Regularization: FMR)

問題提起

強化学習（RL）は、「適応力（タスクを解く能力）」と「アライメント（人間の価値観に従って解くこと）」という二重の課題に直面しています。人間のデモンストレーションやフィードバックはアライメントにおいて極めて重要ですが、既存のアプローチは主に、言語生成のコンテキスト・バンディット形式（例：RLHF）に設計された多段階のパイプラインに依存しています。これらの手法は、完全な逐次的意思決定環境への適用には苦慮しています。

さらに、現在の好みの学習（preference-based learning）手法は、逐次的な設定において根本的な限界を抱えています。

1. 関係的曖昧性： 好みは相対的なもの（「どちらが良いか？」）であり、絶対的なもの（「これは良いか？」）ではありません。選好された行動が必ずしもアライメントされた行動であるとは限りません。特に、比較ペアの両方の選択肢が不適切な（misalignedな）場合、その傾向があります。
2. サンプリングの制限： ランダムにサンプリングされた比較ペアでは、明示的なキュレーションなしに特定の行動をターゲットにすることが困難です。
3. データの希少性： 専門家のデモンストレーションが乏しく、不完全なデモンストレーションにノイズや不適切な行動が含まれるオフライン設定において、既存のアルゴリズムはしばしばアライメントを維持できなくなります。

本論文は、限定されたデータ条件下でも、デモンストレーションと評価的フィードバックを効果的に組み合わせ、完全な逐次的環境においてポリシーをアライメントさせるための、単一ステージのオフライン手法の必要性に対処しています。

手法：フィードバック操作正則化 (FMR)

著者らは、評価的フィードバックを模倣学習に統合する、アルゴリズムに依存しないフレームワークであるフィードバック操作正則化 (FMR) を提案します。フィードバックを報酬信号や好みのスコアとして扱う手法とは異なり、FMRはフィードバックを用いて、学習されたポリシー $\pi_\theta$ の確率分布を直接操作します。

コアメカニズム

FMRは、人間からのフィードバック $h(s, a) \in \{-1, 0, 1\}$ を、学習されたポリシー $\pi_\theta$ を潜在的な人間との整合的なポリシー $\pi_h$ へと変形させる修正信号として扱います。

1. フィードバック適応型温度パラメータ:
   この手法は、フィードバックから導出される温度パラメータ $\tau(s, a)$ を導入します。

   • 負のフィードバック ($h < 0$) は、$\tau > 1$ を意味し、選択された行動を抑制します。
   • 正のフィードバック ($h > 0$) は、非選択された行動に対して $\tau < 1$ を意味します（実質的に、他の行動に対して選択された行動を促進します）。
   • フィードバックなし ($h = 0$) は、$\tau = 1$ となり、影響を与えません。
     温度は指数写像 $\tau_j = \beta^{-h}$（選択された行動に対する負のフィードバックの場合）または $\beta^h$（非選択された行動に対する正のフィードバックの場合、ここで $\beta > 1$）を介して計算されます。

2. ポリシーの再形成 (Policy Reshaping):
   人間との整合的なポリシーは、確率空間において現在のポリシーに温度スケーリングを適用することで近似されます。
   $$\pi_\tau(a_j | s) := \frac{\pi_\theta(a_j | s) \tau_j^{-1}}{Z_\theta(s)}$$
   ここで $Z_\theta(s)$ は正規化定数です。この操作は、明示的な報酬モデリングを必要とせずに、確率質量を再分配し、不適切な行動を抑制し、適切な行動を促進します。

3. 正則化目的関数:
   FMRは、学習されたポリシー $\pi_\theta$ と、フィードバックによって温度調整されたサロゲート（代理）ポリシー $\pi_\tau$ との間の逆カルバック・ライブラー（KL）ダイバージェンスを用いた、分布一致問題としてアライメントを定式化します。これにより、以下の正則化項が得られます。
   $$R_{FMR}(\theta) := \mathbb{E}_{s \sim D_U} \mathbb{E}_{a \sim \pi_\theta(\cdot|s)} [\log \tau(s, a)]$$
   最終的な目的関数は、標準的な模倣学習損失 ($L_{IL}$) とこの正則化項を組み合わせたものです。
   $$L(\theta) = L_{IL}(\theta) + \alpha R_{FMR}(\theta)$$
   ここで $\alpha$ はアライメントの強度を制御します。

データ処理

この手法は、ノイズを含むデモンストレーションからの学習 (Learning from Noisy Demonstrations: LfND) 用に設計されており、データセット $D_U = D_E \cup D_I$ を扱います。ここで $D_E$ は整合的な専門家データを含み、$D_I$ は不完全（ノイズを含む）なデータを含みます。FMRは、評価的フィードバックを活用して、$D_I$ 内の不適切なサブ・トラジェトリを識別し、抑制します。

主な貢献

1. アルゴリズムに依存しないフレームワーク: FMRは、正則化項としてあらゆる模倣学習アルゴリズム（例：Behavioral Cloning, IQL, DemoDICE, ReCOIL）に適用可能です。
2. 単一ステージのオフライン学習: 多段階のRLHFパイプラインとは異なり、FMRは単一ステージで動作するため、環境へのアクセスが制限されている完全な逐次的決定環境に適しています。
3. 限定されたデータにおける堅牢性: 専門家データと不完全なデータの比率が低い場合（例：1:50）、および不完全なデータに有用な行動がほとんど含まれていない場合でも、FMRは堅牢性を示すことが実証されています。
4. 原理的な評価: 著者らは、コスト信号を用いて、総リターンとは異なるアライメントの尺度を提供する、Safety Gymnasium環境をテストベッドとして適応させました。

実験結果

著者らは、様々な模倣学習ベースラインを用いて、3Dナビゲーションおよび速度制限付きの移動タスク（Hopper, Swimmer, Walker2D）においてFMRを評価しました。

• アライメントの改善: FMRは、テストされたすべてのアルゴリズムにおいて一貫して不整合（misalignment）を減少させました。PathMナビゲーションタスクにおいて、FMRはReCOILの不整合を最大92%削減しました。速度タスクでは、最大98%の削減が観察されました。
• 適応力の維持: 決定的なことに、不整合の減少はタスクのパフォーマンス（適応力）を犠牲にすることなく達成されました。FMRは、ベースラインと比較して成功率および正規化リターンを維持、あるいは向上させました。
• 代替手法との比較:
  • vs. DVL (Dual Value Learning): フィードバックを報酬に置き換えるDVLは、性能が悪かったことから、フィードバックを素朴に報酬信号として解釈することが効果的ではないことが確認されました。
  • vs. CPL (Contrastive Preference Learning): ペアによるスコアリングを行うCPLは、データの比率が低下するにつれて大幅に劣化しましたが、FMRは安定していました。
• データの重複: FMRは、不完全なデモンストレーションに適切なサブ・トラジェトリが含まれている場合（高い重複がある場合）に最も高い性能を発揮しました。しかし、ベースラインが完全に失敗するような低重複のシナリオにおいても、依然として大幅な改善を提供しました。
• フィードバックの効率性: 実験により、FMRは負のフィードバックのみから効果的に学習できることが示され、これが偏差を修正するための主要な原動力として機能することが明らかになりました。

意義と主張

本論文は、FMRが以下の点において、オフラインエージェントのアライメントにおける重要な進歩であると主張しています。

1. モダリティの架け橋: 逐次的決定における相互に関連する信号として、評価的フィードバックとデモンストレーションを、相対的な好みの判断という限界を超えて、効果的に統合することに成功しました。
2. 「アライメントと適応力」のトレードオフへの対処: エージェントのタスク完了能力を損なうことなく、不整合を劇的に減少（最大98%）させることが可能であることを示しました。
3. データの希少性への対応: 高品質なアライメント済みデータが少なく、ノイズを含むデータが豊富であるという、現実世界の制約に即した実行可能なソリューションを提供します。
4. モジュール性: アーキテクチャの変更や多段階のトレーニングパイプラインを必要とせず、既存の模倣学習アルゴリズムを強化する、プラグアンドプレイ型の正則化項を提供します。

著者らは、FMRがフィードバックに含まれる豊かな情報を効果的に活用してポリシーのエントロピーを調節し、望ましくない行動を抑制し、好ましい行動を強化することで、より堅牢でアライメントされたオフライン学習を可能にすると結論付けています。