テクニカルサマリー：教師あり報酬推論 (Supervised Reward Inference, SRI)

問題提起

逆強化学習 (Inverse Reinforcement Learning, IRL) をはじめとする従来の報酬推論のアプローチは、通常、人間のデモンストレーションが特定の既知の行動モデル（例：ノイズを含む最適性、限定合理性）に従って生成されているという仮定に基づいています。しかし、現実世界の人間行動は、計画の拙劣さ、実行エラー、あるいは目的を伝えるためだけに用いられる非最適なジェスチャーなどにより、しばしば最適とは言えないものです。既存の手法は、想定された行動モデルが誤設定されている場合に苦戦し、誤った報酬推論を招く傾向があります。先行研究の中にはデータから行動モデルを学習しようとする試みもありますが、それらはテーブル形式の設定に限定されていたり、任意に非最適な行動を効果的に扱うことができなかったりといった限界に直面しています。

解決すべき核心的な問題は、強力で、かつ誤っている可能性のある行動モデルへの依存なしに、いかにして幅広い人間行動（任意に非最適なものや、最適化ではなくコミュニケーションを意図したものを含む）から報酬関数を推論するかという点です。

手法：教師あり報酬推論 (SRI)

著者らは、報酬推論を教師あり学習の問題として再定義するフレームワークである**教師あり報酬推論 (SRI)**を提案しています。SRIは、報酬から行動への写像となる行動モデルを学習してからそれを反転させるのではなく、行動の軌跡と既知の正解報酬のペアを用いたデータセットを用いて、行動の軌跡から報酬関数への写像を直接学習します。

コアフレームワーク

各タスク $k$ が以下で構成されるデータセットが与えられたとします：

1. 行動軌跡の集合 $\{\tau_{k,i}\}$ （これらは任意に非最適であってもよい）。
2. 同一タスクからサンプリングされた状態と報酬のペアの集合 $\{(s_{k,j}, r_{k,j})\}$。

SRIは、与えられた状態 $s$ に対して報酬 $r(s)$ を予測するようにニューラルネットワークを訓練します。アーキテクチャは主に以下の2つのコンポーネントで構成されます：

• タスクエンコーダ ($f_{\theta_f}$): 行動軌跡の集合を固定次元のタスク埋め込み $\psi$ にエンコードします。実験では、軌跡のエンコードにTransformerを用い、複数の軌跡のプーリングにSet Transformerを使用しています。
• 報酬モデル ($g_{\theta_g}$): タスク埋め込み $\psi$ と状態 $s$ を入力として受け取り、報酬値を予測します。

訓練目的関数は、データセット全体における予測報酬と正解報酬の間の平均二乗誤差を最小化することです：
$$\arg \min_{\theta_f, \theta_g} \mathbb{E} \left[ L \left( g_{\theta_g}(S, f_{\theta_f}(\{\tau_n\})), R(S) \right) \right]$$

理論的保証

本論文では、SRIが漸近的にベイズ最適 (asymptotically Bayes-optimal) であるという理論的証明を提供しています。標準的な仮定（コンパクトな状態・行動空間、有界なリターン、および十分なモデル容量）の下で、データセットのサイズが無限大に近づくにつれ、推論された報酬関数は行動に対する事後平均に一様に収束します。その結果、推論された報酬から導出される最適方策は、報酬の真の事後分布の下で期待リターンを最大化する方策へと収束します。これは、展開時の行動分布が訓練時の分布と一致している限り、任意の固定された行動クラスに対して成立します。

拡張

著者らは、この教師あり推論のテンプレートが他の意図推論タスクにも汎用できることを示しています：

• 教師ありゴール推論 (Supervised Goal Inference, SGI): 行動から潜在的なゴールの表現を直接予測する。
• 教師ありアクション推論 (Supervised Action Inference, SAI): 行動と状態から最適なアクションを直接予測する。

主な貢献

1. 新しいフレームワーク: 報酬推論を直接的な教師あり学習タスクとして扱うことで、明示的な行動モデリングを不要にするSRIの導入。
2. 理論的な最適性: 標準的な仮定の下で、行動モデルの知識を必要とせずに、報酬推論およびアプレンティス・ラーニングにおいて漸近的ベイズ最適性を達成することを証明。
3. 非最適性への堅牢性: 高度にノイズが多い、あるいは系統的なバイアスがある場合でも、従来のIRL手法が失敗するような高度に非最適な、あるいは非デモンストレーション的な行動（例：タスクを完了しないジェスチャー）からでも、正確な報酬を推論できることを実証。
4. 汎用性: 教師ありゴール推論 (SGI) および教師ありアクション推論 (SAI) へのフレームワークの拡張により、教師あり意図推論アプローチの多才さを示した。

実験結果

著者らは、2つの異なるベンチマークでSRIを評価しました。

1. Meta-World ロボティクス・タスク（連続制御）

• 設定: タスクには「Reach」および「Pick-Place」が含まれ、ゴールはランダムに分布しています。
• 行動クラス: デモンストレーションの5つのクラス（ノイズを含むアクション、系統的に誤ったオフセット、および、ロボットがゴールを指し示すもののオブジェクトのピックアップや配置は決して行わない「ジェスチャー」デモンストレーション）についてテストされました。
• 結果:
  • SRIは、「Pick-Place」タスクにおいて「ジェスチャー」デモンストレーションのみを使用した場合でも、ニア・シーリング性能（0.822 正規化ゴール近接度）を達成しました。これに対し、すべての模倣学習ベースライン（BC, GAIL, AIRL）は失敗しました（性能 $\le 0$）。
  • SRIは、デモンストレーションが非常にノイズが多い、あるいは系統的に偏っている場合でも、正確な報酬を推論し、ほぼ最適な方策を導出できる堅牢性を示しました。
  • パフォーマンスはデータ量とともにスムーズにスケールし、高いデータ効率を示しました。

2. Shah et al. (2019) Gridworld ベンチマーク（テーブル形式）

• 設定: 任意の非最適行動に対する従来手法（Shah et al. (2019) の「Inverse Planning (IP)」アルゴリズムを含む）と比較したテーブル形式のベンチマーク。
• 結果:
  • SRI（ポリシー入力を取るように適応させたもの）は、すべてのデモンストレーター・クラス（最適、ナイーブ、洗練された、近視的なデモンストレーター、およびそれらのノイズありバリアント）において、ニア・シーリング性能を達成しました。
  • SRIは最先端のIP手法と同等またはそれを上回る性能を示し、直接的な逆写像（ポリシーから報酬へ）を学習することが、プランナーを学習してそれを反転させるよりも効果的であることを示唆しました。

意義と主張

本論文は、SRIが行動モデル・エンジニアリングからデータ駆動型の教師あり学習へのパラダイムシフトを象徴していると主張しています。行動を「最適化の試み」としてではなく「意図の指標」として捉えることで、SRIはモデルの誤設定に伴う脆弱性を回避します。

著者らは以下の点を強調しています：

• SRIは、標準的な教師あり学習技術を活用した「簡潔かつ強力なソリューション」であること。
• 特殊なRLの帰納バイアスを設計することなく、表現学習や事前学習済みモデル（Transformerなど）の進歩を利用できること。
• 訓練時に十分なタスクインデックス付きの報酬監督が得られる限り、あらゆる固定された行動分布に対して普遍的に適用可能であること。
• 現在の実験では訓練のためにシミュレータの報酬へのアクセスを想定していますが、本フレームワークは、将来的に疎なアノテーションや好みを介して報酬を推定する拡張にも対応可能です。

結論として、本論文は、十分なデータが提供されれば、バイアスの少ない学習アルゴリズムは、よりバイアスの強いモデルベースのアプローチを凌駕できることを示しており、これは「スケーリングによるデータと計算こそが、手作りの仮定よりも優れた結果をもたらす」という「苦い教訓 (bitter lesson)」を支持するものです。