技術要約：ロボット操作におけるフリーフォーム・プリファレンス学習（Freeform Preference Learning）

問題提起

報酬設計は、自律的なロボット・ポリシーの改善における決定的なボトルネックであり続けている。特に、長期間にわたる操作タスクにおいて顕著である。既存のアプローチには、以下のような重大な限界がある：

• 疎な報酬（Sparse Rewards）: 二値の成功/失敗ラベルは、中間段階の進捗が極めて重要となる複雑なタスクにおいて、不十分な信号しか提供できない。
• 曖昧な二値選好（Ambiguous Binary Preferences）: 従来の選好学習（例：Bradley-Terryモデル）では、アノテータが複数の競合する品質概念（例：速度 vs 安全性）を単一の「総合的な」二値ラベルへと集約することを要求する。これは、異なるタスク段階の軌跡セグメントを比較する際に、曖昧さを生じさせる。
• 硬直した報酬関数（Rigid Reward Functions）: 手設計されたスカラー報酬は、衛生、礼儀、丁寧さといった人間の意図の全スペクトラムを捉えきれないことが多く、最適化の際に望ましくないダウンストリームの挙動を招く。

本論文は、ユーザーの意図のあらゆる側面を捉える堅牢なポリシーを学習するためには、人間の判断の多次元的な性質を保持することが不可ックであると主張している。

手法：フリーフォーム・プリファレンス学習 (FPL)

FPLは、フィードバックを単一のスカラーに集約するのではなく、自然言語で定義されたフリーフォームな人間の選好からロボットのポリシーを学習するフレームワークを導入する。この手法は、以下の3つのコアコンポーネントで構成される：

1. フリーフォームな選好収集

「どちらの軌跡が全体として優れているか？」と問う代わりに、アノテータには一対の軌跡が示され、以下のことが求められる：

• 自然言語による特定の**選好軸（preference axes）**を定義すること（例：「速度」、「安全性」、「セットアップの礼儀正しさ」、「滑らかさ」）。これらの軸は、事前定義されてもよいし、プロセス中にアノテータによって指定されてもよい。
• 定義された各軸（$l_k$）に対して、ペアごとの選好（$y_k \in \{0, 1\}$）を提供すること。
  これにより、自然言語ラベルと軸ごとの二値選好が付与された軌跡ペアのデータセット $\mathcal{P}$ が得られる。

2. 言語条件付き報酬学習

FPLは、事前学習済み視覚言語モデル（VLM）の表現を活用し、軸の自然言語記述に条件付けされた単一の報酬モデル $r_\phi$ を学習する。

• 軸条件付きスコアリング: 軌跡のペア $(\tau_i, \tau_j)$ と軸の集合 $\{(l_k, y_k)\}$ に対し、モデルは修正されたBradley-Terry損失を最小化するように訓練される：
  $$L_{FPL-Reward}(\phi) = -\mathbb{E} \left[ \sum_{k=1}^{K_{ij}} \log \sigma \left( (2y_k - 1) [r_\phi(\tau_i | l_k) - r_\phi(\tau_j | l_k)] \right) \right]$$
• 時間的モデリング: 個々の観測値をスコアリングする標準的なモデルとは異なり、FPLは報酬を観測履歴に条件付ける。軌跡レベルの報酬は、各プレフィックス・スコアの総和として定義される：
  $$r_\phi(\tau, l_k) = \sum_{i=1}^{T} g_\phi(o_{1:i}, l_k)$$
  ここで $g_\phi$ はマルチモーダル・トランスフォーマーである。これにより、モデルは軌跡レベルの選好を評価するために必要な時間的依存関係を捉えることができる。

3. 多次元ポリシー抽出

学習された多次元報酬を単一の加重スカラーへと集約（これは報酬ハッキングのリスクを伴う）するのではなく、FPLは自然言語の軸とその対応する報酬スコアに同時に条件付けられたポリシー $\pi_\theta$ を訓練する。

• ポリシーは、軸の集合 $\mathcal{L} = \{l_1, \dots, l_{K_\pi}\}$ とそれに関連する報酬 $r_\phi(\tau | l_k)$ に条件付けられたデータセットを用いて、行動クローニング（またはオフラインRL）を通じて訓練される。
• 反復訓練: このプロセスは反復的に行うことが可能である。ポリシーが向上するにつれ、アノテータはより洗練されたフィードバックを提供でき、軸の集合を拡張することもできるため、自然なカリキュラムが形成される。
• テスト時のステアラビリティ（制御可能性）: 推論時には、特定の軸に条件付けられたターゲット報酬値を変化させることで、再学習なしに特定の挙動へとポリシーを誘導（ステアリング）することができる。

主な貢献

1. フリーフォーム・プリファレンス学習 (FPL): 「全体的な」二値ラベルの曖昧さを回避し、多次元的かつ自然言語による人間の選好を抽出・学習するための新しい手法。
2. 言語条件付き報酬モデル: 軌跡と自然言語の軸記述をスカラー・スコアにマッピングする報酬関数であり、単一のモデルから多様な属性（品質、速度、安全性、衛生など）を学習することを可能にする。
3. 構成可能性とステアラビリティ: 本フレームワークは、ポリシーが構成的な挙動（データ内で共に現れなかった特性の組み合わせ）を示すことを可能にし、報酬の条件付けを変更することでテスト時の挙動のステアリングを可能にする。
4. セグメンテーションなしの密な監督: FPLは、明示的なサブタスクのセグメンテーションや手動の報酬整形を必要とせずに、長期間のタスクに対する密な進捗信号を学習する。

実験結果

著者らは、4つの実世界タスク（立方体をボウルに入れる、ショートパンツを畳む、トーストに盛り付ける、テーブルセッティングを行う）と、2つのシミュレーションタスク（物体の再配置、バイモーダル・スクエア）を用いてFPLを評価した。

• パフォーマンス: FPLは、実世界のタスクにおいて、平均で38パーセントポイント、ベースライン（疎な報酬、二値選好学習、および加重回帰を含む）を上回った。
• シミュレーション: 「バイモーダル・スクエア」タスクにおいて、FPLは、トレーニングデータに「もう一方のペグ」に関する高速な例しか含まれていなかった場合でも、挙動を構成（素早くナットをペグに置く）することに成功した。また、報酬の条件付けを変更することで、同じポリシーを使用して「反転した」タスク（左のペグ）でも高い性能を達成した。これはベースラインの手法にはない能力である。
• 報酬の密度: 定性的分析により、FPLの軸条件付き報酬は、特定のサブタスクのイベント（例：カップを置く瞬間）の周囲に時間的に局在していることが示された。一方で、二値選好報酬は、曖昧で後半にスパイクが発生する傾向があった。
• アノテーションの効率: フリーフォームな選好の収集は、単一の二値選好を収集する場合よりも、ラベルあたり約50%高速であった。これは、ビデオを視聴するコストが複数の軸固有の判断に対して共有されるためである。

意義と主張

本論文は、FPLがロボットにおける人間の意図の「多次元的」な性質を捉えるという根本的な課題に対処していると主張している。人間のフィードバックの構造を保持することで、FPLは以下を実現する：

• より密で曖昧さの少ない監督をポリシー最適化に提供する。
• 構成的な汎化を可能にし、学習された挙動（例：速度 ＋ 安全性）を、それが明示的に示されていない形でも組み合わせることを可能にする。
• テスト時のステアラビリティを提供し、再学習することなく、ユーザーがロボットの挙動（例：繊細さよりも速度を優先するなど）を調整できるようにする。
• 自然言語が、硬直した事前定義済みの報酬構造を超えて、報酬軸を定義するための実行可能かつ効果的なインターフェースであることを示す。

著者らは、選好学習は教師なしのアプローチよりもコストがかかるものの、FPLは学習されるポリシーの質と柔軟性を大幅に向上させるため、実世界のロボット学習における有望な方向性であると結論付けている。