Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies

以下は、論文「Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies」の詳細な技術的サマリーです。

1. 問題定義

目標条件付き方策（ロボット工学や具象化 AI 向けの基盤モデルなど）は、指示の解釈や多様な行動の実行において強力な能力を示しています。しかし、その下流タスクのパフォーマンスは、使用される特定のプロンプトや指示に極めて敏感です。

• ジレンマ:
  • プロンプトエンジニアリング: 離散的で微分不要なテキスト検索に依存します。これは冻结された方策を尊重しますが、自然言語を制御インターフェースとする際の限界により、最適な行動を引き出すことに失敗することが多いです。
  • 標準的なファインチューニング: タスクに整合させるために方策パラメータを更新します。効果的である一方で、破滅的忘却のリスク、狭いタスク分布への過学習、および事前学習中に獲得された広範な汎化能力の破壊を招く恐れがあります。
• ギャップ: 微調整の最適化能力を提供しつつ、冻结された基盤モデルの構造的安定性と汎化性を維持する適応メカニズムが必要です。

2. 手法：Preference Goal Tuning (PGT)

著者らは、適応を潜在制御問題として再定式化するポストトレーニングフレームワークであるPreference Goal Tuning (PGT) を提案します。方策の重みを更新する代わりに、PGT は連続的な潜在目標埋め込み（$g$）を最適化し、冻结された方策の行動を調節します。

中核的な定式化

• 冻结された方策: 方策パラメータ（$\theta$）は固定されたままです：$\pi(a|s, g; \theta)$。
• 潜在制御: 目標 $g \in \mathbb{R}^d$ は学習可能なパラメータとして扱われます。方策は、$g$ によってインデックス付けされる「行動多様体」を定義します。
• 目的: タスクの選好と整合する軌道分布を誘発し、人間または報酬に基づく選好によって定義される目標分布からの乖離を最小化する、最適な $g^*$ を見出すことです。

アルゴリズム的プロセス

PGT は、通常反復的に行われる 2 つの主要フェーズで動作します。

1. 選好サンプル生成:
   • 初期プロンプトを潜在目標 $g$ にエンコードすることから始めます。
   • 冻结された方策と $g$ を用いて環境と対話することで、軌道（$\tau$）を収集します。
   • 軌道に正（選好される）または負（選好されない）のラベルを付けます。ラベルは人間の注釈者や報酬信号（例：Minecraft における累積報酬）から得られます。
2. 行動選好の伝播:
   • 選好学習の目的関数（例：DPO - Direct Preference Optimization）を用いて、潜在目標 $g$ を更新します。
   • この目的関数は、参照目標（$g_{ref}$）に対する選好される軌道の尤度を最大化し、望ましくない軌道を抑制します。
   • 損失関数: 最適化は、選好ペアの負の対数尤度を最小化します：
     $$\mathcal{L}(g, g_{ref}) = \mathbb{E}_{(\tau_w, \tau_l) \sim D} \left[ -\log \sigma \left( \beta \Delta \right) \right]$$
     ここで、$\Delta$ は、勝者軌道（$\tau_w$）と敗者軌道（$\tau_l$）について、現在の目標と参照目標との間の対数尤度比の差です。

重要な理論的洞察

最適化を数百万のパラメータではなく低次元の潜在ベクトルに制限することで、PGT は記憶よりも汎化を優先する強い帰納的バイアスを課します。これは、方策に符号化された基礎的な物理的ダイナミクスを変更することなく、最適な条件付け入力を探し出すことを可能にします。

3. 主要な貢献

1. 潜在制御パラダイム: 適応を潜在目標埋め込みの最適化のみによって達成し、基盤方策を冻结したままにする、新しいポストトレーニング手法を導入します。これにより、タスクの整合性と物理的ダイナミクスが分離されます。
2. 選好に基づく最適化: 選好学習（特に DPO とその変種）を潜在目標空間に適用し、最小限のデータでタスク選好との効率的な整合を可能にします。
3. 分布外（OOD）に対する頑健性: タスク適応を潜在目標に隔離することで破滅的忘却を防ぎ、標準的なファインチューニングがしばしば劣化させる分布外（OOD）汎化を維持することを示しています。
4. 継続学習能力: 各タスクごとにコンパクトな潜在ベクトルを格納することで、複雑なリプレイや正則化メカニズムなしにタスク干渉を回避し、スケーラブルな継続学習を可能にすることを示しています。

4. 実験結果

このフレームワークは、2 つの基盤方策（GROOT と STEVE-1）を用いたMinecraft SkillForge ベンチマーク（17 タスク）と、LIBERO-goal ロボット操作ベンチマークで評価されました。

• パフォーマンス向上:
  • PGT は、分布内タスクにおいて、事前学習済み方策に対して平均相対的に72.0%（GROOT）および81.6%（STEVE-1）の改善を達成しました。
  • 専門家によって作成されたプロンプトや標準的なプロンプトエンジニアリングのベースラインを一貫して上回りました。
• 分布外（OOD）汎化:
  • OOD 設定（異なるシード、バイオーム、ツール設定）において、PGT はそれぞれ**73.8%および36.9%**のパフォーマンス向上をもたらしました。
  • 重要なのは、PGT が OOD 設定においてフルファインチューニングを 13.4% 上回ったことです。フルファインチューニングは分布内パフォーマンスを向上させましたが、過学習により汎化性が低下することがよくありました。
• パラメータ効率性:
  • PGT は潜在目標ベクトルである512 パラメータのみを最適化しますが、フルファインチューニングは約 1 億パラメータを伴います。
  • OOD シナリオにおいて、LoRA、BitFit、VeRA などの他のパラメータ効率型ファインチューニング（PEFT）手法を上回りました。
• 継続学習:
  • 逐次的なタスク獲得において、PGT は破滅的忘却を完全に回避しましたが、Naive Continual Learning (NCL) や Elastic Weight Consolidation (EWC) などのベースラインは、以前のタスクで著しいパフォーマンス低下を被りました。
• クロスドメインの有効性:
  • ロボット操作（LIBERO-goal）におけるOpenVLA方策での実験により、PGT は Minecraft を超えて適用可能な一般的なポストトレーニングメカニズムであり、連続制御ドメインにおける成功率を向上させることが確認されました。

5. 意義と影響

• 基盤能力の維持: PGT は、大規模モデルを「非破壊的」に適応させる方法を提供します。これにより、モデルは事前学習中に獲得した広範で構成的な知識を消去することなく、新しいタスクを学習できます。
• サンプル効率性: 低次元ベクトルを最適化することで、PGT はフルファインチューニングに比べてはるかに少ないデータと計算資源を必要とし、実世界への展開において非常に実用的です。
• スケーラブルな適応: 各タスクごとに単一のコンパクトな潜在ベクトルを格納する能力は、干渉や大規模なリプレイバッファを必要としない、スケーラブルなマルチタスクエージェントへの実現可能な道筋を示唆しています。
• 安全性と制御: このフレームワークは、行動調節のための連続的かつ微分可能なインターフェースを提供し、離散的なテキストプロンプトと複雑な物理的タスクに必要な連続制御との間のギャップを埋めます。

結論として、Preference Goal Tuningは、基盤モデルの適応方法において重要な転換点であり、重みの修正から潜在空間のナビゲーションへと移行することで、目標条件付き意思決定において優れた頑健性、汎化性、および効率性を実現します。