Success Conditioning as Policy Improvement: The Optimization Problem Solved by Imitating Success

技術要約：方策改善としての成功条件付け（Success Conditioning）

問題提起
成功条件付け（Success conditioning）は、強化学習（RL）や大規模言語モデル（LLM）のポストトレーニング・パイプラインにおいて広く採用されているヒューリスティックである。この手法は、軌跡（trajectory）を収集し、望ましい結果（成功）を達成したものにフィルタリングを行い、それらの成功した軌跡で行われた行動を模倣するように方策を更新するものである。リジェクション・サンプリングを用いた教師あり微調整（SFT）、目標条件付きRL、Decision Transformerなど、様々な名称で呼ばれているが、それが解決している理論的な最適化問題はこれまで不明確であった。標準的なRL手法とは異なり、成功条件付けは明示的に価値関数を推定したり、方策勾配を計算したりすることはない。先行研究では、特に確率的な環境において最適な方策を復元できないという根本的な限界が示唆されていたが、それでもなお効果的に使用され続けている。本稿が取り組む中心的な問いは、「もし成功条件付けが最適な方策を復元できないのであれば、それは実際にどのような最適化問題を解いているのか、そしてその保証と失敗モードは何なのか？」という点である。

手法と定式化
本論文は、エピソード型マルコフ決定過程（MDP）の枠組みの中で成功条件付けを定式化している。

• セットアップ: 行動方策 $\pi_0$ によって生成された軌跡 $\tau$ を考える。成功はバイナリイベント $R(\tau)=1$ として定義される。
• ターゲット方策: 成功条件付き方策 $\pi^+$ は、ベイズ条件付けを通じて以下のように定義される：
  $$\pi^+(a | s) = P_{\pi_0}(A_t = a | S_t = s, R(\tau) = 1)$$
  この方策は、軌跡が最終的に成功したという条件の下で行われた行動の分布を表している。
• 学習: 実践的には、$\pi^+$ は成功した軌跡のデータセットに対する次ステップの行動予測損失（クロスエントロピー）を最小化することによって近似される。

主要な貢献と理論的結果

1. トラスト領域の等価性
主要な理論的貢献は、成功条件付けが特定の「トラスト領域方策最適化（Trust-region policy optimization）」問題の厳密な解であるという証明である。

• 目的関数: これは、第1次の方策改善項 $L_{\pi_0}(\pi)$（行動方策における期待アドバンテージ）を最大化する。
• 制約: この最適化は、新しい方策と行動方策との間の $\chi^2$ ダイバージェンスに関する制約の下で行われる。このダイバージェンスは、成功条件付き占有測度 $d^+_{\pi_0}$ によって重み付けされている。
• 半径: このトラスト領域の半径は、ユーザーが選択するハイパーパラメータではなく、データによって自動的に決定される。具体的には、制約の半径は行動方策の集約された**アクション・インフルエンス（action-influence）**に等しい。
• 幾何学: KLダイバージェンスを用いるTRPO（Trust Region Policy Optimization）やPPO（Proximal Policy Optimization）とは異なり、成功条件付けは $\chi^2$ ダイバージェンスを使用する。この幾何学はより保守的である。すなわち、行動方策において稀であった行動に確率を割り当てることを厳しく罰する一方で（探索は「高コスト」）、既に十分に支持されていた行動に確率質量を集中させることは許容する（忘却は「低コスト」）。

2. アクション・インフルエンスの恒等式
本論文は、すべての状態 $s$ において、以下の3つの量を結びつける驚くべき恒等式を確立している：

1. 相対的アドバンテージ（Relative Advantage）: $\pi^+$ によって提供される成功確率の相対的な改善。
2. 方策の変化（Policy Change）: $\chi^2$ ダイバージェンスによって測定される方策の変化量。
3. アクション・インフルエンス ($I_{\pi_0}(s)$): 行動方策の確率的な行動選択によって誘発される成功率の変動性を測定する指標。

数学的に、成功条件付き方策 $\pi^+$ に対しては以下の通りとなる：
$$\frac{A_{\pi_0}(s, \pi^+)}{V_{\pi_0}(s)} = \chi^2(\pi^+(\cdot|s) \| \pi_0(\cdot|s)) = I_{\pi_0}(s)$$
この恒等式は、方策の変化の程度が、改善の可能性と正確に一致することを意味する。もし行動方策の行動選択が結果に大きな影響を与えない（アクション・インフルエンスが低い）場合、方策は変化しない。

3. 失敗モードの特性化
本論文は、既知の成功条件付けの限界を再解釈している。

• 保守的な改善: 成功条件付けは保守的なオペレーターである。観測されたデータの「アクション・インフルエンス」によって制約されているため、性能を低下させたり、危険な分布シフトを引き起こしたりすることはない。
• 観測可能な失敗: 成功条件付けが（二腕バンディットの例のように、成功率がほぼ同一である場合に）最適な方策を見つけることに「失敗」する場合、それは方策をほとんど更新しないことによって失敗する。この失敗は、不安定性ではなく、**過度な保守性（over-conservatism）**によるものである。データが「行動を変えることが成功率の向上につながる」という信号を提供していないため、方策は行動方策の近くに留まるのである。

4. 稠密な報酬とプロキシ基準
本論文は、リターン閾値処理（成功を $Y > \theta$ と定義すること）を用いた、稠密な報酬の設定へと分析を拡張している。

• 忠実なもの vs プロキシ: 「忠実な（faithful）」バイナリ削減は、期待リターン目的関数を保持する。しかし、リターン閾値処理のような一般的な手法は、**プロキシ報酬（proxy rewards）**として機能する。
• トレードオフ: プロキシが非常に識別力が高い場合、条件付けはアクション・インフルエンス（およびそれによる潜在的な改善）を増幅させる可能性がある。しかし、閾値が高すぎる場合、プロキシは信頼できる行動ではなく、揮発性の高い結果を伴う「運の良い」軌跡を選択してしまう可能性がある。これは、プロキシの目的と真の評価目的との間のミスマッチを引き起こし、性能を低下させる可能性がある。

5. 方策勾配との関係
本論文は、成功条件付けと標準的なRLアルゴリズムを結びつけている。

• REINFORCE: もし反復スキームにおいて、毎ステップの更新ごとに（$N=1$ として）行動方策が更新されるならば、成功条件付けの損失の勾配はREINFORCEの方策勾配と等価になる。
• オフポリシー性: 標準的な成功条件付け（固定された成功軌跡のデータセットでの訓練）はオフポリシーである。これは、現在の方策に対して増分的な勾配ステップを行うのではなく、凍結された行動方策に基づくターゲット方策を定義し、それを教師あり学習によって適合させるものである。

意義と主張
本論文は、成功条件付けを、異なる幾何学的特性（$\chi^2$ vs KL）と自動的な半径決定を持つ、信頼領域手法（TRPO, PPO）と同じファミリーとして位置づけ、その原理的な理解を提供することを主張している。

• 安全性: 理論は、厳密な成功条件付けが性能を低下させないことを保証する。その失敗モードは、分布シフトのような危険なものではなく、無害なもの（変化なし）である。
• 診断的有用性: 学習された方策と行動方策の間の $\chi^2$ ダイバージェンスは、新たなロールアウトや報酬ラベルを必要とせずに、達成可能な改善の大きさを事前に直接示す診断指標として機能する。
• 限界: 著者らは、本解析が固定された行動方策の下での「厳密な」成功条件付けを特徴づけていることを注記している。有限データの影響、関数近似誤差、および反復的な成功条件付けの収束については扱っておらず、これらは今後の課題として残されている。

要約すると、本論文は成功条件付けを、最適な行動を「推測」するヒューリスティックから、観測されたデータに含まれる情報量（アクション・インフルエンス）に従って改善を最大化する、厳密かつ保守的な最適化オペレーターへと再定義している。