💻 computer science

One-Way Policy Optimization for Self-Evolving LLMs

本論文は、非対称な再重み付けと反復的な参照更新を通じて最適化方向と更新の大きさを分離することにより、既存のトークンレベルの制約の非効率性を克服し、外部参照モデルなしで継続的な改善を可能にする大規模言語モデルの自己進化を安定化・強化する新たな手法であるワンウェイ・ポリシー・オプティマイゼーション（OWPO）を導入する。

原著者： Shuo Yang, Jinda Lu, Kexin Huang, Chiyu Ma, Shaohang Wei, Yuyang Liu, Guoyin Wang, Jingren Zhou, Li Yuan

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shuo Yang, Jinda Lu, Kexin Huang, Chiyu Ma, Shaohang Wei, Yuyang Liu, Guoyin Wang, Jingren Zhou, Li Yuan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「One-Way Policy Optimization for Self-Evolving LLMs」を、平易な言葉と日常的な比喩を用いて解説したものです。

大きな問題：「中途半端に立ち往生する」ジレンマ

複雑な数学の問題を解くようにロボット（AI）を教える状況を想像してください。この際、解決策の最終段階でのみ「正解」か「不正解」かを判断できる「判定者（検証器）」がいます。

問題点: 判定者は最終段階でのみ発言するため、ロボットはしばしば迷子になります。どのステップが間違っていたのかが分からないため、学習が遅く、混乱をきたします。
従来の対策: 支援のために、研究者たちは「参照モデル（教師）」を導入しました。「教師のスタイルに近づけ」とロボットに指示することで、学習を安定させました。しかし、これにより新たな問題が生じました。
新たな問題: 時折、ロボットは教師がこれまで見つけられなかった「より良い」解決策を見つけ出すことがあります。しかし、ロボットは教師に近づけるよう強制されているため、異なる行動をとった場合にシステムから罰せられます。これは、答えへの近道を見つけ出した生徒に対し、教師が「ダメだ！私が教えた長い道を行け！」と怒鳴るようなものです。ロボットは立ち往生し、教師のレベルを超えて成長できなくなります。

解決策：One-Way Policy Optimization（OWPO）

著者たちは、OWPOと呼ばれる新しい手法を提案しています。これは「方向」と「速度」を分けて考える、賢いコーチのようなものです。

1. コーチのルール:

方向: 判定者がどの方向に進むかを決めます。「この道は良い」と判定者が言えば、ロボットはその方向へ進みます。「この道は悪い」と言われれば、ロボットは引き返します。方向を決めるのは教師ではありません。
速度: 教師がどの程度の速さで動くかを決めます。

2. 一方通行の道（非対称な再重み付け）:
OWPO は、ロボットのアプローチが教師に対して「劣っている」場合と「優れている」場合で、異なる扱いをします。

シナリオ A：ロボットが取り残されている場合（劣る逸脱）
- 状況: ロボットが不確実であったり、教師が自信を持っていた部分でミスをしている場合。
- 行動: コーチは学習を加速します。「ここでは教師より遅れている！急いで追いつけ！」と言います。これを加速的アライメントと呼びます。
シナリオ B：ロボットが先行している場合（優れる逸脱）
- 状況: ロボットが教師よりも良い解決策を見つけたり、より自信を持っていたりする場合。
- 行動: コーチは変化を減速させます。「ここでは素晴らしいことをしている！急に変化しすぎると、偶然この良いアイデアを失ってしまうかもしれない」と言います。これをゲインロックと呼びます。これにより、ロボットの新しく優れたアイデアが、ランダムなノイズによって洗い流されるのを防ぎます。

「ラチェット効果」：天井を破る

過去には、ロボットが教師と同じレベルに達すると、教師が限界だったため、それ以上良くなることができませんでした。

OWPO は、ラチェット機構（一度回ると後戻りしない工具のようなもの）を導入します。

数ステップごとに、ロボットは休憩し、自分自身の最高傑作を見て、「よし、今では私が教師だ」と宣言します。
参照モデルを、自分自身の現在の最高状態に更新します。
これにより、梯子が作られます。ロボットは登り、段を固定し、その新しい高さを基盤としてさらに高く登ります。かつての弱かった教師レベルに戻ることはありません。

なぜこれが重要なのか（結果）

この論文では、数学の問題（AIME 大会など）でこの手法をテストしました。

従来の手法: ロボットは教師のレベル付近で立ち往生しました。教師が 37% の正解率であれば、ロボットは 37% または 38% 付近で推移しました。
OWPO: ロボットは天井を突破しました。30% からスタートし、教師を超えて 40% 以上の正解率に達しました。
安定性: 創造的になりすぎるとクラッシュしたり不安定になったりする他の手法とは異なり、OWPO は良いアイデアを「ロック」することでロボットを安定させます。

まとめとしての比喩

山登りをしているハイカー（AI）を想像してください。

判定者は頂上を指し示すコンパスです。
従来の教師は「この特定の道筋を守れ」と言う地図でした。ハイカーが近道を見つけようとしても、その地図は彼らを古い道筋に戻そうとしました。
OWPOは賢いガイドです。ガイドは言います。「道から外れて迷ったら、道に戻すために急いで走れ。しかし、より高い場所へ続く近道を見つけたなら、滑らないように慎重にゆっくり歩け、だがその新しい道を進み続けよ。新しい高所に到達したら、地図を更新して、今やあなたが専門家であることを示し、そこから次の近道を探し始めよ」と。

これにより、AI は外部の「スーパー教師」に永遠に手を取られ続けることなく、継続的に進化し、より良くなっていくことが可能になります。

技術的サマリー：自己進化型 LLM のための一方向方策最適化

1. 問題定義

本論文は、大規模言語モデル（LLM）の推論能力を拡張する際における**検証可能報酬を用いた強化学習（RLVR）**の限界に焦点を当てています。RLVR は、数学やコードなど検証可能な結果を伴うタスクにとって有望なパラダイムを提供しますが、以下の 2 つの主要な課題に直面しています：

スパースかつ二値的な信号: 検証者による報酬は通常、シーケンスレベルでのみ利用可能であり、これにより分散が高く、サンプル効率が低く、最適化が不安定になります。
参照誘導型手法における「力反転」の衝突: 学習を安定させるため、既存の手法（KL 正則化付き RL、オンポリシー蒸留など）は、密なトークンレベルの制約を提供するために参照方策（ $\pi_{ref}$ $π_{r e f}$ ）を導入します。しかし、これらの手法は、報酬の向上を改善するかどうかに関わらず、参照からのいかなる逸脱をも罰する対称的な制約を課します。
- 核心的な問題: 方策が参照を上回ることを試みる際（「優位な逸脱」）、対称的な KL 罰または蒸留損失は参照へ向かう「引き戻し」力を及ぼします。この力が十分に強ければ、最適化の方向を反転させ、報酬を向上させるステップを後退させるステップに変えてしまいます。これにより性能の天井が生まれ、モデルが初期の事前分布を超えて進化することが阻害されます。

2. 手法：一方向方策最適化（OWPO）

著者らは、最適化の方向と更新の大きさを分離するように設計された**一方向方策最適化（OWPO）**というフレームワークを提案します。

中核原理

方向: 検証者（優位性信号 $A_t$ を通じて）によってのみ決定されます。検証者がトークンの正誤を判定します。
大きさ: 参照方策（ $\pi_{ref}$ ）によって調整されます。参照は方向を反転させるのではなく、ステップサイズを調整する役割のみを果たします。

機構：非対称再重み付け

OWPO は、標準的な PPO/DAPO 目的関数に適用される動的スカラー重み $w_t$ を導入します。この重みは、方向性逸脱（ $\delta_t$ ）によって決定され、以下のように定義されます：
$\delta_t(\theta) \triangleq \text{sgn}(A_t) \cdot \log \frac{\pi_\theta(y_t | s_t)}{\pi_{ref}(y_t | s_t)}$
$\delta_t$ に基づき、OWPO は 2 つの異なる領域を適用します：

加速的整合（劣位逸脱、 $\delta_t < 0$ ）:
- シナリオ: 現在の方策 $\pi_\theta$ が、正しい方向において参照に遅れをとっている場合（例：正しいトークンに対する確信度が低い、または誤ったトークンに対する確信度が高い）。
- アクション: 重み $w_t > 1$ となります。
- 効果: 勾配が増幅され、これらの遅れを修正する速度が加速されます。これにより、参照事前分布を活用して誤りを迅速に修正します。
利得ロック（優位逸脱、 $\delta_t > 0$ ）:
- シナリオ: 現在の方策 $\pi_\theta$ が、正しい方向において参照を上回っている場合（例：正しいトークンに対する確信度が高い）。
- アクション: 重み $w_t < 1$ となります（具体的には $\epsilon_{low}$ によって制限されます）。
- 効果: 更新ステップサイズが縮小されます。これにより、分散を低減し、高分散ノイズがこれらの有益な逸脱を不安定化させたり反転させたりするのを防ぎながら、スパースで高価値な利得を「ロックイン」します。

反復的自己進化（ラチェット効果）

固定された参照方策というボトルネックを克服するため、OWPO は反復的なブートストラッピングプロセスを組み込んでいます：

各学習ステージの終了時に、参照方策は「ハードスワップ」を通じて更新されます： $\pi_{ref}^{(k+1)} \leftarrow \pi_\theta^{(k)}$ 。
これによりラチェット効果が生まれます。各反復で最近の利得が新しい基準として統合され、モデルは元の事前分布に制約されることなく、より高い報酬に向かって継続的に上昇することが可能になります。

3. 主要な貢献

方向衝突の特定: 既存の RLVR 手法における対称的制約が、事前分布からの逸脱を改善する進歩を意図せず抑制する「力反転」を引き起こすことを特定しました。
方向と大きさの分離: OWPO は、検証者が勾配の符号（方向）を決定し、参照方策が勾配の大きさのスケーリングのみを行うという、新しい目的関数を導入します。
非対称信頼領域: 標準的な対称 KL 正則化とは異なり、OWPO は劣位逸脱の修正を加速しつつ、分散低減を通じて優位逸脱を保護する、方向認識型の信頼領域を構築します。
反復的自己進化フレームワーク: 一方向メカニズムと定期的な参照更新を組み合わせることで、OWPO は外部の教師モデルへの依存なしに継続的な自己改善を可能にします。

4. 実験結果

著者らは、DAPO-Math-17kデータセットとAIME24/25ベンチマークを使用して、Qwen-2.5-Math-7BおよびQwen-3-8Bベースモデル上で OWPO を評価しました。

ベースラインとの性能比較: OWPO は、純粋な RLVR 手法（GRPO、DAPO）や参照誘導型手法（OPD、MOPD、Sym-DAPO）を含む強力なベースラインを一貫して上回りました。
- Qwen-3-8B において、OWPO は AIME24 でPass@1 が 51.90%（最高）、**50.74%（収束時）**を達成し、MOPD（46.40%）や DAPO（45.31%）を大幅に上回りました。
- OWPO は、MOPD や OPD において参照方策の性能付近で頭打ちになる傾向が見られた「性能の天井」を突破しました。
自己進化の効率性: 最適でない事前分布（Pass@1 約 30%）から開始する反復設定において、OWPO は4 反復で約 40% の精度に到達しましたが、MOPD はより低い約 37% で飽和するまでに6 反復を要しました。
汎化性: 数学データのみで厳密に学習したにもかかわらず、OWPO は他の手法と比較して一般科学ベンチマーク（GPQA および MMLU-Pro）において優れた転移性を示しました。
アブレーション研究: 非対称性を除去（対称的再重み付け）すると、性能が深刻に低下し、対称的罰が力反転を引き起こすことが確認されました。「加速的整合」と「利得ロック」の両方のコンポーネントが不可欠であることが判明しました。

5. 意義と主張

本論文は、OWPO が RLVR における根本的な安定性と探索の衝突を解決すると主張しています。対称的正則化に内在する「力反転」効果を防止することで、OWPO はモデルが以下を実現することを可能にします：

最適でない事前分布からの安定した超越: モデルは崩壊することなく、初期の参照方策の能力を超えて進化できます。
継続的な自己進化の実現: 反復的な「ラチェット効果」により、外部の教師モデルなしで持続的な性能向上が可能になります。
検証者ガイダンスの優先: このフレームワークは、検証可能な推論タスクにおいては、最適化の方向の主要な駆動力として検証者の信号を据え、参照方策は大きさの安定化役としてのみ機能すべきであることを確立します。

著者らは、OWPO をスケーラブルで自己進化型の推論モデルに向けた根本的なステップとして位置づけており、現時点では数学と検証可能な推論に焦点を当てているものの、方向認識型最適化の原理は RLVR 全体に広く適用可能であると指摘しています。