💬 NLP

Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization

本論文は、複数の報酬を伴う強化学習における利得推定の安定化を目的として、マグニチュードを考慮した分位正規化とマハラノビス・ホワイトニングを採用する Reward-Decorrelated Policy Optimization（RDPO）という新たな手法を導入し、これにより推論能力やコーディング能力を損なうことなく、指示追従、文章作成、および堅牢性におけるモデルの性能を向上させるものである。

原著者： Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いロボット（AI）に、物語を書く、数学の問題を解く、ソフトウェアをコーディングする、厳格な指示に従うなど、多くの異なる仕事を同時にさせるよう訓練していると想像してください。ロボットを教えるために、あなたは試行のたびにフィードバック（報酬）を与えます。

問題は、これらのフィードバック信号がごちゃごちゃしていることです。いくつかは「合格/不合格」の単純な成績（バイナリスイッチのようなもの）であり、いくつかは0から100までのスコアであり、いくつかは複雑な意見です。さらに、これらの信号はしばしば重複しています。例えば、長い回答は「詳細である」という点で加点される一方で、「冗長すぎる」という点で減点され、「詳細である」スコアと「冗長である」スコアが数学的に関連している可能性があります。

これらごちゃ混ぜになったスコアをすべて足し合わせて、ロボットがどのように改善すべきかを伝えようとするとき、訓練は混沌となります。ロボットは巨大なスコアに混乱し、他のものを無視したり、2つの信号が互いに戦っているためにループに陥ったりするかもしれません。

この論文の著者たちは、この混乱を解決するために**RDPO（Reward-Decorrelated Policy Optimization：報酬非相関方策最適化）**と呼ばれる新しい手法を提案しています。RDPOは、ロボットが学習する前にフィードバックを準備する2段階の「信号クリーナー」と考えてください。

ステップ1：「公平性フィルター」（マグニチュード感知型量子正規化）

問題： 教室で採点していると想像してください。ある生徒は100点、別の生徒は99点、3人目は0点です。生の数字だけを見ると、99と100の差はわずかに見えますが、0と99の差は巨大です。AI訓練において、ある種類の報酬（例えば「合格/不合格」チェックなど）に巨大な差がある場合、それは他のすべてのフィードバックを飲み込んでしまい、ロボットがその1つのことだけに集中し、他のすべてを無視するようになります。

解決策： RDPOはマグニチュード感知型量子正規化と呼ばれる「公平性フィルター」を使用します。

仕組み： 生の数字を見るのではなく、試行間の順位とギャップを見ます。巨大なギャップを圧縮し（100点が99点よりも無限に優れているわけではないように）、小さなギャップを伸ばします（99点と100点が依然として区別できるように）。
比喩： あるランナーが10秒で、もう一人が100秒でゴールするレースを想像してください。時間だけを見ると、2人目のランナーはひどく見えます。しかし、レースを正規化して、全員をグループ全体に対する相対的なパフォーマンスで評価するようにすれば、2人目のランナーは1人目のランナーの巨大なリードに押しつぶされることなく、改善する公平な機会を得られます。これにより、単一の「悪い」または「外れ値」の試行がロボットの学習プロセスを乗っ取ることを防ぎます。

ステップ2：「ノイズキャンセラー」（マハラノビス・ホワイティング）

問題： 時には、フィードバック信号が冗長であることがあります。2つのセンサーを持っていると想像してください。1つは「ロボットがどれだけ話したか」を測定し、もう1つも「ロボットがどれだけ話したか」を測定します。これら2つのスコアを足し合わせると、同じ情報を二重にカウントすることになります。あるいは、2つのセンサーが反対のことを言っていると想像してください。1つは「もっと長く」と言い、もう1つは「もっと短く」と言います。これらを単に足し合わせると、互いに打ち消し合い、ロボットは明確な方向性を得られません。

解決策： RDPOはマハラノビス・ホワイティングと呼ばれる「ノイズキャンセラー」を使用します。

仕組み： 異なるフィードバック信号間の関係を確認します。2つの信号が同じことを言っている場合（相関している場合）、一方の重みを減らして二重カウントを防ぎます。互いに戦っている場合は、ロボットが明確でバランスの取れた指示を得られるように調整します。
比喩： ドラマーとベーシストが全く同じリズムを演奏しているバンドを想像してください。それは濁って冗長に聞こえます。「ノイズキャンセラー」は、リズムセクションが濁ったのではなく、鮮明でクリアに聞こえるように、ベースを少し下げるサウンドエンジニアのようなものです。これにより、ロボットは繰り返しのノイズではなく、固有の情報から学習することが保証されます。

結果

著者たちは、この手法をLongCat-Flashと呼ばれる大規模なAIモデルでテストしました。彼らは4種類のタスクでそれを訓練しました：

指示追従： 求めたことを正確に行うこと。
一般執筆： 良い物語や記事を作成すること。
数学的推論： 論理パズルを解くこと。
コーディング： コンピュータプログラムを書くこと。

何が起こりましたか？

執筆と指示追従： ロボットは指示に従うことと高品質なテキストを書くことが大幅に向上しました。困難またはトリッキーなプロンプトが与えられたとき、より堅牢になりました。
数学とコーディング： ロボットは、以前の最良の方法と同じパフォーマンスを発揮しました。数学やコーディングの能力が低下したわけではありません。他のタスクで大幅に向上しながら、競争力を維持しました。

結論

この論文は、AIが学習する前にフィードバック信号を整理する（公平にし、冗長性を除去する）ことで、訓練プロセスがはるかに安定するとの主張を述べています。これにより、AIは数学の問題を解いたりコードを書いたりする能力を失うことなく、執筆やルール遵守など、複雑なマルチタスクの仕事で向上することができます。AIが正しい教訓を学ぶために、異なる種類の賞賛と批判を混ぜるより賢い方法です。

技術概要：報酬非相関方策最適化（RDPO）

1. 問題定義

大規模言語モデル（LLM）向けの複雑な強化学習（RL）環境において、トレーニングは往々にして混合報酬形式を伴うマルチタスク設定で行われる。単一のトレーニング実行には、正解性、指示追従、評価基準の満足度、選好モデルのスコア、応答長さなど、多様な目的が組み込まれることがある。

これらの異質な報酬信号を単一のスカラー利得に集約することは、トレーニングを不安定化させる 2 つの主要な課題をもたらす。

異質なスケールと分布: 報酬は、スケール（二値、分数、連続値）や分布の形状（歪み、同点、外れ値に弱い）において著しく異なる。標準的な集約手法は、プロンプトレベルで利得を頑健に割り当てることに失敗することが多く、単一のロールアウトが更新信号を支配する状況を引き起こす。
報酬の相関: タスク内の報酬次元はしばしば相関している（例：コードの正解性と応答長さ、または評価基準の満足度と選好スコア）。調整なしに相関する報酬を合計すると、冗長な分散が生じ、モデルが特定のバリエーションを「二重計算」したり、有用な信号を相殺したりする結果、集約された利得の有効な情報効率が低下する。

既存の手法である GRPO（直接合計）は相対的な性能変動を曖昧にする一方、GDPO（独立した Z スコア正規化）はプロンプトレベルでの非ガウス分布に対して依然として敏感であり、報酬間の相関に対処できていない。

2. 手法：報酬非相関方策最適化（RDPO）

著者らは、スケール不安定性と相関冗長性の失敗モードを明示的にターゲットとする、軽量な 2 段階の報酬処理パイプラインである RDPO を提案する。

2.1 診断指標：有効情報効率（ $\eta_{eff}$ ）

解決策の詳細に入る前に、本論文は混合報酬集約を評価するための診断指標として $\eta_{eff}$ を導入する。これは以下に分解される。

$\eta_{proj}$ （投影効率）: 標準化された報酬空間において、等しく重み付けされた投影と集約がどの程度整合しているかを測定する。これは、変化する報酬スケールに起因する不均衡にペナルティを課す。
$\eta_{corr}$ （相関効率）: 相関する報酬を合計した後に保持される独立した情報を定量化する。これは、報酬次元間の正または負の線形依存性に起因する冗長性にペナルティを課す。

2.2 ステップ 1：マグニチュード感知分位点（MAQ）正規化

目的: 非ガウス条件下における Z スコア正規化の限界に対処し、二値、分数、連続値の報酬全体でプロンプトレベルの利得割り当てを安定化させること。

メカニズム:

対数圧縮ギャップ: 線形スケーリングの代わりに、MAQ はソートされたロールアウトスコア間の間隔を対数圧縮関数を用いて計算する： $gap_j = \log(1 + |r_{j+1} - r_j| / (\beta \cdot \sigma_{global}))$ 。これにより、極端な外れ値の影響を制限しつつ、高密度領域における微妙な区別を保持する。
CDF 割り当て: ギャップを正規化し、累積分布関数（CDF）の位置を比例して割り当てる。
逆正規マッピング: 値を逆 CDF（ $\Phi^{-1}$ ）を介して標準正規分布にマッピングする。

効果: MAQ は、次元間で比較可能な利得を生成し、病理的なグループ統計（同点、歪み、外れ値）に対して感度が低くなる。これにより、単一のロールアウトがプロンプトレベルの更新を不釣り合いに支配することがなくなる。

2.3 ステップ 2：マハラノビス・ホワイトニング

目的: 特定のタスク部分空間内で共起する報酬次元間の冗長な分散を軽減すること。

メカニズム:

部分空間選択: マルチタスク設定では、ロールアウトがすべての報酬次元を観測することは稀である。RDPO は、与えられたタスクに対して 観測された 報酬部分空間 $S$ に対してのみホワイトニングを適用する。
Running 共分散推定: 指数移動平均（EMA）を用いて、MAQ 正規化された利得の共分散行列 $\hat{\Sigma}_t$ をオンラインで推定し、バッチレベルのノイズを平滑化する。
ホワイトニング変換: 利得ベクトル $A^{(i,j)}$ を共分散行列の逆平方根を用いて変換する： $W^{(i,j)} = \hat{\Sigma}_S^{-1/2} A^{(i,j)}$ 。これにより、アクティブな報酬次元を非相関かつ単位分散の信号へとシフトさせる。
集約: 最終的なスカラー利得は、ホワイトニングされた次元の合計であり、その後バッチごとの正規化が行われる。

3. 実験設定

モデル: LongCat-Flash（ポストトレーニング段階）。
タスク: 数学的推論、コード生成、指示追従、一般ライティングの 4 種類のタスクを統合した混合。
報酬部分空間:
- 数学：数学的正解性 + 長さ。
- コード：コードの正解性 + 長さ。
- 指示追従：IFEval + 評価基準。
- 一般ライティング：長さ + RM（報酬モデル）+ 評価基準。
ベースライン: GRPO（生合計）、GDPO（Z スコア正規化）、および RL 初期化モデル。
検証: LongCat-Flash へのスケーリング前に、MAQ とホワイトニングの寄与を分離するために、同ファミリーの小型モデルを用いた小規模検証。

4. 主要な結果

4.1 小規模検証

内部の小型モデルにおいて、完全な RDPO パイプラインは、GDPO、GRPO、および初期化モデルを複数の指標で上回った。

指示追従: IFEval で大幅な改善（GDPO の 78.56% に対し 83.55%）。
推論とコーディング: AIME24、FullStackBench、HumanEval+、MBPP+ での改善。
コンポーネント分析: MAQ（Q）とホワイトニング（M）の両方が相補的な利益を提供した。MAQ は分布に敏感な指標（例：AH-Creative）で特に効果的であった一方、ホワイトニングは相関に敏感な設定を支援した。

4.2 スケールされた LongCat-Flash の結果

LongCat-Flash に適用された場合、RDPO は以下を示した。

指示追従とライティング: RDPO は IFEval（90.39%）、GuideBench、SOP-Maze、WritingBench、および両方の ArenaHard v2 サブセット（AH-Creative: 89.00%、AH-Hard: 76.10%）で最高スコアを達成した。これは、オープンエンドで選好に敏感なタスクにおいて、プロンプトレベルの利得を安定化し、冗長性を削減することの有効性を確認するものである。
推論とコーディング: 結果は広範に競争力があったが、ばらつきがあった。RDPO は最良の MATH500 スコア（98.60%）に一致し、AIME2025 や GPQA においても競争力があった。コーディングにおいては、RDPO は MBPP+ と LiveCodeBench v6 で先行したが、FullStackBench と HumanEval+ では GRPO または初期化モデルが依然として強かった。
全体的な安定性: この手法は小規模検証から大規模トレーニングへ成功裏に転移し、指示追従とライティングの品質を大幅に向上させつつ、推論とコーディングの性能を安定して維持した。

5. 意義と主張

本論文は、LLM のポストトレーニングにおけるマルチオブジェクティブ RL に対して、スケール不安定性と相関冗長性という二重の失敗モードを明示的に対処することで、RDPO が堅牢な解決策を提供すると主張する。

方法的貢献: マグニチュード感知分位点正規化とマハラノビス・ホワイトニングを組み合わせることで、RDPO は集約された利得信号が幾何学的に一貫性（次元間での等しい貢献）を持ち、かつ情報効率的（冗長な分散の最小化）であることを保証する。
実用的影響: この手法は、混合報酬形式に典型的に伴うトレーニングの不安定性なしに、異質なタスク（例：数学、コード、ライティング）の同時最適化を可能にする。
性能: 著者らは、RDPO が指示追従、ライティングの品質、およびハードプロンプトに対する堅牢性を向上させつつ、推論とコーディングの評価において広範に競争力のあるままであると結論づけており、複雑な RL 環境向けの汎用報酬処理戦略としての有効性を裏付けている。