🤖 AI

QLPO: Quadrant-weighted Sampling for Length-aware Policy Optimization

本論文は、学習中に「短い正解」と「長い不正解」の出力を優先することで応答長を暗黙的に制御する、GRPOの単純なリサンプリングに基づく派生手法であるQLPOを提案しており、これにより、様々なモデルサイズにおいて推論の正確性を維持しつつ、推論レイテンシを大幅に削減する。

原著者： Siwei Chen, Siqi Chen, Xupeng Miao, Bin Cui

公開日 2026-07-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Siwei Chen, Siqi Chen, Xupeng Miao, Bin Cui

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

お気に入りのAIアシスタントが、信じられないほど賢いけれど、同時に信じられないほどお喋りな世界を想像してみてください。あなたが簡単な数学の質問をすると、素早い答えを出す代わりに、AIは自分のあらゆる思考を説明し、答え合わせを3回も繰り返し、そして迷惑をかけたことを謝罪しながら、まるで小説のような長文を書き上げます。これが現在の「大規模推論モデル（Large Reasoning Models）」の現実です。これらは、思考を声に出して行う「思考の連鎖（Chain-of-Thought）」と呼ばれるプロセスを通じて、難しい問題を解くために訓練された非常にスマートなコンピュータプログラムです。これらは、犬の訓練のような「強化学習」という手法を用いています。もし犬が「座れ」と言われて座ったら、おやつをもらえます。もしAIが正解に辿り着いたら、デジタルのおやつをもらえるのです。問題は？AIは、おやつをもらうための最善の方法は「たくさん喋ること」だと学習してしまったことです。AIは、言葉が多いほど優れた回答になると考えているため、何千もの余計な言葉を生成し始めます。これにより、AIは動作が遅くなり、実行コストが高くなり、読むのが面倒になってしまいます。科学者たちは、これらのモデルの知能を下げたり正確性を損なったりすることなく、簡潔になるよう教えようとしています。

ここで、QLPO（Quadrant-weighted sampling for Length-aware Policy Optimization：長さを考慮した方策最適化のための四分位重み付けサンプリング）と呼ばれる新しい手法が登場します。QLPOを、単にAIに向かって「もっと短くしろ！」と怒鳴るだけの賢い編集者だと考えてみてください。そうではなく、QLPOは、AIの練習過程を観察し、「短くて正しいものは素晴らしい。長くて間違っているものは最低だ」という単純なルールに基づいて、学習すべき最高の例を選び出すことで、ゲームのルールそのものを変えるのです。

その魔法がどのように機能するかを説明しましょう。AIがテストを受けている学生だと想像してください。通常の学習セッションでは、学生は一つの問題に対して8つの異なる回答を書きます。先生（標準的な学習方法）はその8つすべてを見て、「よし、正解だが、書きすぎだ」とか「間違っているが、短すぎる」といった具合に判定します。これは学生を混乱させることがあり、学生は「もっと安全のために、もっとたくさん書く必要があるのかも？」と考えてしまうかもしれません。

QLPOは、先生の戦略を変えます。まず、学生は（通常の2倍である）16個の回答を書くよう求められます。次に、先生はこれら16個の回答を4つのグループに分類します。

短くて正しい（黄金律）
長くて正しい（少し冗長だがOK）
短くて間違い（正解するには短すぎる）
長くて間違い（最悪の種類：長く、混乱を招くゴミ）

そして、先生は「長くて間違い」の回答のほとんどを捨て、「短くて正しい」もののほとんどを保持します。彼らは選択された回答を8個のグループに混ぜ合わせ、「これが君が学ぶべきものだ」と言います。これを何度も繰り返すことで、AIは微妙なレッスンを学びます。「おやつをもらうために、ダラダラ喋る必要はない。ただ、正しく、かつ効率的であればいいのだ」と。

論文の著者たちは、この単純な並べ替えが驚くべき効果を発揮することを発見しました。彼らは、極小のモデル（15億パラメータ）から巨大なモデル（320億パラメータ）まで、さまざまな規模のモデルでテストを行いました。結果は衝撃的でした。QLPOは、全般的にAIの回答の長さを**30%から70%**減少させました。非常に難しい数学のテストでは、回答の長さを17,000語以上から約6,600語に削減しましたが、正確性は一切失われませんでした。実際、いくつかの困難なベンチマークにおいて、モデルのパフォーマンスはわずかに向上したか、あるいは全く同じを維持しており、簡潔になることが知能を低下させなかったことを証明しました。

研究者たちはまた、言葉を使いすぎることに「ペナルティ」を課すような、AIに短さを強制する他の手法ともQLPOを比較しました。彼らは、それらの手法がしばしば逆効果となり、AIを混乱させたり正確性を下げたりすることを発見しました。しかし、QLPOは重い手による強制ではなく、優しい後押しのようなものです。それはゲームのルール（報酬）を変えるのではなく、AIが学習する例そのものを変えるのです。

興味深いことに、著者たちはこの手法が単にAIを短くするだけでなく、AIの「考え方」自体をよりスマートにすることを指摘しました。AIは、繰り返しの説明や冗長な確認に時間を浪費することをやめます。重要なステップだけを残し、無駄を削ぎ落とすことを学ぶのです。この手法は、訓練中にAIに少し余分な回答を生成させる必要があるため、わずかながら追加の時間が必要ですが、その見返りは絶大です。完成したモデルは、実世界で使用する際に、はるかに高速で安価になります。

要するに、QLPOは、AIを棒で叩いて静かにさせる必要はないことを示唆しています。ただ、静かで正しい回答こそが本当に重要であることを示せばよいのです。これは、私たちの愛すべきお喋りなデジタルな友人たちに、「より少ない言葉で、より多くを語る」ことを教えるための、シンプルで堅牢な方法なのです。

技術要約: QLPO (長さ認識型方策最適化のための四分象限重み付けサンプリング)

問題提起

OpenAI oシリーズ、DeepSeek-R1、Qwen3といった最近の大型推論モデル（LRM）は、GRPO（Group Relative Policy Optimization）のような強化学習（RL）手法を通じて、複雑な数学、コーディング、エージェント的タスクにおいて顕著な能力を示しています。しかし、これらのモデルはRLトレーニング中に「長さの爆発（length explosion）」現象に頻繁に陥ります。最終的な正解のみを優遇する報酬信号に駆動されることで、LRMは数千もの冗長なトークンを含む、過度に冗長な思考連鎖（CoT）の推論パスを生成する傾向があります。この冗長性は、推論コストの増大と深刻なデプロイメント・レイテンシを招きます。

応答の長さを制御するための既存の解決策は、通常、報酬関数内での明示的な長さペナルティや、複雑なステップレベルのコントローラーに依存しています。本論文は、これらのアプローチが以下のような重大な欠点を抱えていると主張しています：

報酬の歪み: 明示的なペナルティはRLの目的関数を歪ませ、深い、広範な演繹ステップを真に必要とする困難な問題に対して、急激な性能低下を引き起こす可能性があります。
チューニングの敏感さ: これらの手法は繊細なハイパーパラメータ調整を必要とし、不適切な係数を選択すると推論の質を損なう恐れがあります。
効果のないヒューリスティック: 最短の応答のみを選択するGFPO（Group Filtered Policy Optimization）のような単純な再サンプリング戦略は、誤ったサンプルによる負の勾配の寄与を無視するため、推論効率を悪化させる可能性があり、しばしば失敗します。

手法: QLPO

著者らは、報酬関数、アドバンテージ推定器、またはコアとなる最適化アルゴリズムを変更することなく、暗黙的な長さ制御を実現する、GRPOの再サンプリングベースのバリアントである**QLPO（Quadrant-weighted sampling for Length-aware Policy Optimization）**を提案しています。

コアメカニズム

QLPOは、RLロールアウトフェーズ後の構造化された再サンプリングプロセスを通じて、学習分布を再形成することで機能します。

過剰生成（Over-generation）: 各プロンプト $x$ に対して、方策 $\pi_{\theta_{old}}$ は、標準的な更新グループサイズ $M$ よりも大きいサイズ $K$ （ $K > M$ ）の過剰サンプリングされた候補プール $\tilde{G}(x)$ を生成します。
正誤による分割: プールは、正誤インジケーターに基づいて、正解（ $\tilde{G}^+$ ）と不正解（ $\tilde{G}^-$ ）の応答に分割されます。最終的なグループの目標カウント（ $N^+$ および $N^-$ ）は、過剰生成されたプールの経験的な正誤比率を維持するように設定されます。
四分象限への分割: 各正誤クラス内において、応答は相対的な長さに基づいて「短い」と「長い」にさらに分割されます（ソートされたリストを半分に割る）。これにより、以下の4つの四分象限が作成されます：
- 正解かつ短い（Correct-Short）
- 正解かつ長い（Correct-Long）
- 不正解かつ短い（Incorrect-Short）
- 不正解かつ長い（Incorrect-Long）
四分象限重み付けサンプリング: 長さの選好係数 $\alpha \in (0, 1)$ $α \in (0, 1)$ がサンプリング比率を決定します。
- ターゲット: 正解かつ短いおよび不正解かつ長い応答を優先します。
- 比率: （Correct-Long : Correct-Short）および（Incorrect-Short : Incorrect-Long）のサンプリング比率は $\alpha : 1$ に設定されます。
- $\alpha < 1$ のとき、このアルゴリズムは簡潔な正解と冗長な不正解を優先的に保持し、冗長な正解と簡潔な不正解を破棄します。
標準的な更新: 選択された四分象限内で一様にサンプリングすることにより、最終的なサイズ $M$ のグループが構築されます。このグループは、標準的なGRPOのアドバンテージ推定と方策更新に使用されます。

理論的洞察: グループ・トラジェトリ勾配ビュー

本論文は、グループベースのRLを2つのレベルに分解する新しい分析フレームワークを導入しています：

グループレベルの勾配割り当て: 選択されたグループの構成とグループ相対アドバンテージによって決定されます。このレベルは、正誤性と推論の質に関する主要な信号を担います。
トラジェトリレベルの勾配実現: 特定のトラジェトリに沿って蓄積されるトークンごとの勾配によって決定されます。

QLPOは、報酬関数を改変しないため、報酬シェーピング手法とは区別されます。代わりに、グループレベルのアドバンテージ計算（元の報酬に依存）を変えることなく、グループの構成を変更するセレクターとして機能します。正解かつ短い、および不正解かつ長いトラジェトリを優先的に含めることで、QLPOは、報酬にエンコードされた正誤信号を損なうことなく、トークンレベルの更新をより短い成功した応答へとバイアスさせます。これは、正誤の構成を維持できないためにグループレベルの勾配割り当てを乱すと著者が主張するGFPOとは対照的です。

主な貢献

アルゴリズム設計: 報酬関数ではなくサンプリング分布を修正することで、長さ認識型の方策最適化を実現する、シンプルで堅牢なRLアルゴリズムであるQLPOの導入。
理論的フレームワーク: グループベースのRLアルゴリズムを分析するための「グループ・トラジェトリ勾配ビュー」の提案。これにより、QLPOがいかにして正誤信号を維持しながら、暗黙的に短い出力を促進するかを明らかにしました。
実証的検証: ベースモデルおよび強力な推論モデルの両方を含む、多様なパラメータ規模（1.5Bから32B）のモデルにおいて、難易度の高いベンチマーク（GSM8K, MATH-500, OlympiadBench, GPQA, AIME24）に対して、精度と長さのトレードオフを一貫して改善することを実証。

実験結果

著者らは、DeepScaleR-1.5B、DeepSeek-R1-Distill-Qwen-7B、および様々なQwen2.5/Qwen3バリアントを含むモデルを用いて、GSM8K、MATH-500、OlympiadBench、GPQA、AIME24などのベンチマークでQLPOを評価しました。

長さの削減: QLPOは、標準的なGRPOと比較して、応答の長さを**30%から70%**削減しました。
- 例: OlympiadBenchにおけるDeepScaleR-1.5Bでは、長さが17,138トークンから6,621トークンへと減少しました（67.6%の削減）。
- 例: GPQAにおけるQwen2.5-3Bでは、長さが2,225トークンから721トークンへと減少しました。
精度の維持: 大幅な圧縮にもかかわらず、QLPOは難易度の高いベンチマーク（OlympiadBench, GPQA, AIME24）において、標準的なGRPOと同等またはそれをわずかに上回る精度を実現しました。ほとんどの場合、性能低下は無視できる範囲であり、トレーニングの確率的な変動の範囲内に収まりました。
ベースラインとの比較: QLPOは、精度と効率のフロンティアを維持する上で、GFPOや他の圧縮ベースライン（L1, ThinkPruneなど）を上回りました。性能を激しく低下させるような圧縮手法とは異なり、QLPOは推論能力を維持しました。
トレーニング効率: QLPOは過剰生成（ $M=8$ に対して $K=16$ をサンプリング）を必要としますが、実時間（wall-clock）のトレーニング時間の増加は緩やかでした（16.3%の増加から8.4%の減少の範囲）。トレーニング中の応答の長さの減少が、最終的に初期のサンプリングオーバーヘッドを相殺しました。
汎用性: 本手法は、マルチモーダル推論（Geo3KにおけるQwen2.5-3B-VL）およびコード生成（Phi-3.5-mini-instruct）にも汎用できることが示され、タスク性能を維持しながら同様の長さ削減を実現しました。

意義と主張

本論文は、QLPOを、大型推論モデルにおける「長さの爆発」というボトルネックに対する、実用的かつ堅牢な解決策として位置付けています。その主な意義は、明示的な報酬ハッキング（長さを直接ペナルティ化すること）から、構造化されたデータ再サンプリングへとパラダイムをシフトさせたことにあります。

著者らは以下のことを主張しています：

暗黙的な制御: 報酬関数を変更することなく効果的な長さ制御が可能であり、それによって、ペナルティベースの手法が直面する「簡潔さと推論の深さ」の間のトレードオフを回避できます。
堅牢性: この手法は、異なるモデルスケール（1.5Bから32B）およびアーキテクチャ（DenseおよびMoE）において有効であり、効率的な推論のための汎用的な戦略であることを示唆しています。
圧縮の質: QLPOによる圧縮は、単なる不可欠な推論ステップの除去ではなく、冗長なナレーションや価値の低いトークンの排除です。本論文は、QLPOの下での短い応答は、冗長な足場作り（scaffolding）ではなく、「深い思考のトークン」の濃度を高めることで、時にパフォーマンスを向上させることがあると示唆しています。

結論として、QLPOは、推論モデルの推論の質を維持しながら、レイテンシとコストを削減することで、実世界へのデプロイメントをより現実的なものにする、推論モデルの推論効率を向上させるための効果的なアプローチを提供します。