On the Optimal Reasoning Length for RL-Trained Language Models

技術要約：RL訓練済み言語モデルにおける最適な推論長について

問題提起
事後学習（post-training）における強化学習（RL）は、特に拡張された思考の連鎖（Chain-of-Thought: CoT）生成を通じて、大規模言語モデル（LLM）の推論能力を大幅に向上させてきた。しかし、重大な副作用として、RL訓練されたモデルは出力がますます冗長になる傾向があり、訓練および推論の両方のコストを増大させている。近年の文献では、過剰な生成を抑制するために様々な長さ制御手法が提案されているが、出力の長さと正確性の間の正確な関係は依然として不明である。具体的には、固定されたモデルに対するテスト時介入において観察されていた「推論の長さと正解率の間の非単調な関係」が、長さ制御の設定のみが異なるRL訓練済みポリシー間においても現れるのかどうかは分かっていない。さらに、長い出力領域において正確性が低下する根本的なメカニズムも、完全には解明されていない。

手法
著者らは、複数のモデルとタスクにわたって長さと正確性の関係を調査するため、制御された実証研究を行った。

• モデルとタスク: 実験は、DeepSeek-R1-Distill-Qwen-1.5B、Qwen3-1.7B、Qwen3-4B-Baseの3つのモデルを用いて行われた。タスクには数学的推論（ベンチマーク：AIME 2024, AIME 2025, AMC, MATH-500）およびコード生成（HumanEval, MBPP+）が含まれる。
• 訓練設定: 訓練は、特定の長さ制御手法の効果を分離するために過剰な長さへの報酬整形（reward shaping）を無効化した、修正版DAPOフレームワークに従った。また、完全なオンポリシー更新を行うため、PPOのミニバッチサイズは生成バッチサイズと等しく設定された。
• 長さ制御手法: 本研究では、主要なハイパーパラメータをスイープすることで、平均出力長が異なる一連のポリシーを生成し、いくつかの長さ制御戦略を比較した。手法には以下が含まれる：
  • ベースライン: Sample Avg (GRPO) および Token Avg (DAPO)。これらは明示的な長さペナルティなしに勾配を正規化する。
  • 明示的なペナルティ: RLOO-LP（長さに基づく報酬整形）、ALP（正確性に基づく長さペナルティ）、およびDRPO（DisCOフレームワーク内での長さに基づく重み付け）。
• 評価指標: 標準的なサンプル正確性に加え、著者らは回答分布の分解を導入した：
  • モード正確性 (Mode Accuracy): 最も頻繁にサンプリングされた回答（モード）が正しい問題の割合。これは、分布の中心の正確性を測定する。
  • モード漏洩 (Mode Leakage): モードとなるグループから外れたサンプルの平均的な割合。これは、中心の周囲におけるサンプルの分散を測定する。

主な結果

1. 非単調な長さと正確性の関係: すべてのモデル、ベンチマーク、および長さ制御手法において、サンプル正確性は平均出力長に対して非単調である。正確性は長さとともに上昇し、中間値でピークに達した後、長さが増加するにつれて横ばいになるか、あるいは低下する。このパターンは数学的推論とコード生成の両方で保持される。
2. モード正確性とサンプル正確性の乖離: 重要な発見は、長い出力領域におけるモード正確性とサンプル正確性の乖離である。サンプル正確性が低下または飽和する一方で、モード正確性は出力の長さが増加するにつれて向上し続ける。これは、個々のサンプルが信頼性を失いつつも、「中心」となる回答はより正確になっていることを示している。
3. 劣化のメカニズム: 長い出力におけるサンプル正確性の低下は、分散（モード漏洩）の増加によって引き起こされる。長い出力の領域では、サンプルはますます正確になる中心モードから遠くへ拡散していく。その結果、より正確な中心から得られる利得が、サンプルの集中度の喪失によって最終的に相殺される。
4. U字型の分散: 多くの設定において、モード漏洩は長さに対してU字型の関係を示す。短い長さでは、支配的な回答への収束が不足しているために漏洩が高い。最適な長さでは、漏洩は最小化される。過剰な長さでは、サンプルが正確ではあるが集中度の低いモードの周囲に散らばるため、漏洩は再び上昇する。

主な貢献

• 非単調性の一般化: 本論文は、固定されたモデルに対するテスト時の介入において文書化されていた「出力の長さと正確性の間の非単調な関係」が、複数のモデル、ベンチマーク、および長さ制御手法にわたる制御された比較においても発生することを実証した。
• 回答分布の分解: 著者らは、回答分布を「中心の正確性（モード正確性）」と「サンプルの分散（モード漏洩）」に分解した。彼らは、長い出力が前者を改善する一方で後者を増大させることを示し、モード正確性とサンプル正確性の間の不可解な乖離に対するメカニズム的な説明を提供した。

意義と主張
本論文は、RL訓練済み推論モデルにおける長さ制御の有効性をめぐる曖昧さを解消すると主張している。推論を単に延長することが一様に性能を向上させるわけではなく、最適な中間的な長さが存在することを確立した。本研究は、過剰な長さにおける性能低下は、モデルが誤った推論パスを学習しているためではなく（中心は正しいまま、あるいは改善している）、むしろモデルがサンプリングにおいて自信を失う、あるいは一貫性を失う（分散の増大）ことによるものであることを明確にしている。

著者らは、長さ制御の最適なペナルティ強度は手法やモデルによって異なると結論付けており、手動のハイパーパラメータ探索なしに最適な長さの領域を特定するための自動化された手法の開発が必要であることを示唆している。本研究は新しい長さ制御アルゴリズムを提案するものではなく、むしろ現在の手法に内在するトレードオフを理解するための診断フレームワークを提供するものである。