🤖 machine learning

LEAD: Length-Efficient Adaptive and Dynamic Reasoning for Large Language Models

本論文は、強化学習中に正解性と効率性を動的にバランスさせるオンラインの自己適応メカニズムを採用した新たな手法LEAD を導入し、これにより大規模推論モデルが多様な数学的ベンチマークにおいて精度を損なうことなく、はるかに短い思考連鎖（Chain-of-Thought）出力を生成できるようにするものである。

原著者： Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

数学のテストを受ける、天才的だが話しすぎな生徒を想像してみてください。この生徒は現代の大規模言語モデル（LLM）を表しており、非常に賢く、難しい問題も解けます。しかし、悪い癖があります。「考えすぎ」 tendencies です。「2+2 は何か？」という単純な質問に対しても、数字の歴史、足し算の哲学、そして数字 2 の生涯について 10 ページの論文を書き、最後にようやく「4」という答えを出すかもしれません。

この「考えすぎ」は、時間、エネルギー、コンピューターリソースを浪費します。この論文は、この生徒に賢さを失わずに簡潔になることを教えるための新しいトレーニング手法、LEAD（Length-Efficient Adaptive and Dynamic Reasoning：長さ効率的適応的かつ動的推論）を導入します。

LEAD の仕組みを、簡単な概念に分解して説明します。

問題：「万能型」の罠

このおしゃべりな行動を修正しようとした以前の試みは、「どんな質問であっても、答えは正確に 50 語でなければならない」と言う厳格な教師のようでした。

問題点： これは不公平です。単純な質問は短くあるべきですが、オリンピックレベルの複雑な数学問題には長い説明が必要です。難しい問題に短い答えを強制すれば、生徒は間違えます。簡単な問題に長い答えを強制すれば、時間を浪費します。
結果： 古い手法は、生徒を短すぎて（そして間違えて）しまうか、十分に短くしませんでした。

解決策：LEAD の 2 つの賢い工夫

LEAD は、リアルタイムで指導スタイルを調整する賢いコーチのように機能します。主に 2 つの工夫を使います。

1. 「ダイナミックな音量ノブ」（適応的報酬）

生徒が評価されるのは、正解性（正しい答えを出すこと）と簡潔さ（短くまとめること）の 2 つだと想像してください。

従来の方法： 教師は固定されたルールを設定します。「成績の 50% は正解性、50% は簡潔さ」と。これはうまくいきません。トレーニングの初期段階では、生徒は問題を解く「方法」を学ぶことに完全に集中する必要があるからです。早々に短くするよう圧力をかければ、生徒は考えずに推測し始めます。後になって、解き方を理解できるようになったら、短くするよう促したいものです。
LEAD の方法： LEAD は賢い音量ノブを使います。
- トレーニング初期： 「正解性」のノブを上げます。生徒は解決策を見つけるために必要に応じて、どれだけ話し込んでも許されます。
- トレーニング後期： 生徒が正解し始めると、ノブが自動的に切り替わります。「簡潔さ」の音量が上がり、「正解性」の音量は下がります（すでに解き方を理解しているため）。
- 魔法： システムは常にチェックします。「生徒はまだ短くする方法を学んでいるか？」もしそうなら、促します。もし生徒がすでに短ければ、押し付けを止め、答えがまだ正しいか確認することに集中します。

2. 「個別の目標」（問題ごとの予算）

すべての質問に固定された語数制限を与えるのではなく、LEAD は各質問に独自の個別の目標長さを与えます。

仕組み： システムは生徒の成功した試行を見ます。
- 生徒が難しい問題を 2,000 語で正しく解いた場合、LEAD は「よし、この特定の難しい問題の目標は 2,000 語だ。それ以下になると、手順を飛ばしている可能性がある」と言います。
- 生徒が簡単な問題を 200 語で解いた場合、LEAD は「素晴らしい、この問題の目標は 200 語だ」と言います。
対称的報酬： LEAD は公平です。長い答えだけを罰するわけではありません。短すぎる答えも罰します。生徒が難しい問題に対して 10 語の答えを出した場合、LEAD は「それは短すぎる。おそらく不正か推測だ」と言います。これにより、生徒が怠惰な近道をするのを防ぎます。

結果：「ジャストサイズ」の生徒

5 つの異なる数学ベンチマークでテストされた結果、LEAD は以下のような生徒を生み出しました。

回答を短くしようとした他の手法よりも多くの正解を出した。
元のおしゃべりなモデルよりも大幅に少なく話した。
賢さと簡潔さの間の最良のバランス（「精度 - 効率スコア」と呼ばれる）を達成した。

要約した比喩

元のモデルは、観光客が単に名所を素早く見たいときでも、絶えず話し続けるガイドだと考えてください。

古い手法は、ガイドにタイマーを設けようとしました。「5 分後に話を止めて」と。これにより、ガイドは複雑な美術館を駆け抜け（間違えて）、単純な公園訪問を長引かせ（時間を浪費）することになりました。
LEADは、ガイドを見守る賢い管理者のようです。
- ガイドが複雑な絵画の説明に苦労している場合、管理者は「時間をかけて、十分に説明しなさい」と言います。
- ガイドが単純な像を説明している場合、管理者は「要点はわかった、2 文でまとめなさい」と言います。
- 管理者はツアーの最中にルールを調整し、ガイドが常にちょうど良い量のしゃべり方をするようにします。

要するに、LEAD は AI モデルに、課題の難易度と自身の進捗に応じて、いつ深く考え、いつ簡潔にするべきかを教えるものであり、硬直的で万能型のルールに従うのではなく、適応することを可能にします。

技術的概要：LEAD（長さ効率的な適応的かつ動的推論）

1. 問題定義

OpenAI o1 や DeepSeek-R1 などの大規模推論モデル（LRM）は、明示的な思考連鎖（CoT）推論が複雑なタスクのパフォーマンスを大幅に向上させることを実証しています。しかし、この能力には重大な非効率性が伴います。推論能力が向上するにつれて、モデルは過剰に冗長になり、基礎となる問題に必要な以上の推論痕跡を生成する傾向があります。この「過剰思考」は計算リソースを浪費し、遅延を増大させ、コンテキスト予算を消費します。

効率性を強制する既存のアプローチは、通常、正解報酬と並行して長さベースの効率性シグナルを強化学習（RL）のトレーニングに追加します。しかし、本論文は、現在の静的な手法には 2 つの根本的な限界があると特定しています。

非定常な報酬バランス: 正解性と効率性の間の最適なバランスは、トレーニングを通じて変化します。トレーニングの初期段階では、正解性指向の探索が不可欠であり、過度な長さの圧力は有効な解の発見を抑制する可能性があります。後期には、モデルが問題を解く方法を学習するにつれて、冗長性を除去するために効率性シグナルがより有用になります。静的な報酬重み（例：固定された $\lambda_c, \lambda_\ell$ ）はこの変化する環境に適応できず、精度の低下または圧縮の未実現という妥協を招きます。
柔軟性の欠如したグローバル予算: 異なる問題には、推論量が大きく異なります（例：単純な算術対オリンピックレベルの数学）。単一のグローバル長さ予算（ $B$ ）を適用することはトレードオフを強います： $B$ を厳しく設定して簡単な問題を圧縮すると、難しい問題が切り捨てられ（精度を損なう）、 $B$ を緩く設定して難しい問題を維持すると、簡単な問題が圧縮されず（トークンを浪費します）。

2. 手法：LEAD

著者は、静的なヒューリスティックをオンラインの自己適応メカニズムに置き換えるフレームワークであるLEAD（Length-Efficient Adaptive and Dynamic reasoning）を提案します。LEAD は、以下の 2 つの中核コンポーネントを通じて上記の 2 つの課題に対処します。

A. ポテンシャルスケーリング不安定性（PSI）による動的報酬重み付け

正規化前に報酬を結合する（報酬の崩壊を招く）方法や静的な重みを使用する代わりに、LEAD は分離されたグループ正規化 followed by オンライン動的重み付けを採用します。

分離された正規化: GDPO に倣い、LEAD は集約前に正解性報酬（ $r_c$ ）と長さ報酬（ $r_\ell$ ）をそれぞれのグループ内で個別に正規化します。これにより、分散の大きいシグナルがアドバンテージ計算を支配するのを防ぎます。
PSI コントローラー: 重み $\lambda_c$ $λ_{c}$ と $\lambda_\ell$ $λ_{ℓ}$ は、各報酬シグナルの**ポテンシャルスケーリング不安定性（PSI）**に基づき、各トレーニングステップでオンライン更新されます。
- 不安定性: 報酬がどの程度変化しているかを示す変動係数（ $CV_k$ ）で測定されます。
- ポテンシャル（余力）: 報酬が理論的な天井（正解性の場合は 1.0 など）からどの程度離れているかを示す $P_k$ で測定されます。
- メカニズム: PSI スコア $\Psi_k = \widehat{CV}_k \cdot P_k$ は、報酬がノイズ（情報性）があり、かつ改善の余地がある場合に高くなります。重みはこれらのスコアから導出され、指数移動平均（EMA）を通じて平滑化されます。
- 効果: これにより、長さの効率性が初期の圧縮を導く一時的なカリキュラムが生まれます。効率性シグナルが飽和（余力の低下）すると、コントローラーは自動的に最適化容量を、困難なプロンプトにおいて情報性を保つ正解性へとシフトさせます。

B. 問題ごとのオンライン目標長さ較正

LEAD は、グローバルな長さ予算を、モデル自身の正しいロールアウトから動的に推定されるプロンプトごとの目標長さ $L^*_q$ に置き換えます。

目標推定: プロンプト $q$ に対して、 $L^*_q$ は現在のバッチ内のすべての正しいロールアウトの平均長さとして計算されます。正しいロールアウトが存在しない場合、目標は最大予算（ $B_{max}$ ）にデフォルトし、早期の圧縮ではなく探索を促します。
対称的な効率性報酬: 長さ報酬 $r_\ell$ $r_{ℓ}$ は $L^*_q$ $L_{q}^{*}$ を中心に対称です。ロールアウト長さが $L^*_q$ $L_{q}^{*}$ に等しいときに 1 でピークに達し、どちらの方向からの逸脱に対しても線形に -1 まで減少します。
- 過剰圧縮のペナルティ: 重要な点として、この報酬は短すぎる（ $L^*_q$ 未満の）解をペナルティします。これにより、モデルが必要な推論ステップを迂回する「ショートカット」やパターンマッチングされた答えを学習するのを防ぎます。
- 適応性: モデルが問題をより簡潔に解く方法を学習するにつれて、正しいロールアウトの平均長さが減少し、手動介入なしで自動的に $L^*_q$ が厳格化されます。

3. 主要な貢献

本論文は、3 つの主要な貢献を主張しています。

課題の特定: 効率的推論 RL におけるアルゴリズム非依存の 2 つの課題を形式的に特定しました。トレーニング全体にわたる動的な報酬バランスの必要性と、異なる問題の難易度における適応的効率性です。静的な係数がタスク固有のチューニングなしにこれらを確実に解決できないことを実証しました。
LEAD フレームワーク: オンラインの不安定性駆動型報酬重み付け（PSI）と問題ごとの目標長さ較正を組み合わせた手法を提案しました。このアプローチには、手動の係数スケジューリングやグローバル予算の調整は不要です。
実証的検証: 15 億パラメータおよび 70 億パラメータモデルにおける 5 つの数学的推論ベンチマークで手法を検証し、最先端のベースラインに対して一貫して精度と効率性のトレードオフを改善することを示しました。

4. 実験結果

著者は、DeepSeek-R1-Distill-Qwen-1.5B および 7B モデルを使用して、5 つのベンチマーク（AIME 2024/25、AMC 2023、MATH-500、OlympiadBench）で LEAD を評価しました。

パフォーマンス: LEAD は、テストされたすべての RL 学習手法の中で最高の**精度効率スコア（AES）**を達成しました。
- 1.5B モデルでは、LEAD は最も強力なベースライン（DRPO）に対して精度を 2.62 ポイント、AES を 0.18 向上させ、同時に出力長を大幅に削減しました。
- 7B モデルでは、すべての RL 手法がベースモデルと比較してある程度の精度の後退を見せましたが、LEAD は最小の低下と最高の AES を示しました。
アブレーション研究:
- 動的対静的重み付け: 動的重み付けは静的な比率を大幅に上回り、トレーニングプロセスの非定常性が適応制御を必要とすることを確認しました。
- 目標集約器: 正しいロールアウトの平均（LEAD）を使用することは、最小値（ShorterBetter の SOL）、中央値、またはすべてのロールアウトの平均を使用することよりも優れていました。「最小値」アプローチは、外れ値に基づいて非現実的に攻撃的な目標を設定することで精度の低下を招き、「すべての平均」は誤った軌道によって希釈されていました。
トークン割り当て: 分析により、LEAD は難易度に基づいてトークンを非一様に割り当てることが示されました。これは、ベースモデルの難易度 - 長さ相関（ $\rho=0.67$ ）を追跡しながら難しい問題により多くの推論トークンを確保し、簡単な問題を圧縮します。これに対し、ベースラインは均一な圧縮を適用します。

5. 意義と主張

本論文は、LEAD を、問題の難易度と最適化の進捗の両方に対して計算フットプリントをオンラインで適応させることができる推論モデルへの一歩として位置づけています。

犠牲なしの効率性: 著者は、LEAD が優れたトレードオフを達成し、ベースモデルよりも実質的に短い出力を生成しながら、他の効率性重視の RL 手法と比較して精度を維持または向上させると主張しています。
自己較正: 重要な意義は、手動のハイパーパラメータスケジューリング（例： $\lambda$ または $B$ の調整）の排除です。システムは、各プロンプトに対する正解性 - 効率性のトレードオフと目標長さを自己較正します。
限界: 著者は控えめに、LEAD は正解性を確実に検証できる設定（例：数学）向けに設計されていると指摘しています。オープンエンドな生成や主観的なタスクへの拡張には、タスク固有の報酬モデルが必要となる可能性があります。さらに、LEAD はトレーニング中にポリシーを最適化しますが、推論時のハードトークン予算を強制するものではなく、展開時のコントローラーとして機能するのではなく、効率的な行動を学習します。

要約すると、LEAD は、学習シグナルを動的にバランスさせ、問題ごとの推論予算を適応させることで、大規模推論モデルの冗長性に対処し、正解性を損なうことなくより効率的な推論軌道を実現します。