💬 NLP

Beyond Token-Level Policy Gradients for Complex Reasoning with Large Language Models

この論文は、複雑な推論タスクにおけるトークン単位の最適化の限界を克服するため、K 個の連続するトークンを意味的な行動の単位として扱う「マルチトークン方策勾配最適化（MPO）」を提案し、数学的推論やコーディングのベンチマークにおいて既存手法を上回る性能を実証しています。

原著者： Mufan Xu, Kehai Chen, Xuefeng Bai, Zhengyu Niu, Muyun Yang, Tiejun Zhao, Min Zhang

公開日 2026-02-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mufan Xu, Kehai Chen, Xuefeng Bai, Zhengyu Niu, Muyun Yang, Tiejun Zhao, Min Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、「AI（大規模言語モデル）が難しい推理や計算をするとき、従来のやり方では『一文字ずつ』しか考えられず、それが原因でミスをしてしまう」という問題に気づき、「意味のあるまとまり（ブロック）ごと」に考えて学習させる新しい方法（MPO）を提案したものです。

まるで**「一人の職人が、一文字ずつの砖**（れんが）のようなものです。

以下に、わかりやすい比喩を使って解説します。

1. 従来のやり方：「一文字ずつの職人」の限界

これまでの AI の学習方法（PPO など）は、「次の一文字」を予測するたびに、その正しさを評価して学習するという仕組みでした。

例え話：
数学の問題を解くとき、AI は「 $a$ 」「 $=$ 」「$5 $」「$ 、」と、一文字ずつ「次はこれかな？」と推測しています。
「 $a=5$ 」という重要な意味を持つまとまり（ブロック）があっても、AI はそれを「 $a$ 」が正しかったか、「 $=$ 」が正しかったか、バラバラに評価してしまいます。
問題点：
推理やプログラミングでは、「変数を定義する」「式を立てる」といった意味のあるまとまり（ブロック）で判断する必要があります。
一文字ずつバラバラに評価すると、**「文脈が壊れてしまう」**ことがあります。
- 例：「 $a=5$ 」と書くべきところを、AI が「 $a$ 」は正解、「 $=$ 」は少し違う、とバラバラに判断して、結果として「 $a=6$ 」と間違った式を作ってしまうような感じです。

2. 新しい方法（MPO）：「意味の塊」で考える職人

この論文が提案する**「MPO**（Multi-token Policy Gradient Optimization）は、「次の K 文字（まとまり）という考え方に変えました。

例え話：
AI はもう一文字ずつ考えません。代わりに、「 $a=5$ 」という 3 文字のまとまりや、「 $b=a^2=25$ 」という 6 文字の式を、**「一つの意味のあるブロック」**として扱います。
- 従来の AI：「次は『a』かな？」「次は『=』かな？」と、バラバラな砖（れんが）を積み上げている。
- 新しい AI（MPO）「次は『 $a=5$ 』という壁の一片を置く！」と、完成されたレンガの塊を一度に積み上げる。

これにより、AI は「このブロック全体が正しい意味を持つか」を評価できるようになり、論理のつながり（文脈）が保たれます。

3. なぜこれがすごいのか？

数学やプログラミングが得意になる：
数学の問題やコード作成では、一つのステップ（例：方程式を立てる）が複数の文字で構成されます。MPO はこの「ステップ全体」を一つの行動として学習するため、論理の飛躍（つじつまが合わないこと）が起きにくくなります。
実験結果：
実際のテスト（数学の問題やコード作成）では、従来の「一文字ずつ」の AI よりも、MPO を使った AI の方が正解率が高かったことが確認されました。特に難しい問題ほど、この差は大きくなりました。

4. 具体的な仕組み（少しだけ詳しく）

「K 文字先」を同時に予測：
AI は、今書いている文字の「次、次、次…」と、数文字先までを同時に予測する仕組み（MTP モジュール）を学習に組み込みます。
バランスの取り方：
未来の文字を予測しすぎると、予測が外れてノイズ（雑音）になるリスクがあります。そこで、「近い未来の予測には大きな重み（重要度）という工夫をしています。これにより、安定して学習を進められます。

5. まとめ：何が変化したのか？

従来の AI (Token-Level)	新しい AI (MPO)
視点	一文字ずつ（単語の部品）
学習	「次の文字が合ってるか？」
比喩	砖（れんが）を一つずつ積み上げる
得意なこと	一般的な会話、文章生成

結論：
この論文は、AI が「頭が良い」ようになるためには、「一文字ごとの細かい判断」だけでなく、「意味のあるまとまりごと」に判断基準を変える必要があると指摘しました。これは、AI がより高度な思考（複雑な推理）をするための重要な一歩です。

論文「Beyond Token-Level Policy Gradients for Complex Reasoning with Large Language Models」の技術的サマリー

本論文は、大規模言語モデル（LLM）の複雑な推論タスク（数学的推論やコード生成など）における強化学習微調整（Post-training）の課題を指摘し、Multi-token Policy Gradient Optimization (MPO) と呼ばれる新しい最適化フレームワークを提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義：トークンレベル最適化の限界

既存の強化学習手法（PPO, GRPO, DAPO など）は、LLM の生成プロセスを「1 つのトークンごとの行動」として扱っています。しかし、複雑な推論タスク（例：変数の定義、方程式の作成、コードの論理ブロック）では、意味的な意思決定は単一のトークンではなく、**複数のトークンにまたがる「ブロック（セマンティックな単位）」**として行われることが多くあります。

粒度のミスマッチ: トークンレベルでの最適化は、本来連続した意味的ブロックを断片的な予測に分解してしまい、推論の整合性（Coherence）を損なう可能性があります。
依存関係の捕捉不足: 単一のトークン予測では、長期的な依存関係や構造的な推論ステップ全体を適切に評価・最適化することが困難です。

2. 提案手法：Multi-token Policy Gradient Optimization (MPO)

MPO は、従来のトークンごとの最適化ではなく、**連続する K 個のトークンを一つの「意味的な行動（ブロック）」**として扱うことを可能にするフレームワークです。

2.1 核心的な仕組み

ブロックレベルの重要度サンプリング:
従来の PPO などが使用する単一トークンの重要度比 $r_t$ の代わりに、K 個の連続するトークンにわたる集約された重要度比を計算します。
$\tilde{R}^{(K)}_{i,t}(\theta) = \exp \left( \sum_{n=1}^{K} \beta_n \log r_{i,t+n}(\theta) \right)$
ここで、 $r_{i,t+n}$ は各トークンの重要度比、 $\beta_n$ は時間的減衰を制御する重みです。単純な積（Product）ではなく、対数和（Log-sum）を用いることで、サンプリング比の分散（Variance）を抑制し、最適化の安定性を保っています。
マルチトークン予測（MTP）モジュールの活用:
既存のモデルに、DeepSeek-V3 などで採用されているような「マルチトークン予測（MTP）」モジュールを追加します。これにより、現在の文脈から未来の K 個のトークンを同時に予測し、その確率分布に基づいて方策勾配を計算します。
- ウォームアップ戦略: MTP モジュールの精度を確保するため、強化学習前に教師あり学習（SFT）でウォームアップを行います。
- バックボーン凍結: 強化学習段階では、MTP モジュールのみを学習させ、ベースモデル（バックボーン）の重みは凍結します。これにより、計算コストを抑えつつ、推論能力を向上させます。
目的関数の変更:
従来の PPO の目的関数を、ブロックレベルの重要度比とアドバンテージ推定値を用いて再定義します。これにより、モデルは孤立したトークンではなく、構造化された推論セグメント全体を最適化の対象とします。

3. 主要な貢献

MPO フレームワークの提案: 構造化された推論単位（ブロック）に対して方策勾配を最適化する新しい手法を提案しました。
ポストトレーニングへの統合: LLM のポストトレーニング（強化学習）段階に構造的なマルチトークン最適化を導入し、推論の整合性を高める可能性を実証しました。
既存手法との比較優位性: 数学的推論（GSM8K, MATH）およびコード生成（HumanEval）のベンチマークにおいて、標準的なトークンレベルの手法（PPO, GRPO, DAPO）を一貫して上回る性能を示しました。

4. 実験結果

タスク性能:
- 数学推論: GSM8K と MATH の両方で、異なるモデルサイズ（1B, 1.5B, 7B）において、MPO がベースライン（PPO, GRPO, DAPO）を上回る精度を達成しました。特に難易度の高い MATH データセットや、構造化された推論が求められるタスクで顕著な改善が見られました。
- コード生成: HumanEval ベンチマークにおいても、MPO は他の手法よりも高い Pass@1 スコアを記録し、推論能力の向上がコード生成の正確性と整合性にも寄与することを示しました。
トレーニングの安定性:
- 重要度サンプリング比の分散（Variance）とクリップ率（Clip Fraction）が、MPO によって低下することが確認されました。これは、ブロックレベルの情報統合が推定のノイズを減らし、学習を安定化させることを意味します。
- バイアス - バランスのトレードオフ: 未来のトークン情報（K）と重み（ $\beta$ ）のバランスが重要です。過度に未来の情報を取り入れるとバイアスが増大しますが、適度な統合（例：K=5, 重み合計 10-20%）が最適なパフォーマンスと安定性をもたらしました。
効率性:
- MTP モジュールの追加によるメモリ使用量の増加は GRPO と同等レベルであり、トレーニング速度は PPO よりも約 30% 高速化しました（バッチ処理の効率化による）。

5. 意義と将来展望

パラダイムシフト: 本論文は、LLM のポストトレーニングにおいて「トークンレベル」から「意味的ブロックレベル」への最適化粒度の転換を提唱しています。これは、複雑な推論タスクにおいて、モデルがより高次な計画（Planning）を行うための基盤となります。
実用性: 既存の強化学習フレームワーク（PPO など）に比較的容易に統合可能であり、追加の計算コストを最小限に抑えつつ性能向上が図れる点で実用的です。
今後の課題:
- MTP モジュールのウォームアップ戦略のさらなる最適化（特に MTP を事前学習していないモデルへの適用）。
- ブロックサイズ（K）の拡大に伴う計算コストの最適化。
- GRPO など他の強化学習アルゴリズムとの組み合わせにおけるバイアス - バランスの調整。

結論

MPO は、LLM の推論能力を高めるために、単なるトークンの連続ではなく「意味的なブロック」としての意思決定を最適化対象とすることで、既存の強化学習手法の限界を克服する有効なアプローチであることを実証しました。この研究は、LLM の推論プロセスをより構造的かつ効率的に学習させるための新たな方向性を示唆しています。