🤖 machine learning

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

本論文は、高品質な少量データによる長推論の教師あり微調整と、クリッピングされたトークンからの勾配を保持して探索能力と負のサンプルからの学習効率を向上させる新しい「勾配保存クリッピング方策最適化（GPPO）」手法を提案し、数学やプログラミング分野で最高水準の性能を達成した推論モデル「Klear-Reasoner」を紹介するものである。

原著者： Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Minxuan Lv, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

公開日 2026-04-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Minxuan Lv, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

クリアー・リーサー（Klear-Reasoner）の物語：

「賢い思考」を育てる新しい魔法のレシピ

この論文は、**「Klear-Reasoner（クリアー・リーサー）」**という、数学やプログラミングが非常に得意な AI 模型の作り方について書かれた技術レポートです。

この AI は、難しい問題を解くとき、人間のように「じっくり考え、試行錯誤する」ことができます。これまでの AI は、答えを急いで出そうとして失敗することが多かったのですが、この新しいモデルは、「どうやって賢く考えるか」を徹底的にトレーニングすることで、世界トップクラスの成績を収めました。

ここでは、その秘密を「料理」や「スポーツ」の例えを使って、わかりやすく解説します。

1. 最初のトレーニング：「質の高いレシピ」だけで十分

AI を賢くするには、まず「正解の思考プロセス（答えに至るまでの考え方）」を大量に学習させる必要があります。これを「教師あり学習（SFT）」と呼びます。

これまでの常識： 「できるだけ多くのデータ（量）」を集めれば、AI は賢くなるはずだ。
Klear-Reasoner の発見： 「質の高いデータ（少量）」の方が、実は効果的だった！

【例え話：料理のレシピ】
もしあなたが料理を学びたいとき、100 冊の料理本から「適当なレシピ」を 1 行ずつ集めて勉強するのと、「名シェフが書いた、完璧なレシピ本」を 10 冊だけ深く読み込むのと、どちらが上手になりますか？
Klear-Reasoner は、後者を選びました。質の高い「思考のレシピ」だけを厳選して教えることで、AI は混乱せず、正しい考え方を身につけました。

さらに面白い発見：
「間違っている答え」も、難しい問題の場合には教えないとダメでした。

簡単な問題： 間違っている答えを見ると、AI は混乱してしまいます（ノイズになる）。
難しい問題： 間違っている答えを見ると、「あ、ここはこうじゃないんだ」と**「正解と不正解の違い」を深く理解できるようになります。
つまり、「難しい問題の間違い」は、AI の「探検心」を刺激する宝物**だったのです。

2. 強化学習（RL）：「失敗から学ぶ」新しいルール

次に、AI に自分で試行錯誤させて、より良い答えを出すように訓練します（強化学習）。ここで使われたのが、**「GPPO（グラデント・プリザービング・クリッピング・ポリシー・オプティマイゼーション）」**という新しい技術です。

これは、AI が「失敗したとき」や「大胆な挑戦をしたとき」にどう扱うかというルールの変更です。

従来のルール（クリッピング）の問題点

AI が「すごい大胆な挑戦（正解に近づく可能性のある未知の道）」をしたとき、従来のルールは「リスクが高すぎる」と判断して、その学習信号を**「カット（削除）」してしまいました。
また、AI が「失敗した道」を選んだときも、その学習信号を「カット」**してしまい、「次は違う道を探そう」という教訓を無視してしまいました。

【例え話：スポーツのコーチ】

従来のコーチ： 「ボールを遠くへ投げすぎた！危険だから、その動きはなかったことにする！」と、挑戦した選手を叱って無視する。
従来のコーチ（失敗時）： 「全然届かなかった！無駄な動きだから、その反省は聞かない！」と、失敗した選手を無視する。
結果、選手は「安全な動き」しかせず、成長が止まってしまいます。

新しいルール（GPPO）の魔法

Klear-Reasoner は、**「どんな動きも無視しない」**という新しいコーチになりました。

大胆な挑戦（高エントロピー）： 「危険かもしれないけど、その動きには価値がある！」と、学習信号を「少しだけ小さくして」残す。これにより、AI は新しいアイデアを恐れずに探検できます。
失敗（負のサンプル）： 「失敗したけど、なぜ失敗したかを知る必要がある！」と、学習信号を「残して」教訓にする。これにより、AI は失敗から素早く学べます。

【例え話：GPS のナビゲーター】
従来のナビは「ここは通ってはいけない（カット）」と完全に遮断していましたが、新しいナビ（GPPO）は「ここは危険だが、通った記録は残しておくね。次はもっと安全な道を探そう」と、失敗の記録も「次の成功へのヒント」として温存します。

3. 報酬の設計：「全部正解」でなくても褒める

プログラミングのトレーニングでは、コードが「100 点満点」か「0 点」かのどちらかしか与えないと、AI は「半分正解」の努力を評価されず、やる気を失います。

新しいアプローチ（ソフト・リワード）：
「16 個のテストのうち 4 個通ったなら、25% の報酬をあげよう！」
これにより、AI は「完璧じゃなくても、少しずつ改善すれば評価される」と学び、**「少しずつ良くなる（段階的改善）」**ことを目指すようになります。

4. 結果：驚異的な成績

これらの工夫をすべて組み合わせた Klear-Reasoner は、以下の素晴らしい成績を残しました。

数学（AIME 2024）： 90.5% の正解率（これはトップクラス！）
プログラミング（LiveCodeBench）： 66.0% の正解率

これらは、これまで「もっと大きなモデル」や「もっと多くのデータ」が必要だと思われていた分野で、80 億パラメータ（8B）という比較的小さなサイズで達成された成果です。

まとめ

Klear-Reasoner の成功は、**「量より質」と「失敗を恐れない」**というシンプルな哲学に基づいています。

質の高い思考プロセスだけを厳選して教える。
難しい問題の間違いも、成長のチャンスとして取り入れる。
AI の挑戦と失敗を、学習信号として「カット」せず、「優しく調整して」残す（GPPO）。
完璧じゃなくても、少しずつ良くなることを評価する。

このように、AI の「思考の育て方」を工夫することで、私たちはより賢く、柔軟に問題解決ができる AI を作れるようになったのです。

Klear-Reasoner: 勾配保持クリッピング方策最適化による推論能力の向上

技術レポート要約（日本語）

本レポートは、Kuaishou Technology の「Klear-Reasoner」チームによって発表された、数学およびプログラミングタスクにおける長期的推論（Long Chain-of-Thought）能力を大幅に向上させた大規模言語モデルに関する技術報告書です。既存の高性能推論モデルの再現性がトレーニング詳細の非公開により制限されている現状を踏まえ、本論文はデータ準備から強化学習（RL）までの全プロセスを詳細に分析し、新しい最適化手法「GPPO」を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳述します。

1. 背景と課題 (Problem)

現在のコミュニティでは、DeepSeek-R1 や OpenAI の O1 シリーズのような高性能な推論モデルの再現に向けた多くの試みがありますが、トレーニングの詳細が不完全にしか公開されていないため、高品質なモデルの再現には依然として課題が残っています。特に、以下の 2 つの主要な問題が指摘されています。

SFT データの質と量、および正解フィルタリングのジレンマ:
- 多様なデータソースよりも、少量の高品質なデータソースの方が効果的である可能性。
- 難易度の高いサンプルにおいて、正解・不正解のフィルタリングを行わずに学習させた方が、モデルの探索能力を促進し、性能向上に寄与する可能性があるという逆説的な発見。
強化学習（RL）におけるクリッピング機構の限界:
- 既存の PPO/GRPO におけるクリッピング（重要度サンプリングの比率を制限する処理）は、トレーニングの安定化に寄与する一方で、以下の 2 つの重大な欠点を持っています。
  - 高エントロピートークンのクリッピング: 重要な意思決定点における価値ある探索行動（高エントロピートークン）が、クリッピングにより無差別に抑制され、モデルの探索能力が早期に終了してしまう。
  - 負のサンプルの収束遅延: 最適でない経路（負のサンプル）の勾配がクリッピングにより強制切断され、モデルがこれらの信号から学習できず、収束が遅くなる。

2. 提案手法 (Methodology)

Klear-Reasoner は、長鎖思考（Long CoT）の教師あり微調整（SFT）と、新しい強化学習アルゴリズムを組み合わせて構築されています。

2.1 長鎖思考 SFT (Long CoT SFT)

データ戦略: 多様性よりも「品質」を重視。OpenThoughts、NuminaMath、AceReason などの高品質ソースからデータを厳選。
難易度とフィルタリング: 教師モデル（DeepSeek-R1-0528）を用いて回答を生成。分析により、「難しいサンプル」については正解・不正解のフィルタリングを行わず、そのまま学習させることが有効であることが判明しました。誤った推論経路も、困難なタスクにおいてはモデルの探索を促す有益な信号として機能します。
データ量: 約 150 万件の数学・コーディングサンプルを使用。

2.2 勾配保持クリッピング方策最適化 (GPPO: Gradient-Preserving Policy Optimization)

既存のクリッピング手法の問題を解決するため、GPPOを提案しました。

核心: クリッピング範囲を超えたトークンの勾配を完全に破棄するのではなく、計算グラフに保持し、バックプロパゲーションに含めるというアプローチです。
動作原理:
- クリッピングされたトークンであっても、その勾配は「抑制された（bounded）」かつ「穏やかな（mild）」値として計算され、モデルの更新に寄与します。
- 探索の促進: 高エントロピートークン（探索行動）の勾配を保持することで、モデルが重要な分岐点での探索を継続できるようにします。
- 負のサンプルの学習: 最適でない経路の勾配も保持することで、モデルが失敗例から素早く学習し、収束を加速させます。
- 安定性の維持: 勾配の大きさはクリッピング境界内で制御されるため、トレーニングの不安定化を防ぎます。
SFT 損失の併用: 正解サンプルに対して SFT 損失を RL 損失に追加（重み $\alpha$ で調整）し、報酬ハッキングを防ぎ、分布を適切に制御します。

2.3 報酬設計 (Reward Design)

数学タスク: 最終的な正誤に基づくバイナリ報酬。
コーディングタスク: スパースな報酬問題を解決するため、**「ソフト報酬（Soft Reward）」**を採用。テストケースの通過率に比例した報酬（例：16 件中 4 件通過なら 0.25）を与え、部分的に正しいコードからも学習信号を得られるようにしました。

3. 主要な貢献 (Key Contributions)

GPPO の提案: 既存のクリッピング手法が抱える「探索の抑制」と「負のサンプル学習の遅延」という 2 つの課題を、勾配を保持しつつ制御する新しい最適化手法で解決しました。
データ戦略の再定義:
- 高品質な少量データが、多様な低品質データよりも優れていることの実証。
- 難易度の高いタスクにおいて、正解フィルタリングを行わない（誤答を含む）データの方がモデルの探索能力を高め、性能向上に寄与することを発見。
包括的なアブレーション研究: SFT データの質、教師モデルの選択、クリッピング手法、報酬設計、フィルタリング戦略など、トレーニングパイプラインの各コンポーネントが性能に与える影響を詳細に分析しました。

4. 実験結果 (Results)

Klear-Reasoner-8B は、同規模のモデル（DeepSeek-R1-0528-Distill-8B や Qwen3-8B など）を凌駕する性能を示しました。

主要ベンチマークスコア (Avg@64/8):
- AIME 2024: 90.5% (64K 推論予算時)
- AIME 2025: 83.2%
- LiveCodeBench V5: 66.0%
- LiveCodeBench V6: 58.1%
比較:
- 32K 推論予算でも、多くの既存 SOTA モデル（64K/96K 予算を持つものを含む）と同等以上の性能を達成。
- 64K 推論予算（YaRN 拡張使用）では、さらに性能が向上し、数学およびコーディングタスクで最上位のスコアを記録。
- 大量データで SFT されたモデル（OpenReasoning-Nemotron-7B）よりも、限られたデータで SFT 後に RL を行った Klear-Reasoner-8B の方が高性能であることを実証。

5. 意義と結論 (Significance)

本論文は、推論モデルの性能向上において、単にデータ量を増やすことではなく、**「データの質」と「学習アルゴリズムの設計」**が重要であることを示しています。

GPPOは、クリッピングによる情報損失を最小化しつつ安定性を保つ新しい RL 手法として、今後の推論モデル開発の指針となる可能性があります。
データフィルタリングの考え方（特に難問における誤答の活用）は、従来の「正解のみ」を重視する常識を覆す重要な知見です。
本アプローチは、大規模な計算資源を必要とせずとも、体系的なデータ選定と最適化手法の組み合わせにより、高品質な推論モデルを構築可能であることを実証しました。

Klear-Reasoner は、数学的推論とプログラミング能力において、同規模モデルの中で最高水準の性能を達成し、長期的な推論タスクにおける RL と SFT の統合の重要性を浮き彫りにしました。