💬 NLP

QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation

本論文は、強化学習中に部分的な解答を提示して問題難易度を下げる「Question Augmentation」手法を提案し、これにより数学推論タスクにおける大規模言語モデルの推論能力を大幅に向上させ、15 億パラメータモデルで複数の数学ベンチマークにおいて新最高記録を達成したことを報告しています。

原著者： Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

公開日 2026-04-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

難しい数学の問題を「ヒント付き」で教える新技術「QUESTA」の解説

この論文は、**「AI（大規模言語モデル）に難しい数学の問題を教えるとき、いきなり難問を解かせるのではなく、途中の答え（ヒント）を少し見せてあげると、驚くほど上手に成長する」**という画期的な方法を提案しています。

この方法は**「QUESTA（クエスタ）」**と呼ばれます。

まるで、子供に難しいパズルを教えるとき、いきなり完成図を見せるのではなく、「まずはこのピースをここに置こうね」と教えてあげるようなイメージです。

🧩 1. なぜこの方法が必要だったのか？（従来の問題点）

これまで、AI に推理能力（論理的思考力）を身につけさせるには、**「強化学習（RL）」**という方法が使われてきました。これは、AI が正解すればご褒美（ポイント）、間違えば罰点というゲーム感覚で学習させる手法です。

しかし、研究者たちはある矛盾に気づきました。

簡単な問題ばかりだと？
AI は「あ、このパターンなら知ってる！」と安心しすぎて、新しいことを学ぼうとしなくなります。まるで、簡単なドリルばかりやっていても、難問には全く強くなれない子供と同じです。
難しい問題ばかりだと？
AI は「どうやって解けばいいか全くわからない！」と途方に暮れ、ご褒美（正解）を一度も得られずに学習が止まってしまいます。まるで、いきなりプロのサッカー選手に「世界一難しい戦術」をやらせようとして、ボールも蹴れない状態で挫折してしまうようなものです。

**「簡単な問題では成長しないし、難しい問題では学習が進まない」**というジレンマがありました。

💡 2. QUESTA の解決策：「途中の答え」を見せる

QUESTA は、このジレンマを解決するために**「問題文の最後に、正解への道のりの一部（ヒント）」**を自動的に追加します。

🏗️ 建設現場の例え

従来の方法（難問だけ）：
高層ビルの設計図（難問）だけ渡されて、「さあ、建てて！」と言われます。職人（AI）は「どこから手をつければいいかわからない」と立ち往生します。
QUESTA の方法：
同じ設計図に**「1 階と 2 階はすでに完成しています」**というメモ（ヒント）を添えます。
「じゃあ、3 階から作ればいいんだ！」と、職人は「今、どこまで進んでいるか」がわかり、次のステップに集中できます。

この「途中の答え」を見せることで、AI は**「正解にたどり着く確率」**を高め、学習のスピードが劇的に上がります。

🚀 3. 驚くべき結果

この方法を実験したところ、以下のような素晴らしい成果が出ました。

小さなモデルでも大活躍：
通常、難しい数学の問題を解くには巨大な AI が必要ですが、QUESTA を使えば**「15 億パラメータ」という比較的小さなモデル**でも、巨大なモデルに匹敵、あるいは凌駕する性能を発揮しました。
世界最高レベルの成績：
米国の難問数学コンテスト（AIME や HMMT など）で、15 億パラメータモデルとしては史上最高レベルの成績を記録しました。
多様な思考の維持：
従来の方法だと、AI は「正解のパターン」だけを覚えてしまい、他の解き方を考えられなくなることがありました（これを「エントロピーの崩壊」と呼びます）。しかし、QUESTA は AI が**「多様な解き方」を探求するのを助け**、柔軟な思考力を維持しました。

🎓 4. 教育への応用：「段階的な学習」

QUESTA のもう一つの特徴は、**「学習の難易度を段階的に下げていく」**ことです。

最初は「50% ヒント」： 問題の半分まで答えを見せながら学習させる。
次は「25% ヒント」：「 答えを見せる量を減らす。
最後は「ヒントなし」： 自力で解けるようになる。

これは、スポーツのコーチが選手に**「最初は手取り足取り教えて、徐々に任せていく」**という指導法と全く同じです。AI もこの「段階的な学習」によって、自力で難問を解く力を身につけました。

🌟 まとめ

この論文が伝えているのは、**「AI に難しいことを教えるには、いきなり完璧な状態を求めず、適切な『足場（ヒント）』を用意してあげることが重要だ」**ということです。

QUESTA は、AI の学習プロセスを「無理やり解かせる」のではなく、「解けるように導く」ことで、より効率的に、より賢く成長させる新しい道を開きました。これは、今後の AI 開発だけでなく、人間の教育のあり方についても示唆に富む素晴らしい研究です。

QUESTA: 質問拡張による大規模言語モデルの推論能力の拡大

ICLR 2026 発表論文の技術的サマリー（日本語）

1. 概要と背景

本論文「QUESTA: EXPANDING REASONING CAPACITY IN LLMS VIA QUESTION AUGMENTATION」は、大規模言語モデル（LLM）の推論能力を強化するための新しいアプローチを提案しています。近年、強化学習（RL）、特に検証可能な報酬を用いた強化学習（RLVR）が数学的推論タスクにおいて注目されていますが、基礎モデル（Base Model）の能力を超えた推論能力の獲得には限界があるという議論（Yue et al., 2025; Liu et al., 2025）が存在します。

特に、RL 学習において「易しい問題」を学習させると過学習やエントロピーの崩壊を招き、「難しい問題」を直接学習させると報酬信号が希薄（スパース）すぎて学習が非効率になるというジレンマが指摘されています。

2. 解決すべき課題

RL の限界: 従来の RLVR は、基礎モデルが既に解ける問題（易しい問題）に対しては性能向上が見られるものの、基礎モデルが解けないような高難易度問題に対しては、推論能力そのものを拡張できず、単に既存の知識を再利用するに留まる傾向がある。
学習効率と難易度のトレードオフ:
- 易しい問題で学習させると、モデルは浅いパターンに依存し、難しい問題への汎化能力（Pass@k）が低下する。
- 難しい問題で直接学習させると、正解に到達する確率が極めて低く、報酬信号が得られにくいため、学習が停滞する（スパース・リワード問題）。
核心となる問い: どのように RL 学習を設計すれば、難しい推論問題に対するモデルの内在的な推論能力を効率的に拡張できるか？

3. 提案手法：QUESTA (Question Augmentation)

著者らは、**「部分解（Partial Solutions）を質問に付加する」**というシンプルかつ効果的なデータ拡張戦略「QUESTA」を提案しました。

3.1 手法の核心

QUESTA は、モデルの推論プロセスを「足場（Scaffolding）」として支援するために、学習用プロンプトに正解の一部（部分解）をヒントとして挿入します。

メカニズム: 元の数学問題に対し、正解の思考プロセス（Solution Sketch）の最初の $p\%$ （例：50% や 25%）を「ヒント」としてプロンプトの先頭に追加します。
目的: 問題の難易度を段階的に下げることで、モデルが正解の軌道（Trajectory）に到達する確率を高め、より密な（Dense）報酬信号を得られるようにします。
カリキュラム学習: 学習プロセスは 2 段階で行われます。
1. Partial-50: 正解の 50% をヒントとして提示し、モデルが基礎的な解法を学習する。
2. Partial-25: ヒントの割合を 25% に減らし、モデルがより自律的に推論を行うように遷移させる。
- これにより、学習の初期段階で効率的に学習を進めつつ、最終的にはヒントなしでも推論できる能力を獲得します。

3.2 理論的根拠

論文では、部分解のヒントが RL の学習効率を向上させることを理論的に証明しています（Theorem 4.4, 4.6）。

学習可能性の向上: 難問において、モデルが正解を生成する確率が極めて低い場合、RL は更新されません（勾配がゼロになる）。ヒントを加えることで、正解に到達する確率が $\delta_p$ から $\delta'_p$ （ $\delta_p$ の平方根に相当するオーダー）に向上し、必要なサンプリング予算が劇的に減少します。
探索の維持: 部分解は単に答えを教えるのではなく、中間ステップを示すことで、モデルが新しい推論経路を探索する余地を残しつつ、学習を安定させます。

4. 実験結果

4.1 データセットと設定

ベースモデル: Nemotron-1.5B（15 億パラメータ）、DeepScaleR-1.5B。
学習データ: OpenR1-Math-220K から、モデルが解けない難問（26,000 件）を抽出し、部分解を付加して学習。
評価ベンチマーク: AIME24, AIME25, HMMT25, Olympiad Bench, BRUMO25 など、高度な数学オリンピック問題。

4.2 主要な成果

SOTA 記録の樹立: 15 億パラメータモデルにおいて、すべての数学ベンチマークで新たな最高記録（State-of-the-Art）を達成しました。
- AIME24: 72.50%（ベース比 +10.73%）
- AIME25: 62.29%（ベース比 +12.79%）
- HMMT25: 41.67%（ベース比 +10.11%）
大規模モデルとの比較: パラメータ数が 320 億（DeepSeek-R1-Distill-32B）のモデルを凌駕する性能を 15 億パラメータモデルで達成しました。
Pass@k の改善: 従来の RL では $k$ （試行回数）が増えると性能が低下する傾向（エントロピー崩壊）が見られましたが、QUESTA を用いたモデルは $k$ が増加しても性能が維持・向上し、解の多様性が保たれていることを示しました。
ヒントなしでの汎化: 学習時にはヒントを使用しましたが、評価時にはヒントを与えません。その場合でも、モデルは学習した推論パターンを内部化しており、難問の解決率が大幅に向上しました。

4.3 アブレーション研究

カリキュラムの重要性: 常に 50% のヒントを与え続けるよりも、50% から 25% へと段階的にヒントを減らすカリキュラム学習の方が性能が向上しました。
モデルの汎用性: Nemotron-1.5B だけでなく、DeepScaleR-1.5B に対しても同様の性能向上が見られ、アーキテクチャに依存しない手法であることを示しました。

5. 貢献と意義

データ中心アプローチの革新: モデル構造や報酬関数の変更なしに、入力データの拡張（部分解の提示）だけで RL の学習効率と推論能力を劇的に向上させることを実証しました。
小規模モデルの限界突破: 15 億パラメータという小規模モデルでも、大規模モデルに匹敵する、あるいは凌駕する推論能力を獲得できる可能性を示しました。
理論と実証の統合: 部分解による学習効率の向上を理論的に裏付けつつ、数学推論タスクにおいてその有効性を包括的に実証しました。
将来の展望: この手法は、数学だけでなく、コーディング、ソフトウェア工学、エージェントタスクなど、他の複雑な推論領域への応用が期待されます。

結論

QUESTA は、RL 学習における「難問のスパース・リワード問題」を、部分解による足場かけ（Scaffolding）で解決する画期的な手法です。これにより、LLM は基礎モデルの能力を超えた推論能力を効率的に獲得し、小規模モデルでも高度な推論タスクを遂行できるようになりました。このアプローチは、LLM の推論能力拡張における新しいパラダイムを提供するものです。