🤖 AI

VERIFY-RL: Verifiable Recursive Decomposition for Reinforcement Learning in Mathematical Reasoning

本論文は、数学的推論において、記号微分を用いて「構造的複雑さの減少」「解の包含性」「形式的ルールの導出」の3条件を満たす検証可能な分解構造を構築することで、不適切な分解を排除し、複雑な問題の解法精度を大幅に向上させるフレームワーク「Verify-RL」を提案しています。

原著者： Kaleem Ullah Qasim, Jiashu Zhang, Hao Li, Muhammad Kafeel Shaheen

公開日 2026-02-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kaleem Ullah Qasim, Jiashu Zhang, Hao Li, Muhammad Kafeel Shaheen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：数学の「超・効率的な学習法」：AIに「正しい階段」を登らせる技術

1. 今までのAIの悩み：「いきなり高い壁にぶつかっている」

想像してみてください。あなたが数学の難しい問題を解こうとしているとします。これまでのAIは、いわば**「いきなり大学レベルの難問を渡されて、適当に解き方を予想して練習している」**ような状態でした。

もちろん、「もっと簡単な問題から始めよう」という「カリキュラム学習」という考え方は以前からありました。しかし、そこには大きな問題がありました。AIが自分で「これは簡単な問題だ」と判断して作った練習問題が、実は**「簡単そうに見えて、実は全然関係ない問題だった」り、「解いても本番の役に立たない問題だった」**りすることがよくあったのです。

例えるなら、**「算数の練習をしているつもりが、なぜか急に歴史の暗記問題を解かされている」**ような、ちぐはぐな学習になってしまっていたのです。これでは、いくら練習しても本番の数学は解けません。

2. この論文の解決策：「数学のルールに基づいた『完璧な階段』を作る」

研究チームは、AIに「適当な練習問題」を与えるのをやめました。代わりに、数学のルール（微分などの計算ルール）を使って、**「絶対に間違いのない、一歩ずつ確実にレベルアップできる階段」**を自動で作る仕組みを開発しました。

これが VERIFY-RL です。この「階段」には、3つの厳しいルールがあります。

「確実に一段ずつ低くなること」（V1: Easier）
- 一段登るごとに、必ず前のステップより少しだけ簡単になるようにします。
「前のステップが、次のステップの『部品』になっていること」（V2: Helpful）
- 例えば、「リンゴを半分に切る練習」をした後に、「リンゴを丸ごと食べる練習」をするようなものです。前の練習が、次の問題の答えを作るための「材料」として必ず使われるように設計します。
「数学のルールに基づいていること」（V3: Related）
- 「なんとなく簡単そう」ではなく、「数学の公式に従って分解したから、この問題はこうなるんだ」という、論理的な裏付けを必ず持たせます。

いわば、**「バラバラのパズルピースを適当に集めるのではなく、設計図通りに、小さなパーツから順番に組み立てていく学習法」**を作ったのです。

3. 結果はどうなった？：「劇的な成長」

この「完璧な階段」を使ってAIをトレーニングしたところ、驚くべき結果が出ました。

超難問への強さ： 最も難しい問題に対する正解率が、32%から68%へと、2倍以上に跳ね上がりました。
効率的な学習： AIが「関係のない問題」に時間を浪費することがなくなったため、無駄なく賢くなっていきました。

4. まとめ：この研究のすごいところ

これまでのAI学習は、「とりあえずたくさん問題を解かせて、勘を養わせる」という、いわば**「根性論」**に近い部分がありました。

しかし、この研究は**「正しい手順（ルール）に従って、論理的にステップアップさせる」という、「理詰めの学習法」**をAIに教え込んだのです。これにより、AIは数学のような複雑な論理が必要な分野で、より確実に、より賢く成長できる道筋を見つけたといえます。

論文要約：VERIFY-RL

検証可能な再帰的分解を用いた数学的推論のための強化学習フレームワーク

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の数学的推論能力を向上させる手法として、複雑な問題をより単純なサブ問題に分解して段階的に学習させる「カリキュラム学習」が有効であることが知られています。しかし、既存の分解手法（例：LADDERなど）には以下の重大な欠陥があります。

ヒューリスティックな分解: LLM自身に「より簡単な問題」を生成させる手法が多く、生成されたサブ問題が本当に簡単か、あるいは親問題の解決に役立つかどうかの数学的な保証がありません。
検証の欠如: 生成された分解の多く（本論文の検証では約21.6%）が、数学的に無効であったり、親問題との関係が不適切であったりするため、学習にノイズを混入させ、モデルの不安定化を招いています。
前提条件の不備: サブ問題と親問題の間の数学的な依存関係（どちらを先に解くべきか）が保証されていません。

2. 提案手法 (Methodology)

本論文は、記号微分（Symbolic Differentiation）の規則を利用することで、**「構成による検証（Verification by Construction）」**を実現するフレームワーク VERIFY-RL を提案しています。

A. 3つの検証可能プロパティ (V1–V3)

すべての親問題と子問題の関係が、以下の3つの条件を数学的に満たすことを保証します。

V1: Easier (容易性): 子問題の構造的複雑さ（入れ子構造の深さ $\delta$ ）が、親問題よりも厳密に小さいこと ( $\delta(c) < \delta(p)$ )。
V2: Helpful (有用性): 子問題の解 $\sigma(c)$ が、親問題の解 $\sigma(p)$ の構成要素（因数または項）として含まれていること。
V3: Related (関連性): 分解が微分の公式（連鎖律、積の微分法、和の微分法）に基づいていること。

B. アルゴリズムの構成

再帰的分解: 微分規則に基づき、問題を再帰的に分解して「分解ツリー」を構築します。
カリキュラム構築: 分解ツリーをトポロジカルソートし、難易度順（ $D_1 \to D_5$ ）に問題を並べ替えることで、モデルが基礎から段階的に学べるようにします。
強化学習 (RL): 構築されたカリキュラムを用いて、GRPO (Group Relative Policy Optimization)、PPO、DPO などのアルゴリズムで学習を行います。報酬関数は、SymPyを用いた記号的な正解判定（Accuracy）とフォーマット（Format）に基づいたシンプルなルールベースを採用しています。

3. 主な貢献 (Key Contributions)

検証可能な分解フレームワークの確立: 数学的な規則に基づき、V1–V3のプロパティを自動検証できる形式的な枠組みを提案しました。
完全な検証の実現: ヒューリスティックな手法が約78.4%の検証成功率に留まるのに対し、提案手法は100%の検証成功率を達成しました。
効率的なカリキュラム生成: 分解ツリーを用いたトポロジカルソートにより、学習の前提条件を数学的に保証するカリキュラム構築アルゴリズムを開発しました。

4. 実験結果 (Results)

Qwen3（0.6B, 1.5B, 3B）および DeepSeek-R1-Distill-Qwen-1.5B を用いた実験により、以下の成果が得られました。

大幅な精度向上: 最も困難な問題（ $D_5$ レベル）において、Qwen3-1.5B の精度が 32% から 68% へと2倍以上に向上しました。全体的な相対改善率は40%に達しました。
アルゴリズムの比較: GRPO が PPO や DPO よりも数学的推論において最も安定し、高い性能を示すことが確認されました。
アブレーション解析:
- 「カリキュラムの順序（易 $\to$ 難）」が最も大きな寄与（+9.4ポイント）を示しました。
- 検証プロパティのうち、特に V1 (容易性) を欠くと精度が大幅に低下（-17.2ポイント）することが判明し、検証の重要性が証明されました。
トークン効率: 学習後のモデルは、不正確な長文回答を避け、より簡潔で正確な推論プロセスを出力するようになりました。

5. 意義 (Significance)

本研究は、LLMの推論能力向上において、単に「問題を増やす」ことや「モデルに分解させる」ことではなく、**「数学的に保証された構造化されたデータ」**を提供することの重要性を明らかにしました。この「検証可能な分解」というアプローチは、微分だけでなく、積分や論理推論など、他の形式的な規則が存在する数学的・論理的ドメインへも応用可能な、極めて強力なパラダイムを提示しています。