$\textbf{Re}^{2}$: Unlocking LLM Reasoning via Reinforcement Learning with Re-solving

この論文は、推論経路が非生産的になった際に解決をやり直すことを学習させる「Re²（Reinforcement Learning with Re-solving）」という手法を提案し、事前教師あり学習なしに純粋な強化学習のみで LLM の推論効率と精度を大幅に向上させることを示しています。

要約

この論文は、**「AI（大規模言語モデル）が難しい問題を解くとき、間違った道に進んでしまったら、すぐに引き返して最初からやり直す『勇気』を持たせたら、もっと賢くなるのではないか？」**というアイデアを提案した研究です。

タイトルは**「Re2（リ・ツー）」**といいます。

以下に、専門用語を排し、日常の例え話を使って分かりやすく解説します。

---

🧩 1. 今までの AI の悩み：「迷子になっても引き返せない」

最近の AI は、難しい数学の問題やパズルを解くとき、「思考の連鎖（Chain of Thought）」という、頭の中で考えを並べるプロセスを長々と行います。
しかし、「最初の数行で方向を間違えてしまった場合」、従来の AI は気づかずに、その間違いを修正しようとしてさらに長い文章を書き続け、結果として**「無駄に長い思考」**をして正解にたどり着けなくなることがありました。

• 例え話：
  目的地へ向かうために地図を見ているのに、**「あ、ここは逆方向だ！」と気づいても、引き返すことを許されず、ひたすら間違った道を進み続け、最後には「あきらめて適当な答えを出した」ような状態です。
  これを論文では「Overthinking（考えすぎ）」や「無駄な思考」**と呼んでいます。

🔄 2. Re2 の解決策：「リセットボタン」の導入

この論文の提案するRe2は、AI に**「今の道がダメそうなら、潔く捨てて最初からやり直そう」**という選択肢を与えます。

• 仕組み：

  1. AI が問題を解き始めます。
  2. 途中、「この考え方は変だ、正解にたどり着きそうにない」と感じたら、**「やり直す（Re-solving）」**というアクションを起こします。
  3. すると、AI はその間違った思考を捨てて、**「最初から（ゼロから）」**もう一度考え始めます。
  4. 正解が出せるまで、この「試行→失敗→リセット→再挑戦」を繰り返します。

• 例え話：
  料理を作っているとき、鍋に何かを入れすぎて味が壊れそうになったら、**「あ、まずい！この鍋は捨てて、新しい鍋で最初から作り直そう！」と判断できる人です。
  従来の AI は「壊れた鍋で無理やり味付けを調整しようとして、結局まずい料理を作ってしまう」タイプでした。Re2 は「潔くリセットする勇気」**を AI に教えました。

🎁 3. どうやって教えたのか？（報酬の仕組み）

AI にこの「リセットする勇気」を教えるために、**「強化学習（Reinforcement Learning）」**という方法を使いました。

• 従来のルール：
  「正解を出せばご褒美（1 点）、間違えれば 0 点」。
  → AI は「間違えても、とにかく何か答えを出さなきゃ」と焦って、変な答えを出してしまいます。

• Re2 の新しいルール：

  • 正解を出せば1 点。
  • 間違えれば0 点。
  • 「やり直す」を選んだ場合：「もし最初からやり直したら、正解できる確率」を計算して、その確率に応じたご褒美を与えます。

  これにより、AI は**「無理に答えを出すよりも、一度リセットして正解する確率を高める方が、結果的に得点が高い」**と学習します。

📈 4. 実験結果：劇的な向上

この方法を実際にテストしたところ、驚くべき結果が出ました。

• リセット率の向上：
  普通の AI は、間違った道に進んでも「やり直す」ことが0.5%しかありませんでしたが、Re2 を使った AI は30% 以上が「やり直す」ことを学びました。
• 正解率の向上：
  数学の難問（AIME など）や科学のクイズで、従来の AI と比べて大幅に正解率が上がりました。
• テスト時間の効果：
  計算リソース（時間や回数）を少し増やすだけで、AI の能力がさらに伸びることも確認されました。

💡 まとめ：なぜこれが重要なのか？

この研究は、**「AI が賢くなるためには、ただ『長く考える』ことではなく、『正しい方向に進んでいるか』を常にチェックし、ダメなら潔くリセットする柔軟性が必要だ」**ということを証明しました。

人間が難しい問題を解くとき、「あ、この考え方はダメだ」と気づいてノートを書き直すように、AI も同じように「思考のやり直し」を許されることで、より人間らしく、そして賢く振る舞えるようになるのです。

一言で言うと：

「間違えても引き返せる AI は、正解にたどり着く確率が格段に高くなる！」

これが、この論文が伝えたい「Re2」の核心です。

技術概要

論文「Re2: UNLOCKING LLM REASONING VIA REINFORCEMENT LEARNING WITH RE-SOLVING」の技術的サマリー

1. 概要と背景

本論文は、大規模言語モデル（LLM）の推論能力を強化するための新たな手法「Re2（Reinforcement Learning with Re-solving）」を提案するものです。近年、推論時の計算量（Test-time compute）を増やすことで LLM の推論性能が向上することが示されていますが、既存の強化学習（RLVR: Reinforcement Learning with Verifiable Rewards）アプローチには根本的な限界が存在します。

具体的には、モデルが初期の推論ステップで誤った方向に進んでしまった場合、その後の思考連鎖（Chain-of-Thought: CoT）がどれだけ長くても、誤った前提に基づいた「過剰な思考（Overthinking）」に陥り、正解に到達できないという問題が指摘されています。従来のモデルは、一度開始した推論経路を最後まで維持する傾向があり、初期のミスからの回復が困難です。

2. 問題定義

既存の LLM 推論における以下の課題を特定しました：

• 初期推論の質の重要性: 初期の推論ステップが最適でない場合、モデルは正解に至る可能性が極めて低くなります。
• 回復の困難さ: 誤った経路を踏んだ後、追加のトークンを生成しても正解への回復は稀であり、むしろ誤った推論を長く続けることで精度が低下します。
• 単一経路の限界: 従来の RLVR は、一つの思考連鎖（CoT）を生成し、最終的に答えを導き出すことを前提としており、推論途中で「やり直し（Re-solving）」を選択するメカニズムが欠如しています。

3. 提案手法：Re2 (Reinforcement Learning with Re-solving)

Re2 は、モデルが推論の途中で「現在の経路が非生産的である」と判断した際に、その思考を放棄し、問題の最初からやり直す（Re-solving）ことを学習させる強化学習フレームワークです。

3.1 主要なメカニズム

1. プレフィックスグループ生成:

   • 各クエリに対して $n$ 個の完全な回答をサンプリングし、それぞれをランダムな比率で切り捨てて $n$ 個の多様な「プレフィックス（途中までの推論）」を生成します。
   • 各プレフィックスに対して、モデルは $m$ 個の継続（Continuation）を生成します。これらはグループ化され、グループ内で優位性（Advantage）を計算します。

2. 再解決（Re-solving）アクションの導入:

   • 従来の RLVR が「正解（Reward=1）」か「不正解（Reward=0）」の 2 択だったのに対し、Re2 は 3 つの選択肢を許容します：
     1. 最終回答を出力する（正解/不正解）。
     2. 問題をやり直す（Re-solving）。
   • 「やり直す」を選択した場合の報酬は、そのグループ外（他のプレフィックスから生成された回答）における「最初から解いた場合の成功確率」に基づいて計算されます。
   • 報酬関数 $r_{i,j}$：
     • 正解：1
     • 不正解：0
     • 再解決：$P_{\neq i}(\text{correct}) \cdot \frac{1 - P_{\neq i}(\text{resolve})^R}{1 - P_{\neq i}(\text{resolve})}$
     • （ここで $P_{\neq i}$ はグループ外の統計量、$R$ は最大再試行回数）

3. 学習プロセス:

   • 事前の教師あり微調整（SFT）を一切行わず、純粋な強化学習のみでモデルを訓練します。
   • 現在の経路が有望であれば「回答」を、有望でなければ「再解決」を選ぶように、報酬最大化を通じてモデルに学習させます。

4. 実験結果

4.1 評価ベンチマーク

AIME 2024/2025、AMC 2023、GSM8K、GPQA-Diamond などの多様な数学・科学推論ベンチマークで評価を行いました。モデルサイズは 3B から 14B パラメータまで、ベースモデル、インストラクトチューニングモデル、推論特化モデル（DeepSeek-R1 派生など）を対象としました。

4.2 主要な成果

• 性能向上: 既存の RLVR 手法（DAPO など）と比較し、すべてのモデルとベンチマークで顕著な性能向上を達成しました。
  • 例：Qwen2.5-7B-Base において、DAPO 対して平均精度が +5.8% 向上。
  • 例：Qwen2.5-7B-Instruct において、AIME 2025 で 8.6% → 21.2% と大幅な改善。
• テスト時スケーリング（Test-time Scaling）:
  • サンプル数（推論時の計算量）を増やすにつれて、Re2 は性能が飽和する従来の RLVR モデルとは異なり、継続的に精度が向上しました。
  • 多数決（Majority Voting）と比較しても、より効率的な計算量対性能のトレードオフを示しました。
• 振る舞いの変化:
  • 学習初期に「やり直し」の頻度が 0.5% から 30% 以上へと急増し、その後安定しました。
  • 誤った推論経路を早期に放棄し、正解への確率を高める行動が学習されました。

4.3 分析

• 難易度別分析: 非常に難しい問題（ベースモデルが解けないもの）では再解決頻度が高まり、無理に答えを出そうとしない賢明な振る舞いを示しました。また、解けるが不安定な問題では、再解決によって正解率が 2 倍以上に向上しました。
• 推論の質: 従来の RLVR は誤った経路を長く続ける傾向がありましたが、Re2 は誤った経路を素早く切り捨て、より短く質の高い推論チェーンを生成するようになりました。

5. 貢献と意義

1. 新しい推論パラダイムの提案: 「単一の思考連鎖」から「柔軟な再解決を含むマルチパス推論」への転換を可能にする初の強化学習フレームワークです。
2. 初期推論の質への対処: 初期の誤りが最終結果に与える悪影響を、モデル自身が認識してリセットする能力を付与することで克服しました。
3. SFT 不要の純粋 RL: 事前の教師あり学習なしに、純粋な強化学習のみで「やり直し」という高度な振る舞いを 0.5% から 30% 以上まで引き上げることに成功しました。
4. 実用性の高さ: 計算資源制約下でも、より少ない試行で高い精度を達成できる可能性を示し、LLM の推論効率と信頼性を同時に向上させる道を開きました。

6. 結論

Re2 は、LLM が推論の途中で「考え直すべきか」を判断し、必要であれば最初からやり直すことを学習させることで、既存の RLVR の限界を突破しました。このアプローチは、複雑な推論タスクにおいて、モデルの自己認識能力と適応性を高め、より堅牢で効率的な推論を実現する新たな方向性を示しています。