R1-Code-Interpreter: LLMs Reason with Code via Supervised and Multi-stage Reinforcement Learning

この論文は、多様なタスクにおけるコードインタープリターの活用を可能にするため、段階的なカリキュラム学習と強化学習を導入し、GPT-4o を凌駕する性能と自己検証行動を実現した「R1-Code-Interpreter」を提案するものである。

要約

🍳 料理の例え：「レシピだけ」vs「包丁とフライパン」

まず、これまでの AI（大規模言語モデル）の状況を想像してみてください。
これまでの AI は、「レシピ本（テキスト）だけ」を暗記して、頭の中で料理のイメージを膨らませる天才シェフでした。

• 得意なこと: 食材の歴史を語る、美味しい料理の感想を書く、一般的な手順を説明する。
• 苦手なこと: 「1000 個の玉ねぎを 3 等分して、それぞれ 2.5 倍の重さにしたら合計何グラム？」といった複雑な計算や、「この手順だと失敗するから、別の方法に変えよう」という論理的な試行錯誤。

頭の中でシミュレーションするだけなので、計算ミスや論理の飛躍が起きやすく、特に「ブロックを積み上げるパズル」や「複雑な数学」のような、**「実際に手を動かして試さないとわからないこと」**が苦手でした。

🛠️ この論文の解決策：「道具箱」を持たせる

この研究では、AI に**「コード・インタープリター（プログラミング実行環境）」という「魔法の道具箱」を持たせました。
AI はもう、頭の中で考えるだけでなく、「Python という言語でプログラムを書いて、実際に実行して結果を見て、間違っていれば修正する」**という作業ができるようになったのです。

• 新しい AI の動き:
  1. 問題を見る。
  2. 「これは計算が必要だな」と判断し、プログラムを書く。
  3. 実行して結果を見る。
  4. 「あ、答えが合っていない！原因はここだ」と気づき、プログラムを直して再実行。
  5. 正解が出たら、それを答えとして提出。

これにより、AI は**「試行錯誤（Exploration）」**を通じて、以前は解けなかった難しいパズルや論理問題を解けるようになりました。

---

🏫 最大の課題：「いきなり全員に難問を解かせるのは無理」

しかし、ここで大きな壁にぶつかりました。
「道具箱」を持たせた AI に、いきなり 144 種類もの異なる難問（数学、パズル、論理など）を解かせようとしたところ、**「勉強しても成績が伸びない」**という現象が起きました。

なぜか？

• 難しすぎる問題: 「どんなに頑張っても解けない」問題ばかりだと、AI は「どうせ無理だ」と諦めてしまい、学習が進まない。
• 簡単すぎる問題: 「誰でも解ける」問題ばかりだと、「もうできているから勉強する必要がない」となり、学習が進まない。
• バラバラな問題: 数学とパズルと論理がごちゃ混ぜだと、AI が「どっちの勉強法を使えばいいか」混乱してしまう。

まるで、**「小学生にいきなり大学院の数学と、幼児向けの絵本、そしてプロの料理を同時に教える」**ようなもので、効果が薄かったのです。

---

🎓 解決策：「段階的なカリキュラム学習」と「適性診断」

そこで、この研究チームは**「段階的なトレーニング（カリキュラム学習）」**という画期的な方法を取り入れました。

1. 「伸びしろ」を測る（Potential Measurement）

まず、AI に同じ問題を 20 回解かせてみました。

• 20 回中 20 回正解 → 「すでにできている（伸びしろなし）」
• 20 回中 0 回正解 → 「難しすぎる（伸びしろなし）」
• 20 回中 10 回正解 → 「ちょうどいい！少し頑張ればできる！（ここが伸びしろのピーク）」

この「ちょうどいい難易度（伸びしろ）」を測る指標を作り、問題をランク付けしました。

2. 4 つのステージでトレーニング

トレーニングを 4 つの段階に分けました。

• ステージ 1: 「伸びしろが最も高い（半分正解する）」問題だけを集中的に解かせる。
• ステージ 2: 少し難易度が下がった問題も混ぜる。
• ステージ 3: さらに範囲を広げる。
• ステージ 4: 最後は全部の問題を解かせる。

このように**「AI が一番成長しやすい問題から順に」**教えていくことで、学習効率が劇的に向上しました。
（結果：学習の効果が 3.4% から 9.3% に跳ね上がりました！）

---

🚀 結果：GPT-4o よりも賢くなった？

この方法で育てられた AI（R1-CI-14B）は、驚くべき結果を出しました。

• テストの成績: 37 種類の難問で、正解率が**44.1% から 72.4%**に向上。
• ライバルとの比較: 世界最高峰の AI「GPT-4o（テキストのみ）」や「GPT-4o（コード機能付き）」よりも高いスコアを叩き出しました。
  • なんと、「GPT-4o のコード機能付き」よりも、この研究で作った AI の方が上手にコードを使って問題を解くという結果になりました。

✨ 驚きの発見：「自分でチェックする癖」が身についた

さらに面白いことに、トレーニングを繰り返すうちに、AI が**「自分で自分の答えをチェックする」という行動を自然に身につけました。
「答えを出したけど、本当に合ってるかな？もう一回プログラムで確認しよう」と、自らコードを書いて検証するようになったのです。これは、人間が「見直し」をするのと同じで、AI が「自律的に成長した」**証拠と言えます。

---

💡 まとめ

この論文が伝えていることはシンプルです。

「AI に道具（コード）を使わせるのは素晴らしいけど、いきなり全部教えるのはダメ。『できること』と『できないこと』のちょうど中間にある問題を、段階的に教えてあげれば、AI は驚くほど賢く成長する」

これは、AI のトレーニング方法に新しい指針を与えた、非常に重要な研究です。
今後は、この「道具を使って試行錯誤する AI」が、より複雑な現実世界の課題（ロボットの制御、複雑な計画立案など）を解決する鍵になるかもしれません。

技術概要

R1-Code-Interpreter: 教師あり学習と多段階強化学習による LLM のコード解釈器利用の技術的サマリー

本論文は、ICLR 2026 で発表された「R1-Code-Interpreter」に関する研究報告です。この研究は、大規模言語モデル（LLM）にコード解釈器（Code Interpreter）を統合し、多様な推論・計画タスクにおいて自律的にコードを生成・実行させるための新しいトレーニングフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

近年、強化学習（RL）に基づく微調整は LLM の推論能力を大幅に向上させていますが、モデルは依然として単純なタスクでも失敗したり、推論時のトークンコストが高騰したりする課題があります。

• テキスト推論の限界: 意味理解や常識推論は得意ですが、精密な計算、記号操作、最適化、アルゴリズム処理には不向きです。
• コード解釈器の活用: コード生成と実行はこれらの課題を解決できますが、現在のモデルは「いつテキスト推論を使い、いつコードを使うか」を適切に判断できず、コードの能力を十分に活用できていません。
• 既存研究のギャップ: 既存のツール利用 RL 研究（ToRL, ReTool など）は数学問題に限定されており、多様なタスク（論理、空間、最適化など）にわたる汎用的なコード解釈器のトレーニング方法については未解明でした。また、タスクの多様性（heterogeneity）と効果的なサンプルの不足により、従来の RL 手法をそのまま適用すると性能向上が限定的であることが示唆されました。

2. 提案手法：R1-Code-Interpreter

本研究は、テキストのみの LLM をベースに、多段階の教師あり微調整（SFT）と強化学習（RL）を組み合わせたフレームワークを構築しました。

2.1 データセットと SFT

• タスクの収集: 3 つの主要ベンチマーク（SymBench, Big-Bench-Hard, Reasoning-Gym）から144 種類の多様な推論・計画タスクを収集しました。各タスクは 200 以上のサンプルを含み、数学、空間、論理、順序、最適化、検索ベースの推論などを網羅しています。
• SFT データの合成: GPT-4o を用いて、各タスクに対して多ターン（テキストとコードの交互）の推論・実行経路を生成し、正解した 6,500 件の高品質なデータを教師あり微調整（SFT）に使用しました。

2.2 多段階カリキュラム学習（Multi-Stage Curriculum Learning）

従来の RL（DeepSeek-style GRPO）を多様なタスクに直接適用すると、タスクの難易度差により報酬信号が希薄化し、学習が停滞する問題がありました。これを解決するため、**「改善ポテンシャル（Improvement Potential）」**に基づいた多段階カリキュラム学習を導入しました。

• 改善ポテンシャルの定義: 各サンプルに対して、異なるエージェント戦略（テキストのみ、コードのみ、コードエージェントなど）で回答を生成し、正解率 $p$ を推定します。ポテンシャルスコア $\Pi = 4p(1-p)$ を計算し、$p \approx 0.5$（正解と不正解が半々）のサンプルほど学習信号が大きいと仮定します。
• 4 段階のトレーニング:
  1. Stage 1: ポテンシャルが最も高いサンプル（学習効果が期待できるもの）から開始。
  2. Stage 2-3: 段階的にポテンシャルの低いサンプルを追加。
  3. Stage 4: 低ポテンシャルのサンプル（非常に簡単か非常に難しいもの）を含め、全データセットで学習を完了。
  • このアプローチにより、RL 学習の平均的な利益（gain）を +3.4% から +9.3% に向上させました。

2.3 効率的なトレーニング環境

• コード実行サンドボックス: コード実行は GPU 利用を阻害し、トレーニング時間を増大させる要因でした。そこで、コード実行を 5 台の CPU ノード上の専用サンドボックスにオフロードし、GPU での勾配計算とデカップリングしました。これにより、トレーニング時間を39% 削減（4500 GPU 時間から 1845 GPU 時間へ）しました。
• アルゴリズム: Group Relative Policy Optimization (GRPO) を採用し、コード実行トークンをマスクして LLM 生成トークンのみで勾配を計算します。

3. 主要な結果

Qwen-2.5 シリーズ（3B, 7B, 14B）をベースモデルとして実験を行いました。

• 性能向上:
  • 14B モデル（R1-CI-14B）は、テストタスク（37 件）の平均正解率を 44.1% から 72.4% に向上させました。
  • GPT-4o（テキストのみ：58.6%） や GPT-4o（Code Interpreter 搭載：70.9%） を凌駕する性能を達成しました。
  • 3B モデルでも同様の傾向が見られ、モデルサイズに依存せず有効性が確認されました。
• 出現行動（Emergent Behavior）:
  • 学習過程で、モデルが**「自己検証（Self-Checking）」**を行う能力を獲得しました。これは、生成したコードで答えを検証したり、コード実行結果に基づいて推論を修正したりする行動です。これは事前のトレーニングでは見られなかった重要な発見です。
• アブレーション研究:
  • マルチターンフレームワークがシングルターンよりも優れていること。
  • SFT によるウォームスタートが必須であること。
  • Qwen-2.5 ベースが DeepSeek R1 蒸留モデルよりもコード生成タスクに適していること。

4. 主要な貢献

1. 初の汎用コード解釈器のトレーニング: 単一タスクや単純な推論に限定されず、144 種類の多様なタスクとドメインにわたってコード解釈器をトレーニングした最初の公開研究です。
2. 改善ポテンシャルに基づくカリキュラム学習: タスクの多様性とサンプルの希薄さという RL のボトルネックを解決する新しい手法を提案し、RL 学習の効率を劇的に改善しました。
3. コスト効率の良いトレーニング設計: コード実行と勾配計算を分離するサンドボックス設計により、トレーニング時間を大幅に削減しました。
4. 戦略の比較と知見: マルチターン CI フレームワークの有効性、SFT の重要性、およびベースモデルの選択に関する実証的な知見を提供しました。

5. 意義と結論

R1-Code-Interpreter は、LLM がテキスト推論とコード実行をシームレスに統合し、複雑な推論タスクを解決するための有効なアプローチを示しました。特に、「改善ポテンシャル」に基づいた段階的な学習は、多様なタスクにおける RL 学習の難しさを克服する鍵となり、汎用的な AI エージェントの開発において重要な指針となります。

また、モデルが学習を通じて「自己検証」のような高度な行動を自律的に獲得したことは、LLM の推論能力の進化を示唆しており、将来的な AI の安全性や信頼性向上にも寄与する可能性があります。コード、モデル、データセットはオープンソースとして公開されています。