💻 computer science

Aryabhata 2: Scaling Reinforcement Learning for Advanced STEM Reasoning

本論文は、高品質なカリキュラムと段階的なロールアウト探索を活用することで、JEE や NEET などの競争的な STEM 試験において優れた性能とより高いトークン効率を達成する、GPT-OSS-20B に基づき強化学習で訓練された言語モデル Aryabhata 2 を紹介する。

原著者： Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。GPT-OSS-20B という、天才的だが少し散漫な学生がいます。この学生は膨大な量の書籍を読み、多くの事実を知っていますが、インドの最も過酷な大学入試に見られるような、複雑で多段階の数学や科学の問題を解くよう求めると、しばしば脱線したり、混乱したり、答えを書くのに永遠にかかったりします。正解にたどり着くこともありますが、そのために大量の「インク」（コンピュータ・トークン）を費やしており、それは高価で遅いものです。

この論文の著者たちは、この学生をより大きな脳（より大規模なモデル）を購入することなく、チャンピオンの問題解決者へと変えようと考えました。彼らはAryabhata 2という新しい学生を創り出しました。

彼らがどのように行ったのか、簡単な比喩を用いて説明します。

1. 訓練の場：厳格なコーチ

単に学生に本をより多く読ませる（これが標準的なトレーニングです）のではなく、研究者たちは強化学習を用いた厳格なコーチのように振る舞いました。

報酬システム: パズルを正しく解き、かつ明確に説明した場合にのみポイントがもらえるビデオゲームを想像してください。学生が答えを間違えれば、ポイントはゼロです。答えが正しくても、1 段落の説明で済むところを 10 ページの論文を書いてしまえば、スコアは低くなります。
「審判」: コーチは学生の言葉をただ信じるだけではありませんでした。彼らは、すべてのステップをチェックする超スマートな「審判」（別の AI）を用いました。数学が合っていなかったり、論理に欠陥があったりすれば、答えは即座に却下されました。

2. カリキュラム：易しいものから不可能なものへ

研究者たちは、学生をいきなり深い部分に放り込みませんでした。彼らは3 段階の訓練キャンプを構築しました。

レベル 1（フォーマット）: まず、学生にペンを正しく持つ方法を教えました。答えが整然としており、特定の構造に従っているかどうかに焦点を当てました。
レベル 2（鍛錬）: 次に、学生に数千の練習問題を与えました。学生が上達するにつれて、コーチは問題をより難しくしました。学生が 70% の正解率を維持し続けると、コーチはさらにトリッキーな問題に差し替えました。
レベル 3（ワイルドカード）: 最後に、学生に同じ難しい問題を同時に解くための多くの異なる方法を試させるようにしました。学生に迷路を解くために 128 通りの異なる経路を同時に試すよう求めることを想像してください。これにより、彼らは以前は見ていなかった賢いショートカットを発見できるようになりました。

3. 秘密の武器：「広範な探索」

通常、AI をトレーニングする際、問題の解決を 1 回だけ求めます。しかし、Aryabhata 2 は、すべての質問に対して多数の異なる試行を生成するようにトレーニングされました。

比喩: 犯罪を解決する探偵を想像してください。1 つの推測に従うのではなく、探偵は 128 個の異なるチームを派遣して手がかりを探させます。たとえ1 つのチームだけが正しい手がかりを見つけられれば、事件は解決します。この手法により、モデルは「黄金の経路」をより速く、より確実に発見できるようになりました。

4. 結果：より速く、賢く、スリムに

彼らが Aryabhata 2 を JEE や NEET といった実際の試験、さらには AIME などの超難関数学コンペティションでテストしたところ、その結果は印象的でした。

精度の向上: 親モデル（GPT-OSS-20B）よりも多くの問題を正しく解き、はるかに大規模で高価なモデルさえも凌駕しました。
「トークン」の節約: これが最大の勝利です。元のモデルはしばしば長く回りくどい説明を書いていました。Aryabhata 2 は簡潔になることを学びました。同じ（あるいはそれ以上の）結果を得るために、最大で64% 少ない単語（トークン）しか使用しませんでした。
- 比喩: 古いモデルが完璧なショットを見つけるために 100 枚写真を撮る観光客だとすれば、Aryabhata 2 は 1 回のクリックで完璧なショットを撮るプロのカメラマンのようです。

結論

この論文は、非常に具体的で高品質な練習問題のセットと、賢明な多段階トレーニング手法を使用することで、標準的な 200 億パラメータの AI を、専門的なSTEM 推論の専門家へと変えたことを主張しています。賢くなるために巨大なモデルである必要はありませんでした。必要だったのは、適切な種類の練習と、良い行動をどのように報酬付けるかを正確に知っているコーチだけでした。

彼らが主張しなかったこと:
この論文は、この AI が人間の教師に取って代わるものでも、医療状態を診断するものでも、一般的な会話に使用されるものでもないと主張していません。これは、競争力のある試験で見られる科学、数学、工学の問題を解決するために特別に構築されたものであり、それらの特定の科目に対する非常に効率的なチューターとして機能します。

技術的概要：Aryabhata 2 – 高度な STEM 推論のための強化学習の拡張

1. 問題定義

競争的な STEM 試験、特にインドの合同入学試験（JEE）および国家資格・入学試験（NEET）は、大規模言語モデル（LLM）にとって独自の課題を提示します。これらの試験は、物理学、化学、数学にわたる多段階の記号推論、精密な数値計算、そして深い概念的理解を要求します。標準的なベンチマークとは異なり、これらの問題は厳格な制約下で概念的な深さをテストするために慎重に構成されています。

最近の LLM は一般的な推論ベンチマークで高い性能を示していますが、実世界の教育現場での展開には重大な障壁が存在します：

スケーラビリティ: 数百万人の学生の疑問に対応するために最先端モデルを大規模に展開することは、高い推論コストとトークン単価により、費用対効果の面で非現実的です。
効率性: オープンソースモデルはしばしば大規模なパラメータ数を必要とし、過度に長い思考連鎖を生成するため、高いレイテンシとトークン消費を招きます。
ドメイン固有性: 一般的なモデルは、競争試験の戦略に必要な特定のシラバス網羅性と段階的な整合性を欠くことが多いです。

著者らは、高性能だが高価なモデルと、学生の疑問に対して正確で簡潔かつ構造化された説明を提供できる効率的なドメイン固有のソリューションとの間にギャップがあることを特定しました。

2. 手法

本論文は、強化学習（RL）によるポストトレーニングで訓練された推論特化型言語モデルAryabhata 2を導入します。この手法は、制約された計算リソース下で推論能力を最大化するために設計された、統合された RL 専用パイプラインに基づいています。

2.1 ベースモデルとアーキテクチャ

ベースモデル: システムは、200 億パラメータのオープンソース混合専門家（MoE）モデルであり、36 億のアクティブパラメータを持つGPT-OSS-20Bを基盤としています。
パラメータ効率型ファインチューニング（PEFT）: メモリ制約（2 台の NVIDIA H100 NVL GPU の利用）を管理するため、著者らは**低ランク適応（LoRA）**を採用しています。アダプターは、注意投影層（ $q, k, v, o$ ）およびトークン埋め込み層に挿入されます。これにより、学習可能なパラメータは約 0.15%（209 億中 3180 万）のみとなり、メモリフットプリントを大幅に削減しつつ適応能力を維持します。

2.2 データキュレーションと検証

トレーニングコーパスは、初期に 178 万問を含まれていた PhysicsWallah の内部問題バンクから派生しています。

クリーニングパイプライン: 決定論的パイプラインが HTML アーティファクト（特に <img> タグ）を除去し、pdflatex を使用して LaTeX 構文を検証し、LLM 分類器を通じて不完全な質問をフィルタリングし、非 STEM 内容を除去します。これにより、データセットは 125 万問の高品質な質問に削減されます。
回答検証: 信頼性の高い報酬信号を確保するため、ポリシーモデル（GPT-OSS-120B）とジャッジモデル（Qwen/Qwen3-30B-A3B-Thinking）を使用した自動検証パイプラインが採用されます。
- マルチパスサンプリング: 質問は段階的（1、4、または 16 サンプル）に検証されます。生成された解のいずれかが正解と判断された場合、その質問は採用され、カリキュラムに有効な推論経路が含まれることが保証されます。
カリキュラム構築: 質問は、ベースモデルの生成成功率に基づいて難易度（ trivial、Learnable、Challenging）に分類されます。化学の質問は、初期の性能の偏りを是正するためにアップサンプリングされます。

2.3 強化学習フレームワーク

トレーニングは、ハードウェアとタスクの制約に適応するよう特定の変更を加えた**グループ相対方策最適化（GRPO）**を利用します：

KL 自由トレーニング: GPU メモリを節約するため、参照モデルは省略され、KL 正則化は除去されます。
目的関数: 非対称な上限クリッピング閾値を持つ DAPO 風のクリップされた目的関数が使用されます。
報酬関数: 乗法的報酬 $R = R_{accuracy} \times R_{format}$ $R = R_{a cc u r a cy} \times R_{f or ma t}$ が採用されます：
- 精度報酬（ $R_{accuracy}$ ）: 文字列マッチング、数値許容マッチング、および記号等価性（math-verify を使用）の連鎖を通じて計算されます。単一正解の選択式問題（MCQ）では、ラベルが誤っていても正しい選択肢のテキストに対しては、部分的なクレジット（0.5）が付与されます。
- 形式報酬（ $R_{format}$ ）: 十分に詳細な最終回答（ $S_{len}$ ）と、推論と解の長さのバランスの取れた比率（ $S_{ratio}$ ）を促し、過度に簡略化された出力や過度に長い出力を防ぎます。

2.4 トレーニングフェーズ

安定性と探索のバランスを取るため、トレーニングは 3 つの連続したフェーズで進行します：

フェーズ 1（形式整合）: グループサイズ 8 で 300 ステップ。 trivial な質問と learnable な質問の混合を用いて、モデルを望ましい出力構造に整合させることに焦点を当てます。
フェーズ 2（長期 RL）: 約 5,000 ステップ。グループサイズは 8 から 16 に増加します。精度が向上するにつれて、カリキュラムは適応的により難しい質問へと移行します。報酬が頭打ちになった際のトレーニング安定化のため、EMA ベースのチェックポイントマージが使用されます。
フェーズ 3（広範化 RL）: 約 700 ステップ。グループサイズは大幅に拡大（64 から 128）され、推論経路の探索を広げ、代替の解法戦略を発見します。

3. 主要な貢献

Aryabhata 2 モデル: 競争的な STEM 推論に特化して最適化された 200 億パラメータモデルであり、ドメイン固有のカリキュラムに対するターゲット型 RL が、はるかに大規模なベースモデルを上回る性能を発揮し得ることを実証しています。
統合 RL パイプライン: 厳格なデータ検証、難易度を意識したカリキュラム構築、および段階的 RL（長期最適化＋広範化探索）を組み合わせた新規トレーニング戦略であり、限られたハードウェア（2 台の H100）上で効果的に機能します。
効率性の向上: このモデルはオープンソースモデルの中で最先端の性能を達成しながら、ベースモデルに比べて大幅に少ないトークン（最大 64% 削減）を生成し、大規模な教育展開におけるコスト障壁に対処しています。
包括的な評価: ドメイン内競争試験（JEE Main/Advanced、NEET）およびドメイン外推論ベンチマーク（AIME、HMMT、MMLU-Pro、GPQA）における検証。

4. 結果

4.1 ドメイン内性能

競争試験ベンチマーク（JEE Main 2025/2026、JEE Advanced 2025、NEET 2025）において、Aryabhata 2 は平均**Pass@1 88.95%**を達成し、ベースの GPT-OSS-20B（83.00%）を上回り、GPT-OSS-120B（88.28%）や Qwen3-30B-A3B（88.55%）といったはるかに大規模なモデルと競合します。

トークン効率: Aryabhata 2 は、GPT-OSS-20B に比べて出力トークンを**52–64%**削減します。
トークンあたりの精度: 42.31 Acc./1K トークンを達成し、GPT-OSS-20B（15.68）および GPT-OSS-120B（26.66）を大幅に上回ります。

4.2 ドメイン外性能

一般的な推論ベンチマーク（AIME、HMMT、GPQA、MMLU-Pro、MMLU-Redux 2.0）において、Aryabhata 2 は平均**Pass@1 87.64%**を達成します。

GPT-OSS-20B（84.95%）および Nemotron 3 Nano（83.48%）を上回ります。
HMMT（ベースより +1.54）および GPQA（ベースより +4.35）で顕著な改善を示します。
最先端の商用モデル（例：GPT-5 Mini、Gemini 2.5 Flash）には及ばないものの、200 億パラメータモデルとして強い汎化能力を示しています。

4.3 効率性比較

すべてのドメイン外（OOD）ベンチマークにおいて、Aryabhata 2 は GPT-OSS-20B に比べて出力トークンを24–71%削減し、OOD 精度39.58 Acc./1K トークンを達成します。

5. 意義と主張

本論文は、ドメイン固有のカリキュラムに対するターゲット型強化学習が、実用的な STEM 推論システムを拡張するための効果的な戦略であると主張しています。この研究の意義は、以下の点を実証していることにあります：

規模よりも特化: 小規模で効率的に訓練されたモデルは、特定のハイステークスな推論タスクにおいて、より大規模なベースモデルを上回る性能を発揮し得る。
展開の実現性: 厳格なデータキュレーションと段階的 RL を組み合わせることで、制約されたハードウェア（2 台の H100）上で高品質な推論モデルを訓練することが可能となり、数百万人のユーザーを持つ大規模教育システムにおける高度な AI 指導の実現が可能となる。
トークン効率性: このアプローチは精度を向上させるだけでなく、より簡潔で構造化された推論連鎖を生成することで推論コストを劇的に削減し、教育分野での LLM 展開における経済的障壁に直接対処する。

著者らは、このパイプラインが計算制約下で安定したトレーニングを可能にしつつ、強力な推論品質を維持しており、実世界の教育ワークロードに対する実現可能な道筋を提供すると結論付けています。