📊 statistics

INFUSER: Influence-Guided Self-Evolution Improves Reasoning

INFUSERは、影響力に基づいた報酬信号と新しいDuGRPOアルゴリズムを用いて適応的なカリキュラムを精査することにより、非構造化ドキュメントから推論能力を進化させるジェネレータとソルバを採用した反復的共同学習フレームワークであり、困難なベンチマークにおいて既存の自己進化ベースラインを大幅に上回っています。

原著者： Siyu Chen, Miao Lu, Beining Wu, Heejune Sheen, Fengzhuo Zhang, Shuangning Li, Zhiyuan Li, Jose Blanchet, Tianhao Wang, Zhuoran Yang

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Siyu Chen, Miao Lu, Beining Wu, Heejune Sheen, Fengzhuo Zhang, Shuangning Li, Zhiyuan Li, Jose Blanchet, Tianhao Wang, Zhuoran Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

INFUSER の解説：ロボットに「自習」を教える方法

全体像：ロボットに自習を教える

想像してみてください。あなたは、数学や科学が得意ですが、さらに上を目指したいと考えている賢い生徒（ソルバー／解答者）を持っています。通常、学習を進めるには、先生が練習問題を与えてくれる必要があります。しかし、完璧な練習問題を作成できる人間の先生を見つけるのは、コストも時間もかかります。

INFUSER は、生徒が自ら練習問題を作成することで自習を行う新しい手法です。ただし、そこには特別なひねりがあります。単に「難しい」問題を作るのではなく、生徒の現在のスキルレベルにとって**「有用な」**問題を作るのです。

2人の登場人物：「クイズマスター」と「生徒」

このシステムは、協力して働く2つのバージョンのAIモデルを使用しています。

ジェネレーター（クイズマスター）： このAIは、整理されていない膨大な教科書やノートのライブラリ（「ドキュメント・プール」）を読み取ります。その役割は、読んだ内容に基づいて、クイズの問題と「正解（ゴールデン・アンサー）」を作成することです。
ソルバー（生徒）： このAIは、クイズマスターが作成した問題に答えようと試みます。正解できれば報酬を得て、学習が進みます。

旧来の手法の問題点

従来の自己学習の試みには、主に2つの欠点がありました。

「ハルシネーション（幻覚）」の罠： 一部の手法では、AIがゼロから問題を作り出すことを許容していました。もしAIが間違った内容を作ってしまった場合、AIは間違った事実を学習してしまいます（例：学生が架空の歴史の本を暗記してしまうような状態）。
「難易度」の罠： 他の手法では、AIに可能な限り「最も難しい」問題を生成させようとしました。しかし、問題が「難しい」理由は、内容が分かりにくい、あるいは記述が不適切であったり、答えが間違っていたりするためかもしれません。もし生徒が混乱を招くような問題に取り組んでも、実際に学習が進むことはなく、ただフラストレーションが溜まるだけになります。

INFUSER の解決策：「コーチの影響力スコア」

INFUSER は、クイズマスターを採点するための巧妙な方法を導入しています。「この問題は難しいか？」と問うのではなく、**「この問題を解くことは、本当に生徒が重視すべきスキルの向上に役立つか？」**と問いかけるのです。

仕組みは以下の通りです。

ターゲット（目標）： チームは、現実世界を象徴する「ゴールドスタンダード（最高水準）」の問題セット（例：最終試験）を少量持っています。これを Dev Set（開発セット） と呼びます。
方向性： クイズマスターが新しい問題を書く前に、システムはゴールドスタンダードの試験を確認し、生徒が改善すべき「方向」を特定します。（例：「生徒は化学反応の計算が苦手なので、その方向へ導く必要がある」）
クイズマスターの仕事： クイズマスターは教科書を読み、問題を作成します。
「影響力スコア（Influence Score）」： システムは、生徒がこの新しい問題に答える様子をシミュレートします。その後、影響力スコアと呼ばれる値を算出します。
- 比喩： パーソナルトレーナー（システム）が、コーチ（クイズマスター）が設計したトレーニングメニューを見守っていると考えてください。トレーナーは、メニューが単に過酷であるかどうかだけを気にDoesnt't care. 「この特定の運動は、ランナーの膝の弱点を克服させるものか？」をチェックします。
- 新しい問題が、生徒のゴールドスタンダード試験における成績向上に寄結する場合、クイズマスターには高いスコアが与えられます。
- 問題が混乱を招くものだったり、無関係なものだったりする場合、クイズマスターには低いスコアが与えられます。
ループ： クイズマスターは、より高いスコアを得るために、より良い問題を書き、生徒はそれらを解くことで学習します。両者は共に進化していきます。

秘訣：「DuGRPO」

論文では、DuGRPO というテクニカルなトリックについて言及しています。これは、クイズマスターを採点するための特別な方法だと考えてください。

通常、一連の問題のスコアが非常に似通っている場合、どれがより優れているかを判断するのは困難です。
DuGRПО は、グループ全体に基づいてスコアを調整するスマートな審判のようなものです。これにより、たとえ問題がすべて「まずまず」のレベルであっても、システムが「わずかに、より有用なもの」を選び出せるようにし、トレーニングが停滞したりノイズに埋もれたりするのを防ぎます。

研究の結果

研究者たちは、Qwen3（賢いAI）を用いてテストを行いました。

競合を圧倒： INFUSER は、数学や科学の厳しいベンチマークにおいて、他の自己学習手法を大幅に上回る差（20%以上の向上）で勝利しました。
「小」が「大」に勝つ： INFUSER を使用した 80億パラメータのモデル（共進化するクイズマスターを伴う）は、静的な問題セットを使用する凍結された 320億パラメータのモデルよりも、数学とコーディングにおいて優れた性能を示しました。これは、単に「脳（パラメータ数）が大きいこと」よりも、「共に進化するプロセス」の方が重要であることを証明しています。
品質管理： トレーニングが進むにつれ、クイズマスターが作成する問題は、より論理的で、自己完結的で、事実に基づいた正確なものへと変化していきました。問題は「混乱を招く難しさ」ではなく、「真に挑戦的なもの」へと進化したのです。

まとめ

INFUSER は、AIが教師であり生徒でもある自己改善システムです。教師への報酬は、難しい問題を作ることではなく、生徒を現実世界の課題を解決できる正しい方向へと**「導く」**問題を作ることに対して与えられます。「コーチの影響力スコア」を用いて教師を導くことで、このシステムは、バラバラな教科書のライブラリを、AIがかつてないほど高度に推論できるようにするための、完璧でパーソナライズされたカリキュラムへと変貌させるのです。

技術要約：INFUSER – 影響力に基づいた自己進化による推論能力の向上

1. 問題提起

大規模言語モデル（LLM）の推論における最近の進展は、検証可能な報酬を用いた強化学習（RLVR）に大きく依存しています。しかし、RLVRのスケールアップは、高品質で検証可能な学習データの不足によってボトルネックとなっています。これらをキュレーションするには多大なコストがかかります。**自己進化（Self-evolution）**は、非構造化ドキュメントやモデル自身の出力から自律的に学習データを生成することを可能にし、外部の教師モデルや精査されたコーパスを必要としない道筋を提示します。

既存の自己進化手法には、主に2つの制限があります：

グラウンディング（根拠付け）： 純粋な自己対戦型手法（例：R-Zero）は、モデルの事前知識のみに依存するため、幻覚（ハルシネーション）による参照回答のリスクがあります。エグゼキュータ（実行器）ベースの手法（例：AZR）は検証可能性を回復しますが、コードや数学などの形式的なエグゼキュータが存在する領域に限定され、豊富な非構造化テキストを活用することができません。
生成器の目的関数： ドキュメントに基づいたアプローチ（例：SPICE）は、多くの場合、難易度のヒューリスティック（例：ソルバーの失敗率を約50%に最大化するなど）に基づいて生成器に報酬を与えます。難易度は効用（utility）の粗いプロキシ（代理指標）に過ぎません。問題が「難しい」理由は、曖昧さやソースとの不一致によるものである可能性があり、ターゲットとなる分布においてソルバーを確実に向上させる保証はありません。

ここで直面する核心的な問いは、「生成器を、現在のソルバーと共進化させながら、ターゲットとなる分布に対して真に改善をもたらすドキュメントに基づいた学習データを生成するように訓練できるか？」という点です。

2. 手法：INFUSER

著者らは、自己進化を生成器（ $\pi_\phi$ ）とソルバー（ $\pi_\theta$ ）の間のバイレベル・ゲームとして捉える反復的共学習フレームワークであるINFUSER（INFluence-gUided Self-Evolution Improves Reasoning）を提案しています。両者は同じ事前学習済みモデルから初期化されます。

2.1 バイレベル・ゲームの定式化

下位レベル（ソルバー）： ソルバーは、生成器が非構造化ドキュメントのプール（ $D_{doc}$ ）から生成した質問回答（QA）ペア（ $Q_\phi$ ）のカリキュラムを用いて学習します。ソルバーは、標準的なRLVR（例：Dr.GRPO）を用いて、このカリキュラムに対する精度を最大化するように最適化されます。
上位レベル（生成器）： 生成器は、ソルバーが更新された後に、ターゲット分布（ $P$ ）におけるソルバーの性能が向上するようなカリキュラム $Q_\phi$ を生成することを目指します。
協調的な性質： 対抗的な自己対戦とは異なり、生成器はソルバーを打ち負かすためではなく、ターゲット分布におけるソルバーの改善を助けることに対して報酬を与えられます。

2.2 オプティマイザを考慮した影響力スコア（Optimizer-Aware Influence Score）

厳密なバイレベル微分（ソルバーのフル学習ループをバックプロパゲーションすること）に伴う膨大なコストを避けるため、INFUSERは影響関数（influence functions）に着想を得た一次近似を採用しています。

開発セットのアンドン（Dev-Set Anchor）： ターゲット分布 $P$ からサンプリングされた小さな保持された開発セット（ $D_{dev}$ ）を使用して、「改善の方向性」を定義します。 $D_{dev}$ に対するソルバーの性能の勾配（ $\hat{g}_{dev}$ ）が、ターゲットベクトルとして機能します。
影響力の計算： 各生成されたQAペア $(q, a_\phi)$ について、システムはその特定のペアによる学習によって誘発されるソルバーのパラメータ更新方向（ $\hat{\Gamma}(q, a_\phi)$ ）を推定します。この方向は、実際の更新ステップを反映するためにAdamWオプティマイザの状態によってプリコンディショニングされます。
報酬信号： 生成器の報酬は、ターゲット勾配（ $\hat{g}_{dev}$ ）と誘発された更新方向（ $\hat{\Gamma}$ ）のコサイン類似度です：
$s(q, a_\phi) = \text{cossim}(\hat{g}_{dev}, \hat{\Gamma}(q, a_\phi))$
正のスコアは、 $(q, a_\phi)$ による学習が、ターゲット分布における性能向上と整合していることを示します。このスコアは、従来の「難易度」メトリックに代わるものです。

2.3 DuGRPO: Dual-Normalized GRPO

影響力スコアは連続的でノイズの多い信号であり、これは標準的なグループ相対方策最適化（GRPO）にとって課題となります。

課題： ドキュメントグループ内のみで報酬を正規化する（GRPOスタイル）と、分散の低いグループにおいてノイズが増幅されます。一方で、バッチ全体で正規化する（BatchNormスタイル）と、分散の高いグループが支配的になってしまいます。
解決策： 著者らは、グループ内正規化とクロスグループ正規化を組み合わせた、デュアル正規化アドバンテージ推定器であるDuGRPOを提案しています：
$\hat{A}_{gen} = \frac{s(q, a_\phi) - \mu_d}{\sigma_d + \sigma_B + \epsilon}$
ここで、 $\sigma_d$ はドキュメントグループ内の標準偏差であり、 $\sigma_B$ はバッチ全体の平均標準偏差です。これにより、低分散のノイズを抑制しつつ高分散の支配を防ぎ、学習を安定させます。

2.4 学習ループ

アルゴリズムは、イテレーションごとに以下のフェーズで進行します：

開発参照（Dev Reference）： $D_{dev}$ におけるソルバーのロールアウトからターゲット勾配 $\hat{g}_{dev}$ を計算します。
生成（Generation）： 生成器がドキュメントをサンプリングし、QAペアを生成します。
ソルバー評価（Solver Evaluation）： ソルバーが生成された質問に挑戦します。質問ごとの勾配が推定されます。
影響力スコアリング（Influence Scoring）： コサイン類似度を用いて影響力スコアを計算します。
更新（Updates）： 影響力スコアを報酬としてDuGRPOを用いて生成器を更新し、正誤のバイナリ報酬を用いてDr.GRPOを用いてソルバーを更新します。

3. 主な貢献

影響力に基づいた自己進化： 難易度ベースの生成器報酬を、オプティマイザを考慮した影響力スコアに置き換え、単なる難易度ではなく、ターゲット分布に対する効用を直接最適化する新しいフレームワーク。
DuGRPO： 連続的でノイズの多い影響力ベースの報酬に特化して設計された、新しい方策勾配のバリアント。これにより、生成器の安定した学習が可能になります。
ドキュメントに基づいた共進化： 非構造化テキストブックを活用して学習データを生成する手法。外部の教師やエグゼキュータを必要とせず、ソルバー自身の推論を通じて検証可能性を維持します。
スケーラビリティ： 8Bの共進化する生成器が、数学およびコーディングのタスクにおいて、凍結された32Bの「思考型」生成器を上回ることを実証。これは、カリキュラム生成においては、モデルの規模よりも適応（adaptation）が重要であることを示唆しています。

4. 実験結果

実験は Qwen3-4B-Base および Qwen3-8B-Base をアンカーとして行われ、INFUSERを強力なベースライン（R-Zero, AZR, R-Few, SPICE）および汎用推論（General-Reasoner）ベースラインと比較しました。

性能向上： INFUSERは14のベンチマークのうち8つで最高スコアを記録しました。Qwen3-8B-Base において、OlympiadBench (Math)、SuperGPQA、および GPQA-Diamond において、ベースモデルと比較して20%以上の相対的な改善を示しました。
スケーリング： INFUSERの性能向上は、モデルサイズ（4Bから8B）に関わらず一貫して見られましたが、R-ZeroやSPICEのようなベースラインは、スケールアップに伴い大幅な性能低下を示しました。
生成器の質： 分析により、共進化する生成器は、時間の経過とともに、より適切に構成された困難な質問を生成することが示されました。「Strong-vs-Weak」の差（生成された質問に対する強力なモデルとベースモデルの精度差）が増大しており、これは生成器が、ベースモデルには難しいが強力なモデルには解ける（すなわち、高品質な推論チャレンジとなる）質問を作成していることを示しています。
アブレーション研究：
- 生成器の必要性： 生成器を除去した場合（ $D_{dev}$ で直接学習した場合）、開発セットへの過学習が発生し、汎化性能が低下しました。
- 共進化： 凍結された8Bの生成器は、共進化する8Bの生成器よりも性能が低く、特に数学において顕著でした。一方で、凍結された32Bの生成器は、知識集約的なタスク（一般推論、医学など）では8Bの共進化生成器を上回りましたが、数学とコーディングでは下回りました。これは、推論においては適応が規模に勝ることを浮き彫りにしています。
- 構成要素： オプティマイザを考慮した影響力スコアとDuGRPO正規化の両方が不可欠であることが判明しました。これらを除去すると、性能は凍結された生成器のレベルまで退行しました。
拡張性：
- 指示チューニング済みアンカー： INFUSERは、指示チューニングされたアンカー（OLMo-3-7B-Instruct-SFT）の改善にも成功し、13のベンチマークのうち10で勝利しました。
- ハイブリッドRLVR： ドキュメントに基づいた自己進化と、ルール検証可能な数学RLVRを組み合わせることで、科学分野のみの学習で見られた「レスポンス長崩壊（response length collapse）」を安定させ、数学性能のシード分散を減少させました。

5. 重要性と主張

本論文は、INFUSERが、精査されたデータセットや教師モデルに依存することなく、豊富な非構造化コーパスを構造化された効用指向の学習信号へと変換することで、より強力な推論へのスケーラブルな道筋を提供することを主張しています。

パラダイムの転換： 生成器の目的を「物事を難しくすること」から「物事を有用にすること」へと移行させ、影響関数を用いることで、カリキュラム生成をソルバーの学習軌跡に整合させています。
効率性： 小規模で共進化する生成器が、数学的推論タスクにおいてるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるる