🤖 machine learning

Self-Trained Verification for Training- and Test-Time Self-Improvement

本論文は、参照解答の有無によるモデルの誤り検出能力の非対称性を活用して優れた検証器を学習させる手法「自己学習型検証（STV）」を導入し、これにより複雑な推論タスクにおける推論時の反復改善ループと学習時の自己改善の両方を大幅に向上させる。

原著者： Chen Henry Wu, Aditi Raghunathan

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

原著者： Chen Henry Wu, Aditi Raghunathan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に難しいパズル、例えば複雑な数学の問題や厄介な科学の質問を解こうとしていると想像してください。その際、ある賢いアシスタント（ジェネレーター）が問題を解こうとしますが、彼らは絶えず微妙な間違いを犯します。彼らは偶然に正解を得ることもあれば、一見完璧に見えるが隠れた欠陥を含む解答を書くこともあります。

彼らを助けるために、あなたは検証者を持っています。検証者を校正者やコーチだと考えてください。彼らの仕事は、解答を見て「よくやった」と言うか「もう一度試せ」と言い、なぜそうなのかを説明することです。

大きな問題：コーチは間違いを見つけられない

この論文は、重大なボトルネックを特定しています：コーチが十分ではないということです。

罠: アシスタントが理解していない問題を解こうとすると、よく「もっともらしいが誤った」解答を生み出します。それは説得力があります。
失敗: もしコーチに最初から間違いを見つけさせようとすると、彼らはしばしばそれができません。「これは大丈夫そうだ」と言うか、「論理を確認せよ」のような漠然とした助言を与えるかもしれません。コーチが特定の誤りを特定できないため、アシスタントは何回試そうと、同じ間違いを繰り返します。
結果: 一日の終わりにアシスタントに再試行させる場合（テスト時）でも、彼らをより良く訓練する場合（訓練時）でも、フィードバックが弱すぎるため、壁にぶつかります。

解決策：自己訓練検証（STV）

著者らは、**自己訓練検証（STV）**と呼ばれる巧妙なトリックを提案しています。これが核心となるアイデアです。アナロジーを用いて説明します。

「解答用紙」のアナロジー:
あなたが難しいテストを受ける学生だと想像してください。

難しい方法: あなたは解答を書き、その後、正解を見ずに自分の間違いを見つけようとします。これは非常に困難です。あなたは誤りを見逃してしまうかもしれません。
簡単な方法: あなたは解答を書き、その後、あなたの解答の横に正解の解答用紙が表示されます。これで、違いを見つけるのは簡単です！あなたは瞬時に、「ああ、ここでステップを見落としていた」とか、「間違った公式を使った」と気づくことができます。

STV の仕組み:
研究者らは、モデル（コーチ）は単独では誤りを見つけられないが、正しい解答を最初に目撃すれば、誤りを見つけることができることに気づきました。

彼らは、学生の解答を採点する際に正解の解答用紙を見ることが許された「教師コーチ」を作成します。
この教師コーチは、非常に具体的で有益なフィードバックを提供します。
次に、彼らは「学生コーチ」を訓練して、教師のフィードバックスタイルを模倣させます。
魔法: 学生コーチがこのように上手になることを学んだ後、彼らはもはや解答用紙を見る必要はありません。彼らは誤りを発見するスキルを習得したのです。これで、解答用紙なしで新しい問題を採点する際、以前よりもはるかに欠陥を見つけるのが上手になります。

二つの勝利

この論文は、この手法が二つの異なる方法で機能することを示しています。

1. テスト時（「洗練ループ」）

学生がテストを受けていると想像してください。

古い方法: 学生が解答を書き、弱いコーチが「多分」と言い、学生が再試行します。彼らは悪い推測のループに陥ります。
STV 方法: 学生が解答を書き、訓練されたコーチが「3 段階目でマイナス符号を見落としている」と言い、学生がそれを修正します。
結果: 学生は最も難しい問題を解くのがはるかに上手になります。いくつかの科学タスクでは、成功率が**1.5% から 21%**に跳ね上がりました。この訓練されたコーチを持つより小さなモデルでさえ、コーチを持たないはるかに大きなモデルを凌駕しました。

2. 訓練時（「ViL」手法）

これが二番目、より驚くべき部分です。研究者らは、コーチをテスト中の支援に使うだけでなく、学生を訓練するためにコーチを使いました。

彼らは、学生が試行し、コーチが批評し、学生がその批評から学ぶというループの中に、学生と訓練されたコーチを配置しました。
驚き: コーチを取り除き、学生に何の助けもなく単独で問題を解かせたとしても、学生は以前よりも30% 向上しています。
なぜか? それは、厳格な指揮者と共に練習したミュージシャンのようです。後でソロを演奏する際でも、彼らは規律とスキルを内面化しています。解答をチェックする行為そのものではなく、訓練プロセス自体が学生を賢くしたのです。

まとめ

この論文は、賢い AI の未来は単に「解く者」を大きくしたり賢くしたりすることではないと主張しています。重要なのは、「チェックする者」をより良く教えることです。

既知の解答と比較することで答えを学ぶという巧妙なトリックを用いることで、彼らは以下のことができるシステムを構築しました。

テスト中にリアルタイムで誤りを修正する。
実際には、解く者を永続的に賢くする。

これにより、「チェックする者」は、弱い門番から、自己改善のための強力なエンジンへと変貌を遂げます。

技術的サマリー：トレーニング時およびテスト時の自己改善のための自己訓練検証

1. 問題定式化

本論文は、推論モデルのスケーリングにおけるボトルネック、すなわち、テスト時の洗練とトレーニング時の自己改善の両方に対する高品質な検証器への依存という課題に取り組む。現在の手法は、主に以下の 2 つの失敗モードに直面している：

テスト時の停滞：検証・洗練（V-R）ループは、検証器のスコアが過大評価（較正不備）して精度が頭打ちになるか、またはフィードバックが具体的で実行不可能なほど一般的であるため、しばしば停滞する。
トレーニング時の限界：自己学習手法は、モデルが生成した不良データを取り込む場合に失敗する。さらに、標準的な検証可能報酬からの強化学習（RLVR）は、追加の計算資源を投入してもさらなる利益が得られないプラトーに収束することが多い。

核心的な課題は、自己生成された誤りを検知する検証器を訓練する際に、監督信号が欠如していることである。モデルはゼロから自身の誤った試行に対して信頼性のあるフィードバックを生成することはできないが、参照解答が提示されれば欠陥を特定することは可能である。既存のシステムは、人間のフィードバックや強力な「メタ検証器」を用いてこれを回避しようとするが、これらはスケーラブルではない。

2. 手法

著者は、両端での自己改善を可能にする**自己訓練検証（STV）とループ内検証器（ViL）**トレーニングを提案する。

A. 自己訓練検証（STV）

STV は、人間による注釈付きのフィードバック品質なしに検証器を訓練する。これは、モデルが孤立して自身の誤りを診断するのは困難である一方、参照解答（ $y^\star$ ）が提供されれば論理的なギャップを確実に特定できるという、重要な非対称性を活用する。

教師 - 学生蒸留：
- 教師：問題、試行、および正解（グランドトゥルース）の解答を見る参照条件付き検証器 $V^\star(\cdot | x, y_{r-1}, y^\star(x))$ 。これは判定（ $v_r$ ）と自然言語フィードバック（ $f_r$ ）を生成する。
- 学生：問題と試行のみを見る非条件付き検証器 $V_\theta(\cdot | x, y_{r-1})$ 。
訓練目的：学生は教師の出力分布を模倣するように訓練される。著者は、テスト時に訓練中に遭遇したことのない接頭辞に学生が遭遇する分布シフトの問題を回避するため、教師あり微調整（SFT）ではなく**オンポリシー蒸留（OPD）**を利用する。
- 損失関数： $L_{OPD}(\theta) = \mathbb{E}_{(x, y_{r-1})} D_\alpha(V_\theta(\cdot | x, y_{r-1}) \parallel V^\star(\cdot | x, y_{r-1}, y^\star(x)))$
- この目的関数は、受諾/拒否判断の精度を向上させるために判定 RLコンポーネントで拡張される。
- 総合目的関数： $L_{STV}(\theta) = L_{OPD}(\theta) + \lambda \cdot L_{RL}(\theta)$ 。

B. ループ内検証器（ViL）トレーニング

STV 検証器が訓練されると、著者はジェネレーターに対する新しい訓練パラダイムを導入する：

手順：ジェネレーターは、凍結された STV 検証器を用いてフィードバックを提供する V-R ループ内で強化学習（RL）を通じて訓練される。報酬は、最終解答の検証可能な正しさである。
メカニズム：標準的な自己学習とは異なり、検証器が既知の報酬を最大化する文脈を提供するため、信号は検証可能のまま維持される。
結果：これにより、ジェネレーターは診断フィードバックを内部化し、検証器を伴うパフォーマンスだけでなく、単独（ラウンド 0）のパフォーマンスも向上する。

3. 主要な貢献

STV アルゴリズム：モデル自身の参照条件付きバージョンから知識を蒸留することにより、人間のフィードバックなしに、もっともらしいが誤った解答の欠陥を検出する検証器を訓練するためのスケーラブルな手法。
ViL 訓練：V-R ループ内でジェネレーターを訓練することで標準的な RLVR のプラトーを打破し、検証済みおよび未検証（単独）の両方のパフォーマンス向上をもたらす新規訓練手順。
実証的検証：訓練された検証器がジェネレーターの規模に代わり得ることを示す。すなわち、訓練された検証器を持つ小規模モデルは、検証器を持たないはるかに大規模なモデルを上回る。

4. 実験結果

実験は、DAPO（難問数学）およびSciKnowEval（科学的推論）で行われ、ベースモデルとしてQwen3-8Bを使用した。

テスト時の改善（V-R ループ）

数学（最難分割）：STV は、訓練されていない検証器と比較して、最終ラウンドの pass@1 を約2 倍にする。「最難」分割において、ベースジェネレーターが pass@1 0% である場合でも、STV による洗練は非ゼロの精度を達成する。
科学的推論：STV は、最難問題において pass@1 を**1.5% から 21.0%**に引き上げる（14 倍の改善）。
規模の代替：STV による Qwen3-8B は、検証なしのQwen3-32B（4 倍大）およびQwen3-235B（30 倍大）よりも科学的推論タスクにおいて優れている。
弱から強へ：訓練された 4B 検証器は、訓練されていない 8B 検証器と競争力があり、訓練された 1.7B 検証器は、訓練されていない 8B ベースラインと同等の性能を示す。

トレーニング時の改善（ViL）

プラトーの打破：標準的な RLVR 下ですでに収束したジェネレーターから開始すると、ViL 訓練により、検証器が存在する場合、pass@1 がさらに33% 相対的に向上する。
単独での利益：驚くべきことに、ジェネレーターのラウンド 0 の pass@1（テスト時に検証器なし）は、RLVR 収束ベースラインに対して**30%**向上する。これは、モデルが診断フィードバックから一般的な推論スキルを内部化していることを示している。
比較：同じ計算資源を拡張された標準 RLVR に費やしてもさらなる利益は得られず、ViL の独自の有効性が確認される。

メカニズム分析

較正：STV 検証器はより適切に較正されており、そのスコアは精度と相関しているため、スコアが過大評価される一方で精度が頭打ちになる「報酬ハッキング」を防ぐ。
フィードバックの質：判定（正解を使用）を分離して分析すると、STV のフィードバックテキストが正解の判定の上に大きな価値（+3.2%）を追加することが示され、診断信号の質が証明される。
多様性：分布を鋭くする Best-of-N（BoN）とは異なり、STV を用いた V-R は出力分布を再形成し、多様性を抑制することなく複数のラウンドにわたって pass@k を改善する。

5. 意義と主張

本論文は、推論における次のフロンティアは、検証のために、そして検証とともにどのように訓練するかにあると主張する。

パラダイムの転換：著者は、推論の向上は、単にジェネレーターのパラメータをスケーリングするのではなく、「検証の学習」を行い、より強力な検証器を用いてより強力なジェネレーターを訓練することから得られるべきであると論じる。
スケーラビリティ：STV は、高価な人間による評価フィードバックや外部の「オラクル」モデルに依存しない自己改善への道を提供する。
反復的な自己改善：この研究は、より良い検証器がより信頼性の高いテスト時の洗練と豊かなジェネレーター訓練を可能にし、それが逆に将来の検証器訓練のためのより困難な試行を生み出すという反復ループを示唆している。

著者は、STV が数学や科学では機能するものの、コードやオープンエンドな推論など他の能力への拡張、およびジェネレーターと検証器の訓練間の計算最適分割の決定は未解決の問題であると指摘し、範囲については控えめな立場をとっている。しかし、結果は、検証の訓練が自己改善型推論システムを構築するための重要かつスケーラブルなコンポーネントであることを示唆している。