🤖 machine learning

STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning

STRIDE は、生成器と生成検証器を結果に基づく報酬のみで共同学習させる新たなトレーニング枠組みであり、これによりスカラースコアを学習可能な段階的言語フィードバックに置き換え、失敗を明示的に局所化し推論経路を再誘導することで、大規模言語モデルの推論能力を強化する。

原著者： Junjie Zhang, Guozheng Ma, Shunyu Liu, Zetian Hu, Yongcheng Jing, Ting-En Lin, Yongbin Li, Dacheng Tao

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Junjie Zhang, Guozheng Ma, Shunyu Liu, Zetian Hu, Yongcheng Jing, Ting-En Lin, Yongbin Li, Dacheng Tao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、少し混乱しているが非常に優秀な学生に、複雑な迷路の解き方を教えると想像してください。過去において、これらの AI「学生」（大規模言語モデル）を訓練する方法は、彼らにテストを受けさせ、最終的なスコアのみを伝えるようなものでした。「不正解です」という具合に。

これが、論文「STRIDE」が解決しようとしている問題です。ここでは、日常の比喩を用いてその仕組みを簡単に解説します。

問題：「沈黙する」スコアカード

現在、ほとんどの AI 訓練には「強化学習」と呼ばれる方法が用いられています。これは、AI がゲームのレベルをプレイし、最後に「ゲームオーバー」または「クリア」のメッセージを受け取るようなビデオゲームだと考えてください。

問題点: もし AI が 10 段階ある数学の問題の 3 段階目でミスを犯した場合、教師（コンピュータ）は「3 段階目で数字の足し算を間違えたよ」とは言いません。単に「不正解」と言うだけです。
結果: AI は自分がどこで間違えたのかを推測しなければなりません。これは、車のエンジンが掛からないという事実しか知らされず、どの部品が緩んでいるかもメカニックに教えてもらえない状態で、壊れたエンジンを修理しようとするようなものです。これは「情報ボトルネック」と呼ばれます。教師が特定の誤りを修正するための情報が少なすぎるのです。

以前のいくつかの方法では、段階ごとのスコア（例：「ステップ 1：良、ステップ 2：不良」）を与える試みもありましたが、これらのスコアは単なる数値（0 または 1）に過ぎません。それでも、なぜそのステップが悪かったのかを説明するものではありません。

解決策：STRIDE（「おしゃべりな」コーチ）

著者たちは、Stepwise Trajectory Redirection with In-context Deep Evaluation の頭文字を取った STRIDE を提案しています。

沈黙するスコアカードの代わりに、STRIDE は「生成型検証器（Generative Verifier）」を導入します。これは、学生が隣に座り、リアルタイムで問題について語りかける「コーチングアシスタント」だと考えてください。

STRIDE は、トレーニングキャンプのような 3 つのフェーズで機能します。

フェーズ 1：ウォーミングアップ（ベースポリシー）

AI 学生は、自分で問題を解こうとします。最終的に、単純な「正解/不正解」のスコアが与えられます。これはゲームのルールを学ぶようなもので、基本的な土台を築きます。

フェーズ 2：コーチの訓練（検証器）

次に、システムは 2 番目の AI（検証器）をコーチとして訓練します。

魔法: コーチは、人間がすべての段階の正解/不正解のリストを与えて教えられるわけではありません（それは高価で遅すぎるため）。代わりに、コーチは学生が問題を解く様子を見て、最終的な答えが合っていたかどうかを確認することで学びます。
スキル: 時間とともに、コーチは学生の乱雑な作業を見て、「待てよ、3 段階目で繰り上げを忘れたぞ」とか、「ここでは論理的なステップを飛ばしているぞ」と言うことができるようになります。これは、単純な「不正解」というスコアを、詳細な書面による批評へと変えることを学ぶのです。

フェーズ 3：指導付きの「やり直し」（軌道の再誘導）

これが核心的な革新です。学生が問題を失敗した場合：

最初のミスを特定: コーチ（検証器）は学生の作業をスキャンし、「最初の失敗点（FPF）」を見つけます。論理が破綻した場所を正確に特定します。
「再誘導」: 学生に最初から整个问题をやり直させる（これは無駄です）のではなく、システムはこう言います。「さて、2 段階目まではよくできていました。そこで止めましょう。3 段階目が失敗した理由を説明したメモはこちらです。さて、私の助言を使って、2 段階目から始めて残りの問題をもう一度解いてみてください。」
多ポイント戦略: 時には、3 段階目のミスは、その時点では正しく見えた 1 段階目での「悪い選択」が原因だったこともあります。STRIDE は賢く、「1 段階目と 2 段階目の両方からやり直してみよう」と言い、学生により良い道を見つけるための複数の機会を与えます。

これが重要な理由

この論文は、このアプローチが 2 つの主要な問題を解決すると主張しています。

「沈黙」の打破: 数値（スカラー報酬）だけでなく、言語フィードバック（言葉） を使用することで、AI ははるかに豊かな説明を得られます。これは、教師が「F（不合格）」と言うのと、「負の符号の分配を忘れました」と言うのとの違いです。
「解決不能」の解決: 著者たちは、AI が通常 0% の正解率しか出せない非常に難しい問題において、標準的な手法は有用なシグナルを得られないため諦めてしまうことを発見しました。しかし、STRIDE はそれでも学ぶことができます。AI が失敗しても、コーチは誤りを指摘し、AI はその特定の地点から異なる道筋を試すことができ、最終的にコードを解き明かすことができます。

比喩のまとめ

旧来の方法: テストを受ける。「0/100」のスコアが出る。何を勉強すべきか分からない。
以前の「段階」方式: 「ステップ 1：10/10、ステップ 2：0/10」というテストを受ける。「どこ」で失敗したかは分かるが、「なぜ」失敗したかは分からない。
STRIDE: テストを受ける。「0/100」のスコアが出るが、教師はさらに書面によるメモを渡す。「2 段階目でつまずいたのは、間違った公式を使ったからだ。1 段階目に戻って、このメモを見て、異なるアプローチを試してみよう」という具合だ。

結果

この論文は、難しい数学と論理パズルでこれをテストしました。

STRIDE は、以前の最先端を含む、他のすべての既存の方法を凌駕しました。
数学の問題、コーディング課題、論理パズルで機能しました。
最も重要なのは、以前はこれらのモデルにとって「不可能」と考えられていた問題を解決し、0% の成功率を学習の機会へと変えたことです。

要約すれば、STRIDE は AI に、盲目的に推測するのではなく、自分自身と会話することで間違いから学ぶことを教えます。

技術的概要：STRIDE - LLM 推論のための学習可能な段階的言語フィードバック

1. 問題提起

大規模言語モデル（LLM）の推論における最近の進展は、検証可能報酬からの強化学習（RLVR）によって推進されてきた。しかし、既存のアプローチには 2 つの決定的な限界が存在する：

スカラー報酬の情報ボトルネック: プロセス報酬モデル（PRM）は段階レベルの監督を提供しようとするが、スカラースコアに依存している。高次元の推論経路を単一の数値に圧縮することは、情報ボトルネックを生み出す。ここで、算術誤りと論理的飛躍といった意味的に異なる誤りモードが同一のスコアに収束し、修正を導くための不十分な意味帯域幅しか提供されない。
既存の言語フィードバックの限界: 批判に基づく手法は豊かなテキストフィードバックを提供するが、凍結されたまたは外部のクリティッカーに依存することが多く、スケーラビリティと適応性を制限する。さらに、生成検証器を使用する最近の共トレーニングフレームワーク（例：TANGO）は、言語出力を再びスカラー報酬に変換することが多く、同じ情報ボトルネックを再導入する。
クレジット割り当て: 結果ベースの RL は個々の推論ステップに関するフィードバックを提供せず、「クレジット割り当て」問題（どの特定のステップが成功または失敗につながったかを特定する問題）を、多段階推論においてほとんど未解決のままにしている。

2. 手法：STRIDE フレームワーク

STRIDE（学習可能な段階的言語フィードバック）は、スカラープロセス監督から学習可能な段階的言語フィードバックへのパラダイムシフトを提案する。これは、生成器（ $G_\theta$ ）と生成検証器（ $V_\phi$ ）を含むインターリーブされた 3 フェーズのトレーニングスケジュールを採用し、段階レベルの注釈なしに、最終結果の正否のみを用いて共同でトレーニングされる。

中核コンポーネント

生成器 - 検証器共トレーニング: 両モデルは、最終結果の正否（ $c^*$ ）のみを使用してグループ相対方策最適化（GRPO）を通じて最適化される。検証器は、明示的な段階レベルのラベルなしに、ターミナル報酬を段階的な言語的批判（ $v_t$ ）に分解することを学習する。
フェーズ I：ベース方策最適化: 生成器は、基本的な推論能力を構築するために結果報酬でトレーニングされる。このフェーズはトレーニングスケジュールの大部分（9/13）を占める。
フェーズ II：生成検証器最適化: 検証器は、各推論ステップに対して高忠実度の言語的批判（ $v = (v_1, ..., v_T)$ ）を生成するようにトレーニングされる。これは誤りを局所化し、言語的に説明することを学習し、効果的に「文脈ナビゲーター」として機能する。
フェーズ III：誘導された軌道リダイレクト: これが中核的な革新である。生成器が失敗した場合、検証器は最初の失敗点（FPF）、すなわち $t^*$ $t^{*}$ を特定する。最初からやり直すのではなく、STRIDE は多点リダイレクト戦略を採用する：
- アンカー: 単に FPF だけでなく、すべての接頭辞ステップ $t \in [1, t^*]$ からリダイレクトサンプルを構築する。
- 指示:
  - 修正プロンプト（ $t=t^*$ ）: 生成器は、検証器が特定した特定の論理的誤謬を修正するように指示される。
  - 探索プロンプト（ $t<t^*$ ）: 生成器は検証済みの接頭辞から推論を継続するように指示され、より堅牢な代替経路の発見を促す（初期の最適でない選択が後の失敗につながる「潜在的なドリフト」に対処する）。
- トレーニングの安定性: 重要なのは、フェーズ III におけるアドバンテージ関数が、リダイレクトされた軌道の最終結果の正否に基づいて厳密に計算される点である。これにより、検証器の言語フィードバックがノイズを含んでいたり幻覚していたりしても、方策更新は検証可能な結果に基づいて行われ、有害な勾配ノイズを防ぐ。

3. 主要な貢献

高帯域幅フィードバックへのパラダイムシフト: 本論文は、プロセス監督を一次元のスカラー報酬から学習可能なコンテキスト内言語フィードバックへシフトすることを提案する。これにより、質的に異なる誤りモードを区別できる、より豊かなトレーニング信号が解放される。
STRIDE フレームワーク: 多点リダイレクト戦略を統合したインターリーブされた 3 フェーズの共トレーニングスケジュール。検証済みの意味アンカーを利用して推論探索空間を効率的に制約し、モデルが以前は解けなかった問題から学習することを可能にする。
検証器ノイズに対する頑健性: 学習信号を結果の正否に厳密に接地させることで、STRIDE は「無害な方策改善」を保証する。検証器の局所化が不完全であっても、成功したリダイレクトのみが方策更新に寄与するため、フレームワークは非負の改善を保証する。

4. 実験結果

実験は、数学的推論（MATH-500、AIME 2024/2025、AMC 2023、OlympiadBench）およびドメイン外推論（BoardgameQA、CRUXEval、StrategyQA、TableBench）を含む多様なベンチマークで行われた。

性能: STRIDE は、バニラな結果ベースの RL（GRPO）およびスカラー報酬共トレーニングフレームワーク TANGO を含む最先端のベースラインを大幅に上回った。
- Qwen2.5-7Bにおいて、STRIDE は MATH-500 で84.6を達成し、TANGO の 81.4 および GRPO の 74.6 を上回った。
- Llama-3.1-8Bにおいて、STRIDE は MATH-500 で70.4を達成し、TANGO（69.2）および GRPO（66.8）を上回った。
- 論理、コード、常識、および表形式推論タスク全体で一貫した改善が見られ、数学を超えた汎化を示している。
ゼロパスレート問題: アブレーション研究において、すべてのスカラー報酬ベースラインがゼロ勾配信号しか生み出さなかった問題（すなわち、モデルが当初解けなかった問題）において、STRIDE は**修正成功率（CSR）6.8%**を達成した。これは、フレームワークが解けないインスタンスを生産的な学習信号に変換する能力を示している。
トレーニングダイナミクス:
- 検証器の品質: 検証器の段階レベルの局所化精度と批判の有用性はトレーニング中に着実に向上し、結果レベルの監督が信頼性の高いプロセスレベル能力の開発に十分であることを確認した。
- 探索: STRIDE は、スカラー報酬ベースラインよりも一貫して高い方策エントロピーを維持し、早期収束と表現の崩壊を防いだ。
- 推論の深さ: リダイレクトフェーズは、独立したサンプリングでは生成できない、より深く構造的に複雑な推論チェーンの出現を促進した。

5. 意義と主張

本論文は、STRIDE がスカラー報酬システムに固有の根本的な表現の崩壊に対処していると主張する。学習可能な段階的言語フィードバックを活用することで、このフレームワークは特定の推論誤りを局所化し修正するために必要な意味方向性を提供する。

著者は、STRIDE の有効性が計算予算の増加ではなく、監督におけるパラダイムシフトに由来すると強調している。計算を一致させたベースライン（トレーニングステップまたはバッチサイズの増加）は、STRIDE の性能の飛躍と比較して無視できる程度の改善しか示さなかった。さらに、このフレームワークは、不完全な検証器からでも高帯域幅の言語的ガイドが利益をもたらすことを示しており、学習されたクリティッカーの信頼性に関する懸念を軽減する。この研究は、スカラーから言語ベースのプロセス監督への移行が、LLM における推論の停滞を克服するための実行可能な道であり、網羅的なサンプリングではなく誘導された自己修正を可能にすることを示唆している。