💬 NLP

LatentRevise: Learning from Zero-Hit Reasoning

LatentReviseは、失敗した推論プレフィックスの入力埋め込みを正解に向けて最適化することで、検証可能な報酬を伴う強化学習におけるサンプリングのボトルネックに対処し、数学ベンチマークにおけるモデルの性能を向上させる情報量の多い自己反省的軌跡を生成する。

原著者： Yiqiu Guo, Xueting Han, Qi Jia, Guangtao Zhai, Jing Bai

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yiqiu Guo, Xueting Han, Qi Jia, Guangtao Zhai, Jing Bai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは学生に非常に難しい数学の問題を解く方法を教えています。あなたはプロンプト（指示）を与え、学生はそれを解こうと試みます。しかし、何度試しても（例えば32回）、学生は毎回間違った答えを出してしまいます。

AIのトレーニングの世界では、これを**「ゼロヒット（Zero-Hit）」**シナリオと呼びます。AIは完全に失敗した状態です。

問題：「行き止まり（Dead End）」

通常、AIがこれほどまでにひどく失敗すると、トレーニングシステムは匙を投げます。「32回の試行のうち正解が一つもなかったのだから、ここから学べる有用な教訓はない。この問題は無視して次の問題へ進もう」と判断するのです。

しかし、この論文は、これは間違いであると主張しています。これらの「行き止まり」は、実は宝の山なのです。AIはその問題を解くことができるのですが、限られた試行回数の中では、まだ正しい経路を見つけられていないだけなのです。論文ではこれを、「サンプリング・フロンティア（Sampling Frontier）」、つまりAIが現在到達できる限界点と呼んでいます。

解決策：「LatentRevise（潜在的な修正）」

著者らは、LatentReviseと呼ばれる手法を導入しました。これは、AIに「もっと頑張れ」と言ったり、「スーパー先生」を雇って答えを教えてもらったりするのではなく、AIが思考を書き終える前に、自らの思考を「編集」することを可能にする手法です。

その仕組みを、簡単な比喩を使って説明します。

1. 失敗した下書き

AIが物語（解決策）を書き始めるとします。論理の罠にはまり、間違った結末を書いてしまいました。

従来の方法： 下書き全体をゴミ箱に捨てる。
LatentRevesteの方法： AIを一時停止させる。物語の冒頭部分（「推論の接頭辞」）は保持したまま、今進んでいる経路が崖に向かっていることに気づく。

2. 「ゴースト」編集

AIに新しい物語を一から生成させる代わりに、LatentReviseはAIの「脳」（内部の数学的表現、すなわち潜在空間/latent space）に入り込み、思考プロセスの最初の数単語を微調整します。

これはGPSのようなものです。AIは運転中であり、道を間違えてしまいました。

標準的なAI： 行き止まりに突き当たるまで運転を続け、その後、最初からやり直す。
LatentRevise： GPSが現在のルートが絶望的であると判断する。単にドライバーに「もっと頑張れ」と言うのではなく、車が衝突することなく自然に正しい目的地へと向かえるよう、ルートの開始座標を「ほんの少しだけ」ずらす。

3. 編集の3つのルール

この「ゴースト編集」によってAIが意味不明な機械音を出すマシンにならないよう、論文では3つの特定のルール（勾配）を使用しています。

間違いから遠ざける： 「先ほど間違った答えを導いた、あの経路には進まないこと」
真実へと引き寄せる： 「（私たちが知っている）正しい最終回答へと、優しく舵を取ること」
自然さを保つ： 「新しい経路が、ロボットのノイズではなく、普通の人間らしい言語として響くようにすること」

4. 安全装置（「語彙の殻 / Vocabulary Hull」）

これは技術的な詳細ですが、簡単に説明します。AIの内部数学を微調整すると、実在しない言葉（存在しない色のようなもの）に対応しない「思考」が生まれるリスクがあります。

LatentReviseには安全ガードレールがあります。あらゆる微細な編集が、AIがすでに知っている実在の単語の「近隣」内に留まるように強制します。家具の配置換えを想像してください。ソファを動かすことはできますが、ソファを浮遊する雲に変えることはできません。それは依然として実在する家具のままでなければなりません。これにより、AIの新しい思考が理解可能なものであることが保証されます。

結果：ゴミを宝に変える

この「編集」の後、AIは再び物語を展開します。この時、開始時の思考がわずかに調整されているため、AIは：

異なる経路を辿ります。
「待てよ、考え直そう」と立ち止まる（自己反省）ことがあります。
そして、最終的に正しい答えに到達します。

論文では、これらの「回復された」物語が極めて価値が高いことを示しています。これらの新しく保存された例を用いてAIをトレーニングすると、以前は100%失敗していた非常に難しい数学の問題に対しても、解決能力が大幅に向上します。

なぜ単に「もっと試す」よりも優れているのか？

「なぜAIに32回ではなく100回試させないのですか？」と思うかもしれません。

もっと試すことは、コストがかかり時間がかかります。それは、学生に正しいエッセイが書けることを期待して100本のエッセイを書かせるようなものです。
LatentReviseは、賢い編集者のようです。学生が最初の下書きを書き終えた後、その下書きを修正することで、学生がたった一つの優れたエッセイを書くだけで済むようにするのです。これにより、より少ない計算資源で、より良い結果を得ることができます。

要約すると： LatentReviseは、失敗は終わりではないことをAIに教えます。自身の初期の思考を静かに編集することで、AIは、以前は不可能だと思っていた問題の中に隠された正しい経路を見つけ出すことができるのです。

技術要約: LatentRevise: Zero-Hit 推論からの学習

1. 問題提起: RLVR における Zero-Hit レジーム

検証可能な報酬を用いた強化学習（RLVR）は、言語モデルの推論能力を強化するための標準的なアプローチとなっています。しかし、これは zero-hit レジームとして知られる根本的なボトルネックに直面しています。このシナリオでは、プロンプトが提示された際、現在のポリシーが実用的なサンプリング予算内で単一の正解軌跡すら生成できない状況（すなわち、$pass@N = 0$）が発生します。

GRPO（Group Relative Policy Optimization）のような標準的な RLVR アルゴリズムは、グループ正規化されたアドバンテージを用いてポリシーを更新します。しかし、グループ内のすべてのサンプリングされた軌跡が失敗した場合、それらは同一の報酬（通常はゼロまたは負の値）を受け取ります。その結果、グループ平均が個々の報酬と等しくなり、正規化されたアドバンテージがゼロに崩壊します。これにより、建設的な勾配信号が得られなくなり、これらの「困難な」プロンプトは学習不可能なノイズとして事実上破棄されてしまいます。

既存の救済策は、以下の方法を試みています：

サンプリング予算の増加: $N$ やデコーディング温度を高めることですが、これは計算コストが高く、かつアウトカムのみに基づいています（中間的なガイダンスを欠いています）。
オンポリシー蒸留: 教師モデルや特権情報を使用して、トークンレベルのターゲットを提供します。しかし、これらの手法は、学生モデルがすでに苦戦している場合には、外部のガイダンスが弱い、あるいは不一致である、あるいは利用できない可能性があります。

核心となる問題は、これらの zero-hit プロンプトが、新しい推論行動が最も必要とされる「サンプリングの最前線（sampling frontier）」に位置しているにもかかわらず、標準的なパイプラインでは正の信号を欠いているために学習できないという点です。

2. 手法: LatentRevise

著者らは、外部の教師モデルや参照トレースを必要とせずに、失敗したロールアウトから学習信号を回収するために設計された、第一次の潜在リビジョン（latent revision）手法である LatentRevise を提案しています。失敗した軌跡を単に破棄するのではなく、LatentRevise はそれを情報量の多いトレースとして扱い、連続的な潜在空間において推論プレフィックスの 入力埋め込み（input embeddings） を最適化します。

コア・パイプライン

入力: 失敗したロールアウト $y_{fail} = [r; c]$ （ここで $r$ は推論プレフィックス、 $c$ は失敗した継続、 $y_{GT}$ は正解となるゴールデンアンサー）
凍結と最適化: モデルパラメータ $\theta$ は凍結されます。推論プレフィックスの入力埋め込み $E_r$ を最適化し、軌跡を失敗から遠ざけ、解へとシフトさせます。
複合目的関数: 最適化は、以下の3つの項からなる総損失 $L_{total}$ $L_{t o t a l}$ を最小化します：
- 潜在探索損失 ( $L_{explore}$ ): 元の失敗した継続 $c$ を再現する尤度を最小化する斥力信号。これにより、潜在状態が代替経路を探索することを促します。
- 潜在ガイダンス損失 ( $L_{guide}$ ): 固定された回答テンプレートに基づき、ゴールデンアンサー $y_{GT}$ を生成する尤度を最大化するガイダンス信号。これにより、リビジョンを正しい解へと繋ぎ止めます。
- 言語流暢性事前分布 ( $L_{NLL}$ ): 元の推論トークン $r$ の負の対数尤度を維持する正則化項。これにより、最適化された潜在表現が意味的に一貫性を保ち、敵対的なノイズへとドリフトするのを防ぎます。
多様体制約 (Frank-Wolfe): 連続的な埋め込みが、モデルが任意のベクトルに答えをエンコードすることで「ズル」をするような、解釈不可能な特徴空間へとドリフトするのを防ぐため、最適化は モデルの語彙埋め込みの凸包（convex hull） 内に制約されます。これは Frank-Wolfe（条件付き勾配）アルゴリズムを用いて実現されます。各ステップにおいて、更新は現在の埋め込みと、損失の線形近似を最小化する最適な頂点（語彙トークン）との凸結合となります。
離散的復元: 最適化されたソフト・プレフィックス $E^*_r$ は、語彙行列に対する近傍探索を通じて離散的なトークンへと投影されます。その後、新しい継続が自己回帰的にデコードされます。もし結果として得られた軌跡が検証器を通過した場合、それは教師ありデータとして保持されるか、RLグループに注入されます。

3. 主な貢献

本論文は、主に3つの貢献を述べています：

Zero-Hit Frontier の再定義: 著者らは、zero-hit プロンプトを学習不可能な外れ値ではなく、回収可能な最前線として特定しました。彼らは、モデル自身の潜在空間を用いることで、これらの失敗から有効な学習信号をアルゴリズム的に回収できることを示しています。
LatentRevise アルゴリズム: 失敗したロールアウトを成功したロールアウトへと変換する、新しい一次潜在リビジョン・フレームワーク。決定的なのは、外部の教師分布や特権的なトレースに依存せず、ゴールデンアンサーとモデル自身の失敗した継続を用いることで、位置ごとの（position-wise）修正信号を生成できる点です。
実証的検証: 回収された軌跡は、価値の高い学習データであることが示されています。これらは、標準的な RL やより大きなサンプリング予算を用いても改善が見られないシナリオにおいて、数学的推論ベンチマークにおける $pass@1 $および$ pass@k$ を向上させます。

4. 実験結果

本手法は、MATH500、AIME 24/25、AMC 23、OlympiadBench、Minerva Math を含むベンチマークにおいて、Qwen2.5-1.5B-Instruct および Qwen3-8B-Base モデルを用いて DAPO-Math-14K で評価されました。

Zero-Hit レジーム (DAPO-Hard): ベースモデルが $pass@32 = 0$ を達成したクエリのサブセット（小型モデルではデータセットの約46%）において、標準的な GRPO はアドバンテージの崩壊により、無視できる程度の改善しか提供できませんでした。LatestRevise を使用して SFT データを生成、または RL グループに注入した場合、標準的な GRPO や、ロールアウトグループを倍増させた場合（ $N=16$ $N = 16$ ）よりも大幅に優れた性能を示しました。
- Qwen2.5-1.5B において、GRPO + Ours は平均 $pass@32$ で 53.51% を達成しました（標準的な GRPO は 44.84%、ロールアウトグループを倍増させた GRPO は 50.69%）。
- 特筆すべきは、ゴールデンアンサーに条件付けられた教師に依存する OPSD (On-Policy Self-Distillation) よりも優れた性能を示したことです。これは、LatestRevise の内部的な潜在最適化が、このレジームにおいては事後的な教師条件付けよりも効果的であることを示唆しています。
フルデータセット (DAPO-Full): 簡単なプロンプトと困難なプロンプトを混合した全学習分布に適用した場合も、LatestRevise は GRPO、DAPO、および大規模ロールアウト・ベースラインを継続して上回り、特に高い $k$ 値（$pass@32$）において顕著な利得が見られました。
効率性: LatestRevise は、単にロールアウトグループのサイズを倍増させる（ $N=16$ ）よりも低い計算オーバーヘッドで済みました。標準的な GRPO ( $N=8$ ) に対して、学習時間は約24%、メモリ使用量は約3%増加しましたが、グループサイズを倍増させた場合は、時間は約66%、メモリは約14%増加しました。
定性的分析: 修正された軌跡は、長さが増加し、「待て、再考させてくれ」といった明示的な自己反省マーカー（self-reflection markers）を示しました。これは、本手法が離散的なサンプリングでは到達しにくいエラー修正行動を浮き彫りにしていることを示しています。

5. 意義と主張

本論文は、LatentRevise が 推論 RL の補完的な軸 を提供すると主張しています。トークンレベルのサンプリングが有限の予算の限界に達したとき、モデル自身の潜在空間における一次リビジョンは、失敗したロールアウトを検証可能な教師データへと変貌させることができます。

著者らは以下のように断言しています：

Zero-hit プロンプトは価値がある: これらは単なるノイズではなく、価値の高い学習の最前線です。一度リビジョンされることで、モデルの解のカバー範囲を拡大する信号を提供します。
内部的な回収は可能である: モデルは、より強力な教師や外部の参照トレースを必要とせず、自身の失敗から学ぶことができます。ただし、最適化が語彙多様体（vocabulary manifold）内に制約されている場合に限ります。
効率性: 失敗したロールアウトから信号を回収することは、ブルートフォースによるサンプリング拡張よりも計算効率が高い、特にモデルのスケールや推論チェーンが長くなるほどその傾向があります。

この研究は、推論タスクがより困難になるにつれ、サンプリングベースのトレーニングの境界を押し広げる方法は、単に「もっと多くサンプリングすること」だけでなく、「サンプリングされたものを修正すること」によっても可能であることを示唆しています。これにより、現在のポリシーの「行き止まり」を、カリキュラムと学習信号の源へと変えることができるのです。