🤖 machine learning

Real-Time Progress Prediction in Reasoning Language Models

本論文は、隠れ状態が進行度情報を符号化しており、微調整されたモデルが正確な進行度推定を生成できることを示すことで、推論言語モデルにおけるリアルタイム進行度予測の実現可能性を検証し、より大規模なモデルは残存解決長のばらつきが減少するためラベルの安定性が高まることを明らかにする。

原著者： Hans Peter Lyngsøe Raaschou-Jensen, Constanza Fierro, Anders Søgaard

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hans Peter Lyngsøe Raaschou-Jensen, Constanza Fierro, Anders Søgaard

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いけれど、少しおしゃべりなロボットに複雑な数学の問題を解いてもらっていると想像してみてください。ロボットはすぐに答えを提示するのではなく、「考えを声に出す」ようにし、最終的に「答えは 2220 です」と言う前に、長い思考の連鎖を書き留めます。

問題は、ロボットが考える間、それが 10 秒かかるのか 10 分かかるのか、さらにどれくらいかかるのか全く見当がつかないことです。まるで、画面が黒く、物語の 10% を進んでいるのか 90% を進んでいるのか分からない映画を見ているようなものです。ただ待ち、祈るしかありません。

この論文は問いかけます：ロボットに、リアルタイムで「どの程度進んでいるか」を伝えるように教えることはできるでしょうか？ ビデオのダウンロード時のプログレスバーのように、ロボットの思考プロセスに対するものです。

以下は、研究者たちが単純なアナロジーを用いてこの問題を解決しようとした方法です。

1. 「読心」テスト（隠れ状態）

まず、研究者たちは、ロボットが声に出さなくても、その脳（内部の「隠れ状態」）がすでにどの程度進んでいるかを知っているのではないかと疑問に思いました。

アナロジー: ロボットが暗い迷路を歩いていると想像してください。出口は見えないかもしれませんが、その足音（内部データ）に、ゴールへの近さを示すリズムがあるかもしれません。
実験: 彼らは、ロボットの内部の思考を聞き取るための単純な「デコーダー」（線形プローブ）を構築しました。
結果: デコーダーは約 30% の確率で進捗を推測できました。完璧ではありませんでしたが、ロボットは脳内に「どれだけ進んだか」という感覚を、少しぼやけてはいるものの、確かに持っていることを証明しました。

2. 「プログレスバー」トレーニング（微調整）

ロボットに何らかの進捗の感覚が潜んでいるため、研究者たちはそれを実際に「声に出す」ように訓練することにしました。ロボットが思考の断片を完了するたびに、<progressbar> 45% </progressbar> のような小さなタグを挿入するように教えました。

アナロジー: マラソンランナーに、1 マイルごとに立ち止まって「40% 到達！」と叫ぶように教えるようなものです。そうすれば、観客はいつ歓声を上げればよいか分かります。
課題: もし単にロボットに「45% と言え」と指示するだけなら、それはごまかすかもしれません。ロボットは、100 語目で「45%」と言うなら、110 語目では「50%」と言うべきだと、数学を理解するのではなく、単に語数を数えるだけで気づくかもしれません。
解決策: 彼らは「マスキング」技術を用いました。訓練中に、ロボットの以前の進捗報告を隠すことがありました。これにより、ロボットは単にこれまでにタイプした語数を数えるのではなく、実際の数学の問題を見て進捗を推測することを強いられました。

3. 結果：ロボットはどれほど優れていたか？

研究者たちはこの手法を数学の問題でテストしました。

最優秀ロボット: 大規模モデル（QWEN3-4B）はこの点で非常に上手になりました。その「プログレスバー」の誤差は平均して約 16% でした（例えば、50% と言った場合、実際には 34% から 66% の間が完了していました）。
比較: これは、問題が通常どれくらいかかるかという推測に基づいただけのものよりも優れていました。
注意点: ロボットに進捗について話させることは、時に実際の数学問題の解決能力をわずかに低下させることがありました。トレードオフです：いつ完了するかを伝えるのが得意なロボットは、作業を実行する速度がわずかに遅くなる可能性があります。

4. 「霧のかかった未来」の問題（曖昧さ）

研究者たちはまた、思考の性質について興味深い点に気づきました。

アナロジー: 物語を書いていると想像してください。半分地点で、「もうすぐ終わりだ」と思うかもしれません。しかし、そこで新しいキャラクターを追加することに決めると、物語は突然倍の長さが必要になります。未来が不確実だったため、あなたの「半分」地点は間違っていました。
発見: ロボットの思考にはある程度のランダム性（答えに至る道筋が異なる可能性がある）があるため、「真の」進捗は時々ぼやけています。しかし、より大きく賢いロボット（QWEN3-4B）は、そのぼやけが少なくなりました。彼らの道筋の長さはより一貫していたため、プログレスバーはより信頼性がありました。

まとめ

この論文は、AI モデルに思考中にリアルタイムの「プログレスバー」を提供させることができることを示しています。

機能したか？ はい、モデルは合理的な精度で進捗を推定することを学びました。
完璧か？ いいえ。答えに至る道筋が変わったり、思考ではなく単に語数を数えていたりするため、ロボットは間違った推測をすることがあります。
なぜ重要か？ それは、人間がいつ待ち続けるのをやめ、いつ答えを期待すべきかを知るのを助け、思考という「ブラックボックス」を覗き見可能なものに変えます。

研究者たちは結論として、この技術は機能しているものの、それはまだ不完全な水晶玉であり、最も良い結果は、タスクの所要時間について考えを変える可能性が低い、より大きく賢いモデルから得られると述べています。

技術的サマリー：推論言語モデルにおけるリアルタイム進行予測

問題定義

最近の推論言語モデル（Reasoning LMs）、特に長い潜在推論連鎖（CoT）を利用するモデルは、複雑なエージェントタスクにおいて高い性能を示しています。しかし、これらのモデルがより長い時間範囲で動作するにつれ、その内部の進行状況はユーザーに対して不透明になります。この不透明性は、期待値の管理とリアルタイムの監視に関するユーザーインタラクションにおいて重大な課題を生み出します。ユーザーは、タスクの完了にどの程度の時間がかかるか、あるいはモデルが解決策に向けて真の進展を遂げているかどうかを容易に判断できません。一部の先行研究は固定された推論予算の強制を試みていますが、必要な予算がクエリのみから推測できない場合、この戦略は失敗し、早期終了や誤った回答につながる可能性があります。

ここで扱われる核心的な問いは、推論言語モデルが最終的な回答までの残りの計算距離に関する情報を隠れ状態にエンコードしているかどうか、そしてこの情報をリアルタイム進行予測に活用できるかどうかです。

手法

著者らは、既存モデルの診断的プロービングと、明示的な進行レポート生成のための**教師あり微調整（SFT）**という二つのアプローチを採用しました。

1. 診断的プロービング（隠れ状態分析）

モデル表現に本質的に進行情報がエンコードされているかどうかを判断するため、著者らは中間隠れ状態に対して線形プローブを訓練しました。

データセット: OpenR1-Math から約 25,000 件の数学的推論トレース。
ラベリング: 推論進行度は、長さ $m$ のトレース内の正規化されたトークン位置（ $k/m$ ）に基づき、10 個のビン（0–10%、11–20%、...、91–100%）に離散化されました。
プローブアーキテクチャ: 2 種類の線形プローブが訓練されました。
- $f_{token}$ : 現在のトークンの隠れ状態から進行度ビンを読み取ります。
- $f_{q+token}$ : 現在の状態と直前の $n=2$ トークンの隠れ状態の連結から読み取ります。
評価: 性能は、ドメイン内データおよび分布外（OOD）の長いトレース（>16K トークン）におけるトップ 1 精度と平均絶対誤差（MAE）で測定されました。

2. 教師あり微調整（明示的進行レポート）

著者らは、CoT 内で進行率を直接出力するようにモデルを訓練することで、明示的な監督が進行推定の改善に寄与するかどうかを調査しました。

データ構築: OpenR1-Math のトレースに、段落セグメント後に <progressbar> X% </progressbar> トークンを挿入して拡張しました。進行値 $a_i$ は、セグメントの累積トークン数をトレース全体の長さに対する相対値として計算されました。
訓練バリアント:
- 標準 SFT: モデルは LoRA を用いてクロスエントロピー損失で微調整され、進行注釈内のトークンの重みが引き上げられました。
- マスキングスケジュール: モデルが推論内容ではなく、マーカーの規則的な間隔に依存することを防ぐため、訓練中に先行する進行注釈がランダムにマスキングされるスケジュール（0 から 0.5 までのコサインスケジュール）が適用されました。
評価対象モデル: DEEPSCALER-1.5B、QWEN3-0.6B、および QWEN3-4B。
ベースライン: トークン位置ベースライン（グローバル平均長さ、タスク平均/中央値長さ）および以前のレポートから外挿する「Previous marker」ベースラインと比較されました。

3. 内在的曖昧さの分析

進行ラベルにおける本質的な不確実性を定量化するため、著者らは同一の部分的なプレフィックスからの複数の確率的継続において進行値の分散を測定しました。

指標: $r=8$ 件のサンプリングされた継続にわたる実現進行値（ $g_{i,\ell}$ ）の平均絶対偏差（MAD）および平均絶対百分率偏差（MAPD）。

主要な結果

隠れ状態エンコーディング

線形プローブは、隠れ状態に正規化されたトレース位置と相関する情報が含まれていることを示しましたが、このシグナルは純粋に意味的なものではありません。

精度: プローブはランダムな推測（10%）を大幅に上回る精度を達成し、最良のドメイン内結果は約 35.9%（QWEN3-4B、中間層）に達しました。
一般化: OOD の長いトレースでは性能が大幅に低下し、長さの一般化の難しさを示しました。
解釈: 著者らは、これらの結果がトークン位置（ $k/m$ ）から導出されたラベルに基づいているため、意味的な進行追跡の決定的な証拠というよりは「表現診断」として機能すると指摘しています。

進行レポートの性能

微調整されたモデルは進行推定を生成することを学習し、その性能はモデルサイズと訓練戦略によって変動しました。

最良の性能: マスキングされた QWEN3-4B チェックポイントが最も強力な結果を達成し、数学的推論トレースで MAE 0.161、分布外の BBEH（Big-Bench Extra Hard）セットで 0.157 を記録しました。
マスキングの効果: マスキングは一般的に進行予測の品質を向上させ（MAE の低下）、場合によっては下流タスクの精度とのトレードオフをもたらしました。例えば、マスキングされた QWEN3-4B は、非マスキング版と比較して数学ベンチマークでのマクロ精度がわずかに低かったものの、進行推定は著しく優れていました。
ベースラインとの比較: 数学ベンチマークでは、最良の進行-SFT チェックポイントは集計的にトークン位置ベースラインを上回りました。しかし、BBEH では単純な長さベースのベースラインが非常に競争力があり、分布外の進行推定は内容に敏感な推論というよりは構造的規則性に大きく依存している可能性を示唆しています。

内在的曖昧さ

本研究は、確率的推論に内在する「ノイズ」を定量化しました。

分散: QWEN3-4B が最も低いロールアウト分散（MAD = 0.027）を示し、次いで DEEPSCALER-1.5B（0.059）、QWEN3-0.6B（0.065）となりました。
相関: 分散が最も低いモデル（QWEN3-4B）は、予測 MAE も最も低く達成しました。これは、より大きなモデルが残り解決長さの変動を減らすことで進行ラベルをより安定させられることを示唆しています。
ギャップ: 観測された MAE は内在的分散（MAD）よりも高く残っており、確率性が誤差の一部を説明しているものの、推定アルゴリズムにはまだ改善の余地があることを示しています。

意義と主張

本論文は 4 つの主要な貢献を主張しています。

リアルタイム可視性: 推論言語モデルにおけるリアルタイム進行予測のフレームワークを導入し、長い推論軌跡の不透明性に対する潜在的な解決策を提供します。
表現の証拠: 線形プローブの成功によって実証されたように、推論モデルが内部表現に進行関連情報をエンコードしていることを示します。
直接統合: 進行レポートが SFT 経由で生成プロセスに直接統合可能であることを示し、マスキングされた QWEN3-4B チェックポイントが数学トレースで MAE 0.161 を達成しました。
曖昧さの定量化: ロールアウト分散を測定することで進行ラベルの内在的曖昧さを定量化し、より大きなモデル（QWEN3-4B）が残り解決長さの変動減少により、より安定した進行推定を生み出すことを発見しました。

著者らは、進行シグナルが純粋な意味理解というよりは、トークン位置やトレース長さの規則性と密接に関連していることを認め、謙虚な立場を維持しています。進行レポートは構造化可能であり、分布外でも数値的に整合しているものの、その解釈は構造的制御に対して相対的である必要があると指摘しています。本研究は 3 つのコンパクトなモデルと主に数学的推論に限定されており、訓練分布を超える長さのトレースでは予測性能が低下します。