💬 NLP

GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler

本論文は、推論時スケーリングにおける従来のヒューリスティックな摂動の限界を克服するため、潜在推論状態からの条件付き分布を学習する「Gaussian Thought Sampler（GTS）」を提案し、バックボーンを固定したまま GRPO による最適化でより信頼性の高い推論経路探索を実現することを示しています。

原著者： Minghan Wang, Ye Bai, Thuy-Trang Vu, Ehsan Shareghi, Gholamreza Haffari

公開日 2026-03-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Minghan Wang, Ye Bai, Thuy-Trang Vu, Ehsan Shareghi, Gholamreza Haffari

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、AI が難しい問題を解くときの「考え方の工夫」について、とても面白い新しい方法を紹介しています。

タイトルは少し難しそうですが、要するに**「AI の頭の中で、どうやって『良いアイデア』を見つけやすくするか？」**という話です。

以下に、専門用語を避けて、わかりやすい例え話で解説します。

🧠 従来の方法：「ランダムなノイズ」をかけるのは危険？

まず、これまでの AI（特に「潜在空間推論」という高度な思考をする AI）がどうやって考えを広げていたかを見てみましょう。

【昔のやり方：ノイズを撒き散らす】
AI が問題を解くとき、一度に一つの答えしか出さず、それが間違っていたら困ります。そこで、AI に「もっと違う角度から考えて！」と命令するために、**「ランダムなノイズ（雑音）」**を頭の中（思考の途中）に混ぜていました。

例え話：
迷路を解いている探検家に、**「目隠しをして、ランダムに足踏みさせなさい」**と命令するイメージです。
- 足踏み（ノイズ）が少しだけなら、新しい道が見つかるかもしれません。
- でも、足踏みが強すぎると、探検家は完全に方向を見失って、壁に激突したり、迷路の外に飛び出したりしてしまいます。

論文の著者たちは、この「強さ」を人間が手動で調整するのは難しいことに気づきました。
「ノイズを強くすれば、もっと良い答えが見つかるはずだ」と思っていたのですが、実は「強すぎるノイズ」は、AI を混乱させて、良い答えから遠ざけてしまうことがわかりました。

🎯 新しい方法：GTS（ガウス・ソート・サンプラー）

そこで登場するのが、この論文が提案する**「GTS（ガウス・ソート・サンプラー）」**です。

【GTS の仕組み：賢いガイド】
GTS は、ただランダムにノイズを混ぜるのではなく、「今、AI が迷っているなら、どの方向にどれくらいずらせばいいか」を AI 自身が学習して判断する仕組みです。

例え話：
先ほどの探検家（AI）に、**「優秀なガイド」**を一人つけないことにします。
- このガイドは、探検家の現在の位置（思考の状態）を見て、「ここは壁に近いから、少しだけ右にずらそう」「ここは道が狭いから、大きく左に動こう」と状況に合わせて最適な動きを指示します。
- ガイドは「強さ」を固定するのではなく、**「必要なだけ、必要な方向に」**動かすのです。

このガイド（GTS）は、AI が正解にたどり着けるように「学習」します。正解に近い道筋を見つけられたら「おめでとう！」、遠ざかったら「ダメだ」というフィードバックを元に、ガイドの指示をどんどん上手にしていきます。

🌟 なぜこれがすごいのか？

「量」より「質」：
昔は「ノイズをたくさん撒けば、たまたま良い答えが出るかも」という「量」に頼っていました。でも、GTS は「質の高い探索」をします。無駄な動きを減らし、正解に近づきやすい動きだけを増やします。
状況に合わせた柔軟さ：
問題が簡単ならノイズは小さく、難しい問題なら大きく、といったようにその場その場で最適な調整ができます。
結果：
実験の結果、GTS を使った AI は、従来の「ランダムなノイズ」を使う方法よりも、より少ない計算量で、より高い正解率を達成しました。

📝 まとめ

この論文が言いたいことはシンプルです。

「AI に『考えさせる』とき、ただ『ランダムに揺さぶる』だけではダメ。『どこを、どう揺さぶれば正解に近づくか』を学習した、賢いガイドが必要なんだよ！」

これまでは「ノイズの強さ」を人間が手動で調整していましたが、これからは**「AI 自身が、どう考え方を広げるのがベストか」を学習する時代**が来たと言えます。

まるで、**「無計画に街を歩き回る」のではなく、「地図とコンパスを持ったガイドに案内される」**ような、もっと賢く効率的な思考の仕方を実現したのです。

論文要約：GTS (Gaussian Thought Sampler)

タイトル: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler
著者: Minghan Wang, Ye Bai, Thuy-Trang Vu, Ehsan Shareghi, Gholamreza Haffari

1. 背景と問題提起

大規模言語モデル（LLM）の推論性能を向上させる手法として、推論時の計算リソースを増加させて複数の推論経路（トラジェクトリ）を生成・選択する「推論時スケーリング（Inference-Time Scaling, ITS）」が注目されています。

離散トークンモデル: 従来のテキスト生成モデルでは、次のトークンの確率分布が明示的に存在するため、温度調整やノイズサンプリングなどを通じて、確率的な枠組みで多様な推論経路を探索できます。
連続潜在空間推論モデル: 最近の「連続潜在推論（Latent Reasoning）」モデル（例：COCONUT, CODI）は、中間的なテキストトークンを生成せず、隠れ状態（hidden state）空間内で直接多段の推論を行います。
既存手法の限界: 連続空間モデルにおける ITS は、Dropout や固定ガウスノイズなどのヒューリスティックな摂動（perturbation）に依存しています。しかし、これらの手法には以下の重大な問題があります。
1. 制御の欠如: 摂動の強さ（ノイズの大きさ）を単純に増やすだけでは、必ずしも有用な推論経路が得られるとは限りません。むしろ、分布が過度にシフトし、正解への確信度を下げる「過探索（Over-exploration）」や、逆に探索不足（Under-exploration）を招くことがあります。
2. 明示的な分布の欠如: ヒューリスティックな摂動は、明示的な条件付きサンプリング分布を定義していないため、サンプリングプロセスを最適化したり、制御したりすることが困難です。

2. 提案手法：Gaussian Thought Sampler (GTS)

本論文は、ヒューリスティックな摂動を「学習可能な条件付きサンプリング分布」として再定式化し、**Gaussian Thought Sampler **(GTS) を提案します。

2.1 基本的な考え方

GTS は、ベースとなる潜在推論モデル（バックボーン）を凍結したまま、隠れ状態への摂動を文脈依存（context-dependent）として学習します。

目的: 推論の各ステップにおいて、どの程度のノイズを、どの方向に注入すべきかを学習し、正解への確信度を高めるような経路を効率的に探索する。
仕組み:
- 各推論ステップ $k$ において、決定論的な隠れ状態 $h_k^{det}$ を入力とし、摂動 $z_k$ の分布 $q_\phi(z_k | c_k)$ を予測します。
- 分布は対角共分散を持つガウス分布 $N(\mu_\phi(c_k), \text{diag}(\sigma_\phi^2(c_k)))$ としてパラメータ化されます。
- 摂動された状態 $\tilde{h}_k = h_k^{det} + z_k$ をバックボーンに再入力し、次のステップへ進めます。

2.2 学習手法：GRPO による方策最適化

サンプリングの質は最終的な推論タスクの正答率に依存するため、微分不可能な報酬信号を扱う必要があります。そこで、強化学習（RL）のアプローチ、特に**GRPO **(Group Relative Policy Optimization) を採用しています。

報酬設計:
- 正解か否か（Correctness）を主報酬とし、生成された答えの確信度（Confidence）に基づく形状付け（Shaping）項を追加します。
- 正解かつ高確信な経路を高く評価し、誤答かつ高確信な経路を罰します。
最適化:
- 現在の方策 $q_\phi$ と参照方策 $q_{\phi_{ref}}$ （指数移動平均）との密度比を用いて、グループ内での相対的な優位性（Advantage）に基づき方策を更新します。
- KL 正則化項を付加し、学習が不安定になるのを防ぎます。

3. 実験結果

GSM8K（算数問題）、MultiArith、SVAMP、GSM8K-Hard などのベンチマークにおいて、COCONUT と CODI の 2 つの潜在推論モデルで評価を行いました。

3.1 主要な結果

スケーリング性能: 推論時のサンプリング数 $N$ （予算）を増やすと、GTS は Dropout や固定ガウスノイズ（StandardG）などのベースラインを明確に上回る性能（Pass@N）を示しました。
サンプリング品質の分析:
- 分布シフトと品質の不一致: 既存手法（特に強い Dropout）は、分布シフト（JS 発散）を大きくしますが、サンプリングの品質（正解確信度の向上）は低下する傾向がありました。
- GTS の優位性: GTS は、分布シフトを適切に制御しつつ、サンプリング品質（Sampling Gain）を最大化しました。これは、単なるランダム性の増加ではなく、「質の高い探索」を実現していることを示唆しています。
分布外汎化性: 学習データ（GSM8K）とは異なるタスク（MultiArith など）に対しても、GTS は一貫して優れたスケーリング性能を示し、ヒューリスティック手法の不安定さを克服しました。

3.2 詳細分析

**信号対雑音比 **(SNR): GTS は推論ステップに応じて、決定論的な制御と確率的な探索のバランスを動的に調整していることが確認されました（例：COCONUT ではステップごとに交互に変動し、CODI では初期ステップで強く制御する）。これは、モデルの内部ダイナミクスに適応した柔軟な制御を実現していることを示しています。
正解多様性: 単に出力の多様性（ユニークな答えの数）が増えることと、正解率の向上は必ずしも相関しないことが示されました。GTS は「多様性」そのものではなく、「決定に有用な多様性」を生成します。

4. 主な貢献

問題の特定: 潜在推論における ITS の課題は、単に摂動の強さを増やすことではなく、「サンプリング品質を制御し、最適化可能な分布を定義すること」にあることを明らかにしました。
GTS の提案: ヒューリスティックな摂動を、文脈依存のガウス分布による明示的なサンプリング方策へと再定式化し、GRPO を用いて最適化する軽量モジュールを提案しました。
実証的有効性: 複数のアーキテクチャとベンチマークにおいて、GTS が既存のヒューリスティック手法を凌駕し、より制御されたサンプリングが効果的な ITS であることを実証しました。

5. 意義と結論

本論文は、連続潜在空間における推論時スケーリングにおいて、「確率的な探索」を「学習可能な確率的方策」として再定義するという重要な転換点を提供しています。

従来の「ノイズを注入する」という受動的なアプローチから、「どこに、どれだけのノイズを注入すべきかを学習する」という能動的なアプローチへ移行することで、推論効率と精度を同時に向上させる道を開きました。これは、離散トークン空間での確率的サンプリングの理論的枠組みを、連続潜在空間の推論モデルにも適用可能にするものであり、今後の大規模モデルの推論効率化における重要な指針となります。