技術要約：潜在的思考の定式化：LLMにおける思考表現の4つの公理

問題提起

大規模言語モデル（LLM）の推論分野は、離散的なChain-of-Thought（CoT）トークンから、効率性と推論能力を向上させるための連続的な潜在表現（例：Soft Thinking、Latent Thinking）へと、ますますシフトしている。しかし、「連続的な思考表現」の評価手法は根本的に欠陥がある。現在の手法は、ほぼ例外なく、表現の質を判断するためにダウンストリーム・タスクの精度（例：ベンチマークの通過率）に依存している。このアプローチは、内部表現の質と、その表現をデコードまたは処理するモデル全体の能力を混同させてしまう。その結果、表現の失敗がダウンストリームの精度によって隠蔽されてしまう。つまり、モデルが高いベンチマークスコアを達成していても、その内部的な「思考」が、必要な推論ステップを忠実にエンコードしたり、同一タスク内の異なるインスタンスを区別したりすることに失敗している可能性がある。

以下の要素が不足している：

1. 有効な思考表現が備えるべき機能的特性に関する、原理的な定義。
2. ダウンストリーム・タスクの精度とは独立して、表現の質を測定する固有の評価プロトコル。
3. 潜在的な推論トークンは予測に不要である、あるいは構造化された潜在空間探索の実装に失敗しているという報告がある中で、候補となる手法の現状に関する明確な理解。

手法

著者らは、ダウンストリームのデコーディング・プロセスとは独立して定義された、4つの機能的特性に基づく公理的評価フレームワークを提案する。このフレームワークは、思考表現（$T$）を、入力空間（$X$）から意味的な出力空間（$S$）への変換を媒介する潜在的な関数状態として扱う。

4つの公理

フレームワークは4つの公理を定義しており、それぞれは再学習なしにソースLLM上で直接計算される定量的な指標に対応している。

1. 因果性 (Causality): $T$ は、モデルの計算グラフ内において、明示的な推論プレフィックス（$y_{pre}$）を機能的に代替しなければならない。

   • 指標: KL置換誤差 (KL Substitution Error)。 $y_{pre}$ のトークン埋め込みを投影された $T$ で置き換え、元の継続分布 $P(y_{suf} | y_{pre})$ と介入後の分布 $P(y_{suf} | T)$ の間のカルバック・ライブラー（KL）ダイバージェンスを計算することで測定される。値が低いほど、因果性が高いことを示す。

2. 最小性 (Minimality): $T$ は、入力から最大限の関連性を保持しつつ入力を圧縮し、情報ボトルネックの原理に従わなければならない。それは、入力に含まれるノイズ変数（無関係なコンテキスト）をフィルタリングすべきである。

   • 指標: 最小性ギャップ ($\Delta_{IB}$)。 $\beta=2$ における情報ボトルネック・ラグランジアンのクロスエントロピー・サロゲート。$\Delta_{IB} = CE(X | Y, T) - CE(Y | T)$ として計算される。値が高いほど、出力には十分であるが、出力が既に提供している以上の入力に関する残留情報を最小限に抑えた表現であることを示す。

3. 分離性 (Separability): $T$ は、意味的に等価ではない出力分布を区別するための十分なトポロジー構造を備えていなければならない。それは、同一タスク内の2つの異なる問い（細粒度）および異なるタスク間（粗粒度）を区別できなければならない。

   • 指標: 識別器の精度 (Discriminator Accuracy)。 候補となる出力シーケンスと $T$ を整合させるように訓練された、学習可能なバイナリ識別器。精度は、同一タスクのペア（細粒度）およびクロスタスクのペア（粗粒度）に対して測定される。

4. 安定性 (Stability): $T$ は、表面的な語彙の変化（パラフレーズ）に対して不変であり、サンプリングの確率性（モード崩壊）に対して堅牢でなければならない。それは、単一の実現値ではなく、意味的分布 $P(S|x)$ のパラメータをエンコードすべきである。

   • 指標: 分布一貫性スコア (Distributional Consistency Score, DCS)。 質問のビーム出力が複数の意味等価クラスにまたがっているか（意味的エントロピー $H_x > 0$）を予測するプローブのAUROC。

実験設定

• 候補: 本研究では、Last Input Token (LIT) 隠れ状態、Gumbelノイズの有無によるSoft Thinking、およびLatent Thinkingを含む、いくつかの候補となる表現を監査している。これらは様々な「思考予算」（1から128ステップ）にわたって評価される。
• モデル: 多様なアーキテクチャと訓練パラダイムにわたる5つのオープンウェイトLLM：Llama-3.1-8B、Llama-3.3-70B (Dense/Instruct)、DeepSeek-R1-Distill-Qwen-32B (Reasoning-distill)、Skywork-OR1-32B (Native RL)、およびGPT-OSS-20B (Sparse MoE)。
• タスク: 空間推論、事実に基づくQA、論理パズルなどをカバーする、Big Bench Extra Hard (BBEH) データセットの23の推論タスク。
• プロトコル: 評価は、プロービングのために凍結された1Bバックボーンを用いてソースLLM上で行われ、これにより指標をソースモデルのサイズやダウンストリームの性能からデカップル（分離）している。

主な結果

この固有のプロトコルの適用により、ダウンストリームのベンチマーク精度では検知できない「表現の崩壊（representational collapse）」が明らかになった。

1. すべての公理を満たす候補は存在しない: 評価されたどの候補表現も、因果性、最小性、分離性、および安定性を同時に満たすことはできなかった。
2. 分離性の失敗 (質問ごとの同一性): 表現は異なるタスク間を区別することは信頼できるが（クロスタスク精度は飽和に近い）、同一タスク内の異なるインスタンスを区別することには失敗している（同一タスク精度）。ほぼすべての候補（出力埋め込みを除く）が、同一タスクの識別においてランダムなベースラインと同等か、それに近い性能を示した。これは、潜在表現が個々の質問の特定のアイデンティティを失い、個別の推論パスを区別不能なベクトルへと崩壊させていることを示している。
3. 入力埋め込みの競争力: 入力プロンプトの埋め込み自体が、4つの軸すべてにおいて、候補となる思考表現と同等、あるいはそれ以上に競争力を持っている。これは、現在の潜在的な表現が、入力埋め込みに既に存在する以上の情報をほとんどエンコードしていないことを示唆している。
4. 構造的失敗: 失敗のパターンは、Dense、Reasoning-distilled、およびRL訓練されたモデルファミリー間で一貫している。思考ステップ数（例：Soft ThinkingやLatent Thinkingにおける）を増やしても、この崩壊は解決されない。場合によっては、ステップ数が増えるにつれて性能が低下することさえある。
5. 因果性と入力: いかなる思考表現も、入力埋め込み単体よりも一貫して多くの因果的情報を提供することはない。推論プレフィックスを $T$ で置き換えることは、それを入力埋め込みで置き換えることと区別がつかない継続分布をもたらす。これは、$T$ が独自の因果的信号を追加していないことを意味する。

意義と主張

本論文は、ダウンストリームの推論の質ではなく、LLMが問題について何をエンコードしているかを評価するための、候補となる思考表現を研究対象として開発・監査するための原理的な手段を提供すると主張している。

• 診断解像度: このフレームワークにより、研究者はダウンストリームの精度の変化を、集約されたベンチマークスコア（原因を隠蔽してしまうもの）ではなく、特定の表現特性（例：分離性の低下）に帰属させることができる。
• 最適化ターゲット: 4つの尺度は、トークン予算や明示的なCoTの模倣といったヒューリスティックなプロキシを超えて、将来の研究のための明示的かつ定量化可能な最適化ターゲットを提供する。
• 構造的洞察: 今回の知見は、現在の潜在的な推論手法と理想的な機能的思考との間のギャップは、モデルのサイズや特定の訓練手順（RLや蒸留など）の問題ではなく、構造的なものであることを示唆している。現在の世代の潜在的な表現は、堅牢な推論に必要な、構造化されたインスタンス固有の探索を実装できていない。

著者らは、このフレームワークを、推論ベンチマーク評価とは直交するものと位置づけており、信頼できる形で改善できる前に、推論モデルの内部メカニズムを理解するために必要な分析レイヤーを提供している。コードと評価パイプラインは、監査と開発を促進するために公開されている。