技術的サマリー：SliceGraph — 複数実行におけるチェーン・オブ・ thought 推論のプロセス異性体のマッピング

問題定義

自己整合性（self-consistency）などの、複数実行におけるチェーン・オブ・thought（CoT）推論への現在のアプローチは、通常、$N$ 個のサンプリングされた軌跡を最終回答のみによって集約する。この集約は、これらの軌跡が中間計算を通じてどのように共有され、分岐し、再結合するかという内部構造を破棄する。既存の内部分析は、単一の軌跡内での意味的収束やステップ固有の幾何学を研究する「実行内（within-run）」のものに留まることが多く、同一問題に対する複数実行の間の結合構造を検討するものではない。さらに、以前のグラフベースのパイプラインは、スライス類似性を計算するために中間投影（例：PCA、UMAP、文埋め込み）に依存することが多い。著者らは、これらの投影がルート幾何学を歪め、明確なファミリー数を圧縮するか、トピカル飽和により地図全体を崩壊させることで、推論の真のマルチルート構造を不明瞭にすると主張する。

扱われている核心的な問いは以下の通りである：複数の CoT が同一の問題を正しく解く場合、それらは単一のプロセスルートに収束するのか、それとも同じ最終回答を共有するが異なる中間ルートを辿る異なる「プロセス異性体（process isomers）」を形成するのか？

手法：SliceGraph

著者らは、サンプリングされた CoT のプロセス幾何学をマッピングする事後測定オブジェクト（デコーディングプログラムではない）SliceGraphを提案する。この手法は 5 つの層で構成される：

1. SliceGraph 構築（足場）

• 入力：与えられた問題 - モデルセルに対して、$N=64$ の CoT 実行がサンプリングされる。
• スライスの定義：活性化は 32 トークン行に集約され、さらに粗い推論スライス（標準サイズ：256 トークン、8 行）に集約される。
• 表現：テキスト埋め込みや PCA の代わりに、本手法はスパース活性化キーを使用する。各スライスは、最上位$k$個の活性 MLP ニューロン（レイヤー - ユニット対によって識別される）の二値集合として表現される。
• グラフ構築：ノードはスライスを表す。エッジは、スパース活性化キー集合のJaccard 類似性に基づき、相互$k$NNによって確立される。これにより、推論プロセスの投影されていない高次元構造が保持される。

2. 構造的分解

• 二連結成分（BCCs）：グラフは、任意の単一ノードを除去しても連結したままの最大部分グラフである BCC に分解される。これらは共有された推論状態を表す。
• 切断点：BCC を接続するノードは、推論集団が分岐する分岐点として機能する。
• 役割割り当て：ブロック（BCC）は、実行のカバレッジ、サイズ、回答の純度、および位置に基づいて役割（例：shared_trunk、answer_basin、decision_point）が割り当てられる。
• 検証：2 つのブラインド注釈研究により、BCC が人間の共有推論状態の概念に対応し、生成されたクラスターが共有された高レベル戦略と整合していることが確認された。

3. プロセスファミリーと異性体

• クラスタリング：実行は、訪問する非自明なブロックの集合に基づき、重み付き Jaccard 類似性と Louvain コミュニティ検出を用いてプロセスファミリーにクラスタリングされる。
• プロセス異性体の定義：2 つの正しい CoT 実行が、正規化された最終回答に到達するが異なるプロセスファミリーに属する場合、それらはプロセス異性体と定義される。これは、同じ解に到達するために異なる中間ルートを使用したことを示す。

4. ラベル種子報酬場

• 価値の風景を分析するために、固定されたグラフ構造上に報酬場が拡散される。
• 種子化：各ブロックの種子値は、そのブロックを訪問する実行の超過成功率に基づいて計算される。
• 拡散：この種子は、PageRank 風の拡散プロセスを通じて伝播される。
• 高価値コア：正の場値の上位四分位は「高価値コア」を定義する。あるセルが複数の非接続高価値コアを持つ場合、それは「マルチコア」となる。

5. タイプ付き状態ダイナミクス

• 実行は、状態が（ブロックの役割、時間ビン、コア所属）によって定義されるタイプ付き状態遷移モデルに引き上げられる。
• ファミリーカーネル：各プロセスファミリーに対して遷移カーネルが推定される。
• 分析：著者らは、これらのカーネルを、null 対照（ラベルのシャッフル）に対する総変動（TV）距離を用いて比較し、ファミリーが地図を異なってナビゲートするかどうかを判断する。

主要な結果

1. 構造的妥当性と表現

• 意味的整合：人間の注釈者は、同一 BCC 内のスライスが同じ推論操作を表すこと（合意率 88.9–90.3%）と、同一プロセスファミリー内の実行が同じ高レベル戦略を使用すること（合意率 94.4%）を確認した。
• 足場の頑健性：投影されていないスパース活性化キーの Jaccard 類似性が決定的である。PCA や文埋め込み（MiniLM）はマルチルート幾何学を崩壊させ、有効なセル数をほぼゼロに減少させたり、ファミリー数を著しく圧縮したりした。

2. プロセス異性体の prevalence

• マルチファミリーの prevalence：954 の問題 - モデルセル（数学/科学ベンチマークにおける 3 つの 4B/8B モデル全体）の**85.5%**において、正しい CoT は複数のプロセスファミリーに分裂した。
• 異性体率：正規化された正しい実行ペアのうち、**76.6%**がプロセス異性体（異なるファミリーに属する）である。
• 安定性：この現象は分割再サンプリング下で持続し、正しい実行の数（例：$m=4$ の正しい実行において、異性体率は 58.2% のまま）を制御しても保持される。

3. 価値の風景とナビゲーション

• マルチ盆地構造：報酬評価可能なセルの**67.6%**が、複数の非接続高価値コアを示す。
• 特化：プロセスファミリーは単に互いを複製するのではなく、異なる高価値コアの足跡上で特化する。特化スコア（ファミリーの足跡が特定のコアにどの程度集中しているかを測定）の平均は0.59である。
• 異なるダイナミクス：ファミリー固有の遷移カーネルは著しく異なる。**80.9%**のマルチファミリーセルにおいて、ファミリー間の遷移ダイナミクスは null 分布（ラベルのシャッフル）を超えており、ファミリーが単に異なる静的状態を訪問するだけでなく、異なる遷移カーネルを使用して同じ地図をナビゲートしていることを示している。

4. 異アーキテクチャおよびスケールでの再現

• 再現：これらの知見は、異なるアーキテクチャ（DeepSeek-R1-Distill-Llama-8B）およびスケール（Qwen3-32B）で保持される。
• スケーリング効果：より大規模な Qwen2.5-Math-72B モデルでは、より高い精度飽和（より決定論的な解決）により、マルチファミリー率は減衰する（67.3%）。しかし、構造的な多様性が存在する場合、定性的な幾何学（特化、異なるダイナミクス）は保持される。

意義と主張

本論文は、最終回答の集約が構造化されたマルチルートプロセス幾何学を見落としていると主張する。推論プロセスを独立したサンプルの袋としてではなく、活性化の重なり合いのグラフとして扱うことで、SliceGraph は以下のことを明らかにする：

1. プロセス異性体は一般的である：同一問題に対する正しい解は、しばしば根本的に異なる中間ルート（プロセス異性体）に従う。
2. ルートファミリーは明確である：これらの異性体はランダムな変異ではなく、価値の風景の異なる領域（高価値コア）上で特化する一貫した「プロセスファミリー」を形成する。
3. ナビゲーションダイナミクスは異なる：これらのファミリーは単に異なる状態を訪問するだけでなく、異なる遷移カーネルを用いて推論の地図を横断する。

著者らは、SliceGraph をデコーディングを駆動するツールではなく、プロセスの多様性、崩壊、および過剰集中を監査するための測定オブジェクトとして位置づける。この研究は、推論の「形状」を理解するには、投影ベースの埋め込みが引き起こす歪みを避け、活性化キーの類似性を通じて複数実行の結合構造を分析する必要があることを示唆している。