技術要約：セマンティクスとメカニズムの整合による非教師あり特徴発見

問題提起

大規模言語モデル（LLM）が高リスクな領域に導入されるにつれ、モデルの出力だけでなく、それを生成する内部計算を監査する必要性が高まっている。メカニスティック・インタープリタビリティ（機械論的解釈可能性）は特定の振る舞いを説明するツールを提供するが、支配的な手法であるサーキット分析は、通常、ターゲット依存型である。これは、アナリストが特定のプロンプトと選択されたターゲット補完を指定しなければならないことを意味する。

このターゲット依存型のセットアップには、2つの決定的な限界がある：

1. 汎用性： 特定の補完に対して特定されたメカニズムが、意味的に類似したパラフレーズに対しても汎用性を持つのか、あるいは特定の表面形式への脆弱な依存性を反映しているのかは不明である。
2. 隠れた不均一性： 固定されたターゲットであっても、単一ターゲットの分析は内部計算の不均一性を覆い隠してしまう可能性がある。意味的に類似した出力であっても、単一ターゲット分析では捉えきれない異なる内部活性化パターンに依存している場合がある。

現在の行動評価は入出力の相関関係に限定されており、既存のメカニスティックな手法はターゲットの手動指定を必要とすることが多く、単一のプロンプトに対してモデルが生成し得る多様な「継続モード」を見逃す可能性がある。

手法

著者らは、分布レベルの非教師あり特徴発見のためのフレームワークを提案する。単一のターゲットを分析するのではなく、本手法は意味的内容とシーケンスレベルのメカニズム属性を共同で整合させることにより、モデルのサンプリングされた継続分布をクラスタリングする。

このフレームワークは、以下の3つのステージで動作する。

1. 継続サンプリング

入力プレフィックス $x$ が与えられると、モデルは核サンプリング（nucleus sampling）を用いて $N$ 個の異なる継続 $y^{(n)}$ をサンプリングする。各継続には、モデルの分布下での尤度を表す、長さで正規化された確率 $P_n$ が割り当てられる。これらの確率は、クラスタリング中の各継続の寄与を重み付けするために使用される。

2. 二重表現

各サンプリングされた継続は、2つの補完的なビューによって表現される：

• 意味的埋め込み ($e_n$): 文脈における継続の言語的な意味を捉える。通常、学習済み埋め込みモデル（例：EmbeddingGemma）から派生する。
• メカニズム的埋め込み ($a_n$): プレフィックスの特徴が継続のロジットにどのように影響するかを捉える。これは、MLP層を近似するように訓練されたトランスコーダー（Sparse Autoencoder）を用いて、MLPの計算を解釈可能な疎な特徴へと分解することで計算される。属性ベクトル $a_n$ は、継続スパン全体にわたる、プレフィックスの特徴のデミーン（平均除去）されたロジットへの直接的な線形属性を集約する。

3. 速度・歪度（Rate-Distortion）による共同クラスタリング

核心となる革新は、潜在的な発見を速度・歪度最適化問題として定式化することである。目標は、意味的およびメカニズム的ビューの両方において歪度（再構成誤差）を最小化しつつ、速度（割り当てのエントロピー）を最小化するクラスタリングを見つけることである。

目的関数は以下の通りである：
$$L_{RD} = H(C) + \beta_e D(e) + \beta_a D(a)$$
ここで：

• $H(C)$ はクラスター事前分布のエントロピー（速度）である。
• $D(e)$ と $D(a)$ は、それぞれ意味的（L2）および属性（L1）空間における確率重み付きの歪度である。
• $\beta$ は、圧縮（より少ないクラスター）と忠実度（低い歪度）のトレードオフを制御する。
• $\gamma$ は、意味的ビューとメカニズム的ビューの重みのバランスを制御する（$\beta_e = \gamma\beta, \beta_a = (1-\gamma)\beta$）。

適応的演算: 事前に $K$ を固定するK-meansとは異なり、本フレームワークは**分割（Split）およびジャンク（Junk）**演算を使用して、クラスター数を適応的に調整する：

• 分割 (Split): 歪度の減少がエントロピー（速度）の増加コストを上回る場合、不均一なクラスターを分割する。
• ジャンク (Junk): メンバーを再割り当てすることで総目的関数が減少する場合、一貫したモードではなくノイズを捉えているだけの偽のクラスターを除去する。

主な貢献

1. 分布レベルの分析: 本論文は、意味的構造とシーケンスレベルのメカニズム属性の両方を用いてモデルの継続分布をクラスタリングする初のフレームワークを導入し、単一ターゲット分析を超越した。
2. 共同最適化: 意味的な一貫性とメカニズム的な一貫性の両方を共同で最適化することで、単一ビューのベースライン（意味のみ、または属性のみのK-means）が見逃してしまう継続モードを明らかにできることを示す。
3. ステアリングによる因果検証: 著者らは、クラスターから導出された方向へのステアリング（メドイドを用いた）を通じて、発見されたクラスターのシグネチャが実行可能なメカニズム的要因に対応しているという介入的証拠を提供する。これにより、モデルの継続に対する好みの、一貫した方向性のあるシフトを示す。
4. 粒度制御: 本フレームワークは、$\beta$ パラメータをアニーリングすることで、発見されるモードの粒度を制御することを可能にし、細かいクラスターが粗いクラスターのメカニズム的シグネチャを継承する階層構造を明らかにする。

実験結果

本手法は、AmbigQA（Qwen3-8Bを使用）およびMMLUで評価され、さらにGemma3および推論タスク（GSM8K, MATH500）に関する追加実験が行われた。

• クラスタリング性能: 速度が一致した比較において、提案されたRate-Distortion (RD) クラスタリングは、K-meansベースライン（意味のみのKM-S、および属性のみのKM-A）と比較して、**94%**の設定で最も低い混合歪度（$D_\gamma$）を達成した。KM-Sは意味的一貫性を保持したがメカニズム的一貫性に失敗し、KM-Aは逆の失敗モードを示した。
• 粒度分析: $\beta$ を変化させることで階層構造が明らかになった。例えば、「フォーマットスタイル」（例：ソロアーティストかバンドか）によって定義される粗いクラスターは、$\beta$ が増加するにつれて、具体的な内容の詳細（例：バンドメンバーのリストアップかジャンルの記述か）に基づいたより細かいクラスターへと分割された。
• ステアリングによる検証: ステアリング実験により因果関係が確認された。RDから導出されたメドイド方向は、ステアリング強度（$\epsilon$）とターゲットクラスターのロジットの変化との間に、強い単調な相関を生み出した。対照的に、意味のみのベースライン（KM-Sem）はほぼゼロの相関を示し、単一継続のベースラインはより弱く、一貫性に欠けていた。
• 推論タスク: 推論ベンチマークにおいて、本手法は、特定の事前の推論ステップが特定のターゲットステップのクラスターに因果的に影響を与えることを特定することに成功し、初期のソースステップと後半のターゲットとの間で最も強い効果が観察された。

意義と主張

本論文は、このアプローチが、モデルの継続分布の背後にあるメカニズムのスケール可能な監査を提供することにより、従来のサーキット分析および行動評価を補完するものであると主張している。

• 補完性: 手動で選ばれたターゲットへの依存を減らし、クラスターレベルのステアリングによって支持されるメカニズム的仮説を浮き彫りにする。ユーザーはまずクラスターを発見し、次に選択されたクラスターに関連する特定のサーキットを追跡することができる。
• 実行可能なメカニズム: 発見されたモードは単に記述的なものではなく、モデルの振る舞いを予測可能な方法で変化させるために操作できる、実行可能なメカニズム的要因に対応している。
• 限界: 著者らは、計算コスト（属性のためのバックプロパゲーションの必要性による）および、クラスターに人間が解釈可能なラベルを割り当てるための原則的なフレームワークの欠如という限界を認めている。介入下での検証は、特定された特徴の唯一性を保証するものではないことを指摘しており、さらなる反事実的な検査が必要であるとしている。

要約すると、本研究は、孤立した入出力ペアの分析から、継続の分布の分析へと転換することを提案しており、大規模言語モデルの不均一な内部計算を理解するためのより堅牢なレンズを提供している。