技術要約：トランスフォーマーは不変なアルゴリズム・コアへと収束する

1. 問題提起

ニューラルネットワークにおけるメカニスティックな解釈可能性（mechanistic interpretability）の中心的障害は、**決定不全性（underdetermination）である。学習はモデルの振る舞い（入力から出力へのマッピング）を制約するが、その振る舞いの内部的な実現形態までは制約しない。独立して学習されたモデルは、しばしば機能的等価性（functional equivalence）**を示す。すなわち、全く異なる重みの構成や内部回路を用いながら、同一のタスクを遂行するのである。この現象は、損失景観の幾何学、モデル・マージング、および生物学的システム（退化やシステム・ドリフトなど）において観察されており、根本的な課題を突きつけている。もしメカニズムが実現形態を超えて一般化しないのであれば、どの説明が「真実」であると言えるのだろうか？

現在の解釈可能性の研究は、特定の実現の詳細（例：特定の注意ヘッドやスパースな特徴量）に焦点を当てがちであるが、これらは単一の学習実行に固有の特異的なものである可能性がある。本論文は、メカニスティックな理解を一般化可能なものにするためには、研究の焦点を「実現固有の回路（realization-specific circuitry）」から、独立した学習実行間で共有される安定した計算構造である**「不変量（invariants）」**へとシフトさせる必要があると主張する。

2. 手法：アルゴリズム・コア抽出（ACE）

本論文では、タスクに対して必要かつ十分であり、かつモデルの実現形態によらず不変な低次元部分空間を孤立させるためのフレームワークである、**アルゴリズム・コア抽出（Algorithmic Core Extraction: ACE）**を導入する。この手法は、線形システム理論（具体的にはカルマン分解とバランス緩和）の原理をトランスフォーマーに応用したものである。

ACEパイプラインは以下の3つのステージで構成される：

1. 抽出（Extract）: 与えられたトランスフォーマー層（隠れ次元 $D$、入力数 $N$）に対し、平均中心化された活性化（$H$）とタスクに関連する出力のヤコビ行列（$J$）との相互作用を計算する。$HJ^\top$ に対する特異値分解（SVD）を行うことで、ACEは、共に活性化しており、かつ関連性の高い方向を特定する。主要な特異ベクトルは、活性化空間へと写像された低次元の部分空間（「コア」）を定義する。
2. 検証（Validate）: 抽出されたコアは、アブレーションを通じて因果的に検証される。あるコアが、その上に活性化を投影してもタスクの性能が維持される場合に**十分（sufficient）であり、そのコアを除去（補空間への投影）することで性能がチャンスレベルまで低下する場合に必要（necessary）**であると見なされる。
3. 特定（Identify）: コア内の計算構造は、コアの座標に対して線形演算子（例：$z_{t+1} \approx Az_t$）を適合させることで復元され、そのスペクトル特性（固有値）を検査することで、基礎となるダイナミクスを決定する。

3. 主な結果

A. 合成マルコフ連鎖タスク

4状態のマルコフ連鎖を用いた単層トランスフォーマーにおいて：

• 発散するパラメータ、収束するコア: 異なる乱数シードで学習されたモデルは、ほぼ最適な精度を達成したが、重みの余弦類似度はほぼゼロであった。
• 不変な3次元部分空間: ACEは、各モデルにおいて3次元のコアを正常に孤立させた。これらのコアは、タスクに対して必要かつ十分であった。
• 幾何学的整合性と統計的整合性: コアはほぼ直交する部分空間に位置していたが（射影の重なり $\approx 0.02$）、統計的には完璧に近い整合性を示した（正準相関分析 $\approx 0.99$）。
• ダイナミクスの復元: コア内で適合された線形演算子は、グラウンドトゥルース（真の）マルコフ遷移行列の非自明な固有値を正確に復元した。これは、モデルが異なる座標系を用いながらも、同一の遷移ダイナミクスを符号化していることを示している。

B. モジュロ加算とグロッキング（Grokking）

モジュロ加算（$a + b \equiv c \pmod p$）を学習した2層トランスフォーマーにおいて：

• グロッキング時における出現: アルゴリズム・コアは、「グロッキング」現象（暗記から汎化への遅延した転移）と同時に結晶化した（低次元の必要かつ十分な部分空間へと凝縮した）。
• 回転ダイナミクス: 自動化された演算子適合により、グロッキング時にコア演算子の固有値が単位円上にスナップしたことが明らかになった。これは、モジュロ演算に必要な循環的／回転的ダイナミクスの出現を示している。
• 正則化によるコアの膨張: グロッキング後の継続的な重み減衰の下で、コアは〜15次元から〜60次元へと「膨張」した。この膨張は冗長性によって引き起こされた。性能に十分な次元数は安定していたが、チャンスレベルを防ぐために必要な次元数は拡大した。重み減衰は、機能的に等価なモード（理論的上限である $\lfloor p/2 \rfloor$ まで）全体に重みを分散させる再分配力として作用した。
• 逆スケーリング則: 本論文は、機能的冗長性、正則化、およびグロッキング時間の間の理論的な関連性を導出した。これは、機能的等価性が、重み減排によって有効なモードへと重みを分散させることで、汎化への転移を加速させると仮定している。$\tau_{grok} \propto 1/(\omega p)$ （ここで $\omega$ は重み減衰、$p$ は冗長性）という逆スケーリング則を提示し、$\omega$ と $p$ の経験的なスイープによってこの予測を検証した。

C. 大規模言語モデル（LLM）

ACEを、4つのファミリー（GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, Qwen2.5）にわたる6つの学習済みモデル（パラメータ数1.17億〜320億）に適用し、**主語と動詞の数の一致（subject–verb number agreement）**タスクを実施した：

• 普遍的な1次元コア: 全6モデルの後半レイヤーにおいて、単一の1次元の因果軸が特定された。
• 因果的制御: この軸は、一致のために必要かつ十分である。活性化をこの軸に投影することで、単数・複数ログリットの差分を予測できる。決定的なことに、この軸の符号を反転させると、オープンエンドな生成全体を通じて文法的な数の好みが反転する（例：「The key... are」を「The key... is」へ）。
• アーキテクチャ間の整合性: アーキテクチャ、トークナイゼーション、学習データの違いにもかかわらず、これらの1次元コアの座標はモデル間で有意に一致した（Spearman相関は最大0.93）。これは、文法的な数に関する共有された不変のメカニズムが、実装の詳細とは独立して存在することを示唆している。

4. 意義と主張

本論文は、訓練されたトランスフォーマーの見かけ上の複雑さの下には、より単純で共有された計算構造が存在すると主張している。主な貢献は以下の通りである：

1. 解釈可能性パラダイムの転換: 特定の回路の実現を研究することから、不変量を研究することへの移行。著者らは、メカニスティックな説明は、特異な詳細ではなく、安定した実装不変の量に結び付けられるべきだと主張している。
2. 不変量の操作化: ACEフレームワークは、これらの不変量を孤立させ、因果的に検証し、その形式をあらかじめ想定することなく、それらが実装するアルゴリズムを復元する手法を提供する。
3. グロッキングのメカニスティックな説明: 機能的等価性、正則化、およびグロッキング時間を結びつける理論を提供し、冗長性が重み減衰によって有効なモードへと重みを分散させることで、汎化への転移を加速させることを示唆している。
4. 内部世界モデルの証拠: グラウンドトゥルースのタスク構造（マルコフ・スペクトラ、循環演算子）の復元は、これらのコアがデータの生成プロセスを符号化していることを示しており、制御理論における「内部モデル原理」と一致している。
5. モデル・マージングへの示唆: 機能的に等価なモデルが、ほぼ直交する部分空間にコアを埋め込んでいるという観察は、モデル・マージングの困難さ（ナイーブな補間は失敗する）を説明している。これは、重みではなくアルゴリズム・コアを整列させることが、モデル再結合のための原理的なアプローチになり得ることを示唆している。

結論として、本論文は、不変量を標的にすることがメカニスティックな理解と制御へのより扱いやすい道筋を提供すると述べている。複雑な推論タスクにおけるコアの次元数は未解決の課題であるが、大規模なスケールにおける1次元の一致の安定性は、コアの次元数がモデルのサイズに厳密に依存しない可能性を示唆している。