Critical Percolation as a Synthetic Data Model for Interpretability

技術要約：解釈可能性のための合成データモデルとしての臨界パーコレーション

問題提起
深層ニューラルネットワークは、自然界のデータの階層的かつマルチスケールな構造を反映した特徴を学習する。しかし、メカニスティックな解釈可能性（mechanistic interpretability）の手法を評価するために用いられる現在の合成データセットは、こうした現実的な構造に欠けており、トイモデルとしての有用性が制限されている。既存の合成モデルは、疎性（sparsity）や階層性を個別に捉えることはできるが、自然界のデータ分布に見られるべきべき乗則統計、低次元の固有次元、自己相似性といった特性を統合できていない。さらに、「次元の呪い」は、自然界のデータが効率的に学習可能であるためには高い構造を備えていなければならないことを示唆している。解釈可能性の研究、特にスパース・オートエンコーダ（SAE）に関する研究では、特徴量の分裂（splitting）や吸収（absorption）といった現象が観察されており、これは学習された特徴が、単純なスパースモデルでは捉えきれない複雑な階層組織を持っていることを示唆している。したがって、これらの構造的特性を取り入れ、解釈可能性研究の現実的なテストベッドとして機能する、原理的かつ解析的に扱いやすいデータモデルが必要とされている。

手法
著者らは、**臨界平均場パーコレーション理論（critical mean-field percolation theory）**に基づく一連の合成データセットを導入する。このモデルは以下のコンポーネントによって構成される：

1. パーコレーションによるデータ生成：

   • 空間： データ点は高次元の超立方格子（$\Lambda \subset \mathbb{R}^d$）から抽出される。
   • 臨界性： サイトは確率 $p = p_c$（臨界閾値）で占有され、システムはクラスターがフラクタル特性とべき乗則のサイズ分布（$n_s \propto s^{-5/2}$）を示す臨界領域にあることが保証される。
   • 平均場仮定： 次元 $d$ は十分に大きい（$d \gg 6$）と仮定されており、格子はベテ格子（Bethe lattice、すなわち木構造）のように振る舞うため、モデルは解析的に扱いやすい。
   • 幾何学： 得られるクラスターは、疎で低次元なフラクタルであり、その固有次元は $D=4$ である。

2. 階層的ターゲット生成：

   • ターゲットは、バイナリツリー構造（「潜在的な森（latent forest）」）で整理された潜在変数によって生成される。
   • 隣接する占有サイト間の結合が活性化されるたびに、クラスターがマージされる。マージごとに新しい潜在変数が導入され、それがマージされたサブクラスターの潜在変数の親として機能する。
   • データ点 $x$ のターゲット値 $y_x$ は、リーフ（点）から所属するクラスターのルートまでのパスに沿った潜在変数の線形関数であり、深さによって正規化される。

3. 循環的合体アルゴリズム（The Cyclic Coalescent Algorithm）：

   • 高次元格子上でパーコレーションを直接シミュレートすることは計算コストが高く、階層的な分解を明示的に得ることができない。
   • 著者らは、臨界平均場パーコレーション・クラスター、一様ランダムラベル付き木、および**加法的合体過程（additive coalescent process）**の間の数学的な等価性を利用する。
   • 著者らは、ランダムな木とその階層的な潜在分解を同時にサンプリングする循環的合体アルゴリズムを提案する。ノードをランダムな循環順序に配置し、ノードをその後続ノードと反復的にマージすることで、このアルゴリズムは一様ランダム木とその対応する階層を、ほぼ線形時間 $O(n \alpha(n))$（ここで $\alpha$ は逆アッカーマン関数）で生成する。

4. 実験設定：

   • 2つのデータセットが生成された：「単一クラスター」データセット（$2 \times 10^5$ 点）と、「マルチクラスター」データセット（$2 \times 10^6$ 点、サイズ $\ge 500$ のクラスターでフィルタリング）。
   • トランスフォーマーのフィードフォワード・ブロックを模した、残差型多層パーセプトロン（MLP）がこれらのデータセットに対して訓練された。
   • プロービング実験： ニューラルネットワークの活性化（入力、隠れ層、および残差ストリーム）から、グラウンドトゥルースの潜在変数をデコードするために線形プローブが訓練された。

主な貢献

1. 原理的な合成データモデル： 本論文は、べき乗則統計、分類学的階層、疎性、フラクタルなどの特性を、臨界パーコレーション理論から導出することで、これらを統合したデータモデルを導入する。
2. 解析的な扱いやすさ： モデルは既知の臨界指数（例：$\tau=5/2, D=4$）に依拠しており、これらの統計的特性を固定するためのハイパーパラメータ調整を必要としない。
3. 効率的なサンプリングアルゴリズム： 著者らは、循環的合体アルゴリズムの開発とその正当性の証明を行い、これにより、任意のスケールで階層的なパーコレーション・データセットをほぼ線形時間で生成することを可能にした。
4. 実証的検証： 本研究は、グラウンドトゥルースの潜在変数がニューラルネットワークの活性化から線形にデコード可能であることを示し、モデルの解釈可能性研究における有用性を検証している。

結果

• モデルの性能： 訓練されたMLPは、1近傍法（1NN）のベースラインに匹敵する性能を達成し、リッジ回帰を大幅に上回った。これは、タスクの非線形性と学習可能性を裏付けている。
• 線形デコーダビリティ： プロービング実験により、グラウンドトゥルースの潜在変数がネットワークの活性化の中に線形に表現されていることが明らかになった。
  • 隠れ層の活性化に対して訓練されたプローブは、一貫して生の入力に対して訓練されたものよりも低い平均二乗誤差（MSE）を達成した。
  • 生の入力に対するプローブの性能差は、「性能指標（Figure of Merit: FOM）」（潜在変数のサイズとクラスターサイズの平方根の比として定義）が増加するにつれて減少した。
• べき乗則の傾向： 各潜在変数のMSEは、FOMの関数としてべき乗則の傾向を示した。これは、ある潜在変数の統計的重要性が（そのサイズとクラスターの文脈によって決まる）、階層内の深さのみよりもデコーダビリティのより良い予測因子であることを示唆している。
• 層ごとの構造： 明確な層ごとの進行は見られなかった。プローブのMSEはすべてのMLPブロックで同程度であった。これは、ネットワークが必ずしも階層的な和を層ごとに構築しているわけではないか、あるいは、階層が組成的なモデルとは異なる形で表現されていることを示唆している。

意義と主張
本論文は、臨界パーコレーションが原理的なテストベッドを提供すると主張している。既知の階層的潜在変数と、現実的な構造的特性（疎性、べき乗則、フラクタル）を備えたデータセットを提供することで、研究者は以下が可能となる：

• 既知のグラウンドトゥルースに対して、解釈可能性ツール（SAEなど）を検証および改善すること。
• SAEの病理（特徴量の分裂や吸収）が、分類学的階層を持つデータに対して訓練された際に発生するかどうかを調査すること。
• データの構造とニューラルネットワークの活性化の構造との関係を研究すること。

著者らは、本研究を大規模言語モデル（LLM）の経験的研究を補完するものと位置づけており、制御された環境を提供することで、ニューラルネットワークがいかにして階層的な特徴を学習するかという仮説を検証することを目的としている。彼らは、データのランダムな集団化の仮定や、現在のスカラー回帰への限定（トークン化された分類ではなく）といった限界についても明記しており、これらを即時の解決策ではなく、将来の研究への方向性として提示している。本研究は、解釈可能性の問題を解決することを目指すのではなく、そのような研究を促進するための、厳密かつ数学的に裏付けられた合成環境を提供することを目指している。