Domain-Filtered Knowledge Graphs from Sparse Autoencoder Features

以下は、プレプリント「Sparse Autoencoder 特徴量から導出されるドメインフィルタリング型知識グラフ」の詳細な技術的サマリです。

1. 問題定義

スパースオートエンコーダ（SAE）は、不透明なニューロンを超えて単義的な特徴量へと移行し、大規模言語モデル（LLM）から数百万の解釈可能な特徴量を抽出可能にしました。しかし、現在の SAE インベントリは、解釈可能性に対して重大な課題を呈しています。

• フラットなインベントリ: 特徴量は構造化されていないリストとして提示されることが多く、それらの間の関係を理解することが困難です。
• ノイズと一般性: インベントリには、ドメイン固有の概念、汎用的なフォーマットや句読点の特徴、および根拠の弱いパターンが混在しています。
• 散在する概念: 意味的に関連するアイデアは、局所化されるのではなく、多くの隣接する特徴量に分散して配置されることがよくあります。
• 構造の欠如: コーパス全体にわたって概念がどのようにクラスター化し、分離し、トピックを架橋するか、また局所計算中にモデルの層をどのように流れるかを理解する内在的なメカニズムが存在しません。

核心的な問題は、フラットでノイズの多い SAE インベントリを、グローバルな組織構造と局所的なメカニズム経路の両方を明らかにする構造化されたドメイン固有の内部知識グラフへと変換することです。

2. 手法

著者らは、生きた SAE インベントリから厳密な概念宇宙へ移行し、それを2つの整合したグラフビュー（コーパスレベルの共起グラフと局所レベルのトランスコーダメカニズムグラフ）に編成するパイプラインを提案します。

A. 厳密な概念宇宙の構築（フィルタリング）

グラフ構築に先立ち、著者らは生インベントリ（$V$）から関連するドメイン固有領域（$V^*$）を分離するために、多段階のフィルタリングプロセスを適用します。

1. 対照的短縮リスト作成: 対象コーパス（例：生物学の教科書）を対照コーパス（例：歴史・地学）と比較し、3 つの軸に基づいて特徴量をスコアリングします。
   • 支持: 対象において意味的に存在するか？
   • 富化: 対照よりも対象に特徴的か？
   • 局所化: あちこちに拡散するのではなく、一貫した章・小章に集中するか？
2. パケットレベルの審判: 生き残った特徴量は、記述、代表的なウィンドウ、対照データを含む「証拠パケット」にパッケージ化されます。段階的な審判官が、概念が可視であるか、対象ドメインに属するか、対照と比較して特徴的であるかを確認します。
3. 結果: 高信頼性でドメインに関連する特徴量のみを含む厳密な宇宙 $V^*$ が得られます。

B. グラフ構築

$V^*$ 上に2つの相補的なグラフビューを構築します。

1. 多粒度共起グラフ（コーパス構造）:

   • 目的: 概念がコーパス全体でどのようにクラスター化し、トピックを架橋するかを明らかにすること。
   • メカニズム: 特徴量は活性化閾値に基づいて文における存在度でスコアリングされます。この存在度は、文から段落、小章、章へと決定的に引き上げられます。
   • エッジ: 特徴量間の Jaccard 正規化共起数（$J_{ab}$）を使用して構築されます。これにより、どの概念が異なるスケールで一緒に繰り返されるかを示す同層グラフが作成されます。

2. トランスコーダメカニズムグラフ（局所的な層間フロー）:

   • 目的: 特定の入力において、ソース層の概念がターゲット層の概念へどのように変換されるかを説明すること。
   • メカニズム: 層 $L$ の残差ストリームを層 $L+1$ にマッピングするように訓練されたトランスコーダ（スパースオートエンコーダ）と、両層の SAE 辞書を使用します。
   • エッジ: 有向エッジは、ソース特徴量がスパース潜在変数を活性化し、それがターゲット特徴量へ書き込むという可読な経路を表します。
   • 静的 vs 動的:
     • 静的: 要約統計に基づいた可能な経路のライブラリ。
     • 動的: 特定の入力に対して実際にどの経路がアクティブかを示す、文条件付きグラフ。

C. 階層認識圧縮とエッジラベリング

• 抽象化階層: 密度に対処するため、特徴量の記述に対する相互-kNN クラスタリングを用いて、特徴量を意味木（抽象化木）に編成します。
• 圧縮: 密な局所メカニズムグラフを、忠実度を維持するために重要なアクティブエッジ（ブロッキングエッジ）を保持しつつ、一貫した部分木を「スーパーノード」に折りたたむことで圧縮します。
• エッジラベリング（自動関連付け）: ラベルなしの重み付きエッジの代わりに、システムは可読な関係フレーズを生成します。
  • 共起エッジ: 共同および対照的証拠文を使用してラベル付けされます（例、「イエローストーン」と一般的な「黄色」を区別）。
  • メカニズムエッジ: 変換を記述するために、最も強い文レベルの証拠と潜在ヒントを使用してラベル付けされます（例、「ソース概念は潜在変数 X 経由でターゲット概念を支援する」）。

3. 主要な貢献

1. 多段階対照的フィルタリング: 膨大な SAE インベントリから厳密なドメイン固有の概念宇宙を抽出し、汎用的なノイズを除去する新規プロセス。
2. 二重ビュー知識グラフ: 2 つの整合したグラフの構築。
   • グローバルな多粒度コーパス構造のための共起グラフ。
   • 局所的な有向層間概念フローのためのトランスコーダメカニズムグラフ。
3. 階層的圧縮: 意味階層を用いて密なメカニズムグラフを可読な「メカニズムアトラス」に圧縮する手法。詳細と可読性のバランスを取ります。
4. 証拠に基づくエッジ意味論: 統計的エッジを、証拠に裏打ちされた可読な知識グラフ関係に変換する自動ラベリングシステム。

4. 結果

このフレームワークは、Gemma Scope SAE（層 20-21）を用いた生物学の教科書コーパスで評価されました。

• 構造回復: グラフは教科書の人間による編成を成功裡に回復しました。
  • グローバルスケール: 共有座標上で、異なる章（例：遺伝 vs 生物工学）に対して明確な「盆地」の活性化が観測されました。
  • ローカルスケール: 章の盆地内で、より細かい小章構造が保持されました。
  • 指標: 定量的分析により、グラフ分割と教科書の章・小章との間に高い整合性が示されました。文と段落の集約が最も強力な構造回復をもたらしました。
• 可読性: パイプラインは、拡散した文レベルの活動（数千の特徴量）を、コンパクトで可読なメカニズムアトラスへと成功裏に変換しました。
• 架橋概念: グラフは、フラットなリストでは見落とされがちな、隣接するトピックを架橋する概念を明らかにしました。
• メカニズム説明: トランスコーダグラフは、特定の概念（例：「呼吸器系」）が層間でどのように処理され変換されるかを示す、有向かつ解釈可能なビューを提供し、エッジは自然言語関係でラベル付けされました。

5. 意義

この研究は、メカニズム的解釈可能性におけるパラダイムシフトを表しています。

• インベントリから地図へ: モデルが「知っているもの」のフラットなリストとしてではなく、モデルがその知識を「どのように組織化し利用するか」を表す内部知識グラフとして SAE 特徴量を再定義します。
• 忠実度監査: 構造化され証拠に裏打ちされた内部地図を作成することで、モデルが生成する推論（Chain-of-Thought）が内部活性化構造を忠実に反映しているかどうかを将来監査することが可能になります。
• スケーラビリティ: 数百万の特徴量があっても、各特徴量の人手によるキュレーションなしに、モデル内部の一貫したドメイン固有ビューを構築可能であることを示しています。
• 対話的探索: 著者は対話型ブラウザアーティファクトを提供し、研究者が学習されたグラフ構造をナビゲートし、架橋領域を追跡し、文レベルのメカニズムを動的に検査することを可能にします。

要約すると、本論文は、生の高次元 SAE 活性化を、モデル知識のグローバルなトポロジーと推論の局所的なメカニズムの両方を捉える、構造化された人間可読の知識グラフに変換するための堅牢なフレームワークを提供します。