🤖 machine learning

Exemplar Partitioning for Mechanistic Interpretability

本論文は、学習された重みではなく観測された例を用いて言語モデルの活性化から解釈可能な特徴辞書を構築する教師なし手法である例分割（EP）を導入し、約1,000倍少ないトレーニングトークンでスパースオートエンコーダと同等の解釈性性能を達成しつつ、直接的なモデル間比較を可能にし、組み込みの分布外検出を提供する。

原著者： Jessica Rumbelow

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jessica Rumbelow

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で混沌とした図書館を想像してください。その図書館のすべての本は、コンピュータモデルがこれまでに処理した単一の思考や文を表しています。この図書館の内部では、「アイデア」は言葉として書かれているのではなく、光と電気の複雑なパターンとして隠されています。

長年にわたり、これらのモデルを理解しようとしてきた科学者たちは、スパース・オートエンコーダ（SAE） という手法を用いてきました。これは、高価で高度に訓練された司書のチームを雇い、すべての本を読み、数千の特定の分類に整理し、新しい索引を作成させるようなものです。これらの司者を訓練するには莫大な時間と費用（計算資源）がかかり、彼らが作成する分類は、彼らが学習して探そうとしたものに基づいています。

この論文で導入される実例分割（Exemplar Partitioning: EP） は、これとは全く異なり、はるかに安価なアプローチです。司者を訓練する代わりに、単純な自動仕分け機械を使用します。

以下に、日常的なアナロジーを用いてその仕組みを説明します。

1. 「先着順」仕分け機械

混雑した部屋（データのストリーム）を歩いていると想像してください。あなたは人々を外見の類似性に基づいてグループ分けしたいと考えています。

旧来の方法（SAE）： 10,000 個の完璧で事前に定義された「箱」を作成するデザイナーを雇います。その後、エラーを最小化するために、どの人物をどの箱に入れるかを正確に判断するシステムを数週間かけて訓練します。
新しい方法（EP）： ただ部屋を歩くだけです。最初の人物を見たとき、「あなたは A グループのリーダーです」と言います。このリーダーと非常に似ている人物はすべて A グループに加わります。
- 現在のリーダーとは異なる人物を見つけた場合、「あなたは新しい B グループのリーダーです」と言います。
- いくつのグループが存在するかを事前に決定しません。グループは、部屋にいる人々が実際にどのように見えるかによって自然に形成されます。

2. 「アンカー」の概念

この新しい手法では、すべてのグループは、実際に目撃した実在の人物（「実例：Exemplar」）によってアンカー（基準）として固定されています。

これが重要な理由： 旧来の方法では、グループは数千の人々の「平均」によって定義される可能性があり、それは実際には存在しない幽霊のような架空の人物です。新しい方法では、すべてのグループは実在する具体的な例に結びついています。「A グループ」とは何かを知りたい場合は、それを始めた最初の人物を見ればよいのです。その特定の人物を指差して、「この人物の影響を取り除けば、そのグループは消滅する」と言うことさえできます。

3. 部屋の「無料マップ」

グループは単純な距離（人々がどの程度似ているか）によって形成されるため、この手法は部屋全体の完璧なマップを作成します。

「場違い」検知器： 部屋に入って、どのリーダーとも全く似ていない人物を見つけた場合、システムは即座に「この人物はこれまで見たどのグループにも属していない」と認識します。これは追加の訓練なしに、奇妙なまたは予期せぬ入力を発見するための無料の方法です。

4. 論文が実際に発見したこと

著者らは特定の AI モデル（Gemma-2-2B）でこれをテストし、いくつかの驚くべき発見をしました。

驚異的な速度と安価さ： これらの辞書は、従来の方法に比べて約1,000 倍少ない計算資源で構築されました。数週間の訓練ではなく、単一のコンピュータチップ上で数分で完了しました。
概念の発見において同等の性能： 「数学」、「コード」、「回答拒否」などの特定のアイデアをシステムに発見させた際、その性能は高価で訓練された方法とほぼ同等でした。
「拒否」スイッチの発見： AI が「いいえ」と言って（リクエストを拒否して）決断する入力群の特定のグループを発見しました。そのグループの「リーダー」を調べることで、その特定のパターンを取り除けば AI が拒否しなくなることを証明できました。これは、これらのグループが AI の思考の仕組みにおける実在し、因果的な部分であることを示しています。
世界を異なって捉える： 新しい手法は密度（類似したものの塊）によって物をグループ化しますが、旧来の手法は線（数学的な分離）によってグループ化します。彼らは最も明白で明確なアイデア（「核心」）については一致しますが、厄介で複雑なアイデアについては異なった仕方で分割します。

5. 「訓練」と「観察」の違い

最も重要な結論は、この手法は何も学習しないということです。物を仕分ける最良の方法を推測しようとしません。ただデータのストリームを観察し、目にする最初の数個のユニークな実例を選び出し、それらの実例からの近さに基づいて他のすべてを仕分けるだけです。

特定の訓練実行に依存しないため、モデルが訓練される前と訓練された後の「マップ」を比較でき、どのグループがそのまま残ったか、どのグループが変化したかを正確に把握できます。新しい高速道路が建設される前と後の都市の地図を、同じランドマークを使って比較するようなものです。

要約： この論文は、AI モデルを理解するための新たな手法を提示します。それは、思考を事前に作られた箱に無理やり押し込むのではなく、実例に基づいて自然なクラスターに整理することによって行われます。これはより速く、安価であり、機械内部の「意味」を見つける能力において同等に優れています。

技術的概要：メカニズム的解釈可能性のための例示分割

問題提起

メカニズム的解釈可能性は、ニューラルネットワークを人間が理解可能なアルゴリズムへと逆設計することを目的としている。現在のアプローチは、以下のような明確な限界に直面している：

回路分析（Circuit Analysis）： 課題固有のサブグラフを分離するが、モデル全体の機能インベントリを生成することはできない。
教師ありプロービング（Supervised Probing）： 研究者が既に探求すべき概念として知っているものへのテストに限定される。
スパースオートエンコーダ（SAEs）： 支配的な教師なしアプローチである SAE は、スパース性、再構成、辞書サイズを束ねる再構成目的関数を最適化することで、固定サイズの辞書を学習する。このトレーニングプロセスは計算コストが高く（数十億トークンを必要とする）、固定辞書サイズや線形基底学習などのコミットメントを導入し、モデルの活性化幾何学の内在的性質を曖昧にする可能性がある。

提示された中心的な問いは以下の通りである：SAE が明らかにする機能構造のどの部分がトレーニング目的自体によるものであり、どの部分がモデルの活性化幾何学に既に存在し、より直接的で学習を伴わない構築を通じてアクセス可能なのか？

手法：例示分割（Exemplar Partitioning: EP）

例示分割（EP）は、学習を行わずに大規模言語モデル（LLM）の活性化から解釈可能な機能辞書を構築するための教師なし手法である。これは、辞書を活性化空間のボロノイ分割として扱い、単一のストリーミングパス上でのリーダークラスタリングによって構築する。

中核的な構築

ストリーミングリーダークラスタリング： 重心を形成するために活性化を平均化する方法（これは非整合な方向を生み出し、クラスタリングの不安定性を引き起こす可能性がある）の代わりに、EP は**固定された例示（exemplars）**を使用する。例示とは、データストリームから観測された実際の活性化である。
- 新しい活性化が到着すると、中心化され正規化される。
- その活性化と最も近い既存の例示との距離が閾値未満であれば、その領域に所属する。
- 閾値を超えた場合、それは新しい例示となり、新しい領域を生成する。
較正と閾値設定： 距離閾値 $\theta_p$ は絶対値ではなく、小さな較正バッチ上で計算されたペアワイズ距離の $p$ 番目の百分位数である。これにより、辞書の解像度を調整可能にする（ $p$ が小さいほど微細な粒度、 $p$ が大きいほど粗い粒度）一方で、層やモデル間での比較可能性を維持できる。
飽和基準： 辞書は、新しい例示が現れない「飽和ウィンドウ」が経過するまで成長する。つまり、辞書サイズは事前に指定されるのではなく、選択された解像度における活性化幾何学によって決定される。
推論： 新しい活性化は、最も近い例示に割り当てられる。辞書はネイティブに 1-スパース（ワンホット）であるが、距離に基づいて $n$ -スパースまたは密な割り当てに拡張可能である。

主要な特性

観測可能性： 領域が学習された重みではなく、観測された例示によってアンカーされているため、同じデータストリームから構築された辞書は、例示のマッチングを通じて、層、モデル、トレーニングチェックポイント間で直接比較可能である。
安定性指標： 本論文は、領域のクロスシード安定性を予測する統計量 $D_i = \log_{10}(N_i c_i^2)$ （ここで $N_i$ はメンバー数、 $c_i$ はメンバーの整合性）を導入する。高い $D_i$ を持つ領域は、異なるストリーミング順序間でも再現する可能性が高い。

主要な貢献と結果

1. 効率性とスケーラビリティ

EP は、同等の SAE に比べて約 $10^3$ 倍少ないトークンで辞書を構築する。

構築コスト： Gemma-2-2B 用の p1 辞書は、単一の GPU で $\sim 3.6 \times 10^6$ トークンを使用して数分で構築されるのに対し、同等の SAE は数十億トークンでのトレーニングを必要とする。
バックプロパゲーションの不要： この手法はゼロの逆伝播パスを必要とする。

2. 解釈可能性と因果的介入

因果的アブレーション： Gemma-2-2B-it において、拒否行動は特定の EP 領域に集中している。この領域の例示方向（最初に到着した活性化）をアブレーションすると、保持された拒否が最大 $\Delta = -0.96$ まで崩壊する。これは、「拒否方向」が単一の例示によって捉えられた正確な軸であり、領域の平均方向よりも介入に対して効果的であることを示している。
クロスチェックポイントマッチング： ベースモデルと指示微調整モデルの辞書をマッチングさせることで、指示微調整がモデルの方向性構造を主に再アンカーし、小さな普遍的な部分集合のみを保持することが明らかになった。また、微調整モデルにおける拒否方向は、ベースモデルに存在するプロンプト内の有害コンテンツ方向から昇格したものであることも示された。

3. ベンチマーク性能

AxBench（概念検出）： Gemma-2-2B-it L20 において、解像度 $p=1$ $p = 1$ の EP 辞書は、500 の潜在概念全体で平均 AUROC 0.881 を達成した。
- これは、標準的な GemmaScope SAE エントリ（0.755）より**+0.126**高い。
- 候補プールが小さく、計算量が大幅に少ないにもかかわらず、最強のベースラインである SAE-A（0.911）との差は0.030以内である。
SAEBench（情報保持）： p10 EP 辞書（ $\ell_0=1$ ）は、生活性化プローブ精度の**約 97%**を保持する（IdentitySAE の 0.959 に対して 0.930）。これは、ほぼすべての生座標を破棄した場合でも、概念の線形復号可能性が密度構造のみによって大きく保持されていることを示唆している。

4. 幾何学的洞察

密度対線形分離性： EP と SAE は異なる幾何学的コミットメントを行う。EP は密度（領域は活性化空間における実在の円錐である）にコミットするのに対し、SAE は線形分離性（スパース再構成）にコミットする。
共有コア： 約**20%**の EP 領域は、 $F1 > 0.5$ （ $p=10$ において）で SAE 機能と一致する。これらは、方向が密度に集中しており、かつ線形分離可能である場所で合意する。
分布外（OOD）シグナル： 最も近い例示までの距離は、無料の OOD シグナルを提供する。ランダムなトークンは、分布内トークンよりも一貫して最も近い例示から遠く離れており、そのギャップは解像度が微細になるほど広がる。

意義と主張

本論文は、例示分割が以下の特性を持つ新しいクラスの解釈可能性オブジェクトを提供すると主張している：

効率的： 最先端の計算予算を持たない研究者でもアクセス可能。
直接的： SAE の再構成目的関数によって曖昧にされる可能性のある、活性化幾何学の性質（密度、安定性、因果的方向）を明らかにする。
比較可能： 観測された例示を使用することで、複雑な整列手順なしに、トレーニングチェックポイントやモデルバリアント間での機能進化を直接追跡可能。

著者は、EP が SAE と「共有コア」を捉える一方で、SAE が分裂させる広範で内容にアンカーされた領域を露呈し、逆に SAE が EP が特定の解像度で解決しないスパースな線形方向を捉えることを強調している。論文は、密度構造のみがプロービングによって測定されるシグナルの多くを担っており、この手法の効率性とオープンな辞書インターフェースが、解釈可能性ツールキットへの実用的な追加であると結論付けている。

認められた限界：

EP はシード依存であり、領域のアイデンティティはストリーミング順序によって変化するが、安定性は $D_i$ を通じて予測可能である。
現在の実装は中心化されたコサイン幾何を仮定しており、活性化の大きさ（magnitude）に依存する機能を捉えられない可能性がある。
実験は探索的である；本論文は EP が SAE の完全な代替であると主張するのではなく、特定の解釈可能性タスクに対する補完的で極めて効率的な代替手段であると位置づけている。