技術概要：エージェントによる言語モデルの自動解釈可能性と特徴発見

問題定義

機械的解釈可能性は、大規模言語モデル（LLM）の内部表現を理解し、特定の概念、行動、または安全性の特性がどのように符号化されているかを明らかにすることを目指しています。スパース・オートエンコーダ（SAE）などの最近の進歩により、高密度な活性化をスパースで解釈可能な特徴に分解できるようになりましたが、既存の自動解釈可能性手法には主に 2 つの限界があります：

1. ワンショット説明の脆さ：現在の自動アプローチは、通常、特徴の最も強く活性化される例に基づいて、その特徴の単一の自然言語記述を生成します。これらの「ワンショット」ラベルは、限られた証拠に依存し、特定の制約（言語的または構造的など）を考慮せず、反例によって容易に反証される傾向があります。
2. 発見のボトルネック：ほとんどのワークフローは、関心のある特徴がすでに既知であると仮定しています。現実的なシナリオでは、ユーザーは「特定の言語に関連する特徴を見つける」や「安全性に関連する特徴を見つける」といった高レベルの質問から始め、数千の入手可能な特徴のうちどのものを検査すべきかを知りません。体系的で教師なしの特徴発見は、この分野において依然として重大かつ未解決のボトルネックです。

手法：InterpAgent

著者は、特徴発見と仮説洗練を単一の反復的実証ループに統合する自律型マルチエージェントフレームワーク「InterpAgent」を導入します。このシステムは、共有実行環境内で 2 つの専門化されたサブエージェントを調整するスーパーバイザを通じて動作します。

1. FeatureFinder（統計的発見）

このエージェントは、発見のボトルネックに対処します。言語、トピック、または安全性などの高レベルカテゴリでラベル付けされたプロンプトのセットが与えられると、これらのグループを確実に区別する候補特徴を特定します。

• プロセス：モデルの内部表現から活性化行列を構築し、次元削減のために PCA を適用し、埋め込み空間内で k 近傍（k-NN）グラフを構築します。
• クラスタリングとテスト：グラフコミュニティ検出（Leiden アルゴリズム）を使用してプロンプトをクラスタリングします。その後、統計的検定（ベニャミニ・ホフバーグ補正付きウィルコクソンの順位和検定）を実行し、特定のクラスターに富む特徴を特定します。
• フィルタリング：候補は、調整された有意性、効果量（Cohen's d）、および対数フォールド変化によってフィルタリングされ、実用的な関連性を確保します。これにより、証拠を伴う特徴 ID のランク付けリストが出力されます。

2. FeatureExplainer（反復的仮説洗練）

このエージェントは、「提案–テスト–修正」ループを通じて、候補特徴を堅牢で監査可能な説明に変換します。

• 仮説生成：ベースラインやトップ活性化からのシード仮説から開始し、競合する仮説を維持します。
• ストレステスト：各仮説に対して、エージェントは対照的なプロンプトセット（予測される陽性例と一致した陰性対照）を生成し、それらをターゲットモデルに通して活性化を記録します。
• マルチメトリック評価：仮説は 7 つのメトリックのバッテリーに基づいてスコアリングされます：
  1. 検出 F1（識別能力）
  2. ファジング F1（トークン摂動に対する頑健性）
  3. 驚き AUROC（一貫性）
  4. 埋め込み類似性（意味的整合性）
  5. 統計的分離性（p 値）
  6. 効果量（Cohen's d）
  7. LLM-as-Judge による一貫性
• 洗練：エージェントは仮説をランク付けし、最も弱いメトリックにおける失敗モードを特定し、ターゲットを絞った修正を提案します。このループは、収束するか、または固定された予算に達するまで継続されます。
• 多義性の検出：複数の意味的に異なる仮説が同等の支持を得ている場合、その特徴は多義的としてフラグ付けされ、単一のラベルを強制するのではなく、競合するすべての解釈が報告されます。

主要な貢献

1. 統合フレームワーク：教師なし特徴発見と反復的仮説洗練を、単一の自然言語駆動ループに統合し、各ステップの監査可能な痕跡を生成する InterpAgent の導入。
2. 統計的発見アルゴリズム：特徴 ID の事前知識なしにカテゴリ固有のマーカー特徴を復元するために、k-NN グラフクラスタリングと差分活性化分析を使用する新しいパイプライン（FeatureFinder）。
3. 反復的洗練パイプライン：7 メトリック評価バッテリーを活用して仮説を鋭化し、多義性を検出し、反証可能な説明を生成する厳密な説明プロセス（FeatureExplainer）。
4. 汎用性：SAE 特徴だけでなく、重みスパース・トランスフォーマーの生の MLP ニューロン活性化にも直接適用可能であり、SAE を使用せずに手動で特定された回路を復元できることを実証。

結果

このフレームワークは、Gemma-2 ファミリーのモデルと重みスパース・トランスフォーマーで評価されました。

• 洗練パフォーマンス：反復的洗練は、ワンショットの自動解釈に一貫して優れていました。Gemma-2 ファミリーにおいて、洗練された仮説は、約80%の特徴（Gemini 2.5 Pro および Claude 4 Sonnet を使用）および64%（GPT-4o-mini を使用）について、最良の説明として選択されました。改善は主に、最初の 1〜2 回の反復内で欠落していた制約や過度に広範なラベルを修正するものでした。
• 発見精度：FeatureFinder アルゴリズムは、20 言語にわたる言語固有の特徴と、コーディング、数学、安全性などの非言語カテゴリを、高い統計的有意性で成功裏に復元しました。k-NN グラフアプローチは、活性化空間と言語アイデンティティを整合させる点で、標準的なクラスタリングベースライン（K-Means、階層的）を大幅に上回りました。
• ケーススタディ：
  • 単義的収束：エージェントは、曖昧な「技術知識」というラベルを、具体的な「技術トラブルシューティングにおける非公式なフランス語構文」という説明に成功裏に洗練しました。
  • 多義性の検出：システムは、「コーディング/数式」と「技術的・科学的議論」という競合する仮説を持つ特徴を正しく特定し、単一のラベルを強制するのではなく、それを多義的としてフラグ付けしました。
  • 安全性監査：エージェントは「爆発物」に関連する特徴を発見し、それを検証して、安全性に敏感なプロンプトに対する拒否行動を減少させる因果的介入（負の活性化ステアリング）を実証しました。これにより、拒否回路におけるその特徴の機能的役割が確認されました。
• 生ニューロン発見：重みスパース・トランスフォーマー内の生の MLP ニューロンに適用したところ、エージェントは人手による回路分析を通じて以前に専門家によって特定されたニューロンを自動的に再発見し、平均検証精度**75%**超を達成しました。

意義と主張

この論文は、解釈可能性を静的なラベリングタスクではなく、仮説の提案、テスト、修正を含む実験的プロセスとして扱うべきであると主張しています。このワークフローを自動化することで、InterpAgent は以下の説明を生成します：

• より鋭く、より反証可能：脆いワンショットラベルを超え、反例と定量的メトリックに対して検証された説明へと移行。
• 監査可能：仮説、テストケース、メトリック、介入の完全な痕跡を提供。
• スケーラブル：ゼロから特徴の発見を処理でき、大規模モデルにおいて「どの特徴を説明すべきか」を特定するというボトルネックに対処。

著者は、このエージェント駆動アプローチが現在の自動手法よりも堅牢な洞察をもたらし、人手による分析では現実的に不可能な規模での特徴ライブラリの体系的監査の可能性を浮き彫りにすると主張しています。また、システムの有効性は、仮説生成と洗練に使用される基盤 LLM の能力に比例してスケールすることを指摘しています。