技術的サマリー：良いリンゴをバケット化

問題定義

因果的抽象化は、高レベルの因果モデル（$H$）が、反事実的介入の下で低レベルのニューラルネットワーク（$L$）を正確に抽象化しているかを評価する、厳密なメカニスト的解釈可能性の枠組みである。この評価は通常、介入下の低レベルモデルの挙動と高レベルモデルの予測との一致を要約するスカラー指標である**交換介入精度（IIA）**に依存する。

本論文は、最先端技術における重要な限界を特定している。すなわち、IIA はグローバルな要約統計量であるという点だ。IIA は仮説が一般的に忠実かどうかを示すものの、入力空間のどこで仮説が成功し、どこで失敗するかを明らかにすることはできない。中間的な IIA スコアは特に解釈が困難であり、部分的に正しい仮説をどのように洗練させるかについての指針をほとんど提供しない。さらに、既存のワークフローは主に評価的であり、構築的ではない。それらは仮説が不完全であることを診断できるが、それを改善するメカニズムや、見落としている中間変数を発見する手段を提供しない。

手法

著者らは、分析単位をグローバルなスコアから入力空間の構造へと移行させる、4 段階の診断パイプラインを提案する。中核となるアイデアは、ペアごとの交換介入挙動に基づいて、入力空間を「よく解釈された」領域（ターゲットバケット）と「十分に解釈されていない」領域に分割することである。

1. 形式化：交換整合部分集合

この手法は、交換整合ペアの概念を形式化する。2 つの入力 $i_1, i_2$ が整合的であるとは、それらの内部表現を交換した際、双方向において高レベルの反事実的予測と一致する出力が得られることを意味する。

• 交換可能性グラフ: 入力空間は、頂点が入力であり、辺が交換整合ペアを接続するグラフとしてモデル化される。
• ターゲットバケット: 入力空間の部分集合が、このグラフにおいてクリーク（または高密度な $\gamma$-準クリーク）を形成する場合、その部分集合は「ターゲットバケット」と見なされる。これらのバケット内では抽象化はほぼ完璧であり、バケット間では失敗する。

2. 4 段階診断パイプライン

著者らは、この枠組みを実用的なレシピとして具体化した。

1. タスクと入力空間の指定: 低レベルモデル $L$ が信頼性高く機能するタスクを定義する。分析は、解釈可能性の失敗をタスクの失敗から分離するために、正しい予測の subset（$I_{correct}$）に制限される。
2. 候補アライメントの発見: 標準的な手法（例：分散アライメント検索（DAS）、フルベクトルパッチング）を用いて、高レベル変数と低レベル特徴との間の候補アライメント $\Pi$ を特定する。このステップでは、さらなる診断を動機づける中間的な IIA スコアがしばしば得られる。
3. 入力空間のバケット化: $I_{correct}$ 上で交換可能性グラフを構築する。抽象化が成立する密な準クリーク（ターゲットバケット）を検索する。空間の残りは「その他バケット」を形成する。このステップにより、特定の失敗モードを局所化する。
4. 一般化と特徴付け: 未見の入力に対するバケット所属を予測する分類器を訓練する。この分類器は、手動ラベル付けされた特徴またはモデル内部の特徴（例：スパースオートエンコーダ（SAE）の活性化）を用いて、発見された分割が有限サンプルのアーティファクトではなく、安定した構造的境界を反映しているかを判断する。

主要な貢献

• 診断的転換: 本論文は、因果的抽象化を純粋なグローバル評価から、解釈がどこで機能し、どこで失敗するかを明らかにする診断ツールへと移行させる。
• 構築的洗練: よく解釈された領域と十分に解釈されていない領域の構造を分析することで、この手法は解釈を改善するためのヒューリスティックを提供する。それは高レベル仮説における見落としの区別を特定し、モデル化されていない中間変数を発見し、部分的な解釈を組み合わせることができる。
• 再帰的仮説発見: このパイプラインは、粗い仮説を、新たに発見された失敗モードに対してバケット化手順を再帰的に適用することで、より微細な因果モデルへと洗練させる反復プロセスをサポートする。

実験結果

著者らは、複雑さが増す 3 つの設定でこの手法を検証した。

1. 玩具論理タスク:

   • 設定: 微調整された GPT-2-small モデルが、論理タスク $o_5 = (o_1 \land o_2) \lor o_3$ を解く。
   • 結果: 出力変数 $o_5$ のみを含む仮説から開始すると、パイプラインは中間的な IIA を持つアライメントを特定した。バケット化により、そのアライメントは $o_1 \land o_2$ が偽である場合のみ忠実であることが明らかになった。
   • 洗練: 欠落していた中間変数 $o_4 = o_1 \land o_2$ を昇格させ、診断を再実行することで、著者らは再帰的に完全な高レベル因果階層（$o_1, o_2, o_3 \to o_4 \to o_5$）を回復し、モデルが意図された因数分解ではなく、拡張的に等価な代替案を使用しているわけではないことを示した。

2. エンティティバインディングタスク:

   • 設定: Gemma-2-2B-Instruct を使用し、クエリされたグループ位置（$q_{group}$）に基づいてテンプレート化されたグループからエンティティを抽出するタスク。
   • 結果: 位置仮説は U 字型のアライメント曲線を示した（シーケンスの端で忠実度が高く、中央で低い）。バケット化は、手動による検査なしにこれらの領域を自動的に分離した。
   • 一般化: 内部 SAE 特徴で訓練された分類器は、この境界を未見の入力に成功裏に一般化し、ターゲットバケットで 98% の IIA を達成した。これにより、その区別がモデルの表現に符号化されていることが確認された。

3. 絡み合った事実的想起（RAVEL ベンチマーク）:

   • 設定: マルチタスク DAS（MDAS）を用いて、Llama-3.1-8B において、絡み合った属性（例：COUNTRY、TIMEZONE）から LANGUAGE 属性を分離する。
   • 結果: MDAS は分離のために設計されているにもかかわらず、グローバルな IIA は低かった（14.3%）。バケット化により、学習された部分空間は「言語」の一般的な抽象化ではなく、入力空間を粗い言語固有のクラスター（例：英語とスペイン語のバケットでは高い IIA、しかし言語間では低い IIA）に縮退させていることが明らかになった。
   • 洞察: これは、表現が言語内の構造を保持しつつ、言語間交換可能性において失敗するという構造的な不一致を露呈させた。

意義と主張

本論文は、入力空間の分割が、より精密で、構築的かつスケーラブルなメカニスト的解釈可能性に向けた重要なステップであると主張する。

• 評価から構築へ: この手法は「不完全な」抽象化を実用的な診断対象へと変換し、研究者が事後評価から高レベル仮説の構築的発見へと移行することを可能にする。
• スケーラビリティ: このアプローチは、異なるモデルサイズ（微調整済みおよび事前学習済み）やアライメント手法（DAS、MDAS、パッチング）において広く有用であることが示された。
• 限界: 著者らは謙虚に、この手法は事前のタスク解釈と候補抽象化に依存しており（制約のない自動解釈ではなく、構造化されたプログラム検索である）、現在では単一変数仮説に焦点を当てていると指摘している。今後の研究は、多変数相互作用とより大きな入力空間に対処すべきであると提案している。

本論文は、「良いリンゴをバケット化」することにより、研究者は因果的抽象化が成立する特定の条件を特定でき、それによって抽象化の失敗をニューラルネットワークの基盤となるメカニズムを洗練・発見するための証拠へと転換できると結論付けている。