🤖 machine learning

Certified Interventional Fidelity: Anytime-Valid, Adaptive Evaluation of Causal Claims in Mechanistic Interpretability

本論文は、メカニスティックな解釈可能性における因果的主張に対して、任意の時点での妥当性を備えた信頼区間および系列を提供する統計的枠組みであるCertified Interventional Fidelity (CIF) を導入し、これにより、安定した効果とサンプリングによるアーティファクトを厳密に区別しながら、モデルへの介入の適応的な評価を可能にする。

原著者： Amir Asiaee

公開日 2026-07-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Amir Asiaee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超スマートなロボットの脳がどのように機能しているのかを解明しようとしている探偵だと想像してください。単に推測するだけでなく、内部の歯車を入れ替えたり、突き刺したりして、それが以前と同じようにパズルを解けるかどうかを確認したいと考えています。これは「メカニスティック・インタープリタビリティ（機械論的な解釈可能性）」と呼ばれるものです。しかし、ここには問題があります。ほとんどの探偵は、いくつかのテストを実行し、「精度95%！」のような単一の数値を得て、ケースは解決したと宣言してしまいます。問題は、もし作業中に結果を覗き見続けたり、壊れているように見える歯車だけを探したりすると、その単一の数値が、単なる幸運な偶然の結果であって、安定した事実ではない可能性があるということです。

そこで、Certified Interventional Fidelity (CIF) の登場です。CIFは、あなたの探偵ゲームに連れてくることができる「真実を語る審判」だと考えてください。それは単にスコアを与えるのではなく、あなたが何度結果を覗き見ても、あるいはゲームの途中で戦略を変更しても、決して崩れることのない「信頼の網」を提供します。

「ラッキー・ゲス（幸運な推測）」の罠

通常、科学者がロボットの脳をテストする場合、1,000回のテストを実行して結果を見て、さらに500回実行してより良い結果が出たら、見た目が良くなった瞬間に停止することがあります。あるいは、失敗しているように見える部分だけに焦点を当てることもあります。論文は、これが危険であると主張しています。それは、解答用紙を何度も確認しながら、完璧なスコアが出るまで間違った答えを消して書き直している学生のようなものです。論文は、セーフティネットがなければ、報告されたスコアが安定した因果関係の主張なのか、それとも単なる有限なサンプリングと評価の選択による結果なのかを判別することは困難であると明記しています。単一の「点推定値（一つの数値）」だけでは、ロボットの脳が私たちの考えている通りに機能していることを証明するには不十分であり、不確実性の保証が必要です。

審判の道具箱：「Anytime-Valid（いつでも有効な）」網

CIFは、**Confidence Sequences（信頼シーケンス）**と呼ばれる新しい測定方法を導入しています。マーブルが入った袋の平均の重さを予想しようとしていると想像してください。

従来の方法： 100個のマーブルの重さを量り、平均を計算して、「5グラムです」と言います。もし10個追加で量って平均が変わったら、元の主張は間違っていたかもしれません。
CIFの方法： 「重さは1グラムから10グラムの間です」という広い網から始めます。マーブルを量るにつれて、この網はゆっくりと縮まっていきます。CIFの魔法は、この網が**「anytime-valid（いつでも有効）」であることです。これは、10個量った後でも、100個でも、1,000個でも、いつでも網を確認できることを意味し、その網は常に**正しいことが保証されます。好きな時に止めることができ、その中の主張は依然として真実です。

チートせずにバグを探す

時には、ロボットの弱点を素早く見つけたいこともあるでしょう。怪しいと思われる歯車だけをテストすることに決めるかもしれません。これは「適応的サンプリング（adaptive sampling）」と呼ばれます。

リスク： 壊れた歯車だけをテストすると、平均スコアはひどいものになり、ロボット全体が壊れていると考えてしまうかもしれません。
CIFによる解決策： CIFは、巧妙な**「重要度重み付け（importance weighting）」**を使用します。あなたがオーディションの審査員だと想像してください。もし失敗しそうな演技だけを見ることに決めたなら、優れた演技を無視した事実とのバランスを取るために、それらの演技に特別な「重み」を与えなければなりません。CIFはこれを数学的に行います。これにより、積極的に失敗を追い求めつつも、最終的な報告を誠実で偏りのないものに保つことができます。

時間を節約するための「賭け」の魔法

論文では、これらの信頼の網を構築する2つの方法をテストしました。

「ホエフディング（Hoeffding）」の網： これは安全で標準的な網です。亀の歩みのようになだらかに、着実に縮まります。非常に信頼性は高いですが、タイトな答えを得るまでに長い時間がかかることがあります。
「ベッティング（Betting）」の網： これはデータに対して「賭け」を行うスマートな網です。結果に一貫性（低分散）があれば、超高速で縮まります。

論文の実験において、「ベッティング」の網はゲームチェンジャーとなりました。

単純な画像テスト（MNIST）では、主張を証明するために必要なテストの回数を10倍から30倍減少させました。
複雑な言語モデル（GPT-2 Small）では、回路がうまく機能していることを証明するために、1,875回のフォワードパスが必要だったところを、わずか102回にまで減らしました。
著者らはシミュレーションを通じて、この「ベッティング」の手法が、精度を損なうことなく、膨大なコンピュータ時間を節約できることを明らかにしました。

CIFが「しない」こと

この審判が「何をしないか」を知っておくことも重要です。CIFは、どのロボットの脳のデザインがベストであるかを教えるものではありません。また、ロボットがどのように考えているかについての特定の解説が「真の真実」であることを証明するものでもありません。それは、特定の主張（例えば「このロボットはこれらの特定のテスト条件下でこのように振る舞う」）が、統計的に堅実であり、偶然の産物ではないという不確実性の保証を提供するものです。これは検証のためのツールであり、発見のための魔法の杖ではありません。

結論

論文は、CIFを使用することで、研究者は推測をやめ、証明を開始できると示唆しています。研究者は、「私たちは、このロボットの脳がこのように機能していると95%の確信を持って言える」と言うことができ、しかもテストを実行しながら結果をチェックし続けていたとしても、そのように言えるのです。それは、不安定で非公式な推測を、強固で証明された事実へと変え、研究者が誤った手がかりに時間を浪費することを防ぎ、AIがどのように思考しているかという真の秘密を見つける手助けをします。

技術要約：Certified Interventional Fidelity (CIF)

問題提起

メカニスティック・インタープリタビリティ（機械論的解釈可能性）は、ニューラルネットワークに関する因果関係の主張を検証するために、**介入的評価（interventional evaluations）**への依存を強めています。これらの実験は、提案された説明（圧縮モデル、回路、あるいは一連のニューロンなど）が元のモデルの振る舞いを忠実に再現しているかどうかをテストするために、内部状態（例：活性化パッチング、アブレーション、隠れ状態の入れ替え）を修正するプロセスを含みます。

現在の評価手法は、統計的な厳密さに欠けています。通常、研究者は固定数の入力と介入をサンプリングし、点推定値（例：インターチェンジ介入精度やパッチング回復率）を計算し、それを決定的な主張として報告します。しかし、解釈可能性のワークフローは本質的に**逐次的かつ適応的（sequential and adaptive）**です。研究者は結果を監視し、評価セットを調整し、反例を探索し、証拠が十分に強力であると判断した時点で停止します。このような適応性を考慮した不確実性の定量化が行われない場合、報告されるフィデリティ（忠実度）は、有限のサンプリングや「pハッキング（データ依存的な停止）」によるアーティファクトとなり、主張の過大評価や手法の誤った順位付けを招く可能性があります。

手法：Certified Interventional Fidelity (CIF)

著者らは、インターベンショナルな解釈可能性の評価を、**いつでも有効な（anytime-valid）保証を持つ形式的な因果推論問題へと変換する統計フレームワークであるCertified Interventional Fidelity (CIF)**を提案しています。CIFは、既存の評価パイプラインをラップできる「統計的レイヤー」として設計されています。

1. 因果的推定量としての定式化

CIFでは、報告されるすべてのメトリックが、明示的に**有界な因果的推定量（bounded causal estimand）**として定義される必要があります。

ターゲット: 期待値 $\theta = \mathbb{E}_{(X, I) \sim \mathcal{D} \times \Pi}[Y(X, I)]$ $θ = E_{(X, I) \sim D \times Π} [Y (X, I)]$ 。ここで、
- $\mathcal{D}$ は宣言された入力分布。
- $\Pi$ は宣言された介入分布。
- $Y$ は有界なスコア（通常、 $Y \in [0, 1]$ 。例：不一致インジケータや正規化された回復スコア）。
主張のクラス:
- 抽象化／削減のフィデリティ（Abstraction/Reduction Fidelity）: 対応する介入下での高レベルモデル $M_H$ と元のモデル $M_L$ の間の乖離を測定。
- コンポーネント効果／回復（Component-Effect/Recovery）: 特定のコンポーネント（例：パッチングによるもの）を復元することで、元の振る舞いがどの程度回復するかを測定。

2. いつでも有効な信頼シーケンス (Confidence Sequences: CS)

モニタリングと適応的な停止の問題に対処するため、CIFは固定サンプル型の信頼区間ではなく、**信頼シーケンス（Confidence Sequences）**を利用します。シーケンス $(C_n)_{n \ge 1}$ が有効であるとは、 $P(\forall n \ge 1, \theta \in C_n) \ge 1 - \delta$ を満たすことを指します。これにより、評価者はタイプI過誤の発生率を増大させることなく、いつでも結果を確認し、早期に停止することが可能になります。

ホフディング型CS (Hoeffding-style CS): スコアの範囲とサンプルサイズ $n$ に基づく、単純で透明性の高い境界を提供します。
ベッティング型CS (Betting-based CS): キャピタル・プロセス（マルチンゲール、具体的にはOnline Newton Step戦略）を用い、観測されたスコアの経験的分散に適応します。この手法は、ホフディング境界と比較して、認証に必要なサンプル数を大幅に削減できます。

3. 有界な重要度重み付けを用いた適応的サンプリング

CIFは、介入分布 $\Pi$ を時間の経過とともに変更して、失敗が発生しやすい箇所や影響の大きいコンポーネントに焦点を当てる**適応的失敗指向サンプリング（adaptive failure-directed sampling）**をサポートしています。

メカニズム: サンプリング分布の変化にかかわらずターゲットの推定量 $\theta$ の妥当性を維持するために、CIFは**混合重要度重み付け（mixture importance weighting）**を採用しています。各ステップ $t$ において、サンプラーは混合分布 $q_t = (1-\alpha)\Pi + \alpha \tilde{q}_t$ から抽出を行います。ここで $\tilde{q}_t$ は履歴に基づく適応的なプロポーザルです。
保証: 重要度重み $w_t = \Pi(I_t)/q_t(I_t)$ は $W_{max} = 1/(1-\alpha)$ によって有界です。フレームワークは、適応的にサンプリングを行っている場合でも、元のターゲット $\Pi$ に対して信頼シーケンスが有効であり続けるよう、Horvitz-Thompson型の推定量とマルチンゲールベースの境界を使用します。

4. 多重比較と選択

複数のコンポーネントや回路をスキャンする場合、CIFは以下の手法を用いて選択バイアスの問題に対処することを推奨しています。

ボンフェローニ補正（各コンポーネントに $\delta/K$ を割り当て）。
逐次的な「ピーリング（peeling）」（明らかに劣っている候補に対するサンプリングの停止）。
いつでも有効な偽発見率（FDR）制御手法。

主な貢献

再定式化: 本論文は、インターベンショナルな解釈可能性のメトリックを、科学的な問い（推定量）とサンプリング手順を分離した、逐次的な因果推論問題として再定義しました。
統計的保証: 適応的なモニタリングやデータ依存的な停止が行われる状況下でも、これらの推定量に対して、有限サンプルかついつでも有効な信頼シーケンスを提供します。
適応的効率性: 有界な混合重要度重み付けを用いることで、失敗のマイニングを効率的に行いつつ、統計的な妥当性を維持する適応的CIFを導入しました。
分散適応型ベッティング: 経験的分散を活用することで、ベッティングベースの信頼シーケンスが標準的なホフディング境界と比較して、認証コストを10〜30倍削減できることを示しました。
実用的なツール群: 認証、ペア比較、および適応的サンプリングのためのアルゴリズムとともに、新しい評価にCIFを適用するためのレポート用チェックリストを提供しています。

実験結果

著者らは、主に以下の2つのベンチマークでCIFを評価しました。

MNIST ニューラル抽象化:
- 設定: 3層MLPにおける様々なプルーニングおよび圧縮手法の抽象化フィデリティ（インターチェンジ介入精度）を評価。
- 知見: 強力な介入（ $p=0.5$ ）の下では、どの手法も高フィデリティ（ $F \ge 0.90$ ）として認証できませんでした。これは、点推定値だけでは隠蔽されていた可能性のある否定的な結果です。より穏やかな介入（ $p=0.1$ ）の下では、ベッティングベースのCSは、ホフディングよりも劇的に少ないフォワードパス（例：64サンプル vs 1,141サンプル）で高フィデリティの主張を認証しました。適応的サンプリングは、すでに高いフィデリティを持っているものを認証することよりも、失敗を見つけることにおいてより効果的であることが判明しました。
GPT-2 Small IOI 回路:
- 設定: 間接目的語識別（IOI）タスクにおいて、ACDC、アトリビューション・パッチング、および手動で特定された手法によって発見された回路のパッチング回復スコアを評価。
- 知見: すべての回路が高い点推定値（ $\hat{\mu} \in [0.959, 0.972]$ ）を示しました。しかし、ホフディング境界は2,000サンプルの予算内で高閾値を認証するには広すぎました。ベッティングベースのCSは、2,000サンプルを必要としたホフディングに対し、わずか357サンプルで全13ヘッドの回路について $\mu \ge 0.95$ を認証することに成功しました。
感度とカバレッジ:
- 感度分析により、高い摂動レベルでは、不一致メトリック（例：0-1損失 vs KLダイバージェンス）の選択によって信頼区間が重ならない場合があり、メトリックの選択が定性的な結論における重要な要因となることが示されました。
- カバレッジ検証により、積極的なピーキング・プロトコル（覗き見）の下でも、ホフディングおよびベッティングCSの両方が、公称レベル（例：95%）と同等またはそれ以上の経験的カバレッジを達成することが確認されました。

意義と主張

本論文は、CIFを回路や抽象を発見するための新しい手法としてではなく、メカニスティック・インタープリタビリティの推定側面における検証レイヤーとして位置付けています。

「欠けているピース」への対処: 著者らは、因果的なフレーミングは確立されているものの、統計的な実践はしばしば非公式であることを指摘しています。CIFは、適応的な解釈可能性研究の性質に耐えうる厳密な不確実性定量化を提供することで、このギャップを埋めます。
コスト削減: 主要な実用的主張は、統計的構成（ホフディング vs ベッティング）の選択が、認証コストを桁違いに変えることができ、GPT-2のような高価なモデルに対する厳密な評価を可能にするという点です。
透明性: CIFは、研究者に、入力分布と介入分布を明示的に宣言することを強制し、主張の範囲を明確にし、これらの設計上の選択に対する感度を明らかにします。
限界: 著者らは、CIFは識別問題（例：選ばれた抽象が真に目的とする因果構造を捉えているかどうか）を解決するものではなく、あくまで推定問題（特定のメトリックと分布の下で、提案された主張のフィデリティを信頼性高く推定すること）を解決するものであると明言しています。また、スコアが有界であることを前提としていますが、クリッピングやサブガウス型のバリアントによって拡張可能です。

要約すると、CIFは「点推定値」を「認証された主張」へと変えるためのフレームワークを提供し、有限のサンプリング、モニタリング、および適応的な探索戦略に対して、メカニスティックな説明に関する結論が堅牢であることを保証します。