🤖 machine learning

Conditional Co-Ablation: Recovering Self-Repair Backups in Transformer Circuits

本論文は、主要なコンポーネントが除去された後にそれらの重要性がどのように増加するかを測定することによって、自己修復メカニズムによる誤導的なアトリビューションを克服し、より効果的なモデルのプルーニングや能力のノックアウトを可能にする、トランスフォーマー回路内の休眠状態にあるバックアップコンポーネントを明らかにするラベルフリーの手法であるConditional Co-Ablation (CoAx) を紹介する。

原著者： Zhiren Gong, Zihao Zeng, Chau Yuen, Wei Yang Bryan Lim

公開日 2026-07-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhiren Gong, Zihao Zeng, Chau Yuen, Wei Yang Bryan Lim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文の解説：「Conditional Co-Ablation: Recovering Self-Repair Backups in Transformer Circuits」を、分かりやすい言葉と創造的な比喩を用いて解説します。

大きな問題：「ゴースト」のようなバックアップ

想像してみてください。そこには、メインエンジンと、隠されたバックアップエンジンを備えたハイテクな車があります。バックアップエンジンは、メインエンジンが動いている限り、完全に沈黙し、何もしないように設計されています。メインエンジンが故障した時に初めて、その役割を果たします。

ここで、あなたはメカニックとして、車のどの部品が重要かを突き止めようとしているとします。メインエンジンの重要性をテストするために、メインエンジンを取り外すことにしました。

従来の方法（一次スコアリング）： あなたはメインエンジンを取り外します。しかし、隠されたバックアップエンジンが即座に引き継いだため、車は完璧に走り続けます。それを見たあなたは、「おや、メインエンジンは実はそんなに重要ではなかったのだな。車は止まらなかったのだから！」と考えてしまいます。
間違い： また、あなたは車が通常走行している間のバックアップエンジンについても、「このバックアップエンジンは役に立たない。ただの重りだ」と判断してしまいます。

結果： あなたは、最も重要な部分を見逃してしまいました。あなたは「メインエンジンは弱い」と思い込み、「バックアップエンジンはゴミだ」と考えています。実際には、バックアップエンジンは、メインエンジンがなくなった時に初めて姿を現す「ゴースト」なのです。

AIの世界（特にGPTのような大規模言語モデル）では、これが常に起こっています。AIモデルには「自己修復」メカニズムがあります。AIの脳の主要な部分（「プライマリ」コンポーネント）を取り除くと、休眠状態だった「バックアップ」コンポーネントが目覚めて、ミスを修正してしまうのです。標準的なテスト手法では、これらのバックアップを見落としてしまいます。なぜなら、それらはAIが正常に動作している時の挙動しか見ていないからです。

解決策： COAX (Conditional Co-Ablation)

著者たちは、COAXと呼ばれる新しい手法を紹介しています。COAXを、メカニックのための「もしも（What-If）」シミュレーターだと考えてください。

単に「この部品はどれくらい重要か？」と問うのではなく、COAXは異なる問いを投げかけます。「メインエンジンをすでに取り外した後で、この部品はどれほど重要になるか？」

ステップ1：プライマリの除去。 まず、研究者はメインエンジン（プライド・コンポーネント）を特定し、それを取り除きます。AIのパフォーマンスはわずかに低下しますが、隠れたバックアップが目覚めて、ほとんどのダメージを修復します。
ステップ2：条件付きテスト。 ここで、メインエンジンが「すでに存在しない状態」で、研究者は他の部品のテストを開始します。彼らはこう問いかけます。「もし今、この特定のバックアップ部品を取り外したら、車はついに止まるだろうか？」
発見： 突然、それまで「役に立たない」と思われていたバックアップ部品が、信じられないほど重要に見えてきます。COAXは、この「重要性の増大」を測定します。これにより、以前は見えなかった「隠れたヒーロー」を見つけ出すことができるのです。

実世界の例：「名前移動（Name-Mover）」

この論文では、この手法を「間接目的語識別（IOI）」と呼ばれる特定のAIタスクでテストしました。

タスク： AIは "John and Mary went to the store. John gave a drink to..." という文章を読み、次の単語が "Mary" であると推測しなければなりません。
プライマリ： AIには、通常この役割を担う特定のパーツ（「名前移動ヘッド」と呼ばれます）が存在します。
バックアップ： もしこれらのプライマリ部分を削除しても、AIは失敗しません。他のパーツ（「バックアップ名前移動ヘッド」）が目覚めて、代わりにその役割を果たします。
従来の方法： それらはバックアップを、ほぼ役に立たないものとしてランク付けしました（発見精度が 1.0 中 0.33）。
COAX法： それらはバックアップを、最も重要な発見対象としてランク付けしました（1.0 中 0.91）。COAXは、従来のメソッドが見落としていた隠れたヘルパーを、見事に特定したのです。

なぜこれが重要なのか（「ダウンストリーム」への影響）

この論文は、これらの「ゴースト・バックアップ」を見つけることが、AI分析における3つの大きな問題を解決することを示しています。

より良い帰属（クレジットを与える）：
- 比喩： メインシェフを解雇すると、副シェフが引き継ぎ、料理の味は変わらず素晴らしいままです。もしメインシェフにだけ手柄を認めようとすれば、副シェフが実は不可欠であるという事実を見逃してしまいます。
- 結果： COAXは、普段は静かな状態にあるとしても、AIの正しいパーツにクレジット（功績）を与えることを可能にします。
真の「ノックアウト」（AIの無効化）：
- 比喩： 車を止めたい場合、バックアップエンジンが残っているなら、メインエンジンを取り除くだけでは不十分です。両方を取り除かなければなりません。
- 結果： 特定のAIの振る舞い（嘘をつくのをやめさせる、あるいは数学の問題を解くのをやめさせるなど）を停止させたい場合、バックアップも取り除く必要があります。COAXは、その振る舞いを真に「壊す」ために、どのバックアップを取り除くべきかを教えてくれます。
スマートなプルーニング（AIの軽量化）：
- 比喩： 車を軽くするために部品を取り除こうとしているとします。メインエンジンが唯一重要なものだと思って取り除いても、車はバックアップで動き続けるかもしれません。しかし、メインエンジンの前にバックアップを取り除けば、車は止まります。
- 結果： COAXは、エンジニアが（意図せずバックアップを壊すことなく）AIモデルのサイズを削減（プルーニング）するのを助けます。プライマリを削除する場合にバックアップを安全に保つか、あるいはバックアップを削除する場合にプライマリがまだ存在しているかを知ることができます。

まとめ

この論文は、**「重要性は固定された属性ではない」**と主張しています。AIのパーツは、単独で「重要」または「重要でない」のではありません。その重要性は、システム内に他に何があるかに依存します。

旧来の視点： 「このパーツは静かだから、役に立たない。」
COAXの視点： 「このパーツが静かなのは、メインのパーツが機能しているからに過ぎない。もしメインのパーツが壊れたら、このパーツはヒーローになる。」

この「条件付き（Conditional）」のアプローチを用いることで、研究者はAIモデルの堅牢性と信頼性を支えている隠れたバックアップを見つけ出し、従来のメソッドの盲点を修正することができるのです。

技術要約：条件付き共同アブレーション (COAX)

1. 問題提起

メカニスティック・インタープリタビリティ（機械論的解釈可能性）は、モデルが特定の振る舞いを生み出す仕組みを理解するために、個々のモデル構成要素（例：アテンション・ヘッド）に対して重要度スコアを割り当てることに依存している。標準的な手法は、一次（first-order）スコアリングを用いる。これは、ユニットを単独でアブレーション（除去）し、出力の変化を測定して、これらの効果を集計するものである。この手法は、コンポーネントの重要性は**加法的（additive）**であるという仮定に基づいている。

しかし、この仮定は自己修復（self-repair）（「ヒドラ効果」）が存在する場合に破綻する。自己修復とは、主要なコンポーネントが除去されたときにのみ活性化する休眠状態のバックアップ・コンポーネントがモデル内に存在する現象である。

盲点: 無傷の状態のモデルでは、バックアップ・コンポーネントは沈黙しているため、無関係（重要度が低い）に見える。しかし、主要なコンポーネントがアブレーションされると、バックアップが機能してダメージを補修し、主要コンポーネントの測定された効果を打ち消してしまう。
結果: 一次スコアは、冗長性の両面を誤読する。すなわち、バックアップがエラーを修復するため主要コンポーネントの重要性を過小評価し、かつ、バックアップ自体が休眠しているために完全に無視してしまう。これにより、不正確な帰属（attribution）、失敗した能力の無効化（knockout）、および不適切なモデルプルーニングを招く。

2. 手法：条件付き共同アブレーション (COAX)

著者らは、この問題を**条件付き回路補完（conditional circuit completion）**の問題として再定義する。すなわち、一連の主要コンポーネントの集合 $S$ が与えられたとき、 $S$ が除去された後に重要性が著しく増大する残りのユニットを特定することである。

COAXスコア

COAXは、ラベルを必要とせず、出力に基づいた、ユニットの**条件付き成長（conditional growth）**を測定するスコアである。

フィッシャー幾何学（Fisher Geometry）: この手法は、出力分布によって誘導される計量（フィッシャー情報量）におけるアブレーション効果を測定する。ユニット $u$ について、アブレーション効果はロジット摂動 $\delta z_u = z_0 - z_{\{u\}}$ である。この効果のエネルギーは、平均KLコストであり、中心化された特徴量 $\tilde{\delta z}_u$ のフィッシャー重み付きノルムによって近似される。
条件付き成長:
- $S$ を主要コンポーネントのシード集合（例：一次手法によって特定されたもの）とする。
- 候補ユニット $u$ を単独でアブレーションした際の効果 $E(\delta z_u | \emptyset)$ を計算する。
- $S$ がアブレーションされた後に $u$ をアブレーションした際の効果 $E(\delta z_u | S)$ を計算する。
- COAXスコアは、その差分である：
  $\text{comp}_u(S) = E(\delta z_u | S) - E(\delta z_u | \emptyset)$
理論的根拠:
- 命題1: 中心化された特徴量の内積とフィッシャーグラム行列を結びつけるフィッシャー恒等式を確立する。
- 命題2 (加法の盲点): クリーンな状態の統計量（例：クリーンな活性化やクリーンな勾配）のみに基づくスコアは、純粋なバックアップ（クリーンなモデルでは休眠しているもの）と不活性なユニットを区別できないことを証明する。
- 命題3 (シナジーとしての条件付き成長): 休眠ユニットに対して、条件付き成長スコアがそのユニットのシード集合 $S$ との**ペアワイズ・シナジー（二次の相乗効果）**のエネルギーを近似することを示す。これにより、COAXは一次スコアが切り捨ててしまう二次的な相互作用を回収する。

効率性

$O(|U|^2)$ のフォワードパスを必要とする明示的なペアワイズ・シナジー計算とは異なり、COAXは $O(|U|)$ のパス（単一アブレーションのスキャンと、シードごとの条件付きスキャン）のみを必要とする。これはフォワードパスのみで行われ、バックプロパゲーションやタスクラベルを必要としない。

3. 主な貢献

自己修復の定式化: 自己修復を、コンポーネントの重要性における加法性の失敗として定式化し、休眠中の補償器を回収するタスクとして「条件付き回路補完」を導入した。
COAXスコア: 休眠中のバックアップを、主要集合に対するアブレーションエネルギーの増大を測定することで露出させる、ラベルフリーでフィッシャーに基づいたスコアを導入した。
因果的検証: 回復されたヘッドが真のバックアップであることを、メカニズム的チェック（ウェイクアップ・カーブ、直接ロジット帰属のハンドオフ）および反事実的パッチング（バックアップを凍結すると自己修復が除去されること）を通じて実証した。
ダウンストリームへの有用性: これらのバックアップを回収することが、マスクされた帰属の修正、完全な能力の無効化、および構造化プルーニングの改善を可能にすることを示す。

4. 実験結果

バックアップの発見 (GPT-2-small IOI回路)

タスク: 3つの主要なname-moverに対し、文書化されている8つのバックアップname-moverヘッドを特定する。
性能:
- 一次ベースライン: 単一アブレーション・サリエンシー (0.33 AUC)、AtP (0.60)、EAP-IG (0.70)、および自己修復を考慮したAtP*GradDrop (0.82)。
- COAX: 0.91 ROC-AUCを達成。
- 有意性: COAXは、文書化された8つのバックアップのうち6つをトップ20の候補にランクインさせた。最も優れた勾配ベースのベースライン（AtP*）に対する改善は、シード集合を制御した場合に統計的に有意である（ $p < 0.05$ ）。
合成ベンチマーク: 100個の植えられたバックアップを持つ合成ベンチマークにおいて、クリーン状態のスコアはチャンスレベルまたはそれ以下（0.42–0.51）であったのに対し、COAXは0.90に達し、一次手法の理論的盲点を裏付けた。

汎用性

スケール: 「ウェイクアップ」現象（主要コンポーネントのアブレーションに伴う出力ノルムの増大）は、GPT-2-small, medium, large 全体で観察される。
アーキテクチャ: 8つのモデル（Pythia, GPT-Neo, Gemma, Llama, Qwen, OLMo）にわたるインダクション回路に適用。COAXは、インダクションの対数確率を大幅に低下させる（ランダムよりも2.1倍から12倍高い）補償セットを回収し、ラベルフリーの転移可能性を示した。

ダウンストリームへの応用

帰属の回収: 主要コンポーネントのみをアブレーションすると、IOIのロジット差は自己修復によってマスクされ、わずか0.22しか低下しない。COAXで回収されたバックアップを追加すると、その低下は1.76まで回復し、真の因果効果を明らかにする。
能力の無効化 (Capability Knockout): IOIの振る舞いを無効化するには、バックアップを除去する必要がある。
- 主要コンポーネントのみの除去: 正解率は約0.97のまま（自己修復が作動）。
- 主要コンポーネント + COAXバックアップの除去: 正解率は0.70まで低下し、文書化されたオラクル（0.72）と一致する。
- 主要コンポーネント + 「自身の」次ランクのヘッド（一次手法による追加除去）: 正解率は0.24まで低下し、コアコンポーネントへの過剰なアブレーションを示唆している。
構造化プルーニング: 各除去の後にCOAXスコアを再測定する逐次的なプルーニング戦略は、124Mから7Bパラメータまでのスケールにおいて、すべてのベースライン（Random, Magnitude, Wanda, Taylor）を上回る。50%のスパース性において、COAXは競合他社よりも密度が高いモデルのパープレキシティに極めて近い値を維持する。

5. 意義と主張

本論文は、コンポーネントの重要性はユニットの固有の属性ではなく、回路の他の部分の状態に**依存（conditional）**するものであると主張している。

動機: 堅牢な回路において、最も重要なコンポーネントは、主要なものが失敗するまで沈黙しているものであることが多い。一次手法は、これらを単独でスコアリングするため、これらの「隠れたヒーロー」を体系的に見逃してしまう。
運用の転換: COAXは、「ユニットを単独でスコアリングする」ことから、「除去されたものに対して相対的にユニットをスコアリングする」ことへのパラダイムシフトをもたらす。
限界と範囲:
- COAXは補完ツールであり、単独の発見ツールではない。これには（一次手法で見つけられる）主要なシード集合が必要である。
- 本手法は、休眠置換レジーム（IOIのバックアップなど）において最も効果を発揮する。冗長性が共発火する同質なヘッド間で共有されているレジーム（インダクションなど）では、COAXは負荷を担うセットを見つけ出すが、明確に異なる「バックアップ・クラス」を特定するわけではない。
- 現在、手法はアテンション・ヘッドの粒度で実装されており、MLP主導の回路（例：「greater-than」回路）における強い信号は回収できていない。これは、回路のメカニズム（MLPかAttentionか）が自己修復の回収可能性を左右することを示唆している。

結論として、堅牢なモデルの忠実な解釈可能性は**条件的（conditional）**でなければならない。冗長性は、平均化されるべきノイズではなく、完全な回路を明らかにするために条件付けるべき構造なのである。