A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations: I. The Single-Block Theory and Synthetic Validation

探偵のジレンマ：AIの脳を理解しようとする私たちの試み

想像してみてください。あなたは、物語を語ったり、数学の問題を解いたり、詩を書いたりできる、巨大で複雑な機械を目の前にしています。あなたは、それが「どのように」機能しているのかを知りたいと考えています。中央にある歯車でしょうか？ 上部にあるバネでしょうか？ これを知るために、科学者は主に2つのトリックを使います。1つ目は**アクティベーション・パッチング（Activation Patching）です。これは、機械が物語を動かしている最中に一時停止し、特定の歯車を別の物語の歯車と入れ替え、物語の展開が変わるかどうかを見るようなものです。もし物語が変われば、その歯車は重要だったということになります。2つ目のトリックはウェイト・スペース・アブレーション（Weight-Space Ablation）**です。これは、機械を一時停止させる代わりに、ドライバーを使ってその歯車を永久に取り除くか、あるいは「ゼロにする」方法です。その後、再び機械を動かします。もし物語が壊れてしまったら、その歯車は重要だったということです。

長い間、科学者たちはこれら2つのトリックが同じ答えを導き出すことを期待していました。もし特定の瞬間においてある歯車が重要であるなら（パッチング）、それは機械の全体的な設計においても重要であるはずだ（アブレーション）と考えていたのです。しかし、人工知能の世界では、物事はそれほど単純ではありません。時には、機械の中にバックアップ用の歯車が大量に備わっているため、一つを取り除いても何も壊れない一方で、物語の途中で入れ替えると大惨事を引き起こす、ということが起こり得ます。この論文は、極めて重要な問いを投げかけます。「これら2つの探偵の手法は、いつ一致し、いつ私たちを欺くのか？」 著者は単に推測するのではなく、なぜこれらの手法が食い違いを生じるのかを正確に証明するために数学的モデルを構築し、その数学が現実世界でも通用するかどうかを、小さな擬似的なAIの脳を用いてテストしています。

---

論文：なぜ2つの探偵の手法は食い違うのか

『A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations』と題されたこの論文は、AIモデルがどのように意思決定を行うかというメカニズムを深く掘り下げたものです。著者であるアブドゥラ・ケミス（Abdallah Khemais）は、AIを謎めいたブラックボックスとしてではなく、混ぜ合わされる数学的な材料の集合体として扱っています。彼らは、「赤」のトークンを見たらある行動をし、「青」のトークンを見たら別の行動をする、という「条件付き計算（conditional computation）」と呼ばれる特定のAIの振る舞いに焦点を当てています。

3つの大きな発見

この論文は、簡略化された数学モデルを用いて主に3つのことを証明し、それらが実際の訓練されたAIモデルにおいても発生するかどうかを確認しています。

1. 「完全な崩壊」（パーツを取り除くとAIが忘却する現象）
AIが2つの経路、すなわち経路A（「反転」ルート）と経路B（「リテラル」ルート）の間で判断を下している場面を想像してください。著者は、特定の「キャリア（担い手）」（決定を運ぶAIのパーツ）を取り除くと、AIが経路Aと経路Bの違いを突然忘れてしまう可能性があることを証明しています。つまり、単一の無条件な回答へと崩壊してしまうのです。

• 落とし穴： これは、取り除かれるプロセスが完全にバランスが取れている場合にのみ起こります。もし経路Aへと押し進めるパーツを取り除くのであれば、経路Bへと押し進めるパーツも全く同じ強さで取り除かなければなりません。もしバランスが崩れていれば、AIは崩壊するのではなく、単に混乱するだけになります。
• 実世界でのテスト： 著者は、キーと値を記憶しなければならないゲームを用いて、小さなAIモデルを訓練しました。その結果、ある部分を取り除くとAIが誤った経路を選択することもありましたが、別の組み合わせのパーツを取り除くと、今度は「反対の」誤った経路を選択することがわかりました。この「極性の逆転（polarity reversal）」は、AIが単にランダムに失敗しているのではなく、数学が予測した通り、非常に具体的かつ予測可能な形で崩壊していることを証明しました。

2. 「パッチ vs アブレーション」の不一致（冗長性の罠）
これは、この論文の中で最も遊び心があり、かつ驚くべき発見です。著者は、アクティベーション・パッチングとウェイト・アブレーションは、全く異なるものを測定していることを示しています。

• 比喩： 5人のチームが重い箱を運んでいる場面を想像してください。「誰が一人で箱を運べるほど強いか？」と尋ねて、一人のメンバーをスーパーパワーを持つ巨人に置き換えた場合（パッチング）、箱は部屋の端まで飛んでいってしまうでしょう。その人は「十分な能力（sufficient）」を持っています。しかし、「誰が必要不可欠か？」と尋せ、静かに一人のメンバーをチームから取り除いた場合（アブレーション）、残りの4人がカバーしてしまうため、箱は落ちません。
• 発見： 論文では、あなたが（パッチングによって）入れ替えた場合、結果が劇的に変わる（リカバリー比率が1を超え、目標をオーバーシュートする）状況であっても、それと同じコンポーネントをアブレーション（除去）した場合には、AIは完璧に動作し続けるという状況が数学的に存在することを証明しています。これが、あるAIのパーツが、あるテストではヒーローのように見え、別のテストでは役に立たない装飾品のように見える理由です。

3. 「隠れた相互作用」（パーツ同士の対話）
簡略化された数学モデルは、AIの各パーツがサラダの具材のように独立して機能することを前提としています。しかし、実際のAIモデルでは、パーツ同士が対話することがよくあります。具体的には、著者は同じレイヤー内にある「アテンション・ヘッド（Attention Head）」（他の単語を見るパーツ）が、「MLP（多層パーセプトロン）」（結果を処理するパーツ）とどのように相互作用するかを調査しました。

• 数学： 著者は、アテンション・ヘッドを取り除くと、それがMLPへの入力を変化させ、「波及効果（ripple effect）」や「相互作用項（interaction term）」を生み出すことを示す精密な公式を導き出しました。これは単純なモデルが無視してしまう部分です。
• 証明： もしMLPだけを取り除いた場合、この波及効果は消失することを示しました（数学的に正確です）。しかし、アテンション・ヘッドを取り除いた場合、この波及効果は実在し、測定可能となります。
• 実験： 著者は、これらのAIモデルにおける「相互作用の大きさ（interaction magnitude）」を測定しました。その結果、強い負の相関（スペアマンの順位相関係数 -0.83）が見つかりました。つまり、隠れた相互作用が大きければ大きいほど、単純なモデルによる予測の精度は低くなるのです。

「おっと」の瞬間：魔法の閾値は存在しない

ここで、論文は非常に誠実かつ科学的になります。当初、著者は、単純なモデルが機能する場合と失敗する場合を分ける「魔法の数字」や明確な境界線が見つかるのではないかと考えていました。14の特定のセットアップを調べたところ、一部は相互作用がゼロであり、他は相互作用が高く、モデルが完璧に機能するケースが見られるという、きれいな隔たりがありました。

しかし、その後、25の追加のセットアップ（アウト・オブ・サンプル）をテストしたところ、そのきれいな隔たりは消えてしまいました。 失敗するはずのセットアップがうまく機能することもあり、逆にうまくいくはずのものが失敗することもありました。

• 結論： 著者は、相互作用の「大きさ」が単純なモデルがどれほど間違っているかを予測する優れた指標ではあるものの、「これなら安全、これはダメ」と言えるような単一の「カットオフ値（境界値）」は存在しないことを認めています。その関係は、スイッチのような切り替えではなく、滑らかな曲線なのです。彼らは、最初に見た「明確な分離」は、おそらくサンプルサイズが小さかったことによる偶然の産物であったと明言しており、現実の世界はより複雑であることを示しています。

なぜこれが重要なのか

この論文は、単に「AIは難しい」と言っているだけではありません。私たちの理解のためのツールが、なぜ誤解を招く可能性があるのかについて、精密な地図を提供しています。

• AIのパーツが除去した際に「使い物にならない（dispensable）」ように見えるのは、そのパーツが重要でないからではなく、単にAIが冗長であるからかもしれない、ということを教えてくれます。
• AIを理解したいのであれば、一つの手法（パッチングやアブレーションなど）だけに頼るのではなく、それらがどのように異なるかという数学を理解する必要がある、ということを教えてくれます。
• 最も重要なのは、モデルが「どの程度」失敗するかを予測することはできても、単純な「イエスかノーか」のルールで「いつ」失敗するかを正確に予測することは、まだできていないということを示している点です。

著者は、理想化されたモデル（単純な数学）は強力なツールであるが、既知のエラー項を持っていると結論づけています。そのエラー項を測定することで、私たちはAIの冗長性に騙されることなく、AIが実際に何を行っているのかをより鮮明に把握することができるのです。これは、AIを理解しようとする探求において、真実とはしばしば「スイッチ」ではなく「グラデーション」であることを思い出させてくれます。