🤖 AI

Certified Circuits: Stability Guarantees for Mechanistic Circuits

本論文は、ランダムなデータサブサンプリングを用いることで、発見されたニューラル回路がデータセットの摂動に対して不変であることを証明可能な保証として提供し、多様なアーキテクチャやタスクにわたってよりコンパクトで正確な説明を実現することで、メカニスティック・インタープリタビリティの安定性と信頼性を高めるフレームワークである「Certified Circuits」を導入するものである。

原著者： Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある天才的で謎めいたシェフ（ニューラルネットワーク）が、「ワニのスープ」のような特定の料理をどのように作るのかを解明しようとしていると想像してください。あなたはそのレシピにおいて、どの材料や工程が不可欠なのかを正確に知りたいと考えています。

問題点：不安定なレシピ
かつて、科学者たちがコンピュータの中にこの「レシピ」（回路と呼ばれます）を見つけ出そうとしたとき、その手法は非常に脆弱なものでした。それは、まるでシェフに「このスープをワニ味たらしめているものは何ですか？」と尋ねる際、ビーチにいるワニの写真をたった一枚見せて聞くようなものでした。

するとシェフは、「ああ！それは歯と鱗です！」と言うかもしれません。しかし、もしあなたが沼地にいるワニの写真や、カートゥーンの絵を見せたら、シェフは突然こう言うかもしれません。「いやいや！実は泥水と、その近くに座っている鳥が重要なんです！」

問題は、シェフ（コンピュータ）が、概念としてのワニではなく、その写真特有の手がかり（鳥や泥など）を暗記してしまっていたことです。写真を少し変えるだけで、科学者が見つけた「レシピ」は完全に変わってしまうことがありました。これにより、説明の信頼性が損なわれていたのです。

解決策：認定回路（Certified Circuits）
この論文では、「認定回路」と呼ばれる新しい手法を紹介しています。これは、レシピに対する「安定性テスト」のようなものです。

単に一枚の写真についてシェフに尋せられるのではなく、研究者たちは次のように行います。

シャッフル： ワニの写真が大量に積み上げられたスタックを用意し、数枚をランダムに捨てたり、入れ替えたり、新しいものを加えたりします。これを何百回も繰り返し、何千通りもの、わずかに異なる「写真のスタック」を作り出します。
投票： すべての「写真のスタック」に対して、シェフに「この中で最も重要な部分はどこですか？」と尋ねます。
合意： 出てきた答えを確認します。
- もし、あらゆる異なる写真スタックにおいて、シェップが99%の確率で「歯」と言ったなら、彼らはこう言います。「認定！『歯』は間違いなくレシピの一部である」。
- もし、シェフがスタックの50%で「鳥」と言い、残りの50%で「歯」と言ったなら、彼らは**「棄権」**とします。彼らは「鳥」を最終的なレシピに含めることを拒否します。なぜなら、それはあまりにも不安定だからです。それは単なる偶然かもしれません。

これがもたらす成果
写真をどのようにシャッフルしても、シェフが一致して認める部分だけを残すことで、研究者たちはより優れた結果を得られます。

より小さく、よりクリーンに： 最終的なレシピは、元の手法を混乱させていた「ノイズ」（鳥や泥など）を排除するため、非常に短くなります。
より正確に： 混乱を招く不安定な手がかりを取り除いたことで、レシピの性能が向上しました。論文内では、これにより、難解な未知の例に対して最大56%の精度向上が示されています。
どこでも通用する： レシレシピがワニの「真の概念」（歯、鱗、鼻先）に基づいているのであれば、本物のワニを見せても、カートゥーンを見せても、あるいは沼地のワニを見せても、そのレシピは機能します。「認定」されたレシピは、元の写真にしか通用しないような脆い手がかりを無視するため、汎用性が高いのです。

結論
この論文は、この「投票」システム（彼らはこれをランダム化平滑化と呼んでいます）を用いることで、発見された「回路」（コンピュータが処理を行っている部分）が安定していることを証明できると主張しています。

彼らは単に推測しているわけではありません。入力データが（一定の範囲内で）わずかに変化したとしても、彼らが見つけた核となるレシピが変わらないことを、数学的に保証できるのです。これにより、「レシピ」は脆い推測から、コンピュータが実際にどのように考えているかを示す、強固で信頼できる説明へと変わります。

技術要約：Certified Circuits（認定された回路）

問題提起

メカニスティック・インタープリタビリティ（機械論的解釈可能性）は、ニューラルネットワーク内の特定の振る舞いや概念に責任を持つ最小限の部分ネットワーク、すなわち「回路（circuit）」を特定することを目指している。しかし、既存の回路発見手法は、決定的な堅牢性の欠如という問題を抱えている。発見された回路は、概念データセットとして選ばれた特定の例に対して非常に敏感であり、意味的に等価な例を追加、削除、または置換するだけで、回路構造に予測不可能な変化をもたらす。さらに、これらの回路は分布外（OOD）データに対して一般化できないことが多い。この不安定性は、根本的な問いを投げかける。現在の手法は、概念の真のメカニズム的表現を捉えているのか、それとも単にデータセット固有の偽の合図やアーティファクトに過学習しているだけなのか？

手法：Certified Circuits

著者らは、回路発見に対して、アルゴリズムに依存しない証明可能な安定性の保証を提供するフレームワークである Certified Circuits を提案する。核心となるアイデアは、回路発見を「概念データセットからサブグラフへのマッピング」として扱い、このマッピングがデータセットに対する限定的な編集に対して不変であることを保証することである。

コア・フレームワーク

ランダム・サブサンプリング（スムージング）： 本フレームワークは、任意のブラックボックス型の回路発見アルゴリズム $\mathcal{A}$ をラップする。これは、削除ベースの摂動メカニズムを適用することで、概念データセット $D$ の複数のランダムなサブサンプルを生成する。具体的には、各例を確率 $1 - p_{del}$ で保持し、確率 $p_{del}$ で削除するバイナリマスクをサンプリングする。
集計： ベースとなるアルゴリズム $\mathcal{A}$ を各サブサンプルされたデータセットに対して実行し、候補となる回路を生成する。その後、フレームワークは結果を集計して、各回路コンポーネント（ニューロンまたはエッジ）に対する平滑化された包含確率（ $p_u$ ）を計算する。この確率は、ランダムな削除を通じて、そのコンポーネントが選択される頻度を表している。
認定決定ルール： 各コンポーネントの決定を下すために、信頼閾値 $\tau$ $τ$ が $p_u$ $p_{u}$ に適用される：
- 認定・包含（Certified In）： $p_u > \tau$ である場合、そのコンポーネントは堅牢に包含される。
- 認定・除外（Certified Out）： $1 - p_u > \tau$ である場合、そのコンポーネントは堅牢に除外される。
- 棄権（Abstain）： いずれの条件も満たさない場合、そのコンポーネントは最終的な回路から除外される。この適応的なスパース化により、データセットの摂動に対して包含状態が不安定なコンポーネントが除去される。

理論的保証

本手法は、**データセット削除スムージング（RS-Del）**を利用して、形式的な保証を導出する。定理 3.1 は、高い信頼度（ $1-\alpha$ ）において、「包含」または「除外」と認定されたコンポーネントは、元のデータセット $D$ から特定の編集距離 $r$ 以内にある任意の概念データセット $D'$ に対して不変であることを示している。認定半径 $r$ は、削除確率 $p_{del}$ と閾値 $\tau$ の関数である。「棄権」として割り当てられたコンポーネントは除外され、これにより最終的な回路は証明可能な安定要素のみで構成されることが保証される。

主な貢献

初の証明可能な安定性フレームワーク： 回路の構造が限定的なデータセットの編集に対して不変であることを保証する、初のアルゴリズムに依存しない証明可能な堅牢性フレームワークを導入した。
理論的境界： 著者らは、認定半径に関する証明可能な境界を導出し、それらが確率閾値および削除確率にどのように依存するかを特性化した。
実証的検証： 本フレームワークは、3つのアーキテクチャ（ResNet, ViT, GPT-2）、2つのモダリティ（視覚および言語）、および4つの回路発見アルゴリズムにわたって検証された。

実験結果

著者らは、ImageNetおよび各種OODベンチマーク（視覚についてはImageNet-A, ImageNet-O, ImageNet-C, OOD-CV、言語についてはIOI/IOI-Hard/Greater-Thanタスク）を用いて、Certified Circuitsを標準的なベースライン（Top-K relevance, EAP-IGなど）と比較評価した。

十分性とコンパクト性： Certified Circuitsは、より少ないコンポーネントで、より高い精度（十分性）を達成している。
- 視覚： ImageNetにおいて、Certified Circuitsは52%少ないニューロンを使用しながら、95%の精度（ベースラインの83%に対し）を達成した。OODデータセットであるImageNet-Aでは、サイズを15%削減しながら、精度が最大56%向上（94%に到達）した。
- 言語： Certified Circuitsは、ベースラインのピーク精度に匹敵またはそれを上回りつつ、最大80%少ないエッジ（例：Greater-Thanタスクでは75%削減）を使用した。
特徴分析： 「棄権」されたニューロン（ベースラインには含まれるが、認定によって除外されたもの）の可視化により、それらが共起するもののクラス特異的ではない手がかり（例：「腕時計」クラスに対する手や手首）に反応していることが明らかになった。一方、「認定・包含」されたニューロンは、一貫してクラスを定義する特徴に反応していた。
OOD一般化： イン・ディストリビューション（分布内）データで発見された回路は、ベースラインと比較してOODシフトに対して有意に高い精度を維持しており、これは、彼らがデータセットのアーティファクトではなく、転移可能なメカニズム的構造を捉えていることを示唆している。
構造的安定性： シフトした分布上で回路を再発見した際、Certified Circuitsは元の構造とのIntersection-over-Union（IoU）が高く、不変なコアへの収束を示した。

意義と主張

本論文は、Certified Circuits が、証明可能なほど安定しており、かつターゲットとなる概念に高度に整合したメカニズム的説明を生み出すことで、回路発見を形式的な基盤の上に置くものであると主張している。適応的な棄権を通じて不安定なコンポーネントを体系的に除去することにより、本手法は、よりコンパクトで正確であるだけでなく、データセットの変動や分布シフトに対しても堅牢な回路を実現する。

著者らは、本研究が、説明が発見分布においては忠実に見えるものの、一般化に失敗するという「解釈可能性の錯覚（interpretability illusion）」に対処するものであることを強調している。限定的なデータセット編集に基づく脅威モデルを提供することで、Certified Circuitsは、デバッグ、監査、およびニューラルネットワークの理解のための信頼できるツールを提供し、解釈可能性と信頼性の間の溝を埋める。このフレームワークは、基礎となるモデルアーキテクチャや特定の回路発見アルゴリズムに依存しないよう設計されており、この分野における汎用的なソリューションとなっている。