Dissecting Jet-Tagger Through Mechanistic Interpretability

本論文は、粒子変換器ジェットタグガーに機械的解釈性手法を適用し、エネルギー相関関数に基づく表現と特定の源中継読み出しアーキテクチャに依存する疎な6ヘッド回路がモデルの完全な分類性能を回復できることを明らかにするとともに、勾配降下法が物理的に意味のあるジェットサブ構造特徴を自然に発見することを示している。

要約

「メカニズム的解釈性によるジェット・タッガーの解明」という論文の解説を、日常言語とアナロジーを用いて翻訳したものです。

全体像：ブラックボックスの扉を開く

粒子加速器で生成された粒子の「ジェット」と呼ばれるカオスな犯罪現場を調べ、これは「トップクォーク（容疑者）」か、それとも単なる「ランダムな背景ノイズ（QCD）」かを判断するよう訓練された、非常に熟練した探偵（Particle Transformer というコンピュータプログラム）を想像してください。

長らく、この探偵が事件を解決する能力に優れていることはわかっていましたが、その「どのように」働いているかは不明でした。それは「ブラックボックス」だったのです。この論文は、探偵の脳を解明し、どのニューロンがどのタイミングで発火しているかを正確にマッピングし、彼らがどのようにして判決に至るのかを段階的に説明するために、法医学チームを雇うようなものです。

探偵の脳：専門家チーム

研究者たちは、この探偵が事件を解決するために脳全体を使っているわけではないことを発見しました。代わりに、利用可能な 16 人のうちわずか6 人の専門家という小さく効率的なチームに、作業の 97% を依存しています。彼らはこのチームを**「回路（Circuit）」**と呼んでいます。

ここでは、リレー走のアナロジーを用いて、この 6 人チームがどのように機能するかを説明します。

1. スカウト（一次ソース）: 脳の最初の層にある一人の専門家がスカウトとして機能します。この人物は直接「悪人」を探しているわけではありません。代わりに、彼らは「背景ノイズ（柔らかく衝突する粒子）」を群衆の中でスキャンします。ノイズを理解することで、彼らは他の全員のために舞台を整えます。彼らは最も重要な人物です。もし彼を除去すれば、チームは事件を解決する能力のほとんどを失います。
2. 二人目のスカウト（二次ソース）: 最初の層にあるもう一人の専門家がスカウトを支援します。彼らはスカウトと非常に似ていますが、わずかに異なる詳細に焦点を当てています。
3. リレーランナー（中間層）: 中間層にある 3 人の専門家がランナーとして機能します。彼らはスカウトからの情報を受け取り、特定のものを探索します。それは**「重く、エネルギーの高い粒子のペア」**です。粒子物理学の世界では、トップクォークは「W ボソン」に崩壊し、それがさらに 2 つの重い粒子に分裂します。これらのランナーは、この重いペアを見抜くことに長けた専門家です。
   • 重要な発見: 探偵は本来「トップクォーク（3 部分構造）」を見つけるはずですが、これらのランナーは実際には「W ボソン（2 部分構造）」だけを探しています。論文は、探偵が「もし重い 2 部分の W ボソンを見つけられれば、それがトップクォークである可能性がかなり高い」というショートカットを見つけたことを示唆しています。まるで、犯罪現場全体を再構築しようとするのではなく、凶器を見つけることで殺人事件を解決するようなものです。
4. 裁判官（読み出し）: 最終層にある一人の専門家が裁判官として機能します。彼らは直接粒子を見ているわけではありません。代わりに、リレーランナーからの報告を受け取り、それを要約して最終的な判断を下します。「有罪（トップクォーク）」か「無罪（背景）」か。

「アハ！」の瞬間：新しいアイデアではなく、新しい言語

この論文で最も驚くべき発見の一つは、探偵がいつ判断を下すかという点に関わっています。

通常、探偵は層ごとに証拠を集め、最後に突然「犯人は誰だ！」と叫ぶものだと考えられています。しかし、研究者たちは、探偵が実際には最初のスキャン層の直後にはほぼ答えを知っていることを発見しました。

では、なぜ最終段階はそれほど劇的に見えるのでしょうか？

• アナロジー: 探偵が最初の層で、秘密のコード（異なる言語）で答えを書き留めていると想像してください。最終段階は「考える」ことでも「新しい証拠を見つける」ことでもありません。それは単に、その秘密のコードを裁判官が読めるように**「翻訳」**するだけです。
• 論文はこの現象を**「基底回転（Basis Rotation）」**と呼んでいます。情報は最初からそこにあり、最終的な出力によって理解されるために、適切な向きに回転させる必要があっただけなのです。

探偵は実際に何を学んだのか？

研究者たちはまた、探偵がどのような「物理学」を学んだかも確認しました。彼らは探偵の内部メモを、人間の専門家によって使用される標準的な物理学の公式と比較しました。

• 結果: 探偵は、人間が通常使用する複雑な 3 部分の公式を無視しました。代わりに、それは自然に発見し、より単純な 2 部分の公式（エネルギー相関関数と呼ばれる）を好みました。
• 教訓: コンピュータは人間から「W ボソンを探せ！」と教わる必要はありませんでした。重い 2 部分の崩壊を見つけることが、パズルを解く最も簡単で信頼性の高い方法であることを、自ら見つけ出したのです。ゲームに勝つことだけを試みることで、意味のある物理的な真実を再発見したのです。

まとめ

この論文は、高エネルギー物理学で使用される複雑な現代の AI を取り出し、その内部にある単純で論理的な回路を見つけ出すためにリバースエンジニアリングできることを証明しています。

1. 効率的である: 6 つの「ニューロン」からなる小さなチームが、ほぼすべての作業を行います。
2. 論理的である: チームは明確な経路に従います。ノイズをスキャン $\rightarrow$ 重いペアをリレー $\rightarrow$ 結果を判断。
3. 賢明である: AI は、大きな問題（トップクォークを見つける）を解決する最良の方法は、より単純な部分問題（2 部分の W ボソンを見つける）を解決することだと見つけ出しました。
4. 翻訳である: AI の最終段階は、新しい発見ではなく、初期の秘密の知識を最終的な答えに翻訳するだけです。

著者らは、チャットボットのような AI 言語モデルを理解するために使用するツールが、粒子物理学における AI を理解するためにも完全に機能し、これらの機械が自ら深い物理的な真実を学習しうることを明らかにしていると結論付けています。

技術概要

技術的サマリー：機械的解釈可能性による Jet-Tagger の解明

問題提起
深層学習アーキテクチャ、特に Particle Transformer（ParT）は、ハドロン性トップクォーク崩壊を QCD 背景ジェットから区別するジェットタグgingタスクにおいて、最先端のパフォーマンスを達成しています。しかし、これらのモデルが分類判断に至る内部の計算メカニズムは依然として不透明です。従来の研究では、事後の帰属手法（シャプレイ値、サリエンシーマップなど）やアテンション可視化が利用されてきましたが、これらのアプローチは「どの」入力が重要かを特定するものの、ネットワークがそれらを「どのように」組み合わせるかを説明したり、その振る舞いを司る最小の因果的サブネットワーク（回路）を分離したりすることはできませんでした。本論文は、自然言語モデル向けに開発された機械的解釈可能性のフルツールキットをジェット物理学の分類器に適用することで、このギャップを埋めることを目指しています。

手法
著者は、トップクォークタグging参照データセットのサブセット（シグナル：$t \to Wb \to q\bar{q}b$；バックグラウンド：軽いクォーク/グルーオン）に対して、小型の Particle Transformer（4 粒子アテンション層、層あたり 4 ヘッド、パラメータ数約 130 万）を訓練しました。分析には、介入およびプロービング手法の suite が採用されています：

1. ゼロアブレーション（Zero Ablation）： 個々のアテンションヘッドの出力を体系的にゼロに設定し、平均ログオッズ差の低下を通じてその構造的な重要性を測定します。
2. パスパッチング（Path Patching）： 「クリーン」な入力における特定ヘッドの出力を、「汚染」された入力に置換する因果的介入手法です（バッチ内の粒子置換またはジェット全体の順列を使用）。これにより、ヘッド間の直接的な効果とパス効果（情報フロー）を分離します。
3. ログイットレンズ（Logit Lens）と層別プローブ： 標準的なロギットレンズは、中間表現を最終訓練済み分類ヘッドを通じて投影します。基底の不一致を解決するため、著者は各層の表現に対して層ごとのロジスティック回帰プローブを訓練し、クラス情報の真の線形アクセス可能性を決定しました。
4. 線形プロービング： 残差ストリームから古典的なジェットサブ構造観測量（例：$N$-サブジェッティネス、エネルギー相関関数）を予測するために Ridge 回帰モデルを訓練し、内部表現の物理的性質を特徴付けます。

主要な貢献と結果

• スパースな 6 ヘッド回路の同定： ゼロアブレーションとパスパッチングを通じて、著者は完全モデルの AUC の**97.3%**を回復させる最小の 6 つのアテンションヘッドからなる回路を同定しました。この回路は、ランダムにサンプリングされた 6 ヘッド部分集合よりも著しく高性能であり、ランダムなベースライン分布の 96 パーセンタイルに位置します。
• 因果構造（ソース - リレー - リードアウト）： 回路は明確な因果的階層を示します：
  • 一次ソース（$L0H1$）： 最初の粒子アテンション層にある単一のヘッドであり、主要な因果的ソースとして機能します。これ単独で完全モデルの AUC の 88.6% を回復し、パスパッチングにおいて「スーパーリカバリー」を示します。これは軟らかく共線な粒子対を優先的にアテンションし、文脈的な正規化を提供します。
  • 二次ソース（$L0H2$）： 同一層にあるヘッドで、$L0H1$ と類似した表現空間を持ちながら、異なる因果的役割を果たし、補完的な信号を寄与します。
  • リレーヘッド（$L1H0, L1H1, L1H3$）： 2 層目にクラスターを形成するヘッド群で、硬いペアワイズサブ構造（高い不変質量、高い$k_T$）を選択的にアテンションします。これらの機能は、ソースヘッドからのアップストリーム信号に条件付けられています。
  • リードアウトヘッド（$L3H3$）： 4 層目に位置する単一のヘッドで、リレーされた信号を統合します。
• 基底回転対情報獲得： 標準的なロギットレンズ分析では、クラス情報は最初のクラスアテンションブロック（$Cls0$）でのみ出現し、AUC が 0.111 から 0.973 に跳躍すると示唆されました。しかし、層ごとに訓練されたプローブは、クラス判別信号が最初の粒子アテンション層（$L1$）ですでにAUC $\approx$ 0.97で線形アクセス可能であることを明らかにしました。したがって、$Cls0$ における劇的な跳躍は、新しい情報の生成ではなく、潜在信号を最終分類ヘッドの基底に整合させる基底回転として解釈されます。
• 物理的性質：3 プrong よりも 2 プrong 符号化の優先： 古典的観測量に対する残差ストリームの線形プロービングにより、モデルは 3 プrong タグgingタスクであるにもかかわらず、2 プrongエネルギー相関観測量（例：$D^{(\beta=1)}_2$）を3 プrong観測量（例：$C^{(\beta=1)}_3, N^{(\beta=1)}_3$）よりも優先的に符号化していることが判明しました。モデルは明示的に問題を因数分解し、完全な 3 体トポロジーではなく、ハドロン性 W ボソン崩壊（2 プrong サブ構造）の同定に焦点を当てています。この傾向は、ジェット質量に対して残差化を行った後でも維持されます。
• エネルギー相関関数基底： 残差ストリームは、$N$-サブジェッティネス基底よりもエネルギー相関関数基底と優先的に整合しており、モデルが明示的な監督なしに勾配降下を通じて物理的に意味のある構造を再発見したことを示唆しています。

意義と主張
本論文は、自然言語モデル向けに開発された機械的解釈可能性手法が、ジェット物理学の分類器へも成功裏に転用できることを実証していると主張しています。その知見は以下のことを示しています：

1. 勾配降下は、アーキテクチャに明示的な物理的制約がない場合でも、ジェットタグgingの物理的に意味のある側面（特に、トップ崩壊を W ボソン部分問題に因数分解すること）を再発見し得る。
2. ここで同定されたソース - リレー - リードアウト回路構造は、言語モデルの特定の構造とは区別される、物理学ドメイン固有の Transformer における特徴的なパターンである可能性がある。
3. この研究は、運動学的に狭い物理学データセットにおけるパスパッチングのために多様体上の汚染戦略の必要性を浮き彫りにしており、多様体外（ガウス分布）の汚染は、標準的な回復スコア定式化との構造的な非互換性を招く可能性がある。

著者は、発見の普遍性については慎重であり、特定の 6 ヘッド回路は小型モデルで同定されたものであり、より大規模なモデルはより豊かな回路構造を持つ可能性があることに言及しています。また、線形プローブは非線形符号化を検出しないため、情報量の下限を提供することに過ぎないことも認めています。