Dissecting Jet-Tagger Through Mechanistic Interpretability

本文将机理可解释性技术应用于粒子变换器喷注标记器，揭示出一种依赖基于能量关联器表示的稀疏六头电路及特定源 - 中继 - 读出架构，在恢复模型完整分类性能的同时，证明了梯度下降法能自然发现具有物理意义的喷注子结构特征。

要点

以下是论文《通过机械可解释性剖析喷注标记器》的通俗化解释，并辅以类比说明。

全局概览：打开黑箱

想象一位技艺高超的侦探（一个名为粒子 Transformer的计算机程序），他受训于观察混乱的犯罪现场（粒子对撞机中产生的粒子“喷注”），并做出判断：“这是顶夸克（嫌疑人）还是仅仅是随机的背景噪声（QCD）？”

很长一段时间里，我们知道这位侦探破案能力极强，却不知道他如何做到。它是一个“黑箱”。这篇论文就像聘请了一支法医团队，去打开侦探的大脑，精确描绘哪些神经元在激活，并解释他们得出结论所遵循的逐步逻辑。

侦探的大脑：一个专家团队

研究人员发现，侦探并非动用整个大脑来破案，而是依赖一个微小且高效的六人专家小组（在可用的 16 人中）来完成 97% 的重任。他们称这个小组为**“电路”**。

以下是这个六人小组如何运作，采用接力赛的类比：

1. 侦察兵（主要来源）： 大脑第一层中的一位专家充当侦察兵。此人并不直接寻找“坏人”，而是扫描人群以寻找“背景噪声”（软碰撞粒子）。通过理解噪声，他们为其他人奠定了基础。他们是最重要的人；如果移除他们，团队几乎会丧失所有破案能力。
2. 第二侦察兵（次要来源）： 第一层中的另一位专家协助侦察兵。他们与侦察兵非常相似，但关注点略有不同。
3. 接力跑者（中间层）： 中间层的三位专家充当跑者。他们从侦察兵那里获取信息，并寻找特定的东西：沉重且高能的粒子对。在粒子物理学中，顶夸克衰变为"W 玻色子”，随后分裂为两个重粒子。这些跑者是识别这些重粒子的专家。
   • 关键发现： 尽管侦探本应寻找“顶夸克”（一种 3 部分结构），但这些跑者实际上只是在寻找"W 玻色子”（一种 2 部分结构）。论文表明，侦探发现了一个捷径：“如果我能找到沉重的 2 部分 W 玻色子，我就能相当确定它是顶夸克。”这就像侦探通过找到凶器来破案，而不是试图重构整个犯罪现场。
4. 法官（读出层）： 最后一层中的一位专家充当法官。他们不直接观察粒子，而是接收接力跑者的报告，进行总结，并做出最终裁决：“有罪”（顶夸克）或“无罪”（背景）。

“顿悟”时刻：并非新想法，只是新语言

论文中最令人惊讶的发现之一涉及侦探何时做出决定。

通常，我们认为侦探逐层收集线索，然后在最后突然大喊：“我知道是谁干的！”然而，研究人员发现，侦探实际上在几乎第一时间（第一层扫描后）就知道答案了。

那么，为什么最后一步看起来如此戏剧化？

• 类比： 想象侦探在第一层就已经用秘密代码（另一种语言）写下了答案。最后一步并非“思考”或“寻找新线索”，而仅仅是翻译该秘密代码，将其转化为普通英语，以便最终法官能够阅读。
• 论文将此称为**“基旋转”**。信息早已存在；它只需要被旋转到正确的方向，以便最终输出能够理解。

侦探实际上学到了什么？

研究人员还检查了侦探学到了什么样的“物理知识”。他们将侦探的内部笔记与人类专家使用的标准物理公式进行了比较。

• 结果： 侦探忽略了人类通常使用的复杂 3 部分公式。相反，它自然地发现并偏好更简单的 2 部分公式（称为能量关联子）。
• 启示： 计算机不需要人类告诉它：“去寻找 W 玻色子！”它自己意识到，寻找沉重的 2 部分衰变是解决谜题最简单、最可靠的方法。它仅仅通过尝试赢得比赛，就重新发现了一个有意义的物理真理。

总结

这篇论文证明，我们可以对高能物理中使用的复杂现代人工智能进行逆向工程，从而在内部发现一个简单、逻辑清晰的电路。

1. 高效： 一个由 6 个“神经元”组成的微小团队完成了几乎所有工作。
2. 逻辑： 团队遵循清晰的路径：侦察噪声 $\rightarrow$ 传递重粒子对 $\rightarrow$ 裁决结果。
3. 智能： 人工智能意识到，解决一个更简单的子问题（寻找 2 部分 W 玻色子）是解决大问题（寻找顶夸克）的最佳方式。
4. 翻译： 人工智能的最后一步仅仅是将其早期的秘密知识转化为最终答案，而非新的发现。

作者得出结论，我们用于理解人工智能语言模型（如聊天机器人）的工具，同样完美适用于理解粒子物理学中的人工智能，揭示了这些机器能够独立学习深刻的物理真理。

技术摘要

技术摘要：通过机械可解释性剖析 Jet-Tagger

问题陈述
深度学习架构，特别是粒子变换器（ParT），在喷注标记任务（例如区分强子化顶夸克衰变与 QCD 背景喷注）中已实现最先进性能。然而，这些模型做出分类决策的内部计算机制仍不透明。虽然先前的工作利用了事后归因方法（如 Shapley 值、显著性图）或注意力可视化，但这些方法仅能识别哪些输入很重要，却无法解释网络如何组合它们，也无法分离出负责该行为的最小因果子网络（电路）。本文旨在通过将最初为自然语言模型开发的机械可解释性全套工具应用于喷注物理分类器，来弥合这一差距。

方法论
作者在顶夸克标记参考数据集的一个子集上训练了一个小型粒子变换器（4 层粒子注意力层，每层 4 个头，约 130 万参数）（信号：$t \to Wb \to q\bar{q}b$；背景：轻夸克/胶子）。分析采用了一系列干预和探测技术：

1. 零消融（Zero Ablation）： 系统性地将单个注意力头的输出设为零，通过平均对数几率差（logit difference）的下降幅度来衡量其结构重要性。
2. 路径修补（Path Patching）： 一种因果干预方法，将特定头在“干净”输入上的输出替换到“损坏”输入中（使用批次内粒子替换或整个喷注置换）。这隔离了头与头之间的直接效应和路径效应（信息流）。
3. Logit Lens 与逐层探针： 标准的 Logit Lens 将中间表示通过最终训练好的分类头进行投影。为了解决基失配问题，作者还在每一层的表示上训练了逐层逻辑回归探针，以确定类别信息的真实线性可访问性。
4. 线性探测（Linear Probing）： 训练岭回归模型，从不同深度的残差流中预测经典喷注子结构可观测量（例如 $N$-subjettiness、能量关联函数），以表征内部表示的物理内容。

主要贡献与结果

• 稀疏六头电路的识别： 通过零消融和路径修补，作者识别出一个由六个注意力头组成的最小电路，该电路恢复了完整模型 97.3% 的 AUC。该电路的性能显著优于随机采样的六头子集（位于随机基线分布的第 96 百分位）。
• 因果结构（源 - 中继 - 读出）： 该电路表现出清晰的因果层级：
  • 主源（$L0H1$）： 第一层粒子注意力层中的单个头，作为主要因果源。它单独恢复了完整模型 88.6% 的 AUC，并在路径修补中表现出“超恢复”（super-recovery）。它优先关注软粒子和共线粒子对，提供上下文归一化。
  • 次级源（$L0H2$）： 同一层中的一个头，具有与 $L0H1$ 相似的表示空间，但因果角色不同，贡献了互补信号。
  • 中继头（$L1H0, L1H1, L1H3$）： 第二层中的一组头，选择性地关注硬成对子结构（高不变质量、高 $k_T$）。它们的功能依赖于来自源头的上游信号。
  • 读出头（$L3H3$）： 第四层中的单个头，聚合中继信号。
• 基旋转与信息增益： 标准的 Logit Lens 分析表明，类别信息仅在第一个类别注意力块（$Cls0$）中显现，AUC 从 0.111 跃升至 0.973。然而，逐层训练的探针揭示，类别判别信号在第一个粒子注意力层（$L1$）时就已经线性可访问，AUC 约为 0.97。因此，$Cls0$ 处的剧烈跃升被解释为并非新信息的生成，而是一种基旋转，将潜在信号与最终分类头的基对齐。
• 物理内容：2-普朗特优于 3-普朗特编码： 对残差流针对经典可观测量进行线性探测发现，尽管任务是 3-普朗特顶夸克标记，模型却优先编码2-普朗特能量关联可观测量（例如 $D^{(\beta=1)}_2$），而非3-普朗特可观测量（例如 $C^{(\beta=1)}_3, N^{(\beta=1)}_3$）。模型隐式地将问题分解，专注于识别强子化 W 玻色子衰变（一种 2-普朗特子结构），而非完整的 3 体拓扑。即使在针对喷注质量进行残差化处理后，这种偏好依然存在。
• 能量关联基： 残差流优先与能量关联基对齐，而非 $N$-subjettiness 基，这表明模型在没有显式监督的情况下，通过梯度下降重新发现了具有物理意义的结构。

意义与主张
本文主张，为自然语言模型开发的机械可解释性方法可以成功迁移到喷注物理分类器中。研究结果表明：

1. 梯度下降可以重新发现喷注标记中具有物理意义的方面（特别是将顶夸克衰变分解为 W 玻色子子问题），而无需在架构中引入显式的物理约束。
2. 此处识别的源 - 中继 - 读出电路结构可能是物理领域 Transformer 的特征模式，区别于语言模型的具体结构。
3. 该研究强调了在运动学狭窄的物理数据集中进行路径修补时采用流形内（on-manifold）损坏策略的必要性，因为流形外（高斯）损坏可能导致与标准恢复分数公式的结构不兼容。

作者对其发现的普遍性保持谦逊，指出特定的六头电路是在小型模型上识别的，更大的模型可能拥有更丰富的电路结构。他们还承认，线性探针提供了信息含量的下限，因为未检测到非线性编码。