Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

本文研究了利用贝叶斯程序和深度证据回归（Deep Evidential Regression）来优化各种神经网络架构（全连接、CNN 以及 Dense+RNN），使其能够在 ATLAS 量热计 FPGA 上运行，从而在 HL-LHC 预期的极高堆积条件下，实现比现有方法更优越的能量分辨率和准确的不确定性估计。

要点

想象一下，ATLAS探测器就像是一个巨大的、超灵敏的麦克风，正在倾听着宇宙的声音。在大型强子对撞机（LHC）中，每隔25纳秒，两束质子就会发生碰撞，创造出一场由粒子组成的混乱交响乐。这个“麦克风”（具体指液氩量热计）试图通过测量这些粒子产生的电“脉冲”来测量它们的能量。

然而，问题在于：管弦乐队正变得越来越响亮，也越来越拥挤。在未来的升级（称为HL-LHC）中，同时发生的碰撞会非常多（这种现象被称为“堆积/pile-up”），这些信号会像一堆缠绕在一起的耳机线一样杂乱无章。目前用于理清这些信号的方法（称为“最优滤波/Optimal Filtering”）就像是试图用一只非常陈旧、缓慢的耳朵，在摇滚演唱会中去听清一把小提琴的声音——它会感到困惑并漏掉真实的音量。

这篇论文提出了一种新的解决方案：教探测器的“大脑”像现代人工智能（AI）一样思考。

以下是他们所做工作的拆解，使用了简单的类比：

1. 挑战：一个微小且快速的大脑

探测器并没有超级计算机来处理数据。它必须在数据收集的瞬间立即做出决策，使用的是被称为 FPGA（现场可编程门阵列）的专用芯片。你可以把这些 FPGA 想象成微型且极速的计算器，它们有着非常严格的规则：

• 速度： 它们必须在蜂鸟振动翅膀的时间内（125纳秒）决定粒子的能量。
• 体积： 它们的内存空间非常有限。你不能在上面安装一个庞大且沉重的软件程序。

2. 解决方案：新的神经网络“食谱”

研究人员尝试教这些微型计算器如何识别杂乱的信号，使用的是 神经网络（AI模型）。他们测试了四种不同的“食谱”（架构），以观察哪一种能在不突破速度或体积限制的情况下，最有效地理清噪声：

• RNN（循环神经网络）： 想象一个人在读故事时一次只读一个词，通过记住前一个词来理解当前的词。这对于处理序列信息很有用，但在这种拥挤的环境下，它变得过于庞大且缓慢。
• CNN（卷积神经网络）： 想象通过一个滑动窗口观察模式，就像监控摄像头扫描走廊一样。它一次观察一段信号，以寻找形状特征。这种方法效果非常好。
• Dense Network（全连接网络）： 想象一个专家团队，每个人都与其他所有人交流来解决一个谜题。这也表现得非常出色。
• “Dense + RNN”混合模型： 两者的结合体，试图取长补短。

3. 调优过程：“智能搜索”

研究人员并不是靠瞎猜哪种食谱最好。他们使用了一种 贝叶斯优化（Bayesian Optimization） 过程。

• 类比： 想象你正在尝试寻找烘焙蛋糕的最佳温度，但你在烤箱坏掉之前只有有限的尝试机会。你不会随机猜测；你会使用一个聪明的助手，它会说：“好吧，我们试了180°C，太干了。让我们试试190°C，但可能要少放一点面粉。”
• 他们利用这个“智能助手”来平衡两个相互竞争的目标：准确度（得到正确的能量）与 体积（保持代码足够小以适配芯片）。他们找到了一个“甜点区”，即 AI 既足够小能装得下，又足够聪明能超越旧的方法。

4. 结果：更清晰的画面

当他们将这些新的 AI 模型与旧的“最优滤波”方法进行对比测试时：

• 更高的准确度： 新的 AI 模型（Dense 和 CNN）可以测量出约 80 MeV（一个非常小的能量单位）的能量精度。而旧方法和 RNN 的精度较低（约为 90 MeV）。
• 不再低估： 旧方法往往会“调低音量”，认为信号的能量比实际的要低。新的 AI 模型则能准确还原音量。
• 效率： 胜出的模型非常微小（使用的数学运算次数少于 500 次），证明了它们完全可以适配硬件。

5. 加分功能：“你有多确定？”

通常情况下，AI 只会给你一个答案，而不会给出置信度分数。这就像天气应用只说“会下雨”，却没告诉你这是 50% 的概率还是 99% 的概率。

• 研究人员加入了一种特殊的技巧，称为 深度证据回归（Deep Evidential Regression）。
• 类比： 这就像是给 AI 配备了一个“置信度计”。现在，当 AI 说“这个粒子的能量是 50 GeV”时，它还可以说“我有 95% 的把握”，或者“因为噪声很奇怪，我对这个结果有点模糊”。
• 他们发现这个置信度计是非常准确的。它没有让 AI 变慢或变大，但它为科学家提供了一种了解哪些测量结果值得信赖的方法。

总结

论文表明，通过使用经过“智能搜索”调优的微型、智能 AI 模型（特别是 Dense 和 CNN 网络），ATLAS 探测器可以完成升级，以应对未来高能碰撞带来的混乱。这些新模型更快、更准确，甚至能告诉科学家他们应该对数据有多少信心，同时还能完美适配于探测器本身那些微小且快速的芯片。

技术摘要

技术摘要：用于 ATLAS 在线量热计数据处理的优化神经网络

问题陈述
高亮度大型强子对撞机（HL-LHC）将引入极端的信号堆积（pile-up），每个束流交叉中将产生高达 200 个同步质子-质子碰撞。这种环境会降低当前 ATLAS 液氩（LAr）量热计所使用的最优滤波（Optimal Filtering, OF）算法的性能，特别是在脉冲重叠时重建能量的能力。第二阶段（Phase-II）升级的 LAr 读取电子设备引入了基于 INTEL Agilex 7 现场可编程门阵列（FPGA）的新硬件。这些 FPGA 提供了更强的处理能力，但对延迟（低于 125 ns）和网络规模（每个单元限制在约 500 次乘加运算，即 MACs）提出了严格限制。挑战在于开发能够在高堆积环境下优于 OF 算法的能量分辨率，同时遵循这些严苛的硬件约束，并提供可靠的单事件不确定性估计的神经网络（NN）架构。

方法论
本研究评估了四种旨在利用数字化脉冲样本预测量热计单元中沉积横向能量的神经网络架构。输入数据包括预沉积样本（以补偿前序碰撞导致的脉冲畸变）和后沉积样本（以捕捉目标能量沉积的脉冲形状）。

1. 评估的架构：

   • 循环神经网络 (RNN)： 顺序处理样本。虽然对于时间序列数据非常高效，但标准 RNN 需要较大的内部维度来捕捉长程依赖关系，这往往会超过 FPGA 的资源限制。
   • 卷积神经网络 (CNN)： 在输入样本上利用一维和二维滑动滤波器。它利用权重共享并复用来自先前束流交叉的计算，以降低延迟。
   • Dense+RNN： 一种混合方法，其中全连接层（Dense layer）处理预沉积样本以初始化用于后沉积样本的 RNN 序列，旨在平衡 RNN 的优势与降低计算成本。
   • 分级全连接 (Staged Dense)： 一种仅使用全连接层的多阶段架构。预沉积样本在第一阶段进行处理以修正畸变，随后与后沉积样本结合进入第二阶段。这使得第一阶段可以进行预计算，从而最小化延迟。

2. 优化策略：
   采用了贝叶斯优化程序来调整超参数（例如，预/后沉积样本的数量、层维度、卷积核大小）。目标函数在能量分辨率与网络规模（MAC 计数）之间进行了权衡，并对超过 500 MACs 的架构施加惩罚，对超过 850 MACs 的架构施加严重惩罚，以确保 FPGA 的可行性。

3. 不确定性估计：
   为了解决在不使用具有高计算成本的贝叶斯神经网络（需要采样）的情况下实现单事件能量不确定性的需求，作者实现了深度证据回归 (Deep Evidential Regression, DER)。该技术修改了全连接网络的最后一层，使其输出正态-逆伽马分布（Normal-Inverse-Gamma distribution）的参数，从而能够推断出预测能量及其相关的偶然不确定性（数据噪声）和认知不确定性（模型不确定性）。

4. 模拟与训练：
   网络在模拟数据上进行训练和测试，使用了 AREUS 工具包，模拟了最坏情况下的堆积场景（$\langle\mu\rangle = 200$），硬散射事件范围为 0 到 130 GeV。使用包含 1300 万个事件的数据集进行最终评估，以最小化统计波动。

关键结果

• 能量分辨率： 优化的 Dense、CNN 和 Dense+RNN 架构实现了约 80 MeV 的横向能量分辨率。这优于当前的 OF 算法和 RNN 架构（后者达到了 ~90 MeV）。
• 能量标度准确度： 与 OF 算法和标准 RNN 不同（OF 会忽略在时堆积，而 RNN 由于输入受限无法捕捉长程依赖），Dense、CNN 和 Dense+RNN 网络在整个动态范围内都能准确重现能量标度。
• 硬件可行性： 所有成功的架构（Dense、CNN、Dense+RNN）都经过优化，使用了少于 500 个 MAC 单位，使其适用于 Agilex 7 FPGA 在严格的延迟约束下的实现。
• 不确定性性能： DER 的实现增加了极小的计算开销。预测的不确定性（$\delta_{pred}$）被发现与实际预测能量与真实能量之间的差异平均一致。拉回分布（pull distribution）$(E_{pred} - E_{true})/\delta_{pred}$ 的标准差为 0.75，表明存在轻微的不确定性高估，但整体是可靠的。分析显示认知不确定性占主导地位，这表明通过更大的数据集或精细化的架构仍有改进空间。

意义与主张
本文声称证明了现代机器学习算法可以成功嵌入到 ATLAS 量热计的在线读取链中。其主要意义在于成功实现了能量分辨率与硬件约束之间的权衡：

• 研究证明 Dense 和 CNN 架构可以在保持在 Phase-II FPGA 硬件严格 MAC 限制内的同时，比传统的 OF 方法提高约 8% 的能量分辨率。
• 研究确立了预沉积样本对于捕捉脉冲畸变至关重要，这使得纯 RNN 方法由于其资源密集型特性而在竞争中处于劣势。
• 它引入了一种实用的单事件不确定性估计方法（通过深度证据回归），该方法不会显著增加推理成本。这一能力被视为改进聚类算法中单元能量选择的一步，从而在高度堆积的环境下实现更准确的电子和光子等物理对象的重建。

作者得出结论，这些优化的网络非常适合 FPGA 部署，并代表了 ATLAS Phase-II 升级的一个可行路径，能够在不牺牲触发和读取系统严苛的延迟及资源要求的前提下，提供优于现有算法的性能。