Leveraging Industrial Foundation Models at the Edge of Particle Physics Detectors via Distillation Learning and Hardware Co-design

为了探索宇宙的基本组成部分，科学家们建造了极其复杂的机器。这些粒子探测器充当着巨大的、超灵敏的照相机，捕捉亚原子粒子在以接近光速飞越空间时留下的瞬时痕迹。挑战不仅在于如何看到这些粒子，还在于如何记录它们。现代实验产生的海量数据流之大，以至于不可能保存所有信息。机器必须做出瞬间的决策，在信息永久丢失之前，过滤掉平庸的数据，仅保留那些稀有且有趣的事件。这种过滤过程是在实时状态下进行的，且受限于探测器本身严苛的物理和功耗约束，这个地方通常被称为实验的“边缘”。为了应对这一挑战，研究人员正转向人工智能，希望教会机器比以往任何时候都更快、更准确地识别数据流中的模式。

由斯坦福大学和 SLAC 国家加速器实验室的 Gia Ancone 及其同事开展的一项新研究，探索了一种将这种智能引入边缘的新方法。该团队并没有针对每个特定任务从头开始训练一个小型、简单的计算机程序，而是从一个庞大的、预训练过的“基础模型”开始。可以将这想象为一个通用的 AI，它已经通过大量的示例库学习了理解基于时间的数据的节奏与形状。研究人员利用了这个强大的通用模型，并将其仔细适配到读取粒子探测器信号这一特定任务中。随后，他们将这个庞大的模型缩小，剥离不必要的复杂性，从而创建一个可以在探测器内部专用、低功耗芯片上运行的微型版本。这一被称为“蒸馏”的过程，使他们能够将巨型模型的深层知识转移到一个适合未来粒子对撞机那严苛、空间受限环境的轻量化封装中。

该团队在两种不同类型的粒子探测器上测试了这种方法。第一种是漂移室，它通过计算微小的电信号簇来追踪带电粒子的路径；第二种是双读出量热计，一种通过分析粒子产生的特定光混合物来测量粒子能量的装置。在这两种情况下，目标都是从原始波形数据中提取精确的物理信息。研究人员首先对大型基础模型进行微调，使其充当“教师”，教导它解决这些特定的物理问题。然后，他们训练了许多更小、更简单的模型，即“学生”，来模仿教师的行为。至关重要的是，这些学生模型从设计之初就是为了与现场可编程逻辑门阵列（FPGA）兼容，这是一种常用于高速电子设备的类型可重构硬件芯片。团队还通过移除冗余连接和简化所使用的数值来进一步压缩这些模型，以确保它们能符合探测器前端电子设备严格的内存和速度限制。

这些模拟实验的结果令人瞩目。当给定全量训练数据时，经过微调的大型基础模型优于以往所有的方案，证明了从预训练 AI 入手能显著提升准确性。更重要的是，微型的、压缩后的学生模型表现得与专门为这些任务设计的最佳现有方案一样好，甚至更好。或许最显著的一点是，蒸馏后的学生模型学习速度更快。当研究人员只给学生模型一小部分数据时，它们仍然能达到很高的性能，而从头开始训练的模型则需要完整的数据集才能达到同样的准确度。事实上，仅用 10% 数据训练的学生模型就达到了使用 100% 数据训练的模型所具备的性能。这表明，对于未来那些在设计初期可能无法获得海量标注数据的实验，这种方法可以极大地减少开发可靠数据过滤器所需的时间和资源。

最后一步是将这些软件模型转化为硬件指令。团队成功地将压缩后的学生模型合成为 FPGA 芯片的设计。这些设计极其高效，不需要专门的数字信号处理器，且运行延迟仅为 25 纳秒。这种速度足以跟上未来粒子加速器中预期的快速碰撞节奏，因为粒子每隔几十纳秒就会发生一次交汇。这项研究证实，将工业规模 AI 的巨大力量进行蒸馏，使其缩小到足以装入探测器芯片的形式，并让其实时执行复杂的物理任务是完全可能的。虽然这些结果目前基于计算机模拟，但它们提供了一条清晰的前行之路。通过利用预训练模型和智能硬件设计，科学家们很快就能让他们的探测器配备智能系统，使其能够以空前的速度和精度，在亚原子的混沌世界中进行筛选。