⚛️ high-energy experiments

Panda Diplomacy: Foundation Model Pre-training across Particle Imaging Detectors for High Energy and Nuclear Physics

该论文介绍了“熊猫外交”（Panda Diplomacy），这是一个通用的点云自蒸馏框架，它使基础模型能够在多种粒子探测器模态（LArTPC、对撞机 TPC 和水切连科夫探测器）上进行预训练，且仅需极小的架构改动，在粒子重建和识别方面实现了最先进的性能，且所需的标注事件数量比专门的基准模型减少了几个数量级。

原作者： Samuel Young, César Jesús-Valls, Kazuhiro Terao

发布于 2026-09-02

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Samuel Young, César Jesús-Valls, Kazuhiro Terao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在巨大的地下洞穴深处和高能对撞机之上，科学家们正试图解开一个自宇宙诞生以来就存在的谜题：物质的基本构建模块是什么，它们又是如何相互作用的？为了寻找答案，他们建造了巨大的探测器，这些探测器就像巨大的三维照相机。当亚原子粒子穿过这些机器时，它会留下能量的痕迹，就像黑暗房间中飞过的火花。物理学家的挑战在于，如何观察这些图像中数百万个散落的光点和能量点，并弄清楚究竟发生了什么：哪些粒子存在于其中，它们从哪里开始，向哪个方向移动，以及移动速度有多快。几十年来，用于解释这些图像的软件都是为每台特定的机器定制开发的。一个旨在捕捉液氩中粒子的探测器，所需的规则集与一个旨在捕捉巨大水箱中光线的探测器完全不同。这意味着每当建立一个新的实验时，科学家们都必须从零开始，教一个新的计算机程序如何去“看”，尽管粒子的基本物理特性始终保持不变。

现在，一组研究人员证明了这种方法不再是必要的。他们开发了一种被称为“熊猫外交”（Panda Diplomacy）的新方法，该方法允许单个计算机模型学习如何在三种完全不同类型的探测器中“看”粒子。研究人员使用了一个强大的人工智能系统，并在来自三个不同来源的原始数据上对其进行了训练：一个充满液氩、捕捉电离轨迹的探测器；一个追踪粒子在磁场中运动的对撞机探测器；以及一个记录闪光信号的水基探测器。至关重要的是，他们并没有教计算机任何特定机器的规则。相反，他们让它通过观察空间中点的原始模式进行学习，要求它根据所见内容来预测图像中缺失的部分。这个过程被称为“自蒸馏”（self-distillation），它使模型能够建立一种通用的理解，即无论粒子在何种介质中旅行，其运动和相互作用的方式都是一致的。

这项实验的结果令人瞩目。当研究人员将这个单一的预训练模型应用于新数据时，他们发现它可以通过极小比例的常规训练数据来进行复杂的任务。在过去，教计算机识别和分组特定探测器中的粒子需要数百万个标记样本，即人类必须手动绘制出正确的路径供机器学习。通过这种新方法，该模型仅使用一千个标记样本就达到了最先进的性能水平。对于液氩探测器，该模型的准确度媲美了以往使用一百万个标记事件进行训练的系统，但其所需的人类监督量减少了一千倍。在对撞机探测器中，它的表现与使用七万个样本训练的系统相当，而使用的标记事件仅为后者的七十分之一。这表明该模型已经学习到了一种可跨不同技术重复使用的深度粒子物理语言。

除了识别粒子之外，研究人员还发现，该模型已经学会了理解支配粒子的物理定律，即使并未被明确告知这些定律。当研究人员检查模型的内部“思维”时，他们发现模型以对应于真实物理属性的方式组织了数据。在液氩探测器中，模型可以识别粒子的运动方向，有效地创建了一个显示事件序列的“时间箭头”，尽管原始数据并不包含任何时间信息。在对撞机探测器中，模型学会了识别粒子的路径曲率，这直接关系到其动量。在水探测器中，它能够高精度地重建粒子的位置和方向。这些发现表明，模型不仅记忆了模式，还内化了粒子相互作用的底层几何结构和因果关系。

这项工作代表了高能物理领域研究数据分析方式的重要转变。通过证明单个通用模型可以从多种类型的探测器中学习，并能以极小的代价进行适配，研究人员为一种更统一的宇宙研究方式开启了大门。他们将这个模型称为 Panda V2，它作为一个基础工具，可以在新实验上线时立即投入使用，从而减少了数年定制软件开发的需要。虽然该模型仍需针对特定任务进行微调，且目前尚未达到大型合作项目所使用的那些高度优化、专业化算法的精度，但它证明了通用方法不仅可行，而且非常高效。这种利用单一框架从三种不同感知机制中学习的能力表明，粒子物理学的未来可能不再依赖于为每个实验构建独特的工具，而是更多地依赖于开发能够理解物质基本语言的通用系统，无论这些物质是如何被观测到的。

技术摘要：熊猫外交 (Panda Diplomacy)

问题陈述

粒子物理与核物理领域的基座模型在很大程度上受限于特定探测器的架构和预训练目标。现有方法通常依赖于专门的表示形式或与单一传感模态（例如液氩时间投影室、对撞机 TPC 或水切连科夫探测器）相关的特定任务目标。这种特异性限制了学习到的表示在本质上不同的实验设置之间的复用，而这些设置在几何结构、传感机制和物理结构方面存在显著差异。虽然最近的研究展示了针对单一探测器类型的传感器级基座模型，但目前尚不清楚一种统一的表示学习机制是否能在架构变化极小的情况下，有效地跨越性质迥异的粒子探测器运行。

方法论

作者引入了 Panda V2，这是一个更新的骨干架构和一个统一的预训练框架，旨在应用于三种不同的探测器模态：

液氩时间投影室 (LArTPC)（PILArNet-M 数据集）。
对撞机 TPC（sPHENIX TPC, TPCpp-10M 数据集）。
水切连科夫探测器（类 Super-Kamiokande, WAND 数据集）。

架构 (Panda V2 编码器)

该模型利用了一个基于 Point Transformer V3 和 LitePT 的四阶段点原生 (point-native) 编码器。关键架构特征包括：

稀疏 3D 卷积： 用于高空间分辨率阶段。
局部自注意力 (Local Self-Attention)： 用于较粗的尺度。
处理流程： 网络处理原生体素化数据，按因子 2 进行池化，在相同分辨率下从卷积切换到注意力机制，再按因子 4 进行池化，最后以一个最终的注意力阶段结束。
多尺度特征： 特征被上采样并进行拼接，以产生每个输入点的上下文特征。
参数效率： 该架构移除了仅含注意力模块中的非残差预层归一化，并使用了 3D 旋转位置嵌入 (PointRoPE)。

预训练目标：可观测原型自蒸馏 (Observable Prototype Self-Distillation)

该框架采用了一种自蒸馏目标，其中指数移动平均 (EMA) 教师模型和学生模型分别对同一图像进行独立增强后的编码。学生模型预测教师模型在学习到的原型上的分配情况。

掩码策略： 遵循 DOS（观测值自蒸馏），掩码测量值被移除而非显式表示；仅对可观测位置进行蒸馏。
泛化性： 该目标不包含特定于探测器的传播或重建规则。应用了强力的通用空间增强（旋转、平移、抖动）。
超参数： 仅调整与输入数值和空间尺度直接相关的超参数（例如网格大小、掩码大小）。

下游适配

下游任务利用参数高效微调 (parameter-efficient fine-tuning)，每个任务仅需 1,000 个标注事件：

语义分割： 使用带有低秩自适应 (LoRA) 的线性分类器。
粒子聚类： 一个轻量级的两阶段图神经网络 (GNN) 配合 LoRA。
单环水切连科夫： 在冻结的事件表示或等变坐标特征矩上进行线性探测。
多环水切连科夫： 使用 “Panda 探测器” 模块（DETR 式集合预测）配合 LoRA。

关键结果

1. 数据效率与性能

Panda V2 在监督数据量低几个数量级的情况下，仍能匹配或超过专门的基座模型基准：

LArTPC (PILArNet-M)： 仅使用 1,000 个标注事件，Panda V2 实现的粒子聚类调整兰德指数 (ARI) 为 0.973，达到了在 100 万个标注事件上训练的 Panda V1 的性能水平。对于语义分割，其宏 F1 分数达到 0.976，与在 100,000 个事件上训练的 Panda V1 相当。
对撞机 TPC (TPCpp-10M)： 使用 1,000 个标注事件，Panda V2 实现的轨迹聚类 ARI 为 0.943，接近使用 70,000 个标注事件获得的 FM4NPP 的结果 (0.945)。它在粒子识别 (0.838 vs 0.713) 和噪声标记 (0.942 vs 0.912) 的宏 F1 分数上也优于 FM4NPP。
水切连科夫 (WAND)： 轻量级探测器利用 1,000 个标签重建单粒子运动学（顶点、方向、动量）。虽然性能低于高度优化的算法如 fiTQun 和 APFit，但它证明了通过廉价的适配即可获取有用的探测器级可观测物理量。多环重建召回率分别为：1-ring (80.4%)、2-ring (44.4%) 和 ≥3-ring (96.7%)。

2. 涌现的物理结构

作者证明了冻结的表示能够在没有显式监督的情况下编码具有物理意义的潜在结构：

时间之矢 (LArTPC)： 一个学习到的向量，当投影到逐点特征时，可以将点沿粒子轨迹排序（Spearman $\rho = 0.89$ ），尽管输入中缺乏时间信息，却恢复出了涌现的“时间之矢”。
横向动量 (sPHENIX)： 一个潜在方向编码了轨迹曲率和横向动量 ( $p_T$ )，其 Spearman $\rho = 0.957$ 。
旋转不变性： 自蒸馏目标强制执行弱旋转不变性，不同旋转下的余弦相似度分布保持 $\geq 0.98$ 。

意义与主张

论文声称，用于传感器级粒子重建的基座模型预训练机制可以是通用的，而非特定于探测器的。

统一框架： 它确立了单一架构和自蒸馏目标可以在三种性质不同的探测器模态上进行独立预训练，且仅需极小的改动。
标签效率： 该框架支持从仅 1,000 个标注事件中实现完整的重建（分割、聚类、属性提取），显著降低了对大规模标注数据集的依赖。
物理可解释性： 学习到的表示自然地围绕物理概念（如粒子因果律“时间之矢”和动量）进行组织，这表明在原始传感器数据上进行自监督学习可以恢复基本的物理结构。

局限性与未来工作

作者明确指出了几个尚未解决的问题：

扩展性 (Scaling)： 本研究尚未表征关于模型规模、预训练数据量或计算资源的缩放定律 (scaling laws)。
可迁移性 (Transferability)： 目前尚未测试在一个探测器类型上学习到的表示是否可以直接迁移到另一种探测器类型（跨域迁移），或从模拟数据迁移到真实数据。
性能差距： 在水切连科夫重建方面，该方法目前落后于高度优化的领域特定算法（如 fiTQun），表明在特定的探测器应用中仍有提升空间。

作者计划在随后的扩展更新中解决扩展性和可迁移性问题。