Surrogate model driven RL optimization of the TWOCRYST crystal angular alignment
本文介绍了 MDHaloEnv，这是一个基于 Gymnasium 的强化学习环境，利用近端策略优化（Proximal Policy Optimization）和具有理论依据的马尔可夫决策过程（Markov Decision Process）改进，旨在实现 TWOCRYST 实验中微弧度级晶体对准的自动化与增强，从而提高未来基于大型强子对撞机（LHC）的双通道研究的调试效率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在大型强子对撞机巨大的环形隧道内，质子以接近光速的速度运行，每秒钟循环数十亿次。为了研究宇宙的基本组成部分，科学家们经常需要剥离这些束流的外层，提取出一层薄薄的杂散粒子晕，并将它们引导向特定的目标。这是一项精密的作业。这些粒子必须使用弯曲的硅晶体进行极其精确的引导，这些晶体就像微型镜子一样捕捉并弯曲质子。然而，这些晶体的对准精度必须优于人类头发的宽度。如果哪怕只有一点点偏差，束流就会偏离目标，导致实验失败。传统上，对准这些晶体是一个缓慢的手动过程，需要专家操作员花费数小时进行微调，同时观察微弱的信号。这项任务不仅需要耐心和稳定的手感，也是限制新实验快速开展的瓶颈。
来自欧洲核子研究中心（CERN）及欧洲各大学的研究团队现在开发了一种解决这一问题的新方法。他们创建了一个计算机程序，利用一种称为“强化学习”的方法来自动学习如何对准这些晶体。该程序不再依赖复杂的物理方程来预测束流的行为，而是直接从以往测试收集的真实数据中学习。它将对准过程视为一场游戏：计算机扮演一名玩家，通过做出细微的角度调整来参与其中，并根据束流击中目标的程度获得积分。随着时间的推移，程序会学习如何通过最佳动作来最大化得分，最终发现一种比人类操作员更快且更一致的策略。这种方法在 TWOCRYST 实验中得到了测试，代表了使粒子加速器更加自主和高效迈出的重要一步。
这一成就的核心是研究人员为训练其人工智能而构建的一个虚拟环境。由于真实的加速器过于珍贵且风险过高，无法用于试错学习，团队创建了一个名为 MDHaloEnv 的数字孪生系统。该系统利用来自束流测试的历史数据（在这些测试中，晶体曾被手动旋转过数千个位置），并以此模拟如果计算机尝试自行对准晶体会发生什么。程序接收来自高速摄像机（用于追踪粒子）的图像，以及测量束流损失的传感器数据。随后，它决定是将晶体稍微向左还是向右转动。如果调整使束流更接近理想路径，程序就会获得奖励；如果使束流偏离，则会受到惩罚。
为了使这一学习过程有效，研究人员必须克服若干挑战。他们使用的数据并不完美，由于数据源自现实世界的实验而非完美的模拟，因此存在缺口和不一致性。传感器的信号通常带有噪声，这使得很难判断束流的微小变化是由于良好的调整还是仅仅由于随机波动引起的。为了处理这个问题，团队设计了一个平滑这些波动的奖励系统，从而让计算机能更清晰地判断自己是否在正确的方向上移动。他们还编写了程序，使其避免进行不必要的、抖动的动作，鼓励它寻找一个稳定的位置，而不是在原地来回震荡。
当研究人员使用这种设置训练其计算机代理时，结果令人印象深刻。该代理学会了在复杂的晶体角度景观中进行导航，并能一致地找到束流完美对准的“甜点位”。在测试中，该程序可以从广泛的初始位置（有些甚至远离目标）开始，并在几分钟内成功引导晶体达到正确的对准状态。它学会了识别摄像机图像中的微妙模式，即使在信号微弱或多噪的情况下，也能判断束流是否处于正确位置。该系统表现出了鲁棒性，即使在起始条件发生变化时也能保持性能，这表明它学习到的是一种通用策略，而非仅仅记住了某条特定路径。
研究人员将他们的新方法与不同版本的奖励系统进行了对比，以观察哪种效果最好。他们发现，将平滑技术与针对过度运动的惩罚相结合，能产生最稳定的结果。计算机学会了以极小的晃动幅度稳定在最佳位置，达到了与数据本身理论极限相匹配的精度。这意味着该系统并非在瞎猜，而是真正理解了束流与晶体之间的底层行为。这种方法的成功表明，类似的技巧可以应用于加速器的其他部分，从而可能实现需要同时对准多个晶体的更复杂实验。
这项工作对于未来的实验尤为重要，例如拟议中的 ALADDIN 实验，该实验旨在测量短寿命粒子的磁性和电学性质。这些实验将依赖于同样的双晶体装置，并且需要比目前所能实现的更快、更精确的对准。通过证明计算机可以利用真实数据在无需完美物理模型的情况下完成这项任务，研究人员为粒子物理学领域的新自主控制时代开启了大门。该系统不需要理解粒子相互作用的深奥数学，它只需要知道成功的对准看起来是什么样的，并且可以通过经验来学习。
未来的路径包括在未来的束流测试期间实时测试该系统。团队计划让计算机以“影子模式”运行，即它观察实验并提出调整建议，但并不实际控制硬件。这将使他们能够将计算机的决策与人类操作员的决策进行对比，并在移交完全控制权之前确保安全性。如果这些测试成功，该方法可能会成为启动新实验的标准工具，从而节省宝贵的时间，让科学家能够专注于物理学本身，而非对准这类机械操作。能够自动化如此关键且精密的任务，标志着我们操作世界上最强大的科学仪器的手段发生了重大演进。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。