First Experimental Demonstration of Reinforcement Learning-Based Tuning on the PSI Injector 2 Cyclotron
本文展示了首次在 PSI Injector 2 回旋加速器上成功部署基于强化学习框架的实验演示，其中智能体在为期 12 天的任务期间，实现了跨多个工作点及高电流（高达 800 μA）的稳健、低损耗束流调谐，证明了自动化调谐在强流加速器应用中的可行性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个巨大的、高速运行的微型质子粒子赛道。这并不是为汽车设计的赛道，而是一个被称为回旋加速器的庞大机器，它让这些粒子在螺旋路径中飞速旋转，直到它们的运动速度达到光速的显著比例。科学家们利用这些超高速粒子来创造新材料、研究宇宙的组成部分，甚至帮助解决如何处理核废料的问题。但棘手的部分在于：保持这条赛道平稳运行极其困难。这台机器对温度、磁场甚至是在其中穿梭的粒子数量的微小变化都非常敏感。如果一切稍微偏离轨道，粒子束就会错过目标或撞上墙壁，导致机器停机。
传统上，修理这类机器就像是在一场宏大的交响乐演奏过程中试图为乐团调音。一支由人类专家组成的团队必须倾听音乐，猜测哪种乐器走音了，然后手动旋转旋钮来进行修复。这需要很长时间，而且如果机器突然出现故障，专家们可能无法反应得足够快，从而无法维持表演的持续进行。一个重大的问题是，科学家们一直在问：我们能否教会一台计算机成为指挥家？我们能否使用人工智能（AI）来倾听机器的声音，找出问题所在，并瞬间将其修复，且无需人工干预？这就是“强化学习”（Reinforcement Learning）的故事。把它想象成训练一只狗：你给它一个指令，它尝试做动作，如果它做得好，你就给它一个奖励（零食）；如果它做错了，你就不给它零食。最终，这只狗会学会如何通过做出正确的动作来获得最多的零食。在这种情况下，“狗”是一个计算机程序，而“零食”则是调校完美的粒子束。
在瑞士保罗·谢勒研究所（Paul Scherrer Institut）最近进行的一项实验中，一组科学家决定看看这种“数字狗”是否真的能学会为一台真实的高功率粒子加速器进行调优。他们选择了一台名为 Injector 2 的回旋加速器，它是更大规模设施中的关键组成部分，该设施能够产生世界上一些最强烈的质子束。研究人员不仅仅编写了一个简单的计算机程序；他们构建了一个强化学习（RL）智能体。这个智能体被设计用来扮演一个超快速、不知疲倦的调优师，它可以观察机器的当前状态，并决定精确地转动哪些旋钮，以使粒子束达到完美状态。
团队进行了一场为期 12 天的马拉松式测试。他们首先在极低且安全的功率水平下教导 AI，让它在不造成实际损坏的情况下犯错并从中学习。他们给了 AI 一个特殊的“奖励系统”：每当粒子束笔直且没有撞击墙壁时，AI 就会获得高分；如果粒子束开始晃动或丢失粒子，分数就会下降。为了加快学习过程，他们还发明了一个聪明的技巧，称为“过冲策略”（overshoot strategy）。通常，当你转动这些机器中的大型磁铁时，需要很长时间——大约 60 秒——磁场才会稳定下来。AI 本来必须等待这么久才能看到调整的效果。研究人员发现，如果他们把磁铁转动得“过头”，然后迅速拉回，磁场只需 10 秒就能稳定。这让 AI 的学习速度提高了六倍！
结果令人印象深刻。AI 在短短几个小时内就学会了为五种不同的运行模式进行调优。在某些情况下，它学得非常好，甚至可以整夜保持机器完美稳定运行，自动修复由于机器变热或变冷而产生的微小漂移，而无需任何人工帮助。更令人惊讶的是，AI 在低功率水平（20 微安）下学习，但随后能够在高达 800 微安的高功率水平下接管机器，而无需重新训练。它成功地保持了粒子束的稳定并防止了崩溃，证明了它在低功率下学到的技能可以应用于高功率场景。
然而，论文谨慎地指出，这并不意味着什么。AI 并没有学会修复损坏的机器部件，比如破碎的磁铁或失效的电源。它也没有学会如何在眨眼之间从零开始调优机器；它仍然需要几个小时的训练才能在特定设置下变得熟练。研究人员发现，AI 的“知识”并不能完美地自动迁移到所有设置之间。例如，一种在某种粒子路径下表现极佳的策略，并不总能立即适用于另一种不同的路径；AI 有时必须重新学习或调整其方法。但是，通过使用一个“代理模型”（surrogate model）——即根据旧数据构建的机器数字孪生体——AI 可以比从零开始学习得更快。
最终，这项实验表明，机器学习智能体第一次能够可靠地调优高功率回旋加速器，使其能够独立安全、高效地运行。它并没有完全取代人类专家（特别是在初始设置阶段），但它证明了一旦机器开始运行，AI 就可以作为一个不知疲倦、反应极快的守护者，让粒子束保持在轨道上，为下一次重大的科学发现做好准备。这是迈向“加速器驱动系统”（Accelerator Driven Systems）未来的重要一步，在这些系统中，这些机器未来可能会持续运行以帮助解决全球能源和废物处理问题，并依靠智能软件来确保其安全与稳定。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。