🤖 machine learning

Offline Reinforcement Learning for Plasma Control in Nuclear Fusion: Codebase and Benchmark

本文介绍了 RL4F，这是一个基于真实 DIII-D 托卡马克数据的标准化离线强化学习基准，用于核聚变等离子体控制，该基准在四个全剖面追踪任务中评估了多种算法，并证明了离线基于模型的方法在这些复杂的长时程问题中通常表现出更优越的性能。

原作者： Yang Fu, Haomin Bao, Rohit Sonker, Xiaoyan Hu, Aravind Venugopal, Jeff Schneider, Jiayu Chen

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Yang Fu, Haomin Bao, Rohit Sonker, Xiaoyan Hu, Aravind Venugopal, Jeff Schneider, Jiayu Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人驾驶一架非常复杂且不稳定的飞机。问题在于，这架飞机极其昂贵且危险，你不能让机器人在学习飞行过程中撞毁它一千次。每一次坠毁都意味着数百万美元的损失，并可能危及生命。

这正是科学家在面对核聚变技术时所面临的情况——这项技术旨在模拟太阳的力量来创造清洁能源。在一个名为托卡马克（tokamak）的聚变装置内部，存在着一种超高温、高速旋转的气体“汤”，即等离子体。这种等离子体极其不稳定。如果你不能完美地控制它，它会瞬间冷却或损坏机器。

长期以来，科学家们一直尝试使用强化学习（Reinforcement Learning, RL）——一种通过试错来学习的 AI 类型——来控制这种等离子体。但就像那个机器人飞行员一样，他们不能让 AI 在真实的机器上进行“游戏”来学习。

问题所在：“飞行模拟器”缺失

通常，为了训练 AI，你会构建一个完美的视频游戏模拟器。但对于核聚变而言，物理过程如此复杂，构建一个完美的模拟器就像是试图编写一个能完美预测天气、洋流以及每一个原子运动的视频游戏。这太慢了，也太难做到了。

解决方案：“RL4F”（聚变飞行模拟器）

本文作者创建了一个名为 RL4F 的新工具。你可以把它看作是一个基于历史飞行日志而非物理方程构建的高科技飞行模拟器。

数据： 他们提取了来自一台真实聚变机（DIII-D 托卡马克装置）的数千小时真实数据。
“数字孪生”： 他们训练了一个 AI 来观察这些旧日志，并学习：“当操作员执行 X 操作时，等离子体通常会产生 Y 反应。”
结果： 这个 AI 成为了真实机器的“数字孪生”。现在，研究人员可以在这个数字孪生体内训练他们新的控制算法。AI 可以坠毁、失败并无数次重试，而永远不会触及那台真实且危险的机器。

挑战：“剖面”谜题

控制聚变不仅仅是保持高温。更重要的是塑造等离子体的整个剖面（profile）。想象等离子体是一条面包。你不仅希望整条面包是热的；你还希望外壳具有某种脆度，中间部分保持柔软，且中心部分也恰好烤好，同时满足所有条件。

论文测试了 AI 在四个特定“面包”（任务）上的表现：

旋转（Rotation）： 等离子体旋转的速度。
密度（Density）： 粒子的密集程度。
温度（Temperature）： 热度。
压力（Pressure）： 它施加的力量。

竞赛：谁学得最好？

作者邀请了许多不同的 AI“学生”（算法）在这个模拟器中参加考试。他们想看看哪一个能最好地保持等离子体“面包”形状的正确性。

以下是他们的发现：

“模仿者”学生： 一些 AI 只是试图模仿旧日志中人类操作员的做法。它们表现尚可，但在处理新情况时表现不佳。
“无模型”学生： 这些 AI 试图纯粹通过在数据中猜测和检查来学习。它们比模仿者做得更好，但在处理等离子体中长而复杂的因果链时仍然感到吃力。
“基于模型”的学生： 这些 AI 构建了自己对等离子体运作方式的内在理解（一个“世界模型”），并根据该模型规划自己的动作。这些学生赢得了比赛。

具体而言，MOPO 和 COMBO 算法（即“基于模型”的学生）在保持温度和密度剖面稳定方面表现最佳。然而，没有一个学生是全能的。例如，一个擅长控制旋转，而另一个则更擅长控制压力。

为什么这很重要

论文得出结论：基于模型的学习（先学习游戏的规则）是控制聚变最有前景的路径。

他们已将所有的代码、数据和“数字孪生”模拟器免费开放给所有人使用。这就像是给全世界的研究人员提供了同一个飞行模拟器和同一个测试赛道。现在，研究人员不再需要各自构建混乱的模拟器，而是可以公平地竞争，看谁能为未来的清洁能源打造出最好的 AI 飞行员。

简而言之： 他们利用真实世界的数据构建了一个安全的虚拟游乐场，让 AI 可以在不炸毁实验室的情况下学习如何控制太阳。他们还发现，先学习“物理规则”的 AI 表现最为出色。

技术摘要：RL4F —— 用于核聚变等离子体控制的离线强化学习

问题陈述

通过在线强化学习（RL）为核聚变托卡马克开发控制器是极其昂贵且具有风险的，因为这涉及实际设备的运行成本高、时间限制以及安全至上的特性。虽然存在基于物理的模拟器（如 RAPTOR、TORAX），但它们计算成本高昂，需要大量的校准，并且往往难以捕捉复杂的非线性等离子体动力学。相反，直接从历史实验数据中学习（离线强化学习）提供了一种更安全的替代方案，但目前仍缺乏标准化的基准测试。目前的挑战包括等离子体剖面的高维性、非线性和随机动力学、部分可观测性，以及在长时程控制任务中指定奖励函数的难度。

方法论

本文介绍了 RL4F，一个用于托卡马克剖面控制的统一离线强化学习基准。该方法由四个核心部分组成：

1. 动力学建模（环境）

作者没有使用基于物理的模拟器，而是利用**循环概率神经网络（RPNN）**集成构建了一个数据驱动的“数字孪生”。

训练数据： 该模型在来自 DIII-D 托卡马克的 18,000 个历史实验放电数据上进行训练，跨越了近十年的时间。
架构： 一个由 25 个 RPNN 组成的集成模型，根据当前状态 ( $s_t$ )、前一时刻执行器设置 ( $a_{t-1}$ ) 和执行器增量 ( $\Delta a_t$ ) 来预测状态变化 ( $\Delta s_t$ ) 的分布。
不确定性量化： 模型输出高斯分布的参数 ( $\mu_t, \sigma_t$ )。集成模型捕获认知不确定性（通过成员间的差异），而对数方差头则捕获偶然不确定性。
两阶段训练： 第一阶段优化预测均值（MSE），第二阶段冻结主干网络并通过负对数似然进行不确定性校准。

2. 数据集构建

通过从真实的“平顶”放电状态初始化展开过程，并自回归地滚动参考动力学模型，生成了一个合成离线数据集。

规模： 最终数据集包含 5,882 个放电过程和 945,828 个转移。
划分： 使用固定划分方式：5,282 个放电过程用于训练，300 个用于验证，300 个用于测试。
流程： 将测得的下一状态替换为集成模型的预测值，以模拟闭环行为，同时保留真实的执行器调度。

3. 基准任务

该基准测试在四个全剖面追踪任务上评估算法，其目标是在归一化径向坐标 ( $\psi_N \in [0, 1]$ ) 上调节高维空间量：

旋转（Rotation）： 对抑制撕裂模和燃料不对称至关重要。
密度（Density）： 控制核心燃料库存和聚变速率。
电子温度（Electron Temperature）： 影响热输运和约束性能。
压力（Pressure）： 决定 MHD 稳定性极限和储能。

控制设置：

动作空间： 中性束注入（NBI）功率、NBI 转矩、气体注入电压和电子回旋加热（ECH）功率。
观测空间： 电流剖面、目标剖面、未来目标（向后偏移 10 步）以及比例误差项（P 项）。
奖励： 目标剖面与实现剖面之间的负均方误差（MSE）。

4. 评估协议

算法在静态合成数据集上进行训练，并在参考动力学模型上进行闭环评估。

基准方法： 研究评估了广泛的方法，包括模仿学习（GCIL）、无模型离线 RL（TD3BC、CQL、IQL、EDAC、MCQ）以及有模型离线 RL（PPO、COMBO、MOPO、MOBILE、RAMBO、BAMCTS）。
指标： 在 33 个径向位置上的均方根误差（RMSE），在 300 个测试放电和 10 个随机种子下取平均值。

核心贡献

RL4F 基准： 首个专门为聚变等离子体控制设计的标准化离线强化学习基准，为算法比较提供了通用的测试平台。
现实的数据驱动环境： 一个基于真实 DIII-D 数据训练的高保真动力学模型，避免了物理模拟器的校准开销，同时捕捉了特定设备的非线性特征。
全面的基准评估： 在四个不同的长时程剖面追踪任务中，对多种离线 RL 和模仿学习方法进行了统一评估。
开源发布： 开源了代码库、数据集和评估框架，以促进可重复性和社区采用。

结果

评估表明，有模型离线 RL 方法通常优于无模型基准方法，尽管没有哪种算法在所有任务中都占据绝对优势：

旋转： RAMBO 实现了最低的平均 RMSE (8.03)，紧随其后的是 COMBO 和 MOPO。无模型方法表现明显较差，可能是由于在静态数据集中难以偏离行为分布以进行长时程转矩修正。
密度： COMBO 表现最好 (RMSE 0.691)，MOPO 和 PPO 紧随其后。有模型与无模型方法之间的差距较小，表明数据集为密度控制提供了足够的覆盖范围。
温度： MOPO 取得了最佳性能 (RMSE 0.193)。它对不确定模型预测进行惩罚的能力在处理涉及延迟响应和累积输运效应的温度动力学时展现出了优势。
压力： MOPO 再次领先 (RMSE 5198.6)，随后是 RAMBO。压力与密度和温度的高度耦合使其成为最具挑战性的任务，从而更倾向于具备不确定性感知能力的算法。

总体趋势：

追踪靠近等离子体核心（ $\psi_N \approx 0$ ）的部分比边缘部分更难，因为其剖面量级更大且存在时间变化。
纯模仿学习（GCIL）不足以应对这些长时程问题，其误差显著高于离线 RL 方法。
没有一种算法是普遍最优的；性能取决于目标剖面的具体物理动力学和耦合关系。

意义与主张

本文声称 RL4F 为加速核聚变研究和离线 RL 算法开发迈出了关键一步。通过提供一个标准化的数据驱动环境，它使研究人员能够在无需承担实时物理设备实验风险和成本的情况下，开发并比较控制器。

作者也谨慎地指出，虽然该基准是基于真实的 DIII-D 数据构建的，但其对其他托卡马克的泛化能力仍是一个开放性问题，需要更广泛的合作。他们强调，RL4F 作为一个受控的离线评估环境；此处的表现是算法潜力的证明，但不能替代在物理设备上的安全关键性验证。该基准解决了核聚变固有的非线性动力学、长时程控制和部分可观测性等挑战，将其定位为面向更广泛离线 RL 社区的严苛测试场。