Application of Reinforcement Learning for Multigroup Energy Grid Optimization for Neutron Transport Criticality Problems

本文提出了一种结合神经网络代理模型的强化学习方法，用于优化一维球形k临界中子输运问题的多群能组结构，在实现与现有方法相当或更优精度的同时，提供了更高的灵活性和计算效率。

要点

以下是用简单语言和创造性类比对这篇论文的解读。

全景：为核信号调频收音机

想象你正在尝试接收来自核反应堆的微弱无线电信号。该信号（中子）非常复杂，包含不同且快速变化的“频率”（能量）。为了理解该信号，你需要调节收音机的旋钮。

在核物理中，科学家使用一种称为多群中子输运的方法。这就像将整个无线电频谱划分为固定数量的“频道”或“区间”（称为能群）。

• 区间太多： 你能获得极其清晰的信号画面，但计算机需要处理海量工作，导致计算耗时数天。这就像试图逐个监听每一个频率。
• 区间太少： 计算机运行迅速，但你可能会错过重要细节或听到杂音，从而导致结果不准确。

本文的目标是找到针对特定核问题的最佳区间数量以及划分这些区间的最佳位置。

问题：“金发姑娘”困境

几十年来，科学家一直使用标准的“预设”频道布局（如 LANL30 或 LANL70 结构）。这就像购买了一台带有固定按钮的收音机。它们在许多情况下表现尚可，但并非针对每一个特定反应堆都完美无缺。

寻找最佳的自定义布局非常困难。

1. 成本高昂： 要测试新布局是否有效，你必须运行庞大且缓慢的计算机模拟（就像为每一次按钮按压运行一次完整的物理测试）。
2. 充满陷阱： 如果你只是盲目猜测，可能会陷入“局部最优”。想象你身处雾蒙蒙的山谷；你可能以为已经到达谷底，因为你看不见下一座山丘后面更深的山谷。

解决方案：拥有水晶球的智能机器人

作者 Ben Whewell 及其在洛斯阿拉莫斯国家实验室的团队使用了强化学习（RL）。

类比：
想象一个机器人试图解开迷宫。

• 机器人（RL 代理）： 它的任务是从一张极其详细的地图（一个包含 618 个通道的高保真网格）开始，移除线条，直到达到目标数量（例如 30 或 70）。
• 奖励： 每当机器人移除一条线，它就会获得分数。它希望获得高分，这意味着模拟结果依然准确，同时它已尽可能多地移除了线条以节省时间。
• 陷阱： 如果机器人只是盲目猜测，它将需要数百万次尝试才能学会，而每次尝试都需要运行一次缓慢且昂贵的物理模拟。

秘密武器：代理模型（水晶球）
为了让机器人学得更快，团队构建了一个神经网络代理模型。

• 这就像一个水晶球或一位经验丰富的教练。
• 每当机器人做出移动时，它不再运行缓慢且昂贵的物理模拟，而是询问水晶球：“如果我移除这条线，结果会有多好？”
• 水晶球观察线条的模式和材料（如铀或钚），并即时预测准确性。它不会给出一个完美的数值，但会将结果归入一个“质量桶”（例如：“这是 10 分中的 9 分”）。

这使得机器人能够在几小时内练习数百万次，而不是花费数千年。

他们做了什么

他们在两个著名的核谜题上测试了这个“机器人 + 水晶球”组合：

1. Godiva： 一个纯铀球体。
2. BeRP Ball： 一个被铍壳包围的钚球体。

他们教导机器人从巨大的网格开始，将其“修剪”至 30 或 70 个群，学习哪些线条必须保留，哪些可以剪除。

结果：优于标准

当他们将机器人定制的布局与标准的“预设”布局（LANL30 和 LANL70）进行对比测试时：

• 准确性： 机器人定制的布局更加准确。它们比标准预设更好地捕捉了核反应的重要细节。
• 速度： 机器人发现这些优质布局的速度比以前的方法（如“层次凝聚法”，这是一种缓慢的、逐步的贪婪方法）快得多。
• 灵活性： 机器人学会了一种通用策略。如果你改变球体的大小或材料，机器人可以适应，而无需从头重新训练。

通俗易懂的关键要点

1. 智能修剪： AI 不是从头构建网格，而是从一个完美、详细的网格开始，学习确切需要剪除哪些部分以节省时间，同时不损失准确性。
2. 教练： 他们使用了一个快速的 AI“教练”（代理模型）来预测结果，从而避免了数百万次运行缓慢且昂贵的模拟。
3. 获胜： 对于这些特定的核测试，AI 设计的网格击败了旧的、标准的网格，提供了一种更灵活、更高效的方法来解决核物理问题。

简而言之，他们教会了一台计算机成为一位调频大师，利用“水晶球”加速学习过程，在核安全计算的速度与准确性之间找到完美的平衡。

技术摘要

技术摘要：强化学习在多群能组优化中应用于中子输运临界问题

问题陈述
精确的中子输运计算高度依赖于多群离散化方案，其中连续能量变量在有限范围内积分以生成分段常数能群。能群边界的选取至关重要；次优的边界会导致中子通量谱和反应率出现显著误差。虽然高保真网格（如 LANL618）能提供高精度，但其计算成本和内存占用较高。相反，低保真网格（如 LANL30、LANL70）降低了成本，但需要仔细选取边界以维持精度。现有的优化技术，如粒子群优化（PSO）和层次凝聚（HA），面临诸多挑战，包括由于每个评估步骤都需要全输运模拟而导致的高计算成本，以及易陷入局部极小值或收敛性差的问题。

方法论
作者提出了一种新颖的框架，将强化学习（RL）与神经网络代理模型相结合，用于优化一维球体 $k$ 临界问题的能群结构。

• 强化学习公式化： 该问题采用近端策略优化（PPO）算法进行建模。

  • 状态空间： 一个长度为 619 的二进制向量，表示参考 LANL618 网格中能量边界的有无。对于非均匀问题（如 BeRP 球），会附加材料厚度和总截面数据。
  • 动作空间： 智能体一次移除一个能量边界，从高保真起始状态（$G_{max} \in [200, 617]$）向目标群数（$G_{min}$）过渡。动作掩码确保仅执行有效的移除操作。
  • 奖励函数： 奖励平衡了两个目标：最小化能群数量和最大化网格精度。精度通过误差指标（$\epsilon$）进行评估，该指标结合了有效增殖因子（$k_{eff}$）和积分反应率（总反应率、$\nu$-裂变反应率和吸收反应率）的相对误差。为防止误差抵消掩盖通量不准确，在根方和计算中，$k_{eff}$ 误差的权重系数设为 3。

• 代理建模： 为了克服在线策略 RL 的样本效率低下问题（否则需要数百万次全输运模拟），采用了一个 10 类分类神经网络代理模型。

  • 架构： 对于均匀问题（Godiva），一维卷积神经网络（CNN）处理二进制能量边界向量。对于非均匀问题（BeRP 球），多模态架构将 CNN 与长短期记忆（LSTM）网络相结合，以编码空间和材料属性。
  • 训练数据： 生成 LANL618 网格的随机子集，并运行全输运模拟以计算误差指标 $\epsilon$。这些误差被转换为正态分布并分箱为 10 个类别（1 = 精度最低，10 = 精度最高）。
  • 集成： 代理模型输出这 10 个类别的概率分布。期望类别值用于计算奖励，使 RL 智能体能够在不执行全输运模拟的情况下进行学习。

主要贡献

1. 用于群结构优化的强化学习： 本工作引入了基于 PPO 的强化学习在优化多群能结构这一特定问题中的应用，使智能体能够识别关键边界，而无需受限于固定的初始网格拓扑（LANL618 子集约束除外）。
2. 代理加速训练： 开发了一种结合能量、材料和空间信息的基于分类的代理模型，显著降低了 RL 训练的计算成本，用快速的神经网络推理替代了昂贵的输运模拟。
3. 灵活优化： 与需要为每个新起始条件重新运行模拟的贪婪层次方法不同，训练好的 RL 智能体可以适应不同的起始群结构和材料布局，而无需重新训练。

结果
该方法在两个基准问题上进行了验证：Godiva（铀球）和 BeRP 球（带铍反射层的钚球）。

• 代理模型性能：
  • Godiva： CNN 代理模型在次临界测试数据上达到了 78.3% 的真实准确率和 98.2% 的相邻准确率（预测值在一个类别之内），并很好地泛化到超临界配置。
  • BeRP 球： 多模态 CNN-LSTM 代理模型在不同钚半径和临界状态下，达到了 70.8% 的真实准确率和 97.4% 的相邻准确率。
• RL 优化性能：
  • 精度： 与 LANL618 参考值相比，RL 构建的群结构（RL30 和 RL70）在 $k_{eff}$ 和反应率误差方面均优于标准的 LANL30 和 LANL70 结构。
  • 与 HA 的比较： RL 方法的性能与层次凝聚（HA）方法相当，但计算开销显著降低。HA 方法优化单个问题需要数万次全输运模拟（301 群起始需 45,225 次，LANL618 起始需 191,362 次），而 RL 方法仅需两个训练好的模型（针对 30 群和 70 群目标），且针对不同起始网格或材料布局无需重新训练。
  • 训练效率： 在标准笔记本电脑（Apple M3 Max）上训练代理模型和 RL 模型耗时约六小时，而若无代理模型（使用全模拟）进行训练，则需超过 8,300 小时。
  • 谱适应： 对所得群结构的分析表明，RL 智能体成功地将能量边界适应了特定的中子谱。对于快谱 Godiva 问题，RL 模型将边界集中在快能区，而标准的 LANL30 结构则将更多分辨率置于与该特定问题关联较小的共振/热区。

意义
本文表明，结合代理模型的强化学习为传统的群结构优化技术提供了一种灵活且计算高效的替代方案。该方法成功避免了贪婪算法中常见的局部极小值陷阱，并将优化计算负担降低了数个数量级。通过从高精度网格中学习移除边界，该方法生成了针对特定问题的群结构，其性能优于通用标准网格（LANL30/70），同时保持了在不同材料配置和起始条件下无需重新训练即可泛化的能力。作者指出，未来的工作可以扩展动作空间以包含添加或扰动边界，并进一步细化代理分辨率以提高性能。