Learning Scattering Amplitudes with Transformer Reinforcement Learning

技术摘要：利用 Transformer 强化学习学习散射振幅

问题陈述
本文解决了在平面 $\mathcal{N}=4$ 超对称杨-米尔斯（SYM）理论中确定高圈级散射振幅的计算挑战。基于费曼图的传统微扰方法随圈数和粒子数的增加呈阶乘级增长，使得高阶计算变得难以实现。虽然最近的研究将这些振幅的符号结构建模为可由 Transformer 解决的序列建模问题，但现有的“仅限 Transformer”的方法存在两个关键局型限制：

1. 数据依赖性： 它们需要预先知道绝大部分最终答案（例如，$L=6$ 时需已知 97% 的系数）才能作为训练数据。
2. 一致性： 对概率分布进行贪婪采样往往会产生违反已知物理关系和对称性的输出，因为模型在预测系数时并未考虑全局约束。

目标是在已知系数显著减少的情况下，重建三胶子形式因子（具体为 $3g \to H$ 振幅）的符号字母表中的整数系数，同时保证所有物理约束得到满足。

方法论
作者提出了一种 Transformer 强化学习（RL） 算法，该算法将精确的线性关系和对称性直接集成到搜索过程中。该方法将重建过程视为一个涉及三个不同组件的序列搜索问题：

1. 符号表示与约束：

   • 振幅被表示为一个符号 $S[F^{(L)}]$，它由长度为 $2L$、取自六字母字母表 $\{a, b, c, d, e, f\}$ 的序列（“单词”）上的整数系数 $C$ 组成。
   • 解空间受相邻约束（禁止的字母对和交替结构）以及线性关系（可积条件、因果性和全圈关系）的约束。这些关系允许从部分赋值中确定推导出许多系数。

2. 状态压缩（最小后缀表示）：

   • 为了处理状态空间的阶乘级增长，作者采用了“最小后缀表示”。通过分析作用于单词末尾的关系，他们构建了一个紧凑的独立变量基底。
   • 这通过使用代表性标记替换后缀来减少状态大小，从而将序列长度缩短为 $2L - K + 1$，尽管这增加了标记字母表的规模。

3. 算法架构：

   • 预训练： 一个双头 Transformer 进行预训练，利用已知的系数子集。策略头（Policy Head） 学习预测系数（$P(\text{coefficient}|\text{word})$），而价值头（Value Head） 学习估计剩余路径长度（通过均方误差），以引导搜索。
   • 强化学习循环（MCTS）： 算法按以下循环运行：
     1. 选择（Selection）： 识别出一个未分配系数且参与最多“仅含两个未知数关系”的单词。
     2. 提议（Proposal）： 预训练的 Transformer 提出候选系数的分布。
     3. 传播（Propagation）： 使用精确的线性关系来确定性地传播赋值的后果。这一步会自动解析许多其他系数。
     4. 搜索（Search）： 当传播达到一个存在未解决系数的固定点时，蒙特卡洛树搜索（MCTS） 会探索替代的赋值方案。
     5. 约束强制（Constraint Enforcement）： 任何违反已知关系的赋值都被视为“游戏结束”，从而剪枝搜索树的分支。这确保了每一个生成的输出都符合物理一致性。

核心贡献

• 集成对称性： 与以往仅靠 Transformer 的方法不同，该算法将推导出的对称性和线性关系作为硬约束集成到学习循环中，而不仅仅依赖于统计学习。
• 混合搜索机制： 通过结合基于 Transformer 的系数提议、确定性传播和 MCTS，该系统能够应对状态空间的组合爆炸。
• 数据效率： 该方法大幅降低了作为预训练标签数据所需的解的比例。
• 保证一致性： 通过将违反关系的行为视为 MCTS 中的终止状态，该算法保证了每一个输出都满足全套施加的关系，这是标准序列建模所不具备的特性。

结果
该算法在包含 12,543 个单词的三胶子形式因子 $L=5$ 符号上进行了测试。

• 性能： 模型成功重建了完整的 $L=5$ 符号，而仅需使用低至 5% 的已知系数作为输入。
• 对比： 这与“仅限 Transformer”的方法形成鲜明对比，后者在 $L=6$ 的情况下需要 97% 的符号进行训练。
• 效率： 在需要 MCTS 干预之前，仅靠传播过程就完成了大约 70% 的单词赋值。剩余的工作由 Transformer 学习到的先验知识处理。
• 验证： 所有生成的解均与先前推导的结果一致（在循环变换意义下），并满足所有施加的关系。

意义与主张
论文声称，这种方法对于机器学习向更高圈级的泛化至关重要。如果没有精确关系的集成和 MCTS，阶乘级增长的状态规模将使得结果无法与其他方法推导出的结果进行比较。作者断言，他们的方法允许在大幅减少预训练集的同时，推导出高圈级结果（特别是 $L=5$），并确保物理一致性。

作者指出一个轻微的局限性：虽然他们的方法使用的计算能力比近期的一些研究成果（特别是指向在他们提交论文后不久发布的 Anthropic 的 $L=9$ 结果）要少，但该方法尚未在 $L=9$ 上得到演示。他们表示，将该方法扩展到 $L=9$ 将是后续工作的课题。