Applying reinforcement learning to optical cavity locking tasks: considerations on actor-critic architectures and real-time hardware implementation

本文研究了将深度强化学习（具体为深度确定性策略梯度算法）应用于自定义 Gymnasium 环境，以实现引力波探测器非线性机制下法布里-珀罗光学腔的自主锁定，并讨论了架构改进以及实时硬件实现的策略。

要点

想象一下，你正在尝试调校一个巨大且极其灵敏的乐器（一个激光腔）。为了让它发出完美且稳定的音调，你必须极其精确地不断调整两面镜子之间的距离。如果乐器稍微走调，声音就会消失。为了保持音调持续，你必须不断进行微调。这就是“锁定”光学腔的挑战，这项任务对于探测被称为引力波的时空涟漪至关重要。

这篇论文描述了作者如何教一个“计算机大脑”（人工智能）自动完成这项调校工作，使用的是一种叫做**强化学习（Reinforcement Learning）**的方法。以下是他们旅程的拆解，使用了日常类比：

1. 训练场：虚拟健身房

在让 AI 接触真实的、昂贵的镜子之前，作者构建了一个虚拟模拟器（AI 的“健身房”）。

• 类比： 这就像是飞行员的飞行模拟器。AI（飞行员）通过在计算机中经历数百万次的坠毁与成功，来学习如何驾驶飞机（锁定腔体）。
• 结果： 他们训练了一个 AI 智能体（使用一种叫做 DDPG 的方法）来寻找激光共振的完美“甜点区”。它学会了即使在镜子剧烈移动或系统非常敏感（高精细度）的情况下，也能快速抓住锁定状态，这类似于 Virgo 引力波探测器中的情况。

2. 速度障碍：计算机太慢了

虽然 AI 学得很好，但作者遇到了一个障碍：训练过程出奇地慢。

• 类比： 想象你有一台赛车引擎（强大的图形卡）和一台微小、缓慢的自行车引擎（标准的计算机芯片）。你会预期赛车引擎能更快地完成一圈。然而，作者发现他们的“赛车”实际上并没有比“自行车”跑得更快。
• 问题： 他们编写用于模拟镜子的软件代码并没有被设计为高效利用高性能硬件的性能。这就像是试图绑着一条腿跑马拉松。这种缓慢性使得 AI 很难学习处理复杂的现实世界情况（例如随机噪声）。

3. 升级大脑：更好的算法

作者意识到，虽然他们目前的 AI 大脑（DDPG）很有效，但还有更“聪明”的大脑可用。

• 类比： 他们目前正在使用一个非常好的计算器。但他们正在关注更新的模型（如 TD3 和 SAC），这些模型可能会在探索不同解决方案方面表现得更好，而不会陷入僵局。他们还讨论了“元学习（Meta-Learning）”，这就像是教 AI 如何学习 新任务，而不仅仅是教它完成某一个特定任务。
• 决定： 目前，他们认为“元学习”对于他们现有的设置来说过于沉重且具有风险。相反，他们计划为现有的 AI 添加一个“记忆层”（类似于短期记忆），使其能够记住事件的序列，从而帮助它随着时间的推移做出更好的决策。

4. 现实世界的障碍：延迟与硬件

从计算机模拟转向现实世界是最大的挑战。在现实世界中，从看到问题到解决问题之间存在延迟。

• 类比： 想象你要去接住一个掉落的玻璃杯。如果你的大脑处理图像并告诉手部动作的时间太长，玻璃就会碎掉。
• 瓶颈： 他们目前的硬件（一个名为 Jetson Nano 的小型计算机）思考速度足够快，但“手”（移动镜子的执行器）却很慢。它每秒只能移动 200 次。
• 解决方案：
  1. 更换硬件： 构建一个定制芯片（FPGA），使其速度达到问题所需的水平。这相当于把慢速的手换成机械臂。
  2. 改变策略： 与其尝试让镜子移动得极快，不如让 AI 移动得慢一些但更精准，同时依然快速监测传感器。
  3. 离线更新： AI 在实际机器上运行，但当它需要“大脑升级”时，数据会被发送到另一处的强大计算机。强大的计算机教会 AI 一个新技巧，然后 AI 会暂停，加载新知识，然后重新启动。

总结

作者已成功教会了一个 AI 在计算机模拟中调校激光腔。他们已经确定，目前的软件在训练效率上过慢，且硬件在反应速度上存在物理极限。他们的下一步是升级 AI 的“记忆”，优化代码以运行得更快，并研究如何将这个 AI 安全地安装到真实的物理实验中，而不损坏精密的设备。最终目标是让这些 AI 系统协助管理那些用来倾听宇宙的庞大探测器。

技术摘要

技术摘要：将强化学习应用于光学腔锁定

问题陈述
本文探讨了自主锁定法布里-珀罗（Fabry–Perot, FP）光学腔的挑战，这是诸如 Virgo、LIGO 和 KAGRA 等引力波（GW）探测器的关键任务。具体而言，作者专注于在非线性机制下运行这些光学腔，在这种机制下，传统的控制策略可能会面临困难。目标是开发一种深度强化学习（DRL）智能体，能够通过持续调整镜面位置来获取并维持共振，最终实现其在真实世界引力波实验中的部署。

方法论
作者使用 Gymnasium 构建了一个定制的仿真环境，其中嵌入了一个高精度的时域模拟器。该模拟器能够模拟在不同镜面速度下的腔动力学，包括高精细度下的腔衰减效应。

• 智能体架构： 主要训练的智能体是 深度确定性策略梯度（DDPG） 智能体。
• 奖励函数： 学习过程由基于腔功率和庞德-德雷弗-霍尔（PDH）误差信号设计的奖励函数引导。这种设计旨在防止智能体学习到振荡或次优的行为。
• 训练环境： 该环境允许智能体与真实的腔条件进行交互，从随机的非共振腔长状态开始。
• 硬件与实现： 初步训练和推理在 M1 芯片和 NVIDIA RTX A2000 GPU 上进行了测试。为了实现低延迟执行，使用了 Jetson Nano 作为嵌入式推理的参考，并通过 ADC（ADS1256）和 DAC（DAC8532）进行接口连接。

关键结果

• 锁定获取： 训练好的 DDPG 智能体成功展示了对低精细度和高精细度光学腔可靠的锁定获取能力。这包括参数等效于 Virgo 干涉仪臂腔的光学腔。
• 性能指标： 在一个相当于 Virgo 臂腔的模拟运行中，智能体在从随机非共振状态开始后，大约在 200 个时间步（约 10 ms）内获取了锁定。
• 硬件约束： 当前在 Jetson Nano 上的实现达到了 1.20 ± 0.87 ms 的推理时间。然而，目前系统的瓶颈在于执行器更新率（最大 200 Hz）以及与 ADC/DAC 的通信开销，而非神经网络本身的推理过程。
• 训练效率： 作者指出，训练时间（每次运行 2–3 分钟）在 M1 CPU/GPU 与 RTX A2000 GPU 之间并没有显著的规模差异。他们将其归因于环境缺乏并行执行能力，这目前阻碍了高效的领域随机化（domain randomization）和元学习。

拟议改进与未来方向
论文概述了解决当前局限性并增强鲁棒性的技术策略：

1. 算法演进： 虽然 DDPG 目前取得了最好的结果，但作者计划严格测试 双延迟 DDPG (TD3) 和 软行为者-评论家 (SAC)，以寻求更稳定的策略。他们还根据文献综述考虑了基于 近端策略优化 (PPO) 的方法。
2. 时序处理： 为了处理具有顺序敏感性的序列数据，作者提议在当前架构中添加一个时序单元，例如 循环神经网络 (RNN) 或 门控循环单元 (GRU)。
3. 元强化学习 (Meta-RL)： 虽然元强化学习被讨论为提升泛化能力的路径，但作者目前认为考虑到当前的各项任务多样性，Meta-RL 的计算量过大且存在实现不稳定的风险。
4. 低延迟执行策略：
   • FPGA 实现： 为了克服采样和推理延迟，作者提议使用 HLS4ML 高级综合语言，将智能体迁移到现场可编程逻辑门阵列（FPGA）硬件上。
   • 动作速率降低： 另一种策略是降低 RL 智能体的动作速率以匹配硬件限制，同时保持较高的 ADC 采集速率，这可能有助于实现更准确的动作预测。
   • 离线策略更新： 为了绕过嵌入式设备（如 Jetson Nano）有限的计算资源，作者提出了一个离线更新循环：将在线运行期间收集的数据传输到外部计算机进行策略优化，然后再将其重新加载到系统中。

意义与主张
作者将这项工作定位为将 RL 驱动的控制集成到真实光学设置中进行引力波探测的基础性步骤。

• 仿真到现实 (Sim-to-Real)： 本研究建立了一个经过验证的仿真环境，并证明了 DRL 智能体可以处理高精细度光学腔的非线性动力学。
• 硬件感知： 论文明确讨论了“Sim2Real”差距，通过分析硬件瓶颈（延迟、执行器速率）并提出具体的缓解策略（FPGA、离线更新）。
• 范围适度： 作者对其主张持谨慎态度。他们指出，目前的系统尚未模拟悬挂镜面的惯性或有限的执行器力。他们承认目前的系统是一个原型，用于未来的部署，接下来的直接步骤包括分析延迟、随机效应以及向真实光学装置的过渡。最终目标是将这些控制策略从仿真转移到实际的引力波探测器硬件中。