⚡ 电气工程

Delayed-Gratification Deep Reinforcement Learning for Sample-Efficient Photonic Inverse Design

本文提出了延迟满足深度强化学习（Delayed-Gratification Deep Reinforcement Learning, DG-DRL），该方法通过将设计决策与仿真调用解耦，使得每个完整结构仅需一次仿真即可实现样本高效的光子逆向设计，从而在有限的仿真预算下，在有效设计生成和光学效率方面均显著优于传统的逐步强化学习。

原作者： Honggang Li, Shujing Ren, Yongchang Feng, Yihang Chen, Kunyuan Xu

发布于 2026-10-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Honggang Li, Shujing Ren, Yongchang Feng, Yihang Chen, Kunyuan Xu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代光学领域，工程师们正不断尝试将复杂的操控光线的器件缩小到微小的平面上。这些被称为光子组件的设备，通过使用比光波长更小的结构来控制光的折射、分裂或颜色变化。设计这些设备极其困难，因为结构的形状与光学行为之间的关系并不直观。为了找到可行的设计，科学家通常依赖强大的计算机模拟，这些模拟就像虚拟实验室，计算光如何与特定图案相互作用。然而，这些模拟在时间和计算能力方面的成本极高。当一个设计拥有数百个微小变量时，可能的组合数量变得如此庞大，以至于逐一测试是不可能的。这造成了一个瓶颈：检查单个想法的成本限制了能够探索的想法数量。

为了克服这一问题，研究人员转向了一种被称为深度强化学习的人工智能技术。在这种方法中，计算机程序通过将过程视为一场游戏来学习设计设备。程序会对结构进行修改，运行模拟以观察结果，并根据新设计的表现获得评分。然后，它利用该评分来决定下一步要做什么修改。标准版本的问题在于，它在每一次微小的改动后都会请求一次模拟。如果一个设计需要五十次调整，计算机就必须运行五十次昂贵的模拟才能完成一次完整的设计尝试。这种高昂的成本严重限制了程序探索广阔设计空间的能力，往往使其停滞在平庸的解决方案上。

来自华南师范大学的一个研究团队开发了一种解决这种低效的新策略，他们称之为“延迟满足深度强化学习”。这种方法不再在每次微小调整后都请求模拟，而是允许计算机进行一系列决策，在运行单次模拟之前构建出整个设备。想象一位厨师在品尝任何一道复杂菜肴之前，先决定好所有的食材和步骤，而不是每加一撮盐就尝一下锅里的味道。在这一新系统中，计算机逐个变量地构建完整设计，但会等到结构完成后才检查其性能。这意味着，一个完整的设计周期（可能涉及数十次决策）仅需一次模拟即可进行评估。通过将决策过程与昂贵的模拟调用解耦，研究人员大幅减少了寻找高质量设计所需的模拟次数。

该团队在涉及光的三个不同挑战上测试了这种方法。第一个任务是创建结构色薄膜，即通过物理纹理而非颜料产生鲜艳色彩的表面。这类薄膜需要具备高度透明性同时展现特定颜色，这是一个难以平衡的过程。第二个任务侧重于在器件附近对光束进行整形，这种技术用于在紧凑的光学系统中聚焦或引导光线。第三个任务是使用自由型光栅在大角度下引导光束，这些光栅是具有复杂、不规则图案的表面，旨在将光线弯曲到特定方向。在所有这三个案例中，研究人员都将他们的新方法与传统方法及其他标准优化技术进行了对比。

结果显示，延迟满足法具有明显的优势。在结构色薄膜任务中，在仅运行 2,500 次模拟后，新方法产生的有效设计所覆盖的颜色范围几乎是传统方法在相同时间内所达到的范围的十倍。它还发现了更多保持高透光率的设计。在光束转向任务中，新方法在 4 万次模拟后达到了 78.2% 的效率。这一表现与以往研究使用传统强化学习达到相同水平时的表现几乎一致，但那些早期的研究需要 200 万次模拟才能达到该水平。新方法在极短的时间内，用极少的计算量实现了此前需要五十倍计算成本才能达到的结果。

为了理解为什么这种方法如此有效，研究人员将其方法拆解为核心组成部分。他们发现，仅仅改变决策顺序或仅仅等待奖励本身是不够的；事实上，仅使用其中一种改变有时反而会导致结果变差。正是通过“按变量组织决策”与“延迟奖励”的结合，才创造了突破。通过强制计算机在看到结果之前规划整个结构，系统学会了如何理解不同设计部件作为一个整体是如何协同工作的，而不仅仅是孤立地优化微小部分。这使得人工智能能够更有效地在复杂的决策空间中导航，找到传统逐步优化方法所错过的、高性能的解决方案。

这项研究表明，人工智能如何与模拟进行交互，与其本身的智能程度同样重要。通过将学习过程重新构建以匹配问题的物理现实——即最终性能取决于部件的完整组装——研究人员创造了一个在解决复杂设计难题方面效率更高的工具。这种方法不仅加速了过程，而且从根本上改变了计算机探索可能性的方式，使其能以更少的资源找到更好的解决方案。对于设计新设备往往需要巨大计算能力的光子学领域而言，这种方法提供了一条切实可行的路径，使得创造更先进的光学组件不再受限于无止尽模拟的高昂成本。

技术摘要：用于高样本效率光子逆向设计的延迟满足深度强化学习

问题陈述
光子逆向设计涉及寻找能够产生特定光学响应（例如光谱、空间或角度响应）的纳米光子结构。随着器件变得更加集成化和多功能化，设计变量的数量也随之增加，导致候选搜索空间呈指数级增长。传统的优化方法，包括参数扫描、基于梯度的算法和启发式搜索，在处理高维离散变量以及高昂的电磁仿真计算成本时表现不佳。

深度强化学习（DRL）已成为一种极具前景的方法，它将设计过程建模为一个序列决策过程。然而，标准的“逐步式”DRL（T-DRL）在光子应用中面临样本效率低下的问题。在 T-DRL 中，智能体做出一个决策（例如改变材料或几何形状），立即调用电磁仿真器来计算奖励，然后进行下一个决策。由于全波仿真计算成本极高，这种“每个决策对应一次仿真”的交互方案严重限制了智能体在固定仿真预算内探索结构变化的能力。

方法论：延迟满足深度强化学习 (DG-DRL)
作者提出了延迟满足深度强化学习（DG-DRL），旨在将强化学习的决策与仿真调用解耦。其核心创新在于，覆盖所有设计变量的一系列决策仅需在序列结束时进行一次仿真。该方法集成了三个特定的机制：

序列分解动作空间 (SDAS)：
设计过程并非随机或以任意块的形式修改整个结构，而是被组织成 $N$ 个连续步骤，其中 $N$ 是设计变量的数量。在每个步骤 $t$ ，智能体根据当前部分构建的结构状态（ $S_{t-1}$ ）和步骤索引，为恰好一个特定的变量 $S_t$ 选择动作。这确保了每个变量在每个回合（episode）中都被且仅被处理一次。
动态动作掩码 (DAM)：
为了处理约束条件和特定变量的范围，系统采用了动态动作掩码。根据当前的变量索引和设计状态，系统会对网络的输出得分应用二进制掩码。无效动作（即超出允许范围或违反约束的动作）会被分配为 $-\infty$ 的得分，从而在选择概率中将其排除。这防止了智能体在构建阶段探索无效配置。
延迟奖励机制 (DRM)：
仿真器仅在每个回合结束、所有 $N$ 个变量都已确定且完整的结构 $S_N$ 形成后才被调用。对于前 $N-1$ 个步骤，奖励均为零。在最后一个步骤（ $t=N$ ）时，仿真器计算光学响应，并应用任务评估函数 $F(y)$ 生成单个奖励。随后，该奖励被反向传播，以更新该回合中所有先前决策的策略。这种方法将信用分配问题转化为学习早期部分决策与最终全局性能之间的关系。

主要贡献

将决策与仿真解耦： 主要贡献在于从逐步仿真向批量仿真的架构转变。通过将奖励计算推迟到结构完成之后，DG-DRL 将每个设计回合的仿真调用次数从 $N$ 次降低到了 1 次。
机制集成： 论文证明了变量化决策（SDAS）、约束处理（DAM）和延迟反馈（DRM）的结合对于实现高性能是必要的。消融研究表明，单独应用这些机制（例如，仅使用延迟奖励而不使用变量化排序）会导致性能较基准方法下降。
样本效率： 该方法专门设计用于在有限的仿真预算下最大化效用，这在仿真成本极高的光子逆向设计领域是一个关键约束。

结果
作者在三个不同的光子逆向设计任务上验证了 DG-DRL，并将其与 T-DRL、交叉熵方法 (CEM)、粒子群优化 (PSO) 以及混合监督学习-强化学习 (SL-RL) 进行了对比。

高透射率结构显色薄膜：
- 任务： 优化 6 个离散变量（4 个几何变量，2 个材料变量），以在 90–100% 的平均透射率范围内最大化色域面积。
- 结果： 在 2,500 次仿真后，DG-DRL 产生的有效设计数量是 T-DRL 的 2.44 倍，且色域面积比 T-DRL 大 9.58 倍。DG-DRL 实现了 122.97 的平均奖励，优于 PSO (115.93)、CEM (103.59) 和 T-DRL (86.73)。
近场束流整形：
- 任务： 设计一个包含 13 个变量的硅超构光栅，以实现准直、双束准直和聚焦，通过结构相似性指数 (SSIM) 进行评估。
- 结果： 在 5,000 次仿真后，DG-DRL 在所有三个目标上的平均 SSIM 得分均高于 Hybrid SL-RL、T-DRL、CEM 和 PSO。值得注意的是，DG-DRL 在搜索过程中持续改进，而 Hybrid SL-RL 则过早进入平台期。
自由形式光栅束流转向：
- 任务： 优化一个 64 单元二元光栅，以实现针对 9 种波长/角度组合的 +1 级衍射效率。
- 结果： 在 40,000 次仿真后，DG-DRL 在 1100 nm 和 70° 条件下实现了 78.2% 的平均效率。这一结果与之前发表的一项 RL 结果（78.3%）相当，而后者需要 2,000,000 次仿真（DG-DRL 节省了 50 倍的仿真量）。DG-DRL 在所有测试条件下也均优于 CEM 和 PSO。

意义与主张
本文声称，通过对决策组织方式（变量化）和奖励时机（延迟）进行联合设计，可以更高效地利用仿真样本。作者断言，DG-DRL 为高维离散光子逆向设计提供了一种在有限仿真预算下的有效方法。

研究强调，三种机制之间的协同作用至关重要；单独引入变量化决策或延迟奖励，其效果都不足以达到最优，甚至在与基准方法对比时表现出负面影响。结果表明，DG-DRL 能够在利用极小比例的计算资源（仿真次数）的同时，达到与现有先进方法相当甚至更高的性能水平。这项工作将 DG-DRL 定位为优化复杂纳米光子器件的实用解决方案，因为在这些领域，仿真成本是主要的瓶颈。

技术摘要：用于高样本效率光子逆向设计的延迟满足深度强化学习

类似论文