Global State-Guided Reinforcement Learning-Assisted Differential Evolution for Multi-Objective Optimization
该论文提出了GSG-RLDE，一种全局状态引导的强化学习辅助差分进化算法，该算法将收敛、分布和趋势信息集成到一个紧凑的状态中，以使个体能够独立选择自适应变异策略和控制参数，并在基准多目标问题和真实无人机路径规划场景中均展示了卓越的性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在计算机科学的广阔领域中，存在着一个被称为多目标优化（multi-objective optimization）的持久挑战。想象一位旅行者正试图寻找一条既是最短、最安全，又最节省燃料的完美路线。在现实世界中，这些目标往往相互冲突；最快的路径可能会穿过危险的风暴，而最安全的路线可能是一条漫长且蜿蜒的绕道。与只有一个单一“最佳”答案的简单问题不同，这类复杂场景需要找到一组解，每一个解都代表了不同需求之间的不同平衡。为了解决这个问题，研究人员使用进化算法（evolutionary algorithms），这种算法模仿了自然选择的过程。它们从一大群随机猜测，即“种群”开始，通过不断地对它们进行混合和变异，保留表现最好的个体以创造下一代。随着时间的推移，这个过程会演化出一组高质量的选择。然而，有效地引导这种进化是非常困难的。算法必须不断决定是去探索新的、未知的领域，还是去精炼已经找到的最佳解——这是一种微妙的平衡行为，通常需要人类专家进行人工调优。
来自西安科技大学和昆山杜克大学的研究团队开发了一种新方法来自动化这种引导，允许计算机学习如何自行控制搜索过程。他们将这种方法称为 GSG-RLDE，这是一个结合了差分进化算法（一种特定类型的进化算法）与强化学习（人工智能的一个分支，计算机通过试错来学习）的系统。该系统不再依赖固定规则或人类直觉来调整搜索，而是观察种群的整体健康状况并做出实时决策。它观察当前的解距离理想权衡点的距离、它们的分布是否均匀，以及该群体是在进步还是在停滞。基于这种“全局状态”（global state），系统会为种群中的每个个体分配特定的策略，有效地让一些个体采取大胆的冒险，而另一些则进行谨慎、精确的调整。
其核心创新在于系统感知问题的方式。该算法并非将种群中的每个成员视为完全相同，而是构建了一个关于整个群体状态的紧凑摘要。它计算顶尖表现解的比例，测量它们的分布是否均匀，并追踪这一比例在前后步骤之间是增长还是萎缩。这个摘要充当了整个群体的共享地图。利用被称为 Q 表（Q-table）的数字记忆库，系统学习了哪些搜索策略组合和调整设置在特定情况下效果最好。当地图显示搜索陷入停滞或变得过于拥挤时，系统可能会指示个体尝试更激进的变异策略。如果搜索进展顺利但解开始聚集在一起，它可能会建议一种更温和的方法以使它们分散开来。至关重要的是，虽然系统使用共享记忆来从群体的集体经验中学习，但种群中的每个个体都是独立行动的，从这份共享知识中采样自己的策略。这使得单个世代内能够产生多样化的行为，在向共同目标迈进的同时，防止群体陷入局部陷阱。
为了测试他们的创造物，研究人员让 GSG-RLDE 与其他五种领先的算法进行了严格的一系列对比试验。他们使用了 31 个标准数学问题来测试不同类型的难度，范围涵盖了从简单的双目标场景到具有不规则形状的复杂多维景观。结果表明，这种新方法始终优于其竞争对手。它在所发现解的质量以及覆盖可能权衡范围的能力方面，都取得了最佳的综合排名。事实证明，该系统在其他算法难以维持平衡（即在寻找最佳答案与保持解的多样性之间取得平衡）的困难地形中表现尤为出色。除了这些数学基准测试外，团队还将该方法应用于一个实际的工程挑战：无人驾驶飞行器（UAV）的航迹规划。在这种场景下，无人机必须在避开障碍物、保持安全高度限制的同时，从起点飞往目的地，并尽可能减少能量消耗。新算法成功生成的飞行路径比其他方法产生的路径更短、更平滑且更安全，证明了其处理现实世界约束（即必须权衡安全性与效率）的能力。
这项研究表明，通过赋予进化算法感知自身进度并据此调整行为的能力，我们可以无需人工干预就能更可靠地解决复杂问题。研究人员发现，这种方法适用于各种类型的问题，从抽象的数学谜题到三维空间中的物理约束。虽然该方法并非解决所有可能优化问题的万能药，但它代表了在使这些强大的搜索工具更加自主和高效方面迈出的重要一步。这种全局状态引导方法的成功表明，优化的未来可能在于那些能够“学习如何学习”的系统，在探索现实世界挑战中广阔且往往相互冲突的景观时，不断精炼自身的策略。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。