High-lift Wing Separation Control via Bayesian Optimization and Deep Reinforcement Learning

本研究证明，虽然开环贝叶斯优化通过 30P30N 高升力机翼上的稳态射流控制成功将气动效率提升了 10.9%，但闭环深度强化学习因奖励函数以惩罚为主导而限制了探索，从而产生了可忽略不计的收益。

要点

想象一下，你正在驾驶一架重型飞机。为了安全起飞和降落，机翼需要产生巨大的升力。为此，工程师们使用了“高升力”机翼，这种机翼带有额外的襟翼和缝翼（小型可动部件），它们会弹出以改变机翼的形状。

然而，在陡峭的角度下（例如飞机陡峭爬升或降落时），流经这些额外部件的气流会变得紊乱，并与表面分离，导致飞机“失速”（失去升力）。这就像试图穿过拥挤的人群；如果你移动得太快或角度不对，人们就会撞到你，使你无法高效前行。

本文是一项研究，由一个研究团队进行，他们希望利用两种不同的智能策略来解决这种“气流紊乱”问题。他们使用了一种超级先进的计算机模拟（类似于虚拟风洞），在一种名为"30P30N"的特定机翼设计上测试了他们的想法。

以下是他们尝试解决问题的方法，简单解释如下：

工具：“合成射流”

研究人员没有使用大型机械襟翼，而是使用了微小的、看不见的空气“呼吸”。想象一下，通过机翼表面的微小孔洞吹出一股稳定的气流。这些被称为合成射流。它们不会向系统中添加额外的空气（只是让空气流动），但它们可以平滑紊乱的气流，使空气紧贴机翼，从而防止飞机失速。

策略一：“智能搜索者”（贝叶斯优化）

第一种方法就像一位非常有组织的寻宝猎人。

• 工作原理：计算机尝试从机翼的前部、中部和后部吹出不同组合的气流。它不仅仅是随机猜测，而是利用数学地图从每次尝试中学习。如果某种设置效果良好，它就在附近寻找更好的设置。
• 结果：这种方法非常成功。它找到了一种特定的、稳定的“呼吸”模式，使机翼的效率提高了11%。
• 发生了什么：它主要通过吸入机翼前部（缝翼）的空气来工作，这平滑了气流并减少了阻力（空气阻力）。这就像找到了完美的节奏穿过拥挤的房间而不撞到任何人。

策略二：“视频游戏玩家”（深度强化学习）

第二种方法就像训练一个视频游戏角色（AI 代理）来玩飞行模拟器。

• 工作原理：该 AI 从机翼上的传感器接收实时更新（就像玩家看到屏幕一样）。它试图根据气流此刻的状态，即时调整空气“呼吸”。其目标是学习一种复杂且不断变化的气流控制“舞蹈”，这是人类无法想出的。
• 结果：这种方法遇到了困难。尽管 AI 可以访问即时数据，但它并没有显著提高机翼的性能。
• 失败原因：研究人员意识到，他们给予 AI 的“分数”过于严格。AI 如此害怕犯错（例如损失一点点升力），以至于不敢尝试任何新事物。它陷入了一个安全但无聊的循环，几乎没有改善任何东西。这就像一个学生因为太害怕答错问题而从不举手尝试更难的答案。

重要启示

研究发现：

1. “智能搜索者”（贝叶斯优化） 效果极佳。它找到了一种简单、稳定的解决方案，只需极少的计算机测试就能使机翼飞行得更好。
2. “视频游戏玩家”（深度强化学习） 在这个特定案例中效果不佳。计算机运行成本过高（一次训练需要两周的超级计算机时间），而且 AI 的“规则”过于严格，阻碍了它学习最佳操作。

简而言之：对于这个特定的机翼问题，一种有条理、稳定的最佳设置搜索方法，比试图即时反应的高科技 AI 更有效。研究人员得出结论，如果我们未来要使用这些“视频游戏”AI 方法，我们需要为它们提供更好的规则（奖励）和更快的计算机，使它们能够真正学会飞得更好。

技术摘要

技术摘要：基于贝叶斯优化与深度强化学习的高升力机翼分离流控制

问题陈述
本研究旨在解决 30P30N 高升力机翼构型上的流动分离控制难题，该构型是用于起飞和降落的多元件机翼基准几何体。具体而言，研究针对在高攻角（$\alpha = 23^\circ$）和雷诺数 $Re_c = 450,000$ 条件下失速的抑制。在这些条件下，流动主要由主翼面与襟翼元件之间的剪切层分离主导，导致气动性能下降。研究目标是在缝翼、主翼面和襟翼元件上应用主动流动控制（AFC），利用合成射流延迟分离并提高气动效率（$E = C_l/C_d$）。本研究比较了两种截然不同的优化策略：开环贝叶斯优化（BO）与闭环深度强化学习（DRL）。

方法论
研究采用壁面解析大涡模拟（LES），使用内部开发的 GPU 加速 CFD 求解器 SOD2D，该求解器利用谱元法求解滤波后的不可压缩纳维 - 斯托克斯方程。计算域在流向、法向和展向方向上的范围分别为 $20c \times 20c \times 0.1c$。

• 驱动控制：合成射流布置在缝翼（$x/c = -0.050$）、主翼面（$x/c = 0.725$）和襟翼（$x/c = 1.0$）上。射流以零净质量通量运行；襟翼射流速度受到约束，以平衡缝翼和主翼面射流的质量流量。
• 贝叶斯优化（BO）：这种开环方法将射流速度视为固定参数。高斯过程（GP）代理模型近似控制输入与气动输出之间的关系。目标函数在最大化效率的同时，对相对于基准的任何升力下降或阻力增加施加严格惩罚。该优化过程迭代采样参数空间，以寻找稳态最优构型。
• 深度强化学习（DRL）：这种闭环方法利用多智能体强化学习（MARL）框架。作为神经网络的智能体接收来自每个伪环境（跨越三个三维域）的 78 个传感器的瞬时压力数据，并输出随时间变化的射流速度。智能体使用近端策略优化（PPO）算法进行训练。奖励函数与 BO 目标函数一致，但针对每个伪环境局部计算并聚合。训练环境并行运行 10 个 CFD 模拟以加速数据收集。

主要贡献与结果

1. 基准验证：未受控的 LES 设置针对文献数据（Montalà 等人）进行了验证，该数据是在略高的雷诺数（$750,000$）下获得的。使用了两种网格分辨率：用于优化训练的粗网格（$p=2$）和用于最终评估的细网格（$p=4$）。细网格准确捕捉了壁面解析统计量（$\Delta y^+ < 2$），而粗网格尽管因分辨率较低而低估了阻力，但成功捕捉了升力系数和流动拓扑趋势，验证了其在优化循环中的适用性。

2. 贝叶斯优化成功：BO 框架成功识别出一种稳态射流构型，在细网格上相比基准将气动效率提高了**+10.9%。这一改进主要通过9.7% 的阻力降低**实现，同时保持了升力（$+0.15\%$）。流动分析表明，缝翼上的吸力减薄了边界层并消除了缝翼尾迹，从而驱动了阻力降低。尽管主翼面和襟翼元件上的阻力因更大的再循环区而略有增加，但净效应为正。BO 方法仅需 19 次 CFD 评估即可收敛。

3. DRL 性能与局限性：相比之下，DRL 智能体尽管利用了瞬时流动信息和用于三维驱动的 MARL 框架，但仅实现了边际改进。虽然智能体略微降低了阻力并保持了升力，但气动效率的提升微乎其微。对训练过程的分析表明，奖励函数主要由惩罚项（特别是升力惩罚）主导。由于智能体无法完全消除升力惩罚（升力从未超过基准），效率项因此停滞不前。作者指出，奖励函数中的“硬”约束可能限制了智能体对控制空间的探索，使其陷入局部最优。

4. 计算挑战：本研究突出了高雷诺数 DRL 的显著计算成本。训练 990 个 MARL 回合在 MN5 超级计算机的 30 个节点上耗时约两周（约 48,000 GPU 小时）。这一成本主要由 $Re_c = 450,000$ 下 LES 所需的小时间步长驱动，严重限制了调整超参数或测试替代奖励公式的能力。

意义与主张
本文主张，虽然 BO 是一种稳健且高效的工具，能够以少量评估识别出稳态、可解释的 AFC 策略，但 DRL 在高雷诺数流动控制方面面临重大障碍。本研究的主要意义在于证明：

• BO 可以有效优化稳态合成射流驱动，以缓解复杂三维高升力机翼上的失速并提高效率。
• 对于 DRL，奖励函数的设计至关重要；以惩罚为主导的奖励会限制探索并阻碍发现增强性能的策略。
• 计算成本仍然是高雷诺数下基于 DRL 的流动控制的主要瓶颈。作者建议，未来的进展取决于加速策略，如代理建模、从低雷诺数迁移学习或增加并行化，而不是简单地扩大当前的训练协议。

本研究并未声称 DRL 在此特定应用中优于 BO；相反，它呈现了一项对比分析，表明在当前的计算和奖励约束下，BO 在效率提升方面优于闭环 DRL 方法。