🔬 physics

Gradient-free learning of a closed-loop wall controller for turbulent drag reduction

本文展示了进化策略在湍流控制领域的首次应用，证明了直接在 $Re_\tau \simeq 180$ 的大尺度区域内训练的无梯度循环控制器，通过重组流向速度相关性来重构近壁面湍流，实现了 26% 的皮肤摩擦阻力减小，其性能优于以往基于梯度的多智能体强化学习以及经典的反对控制。

原作者： Giorgio Maria Cavallazzi, Miguel Pérez Cuadrado, Alfredo Pinelli

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Giorgio Maria Cavallazzi, Miguel Pérez Cuadrado, Alfredo Pinelli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一股空气之河正冲过一条长而光滑的隧道。尽管墙壁看起来很平滑，但紧贴墙壁的空气却是一片由微小旋涡组成的混乱状态。这些隐形的漩涡不断摩擦着墙壁，产生了“皮肤摩擦”——一种粘性的阻力，使得推动空气通过变得异常困难。如果你能平息这些漩涡，空气就会流动得更加顺畅，从而节省大量的能量。

长期以来，科学家们一直试图教计算机如何通过“反向作用”来对抗这些漩ola以减少阻力。一种流行的方法叫做对冲控制（Opposition Control），它就像一种反射动作。如果传感器检测到空气正向着墙壁向上运动，计算机就会立即向下吹气以抵消这种运动。这是一个简单的物理规则：“感知到什么，就做相反的事。”这种方法效果不错，可以将阻力降低约 22.5%。

但最近，研究人员尝试了一些更高级的方法：他们使用了一种“学习型”计算机（一种人工智能）来寻找最佳的反向作用方式，而没有预设任何规则。他们在一段微缩的小型隧道中训练了这个人工智能。AI 学到了一种在小盒子里表现出色的策略，但当研究人员尝试将其应用于大型、真实尺寸的隧道时，它却失效了。AI 变得混乱，开始进行剧烈的、断断续续的“开-关”式猛烈冲击（就像反复开关灯一样），导致阻力降低率降至仅 17.4%。事实证明，那个微小的训练盒误导了 AI，让它以为整个世界都是那么小。

重大发现
在这项新研究中，研究人员尝试了另一种方法。他们不再是通过展示错误并逐步纠正错误的方式来教导 AI（这是之前那种方法的工作方式），而是使用了名为**进化策略（Evolution Strategy）**的技术。

你可以把这想象成培育冠军赛马。与其教练一匹马，不如先准备一个拥有略微差异的马群。你让它们跑完一场完整的比赛（即一次完整的气流模拟），然后观察哪匹马跑得最快。你不需要告诉它们如何奔跑，你只需要选出胜者，将它们的特征混合在一起，创造出新的一代——这一代马会比上一代稍微强一点。你一遍又一遍地重复这个过程。

通过这种“育种”方法，研究人员直接在大型全尺寸隧道（其摩擦雷诺数 $Re_{\tau} \simeq 180$ ）上训练了控制器。他们没有使用微型盒子作为练习场，而是让计算机在宏大且混乱的现实环境中进化出一种策略。

结果
其结果是，这种新控制器减少了 26.1% 的阻力。

这优于旧有的“对冲控制”反射法（22.5%）。
它远好于在微型盒子上训练出的 AI（17.4%）。
这是首次在模拟湍流中使用这种特定的“进化”方法。

运作原理（转折点）
令人惊讶的部分在于：尽管新控制器和旧的“对冲控制”都能实现类似的减阻效果，但它们实现的方式完全不同。

旧方法（对冲控制）： 计算机观察空气的上下运动（法向速度），并针对这种运动进行反向抵消。这就像试图通过向下按压水面来阻止波浪。
新方法（进化策略）： 计算机基本忽略了上下运动。相反，它学会了追踪沿着隧道方向移动的、长长的、条纹状的快速与慢速气流（流向速度）。它的行为就像一个修剪长而杂乱藤蔓的花匠。

模拟显示，新控制器将那些长而慵懒的气流条纹破碎成了更短、更零碎的片段。而旧控制器只是试图压平它们。两种方法都能通过平息湍流来减少阻力，但它们在“缓冲层”（紧贴墙壁的区域）重新排列混沌的方式完全不同。

为什么这很重要
研究人员谨慎地指出，这目前还是一项模拟研究，尚未进行真实的风洞实验。然而，模拟表明，新控制器运行平稳且连贯；它不会像旧的 AI 那样陷入剧烈的、“开-关”式的恐慌状态。

核心结论是，你并不一定要遵循旧方法的物理规则才能获得理想的结果。通过让计算机直接在那个巨大且困难的问题上进行进化，它找到了一个秘密捷径：它没有去硬碰硬地对抗上下运动，而是学会了与侧向的条纹“共舞”。这提醒我们，有时解决复杂问题的聪明做法并不是正面硬刚，而是找到一种问题本身未曾预料到的全新节奏。

技术摘要：用于湍流减阻的闭环壁面控制器的无梯度学习

问题陈述
用于湍流减阻的闭环壁面控制，特别是在采用多智能体强化学习（MARL）时，在从训练向应用过渡的过程中面临显著局限。目前的基于梯度的策略通常是在小型、周期性的最小流单元（MFU）上进行训练的。当这些策略被迁移到更大规模的区域时，往往表现出性能下降。此外，此类策略容易产生“饱和砰-砰”（saturated bang-bang）式的驱动行为，从而坍缩为驻波流向波。这些退化行为是人工产物，其控制尺度是由计算框的大小而非近壁面循环的物理特性决定的。此外，壁面驱动所需的零净质量约束破坏了基于梯度方法的逐块信用分配（per-patch credit assignment），这使得需要一个中心评论家（central critic）来解决大规模区域中的联合动作空间。

方法论
作者提出应用进化策略（ES）来直接在摩擦雷诺数 $Re_\tau \approx 180$ 的大型全湍流通道上优化循环闭环控制器。

流场配置： 直接数值模拟（DNS）在平面通道内进行，其维度为 $(L_x^+, L_y^+, L_z^+) \approx (1926, 576, 360)$ 。通过壁面法向吹吸（ $w_w$ ）进行控制，并通过投影层强制执行瞬时零净质量约束。传感发生在检测平面 $z_d^+ \approx 14$ 处。
控制器架构： 循环神经网络（RNN）将检测平面的速度场映射为壁面驱动场。该架构与此前研究过的 GRU-MARL 控制器相同，但优化方式不同。
优化策略： 与基于梯度的方法不同，ES 将模拟和网络视为黑盒。它通过评估一组扰动参数向量在完整流过程中的表现来优化策略参数（ $\theta$ ）。其适应度函数是一个能量感知准则： $F(\theta) = (\varepsilon_0 - \varepsilon(\theta)) / \varepsilon_0$ ，其中 $\varepsilon$ 是包括泵送功率和壁面功率在内的总耗散。
更新机制： 利用镜像高斯扰动，根据每一代中适应度值的相对排名来更新种群均值。这种方法消除了对 DNS 解算器或中心评论家的反向传播需求，从而允许在全域上并行评估独立的流过程。

核心贡献与结果

首次将 ES 应用于湍流： 据作者所知，这是首次将进化策略应用于湍流控制。
卓越的减阻性能： ES 优化的控制器实现了约 26.1% 的皮肤摩擦减阻。这一结果超过了：
- 在最小框上通过基于梯度的 MARL 训练并迁移至大区域的相同架构（17.4%）。
- 经典的对立控制（OC）（22.5%）。
  结果表明，当基于梯度的策略从最小框迁移到大区域时所损失的减阻性能，可以通过直接在大区域上优化策略得以恢复。
独特的控制机制： 尽管实现了相当的减阻效果，ES 控制器与对立控制（OC）通过根本不同的物理机制运行：
- 雷诺应力重组： 两者都降低了加权雷诺剪切应力，但它们在缓冲层中遵循不同的轨迹，导致不同的各向异性不变量和应力剖面。
- 驱动相关性： 虽然 OC 是针对壁面法向速度波动（ $w'$ ）进行作用，但 ES 的驱动主要与流向速度波动（ $u'$ ）相关。ES 的驱动作用于流向低速和高速条纹，而非 OC 所针对的扫掠（sweeps）和喷射（ejections）。
- 条纹修改： OC 主要降低近壁面条纹的振幅。相比之下，ES 控制器将长流向条纹破碎成较短的片段，将流向能量重新分配到更小的尺度。
避免退化： ES 控制器产生平滑、非饱和的驱动，能够追踪演化的流场，避免了在某些基于梯度的策略中观察到的“砰-砰”饱和及驻波人工现象。

意义
本文声称，ES 框架通过评估完整的流过程而非单个局部块，成功解决了零净质量约束下多智能体控制固有的信用分配问题。通过直接在大型评估区域上进行优化，ES 控制器避免了由于从最小框进行迁移学习而导致的领域尺寸失配问题。研究表明，无需依赖特定的物理先验（如对立控制），即可实现高性能的减阻；且不同的控制策略可以通过对近壁面湍流循环的不同重组来实现相似的减阻指标。ES 控制器的平滑性和可解释性表明，它反映了受控湍流的物理特性，而非训练区域的数值人工产物。

类似论文