High-lift Wing Separation Control via Bayesian Optimization and Deep Reinforcement Learning

Este estudo demonstra que, embora a otimização bayesiana em malha aberta tenha melhorado com sucesso a eficiência aerodinâmica em 10,9% por meio do controle de jato estacionário em uma asa de alta sustentação 30P30N, o aprendizado por reforço profundo em malha fechada produziu ganhos negligenciáveis devido a uma função de recompensa dominada por penalidades que restringiu a exploração.

O essencial

Imagine que você está tentando pilotar um avião pesado. Para decolar e pousar com segurança, as asas precisam gerar muita sustentação. Para isso, os engenheiros utilizam asas de "alta sustentação", que são como asas com flaps e slats extras (peças pequenas e móveis) que se projetam para alterar o formato da asa.

No entanto, em ângulos íngremes (como quando um avião sobe em rampa íngreme ou está pousando), o ar que flui sobre essas peças extras pode ficar turbulento e separar-se da superfície, fazendo com que o avião entre em "estol" (perda de sustentação). Isso é como tentar correr através de uma multidão densa; se você se mover muito rápido ou em um ângulo errado, as pessoas esbarram em você, e você não consegue avançar com eficiência.

Este artigo é um estudo realizado por uma equipe de pesquisadores que desejavam resolver esse problema do "ar turbulento" usando duas estratégias inteligentes diferentes. Eles utilizaram uma simulação computacional superavançada (como um túnel de vento virtual) para testar suas ideias em um projeto específico de asa chamado "30P30N".

Veja como eles tentaram resolver o problema, explicado de forma simples:

A Ferramenta: "Jatos Sintéticos"

Em vez de usar flaps mecânicos grandes, os pesquisadores utilizaram "respirações" de ar minúsculas e invisíveis. Imagine soprar um fluxo constante de ar através de pequenos orifícios na superfície da asa. Estes são chamados de jatos sintéticos. Eles não adicionam ar extra ao sistema (apenas o movem), mas conseguem alisar o fluxo de ar turbulento, mantendo o ar aderido à asa para que o avião não entre em estol.

Estratégia 1: O "Procurador Inteligente" (Otimização Bayesiana)

O primeiro método é como um caçador de tesouros muito organizado.

• Como funciona: O computador testa diferentes combinações de soprar ar pela frente, meio e trás da asa. Ele não apenas chuta aleatoriamente; usa um mapa matemático para aprender com cada tentativa. Se uma determinada configuração funciona bem, ele procura nas proximidades configurações ainda melhores.
• O Resultado: Este método foi muito bem-sucedido. Ele encontrou um padrão específico e constante de "respiração" que tornou a asa 11% mais eficiente.
• O que aconteceu: Funcionou principalmente sugando ar na parte frontal da asa (o slat), o que alisou o fluxo e reduziu o arrasto (resistência do ar). Foi como encontrar o ritmo perfeito para caminhar por aquela sala lotada sem esbarrar em ninguém.

Estratégia 2: O "Jogador de Videogame" (Aprendizado por Reforço Profundo)

O segundo método é como treinar um personagem de videogame (um agente de IA) para jogar um simulador de voo.

• Como funciona: Esta IA recebe atualizações em tempo real de sensores na asa (como um jogador vendo a tela). Ela tenta ajustar as "respirações" de ar instantaneamente com base no que o ar está fazendo agora. O objetivo é aprender uma dança complexa e em constante mudança de controle do ar que um humano não conseguiria descobrir.
• O Resultado: Este método lutou. Embora a IA tivesse acesso a dados instantâneos, ela não melhorou muito o desempenho da asa.
• Por que falhou: Os pesquisadores perceberam que a "pontuação" que deram à IA era muito rigorosa. A IA tinha tanto medo de cometer um erro (como perder um pouco de sustentação) que tinha medo de tentar algo novo. Ela ficou presa em um loop seguro e entediante onde mal melhorava qualquer coisa. É como um aluno que tem tanto medo de errar uma pergunta que nunca levanta a mão para tentar uma resposta mais difícil.

A Grande Lição

O estudo constatou que:

1. O "Procurador Inteligente" (Otimização Bayesiana) funcionou muito bem. Ele encontrou uma solução simples e constante que fez a asa voar muito melhor com muito poucos testes computacionais.
2. O "Jogador de Videogame" (Aprendizado por Reforço Profundo) não funcionou bem neste caso específico. O computador era caro demais para executar (levou duas semanas de tempo de supercomputador para uma única sessão de treinamento), e as "regras" da IA eram muito rígidas, impedindo-a de aprender os melhores movimentos.

Em resumo: Para este problema específico de asa, uma busca metódica e constante pela melhor configuração funcionou melhor do que uma IA de alta tecnologia tentando reagir instantaneamente. Os pesquisadores concluíram que, se quisermos usar esses métodos de IA de "videogame" no futuro, precisamos dar a eles regras melhores (recompensas) e computadores mais rápidos para que eles realmente possam aprender a voar melhor.

Resumo técnico

Resumo Técnico: Controle de Separação em Asa de Alta Sustentação via Otimização Bayesiana e Aprendizado por Reforço Profundo

Declaração do Problema
Este estudo aborda o desafio de controlar a separação do escoamento em uma configuração de asa de alta sustentação 30P30N, uma geometria de referência para asas multi-elemento utilizadas durante a decolagem e a aterrissagem. Especificamente, a pesquisa visa a mitigação do estol em um alto ângulo de ataque ($\alpha = 23^\circ$) e um número de Reynolds de $Re_c = 450.000$. Nessas condições, o escoamento é dominado pela separação da camada de cisalhamento entre os elementos principal e de flap, o que degrada o desempenho aerodinâmico. O objetivo é aplicar Controle de Escoamento Ativo (AFC) utilizando jatos sintéticos nos elementos de slat, principal e flap para atrasar a separação e melhorar a eficiência aerodinâmica ($E = C_l/C_d$). O estudo compara duas estratégias de otimização distintas: Otimização Bayesiana (BO) em malha aberta e Aprendizado por Reforço Profundo (DRL) em malha fechada.

Metodologia
A pesquisa emprega Simulações de Grandes Vórtices (LES) com resolução de parede, utilizando o solver CFD acelerado por GPU SOD2D, desenvolvido internamente, que resolve as equações de Navier-Stokes filtradas para fluidos incompressíveis por meio de um método de elementos espectrais. O domínio computacional abrange $20c \times 20c \times 0,1c$ nas direções de corrente, transversal e spanwise, respectivamente.

• Atuação: Jatos sintéticos são posicionados no slat ($x/c = -0,050$), elemento principal ($x/c = 0,725$) e flap ($x/c = 1,0$). Os jatos operam com fluxo de massa líquido zero; a velocidade do jato no flap é restringida para equilibrar o fluxo de massa dos jatos do slat e do elemento principal.
• Otimização Bayesiana (BO): Esta abordagem em malha aberta trata as velocidades dos jatos como parâmetros fixos. Um modelo substituto de Processo Gaussiano (GP) aproxima a relação entre entradas de controle e saídas aerodinâmicas. A função objetivo maximiza a eficiência enquanto impõe penalidades rigorosas para qualquer redução na sustentação ou aumento no arrasto em relação à linha de base. A otimização amostra iterativamente o espaço de parâmetros para encontrar uma configuração ótima em estado estacionário.
• Aprendizado por Reforço Profundo (DRL): Esta abordagem em malha fechada utiliza um framework de Aprendizado por Reforço Multiagente (MARL). O agente, implementado como uma rede neural, recebe dados instantâneos de pressão de 78 sensores por pseudo-ambiente (abrangendo três domínios 3D) e produz velocidades de jato dependentes do tempo. O agente é treinado utilizando o algoritmo de Otimização de Política Proximal (PPO). A função de recompensa espelha o objetivo da BO, mas é calculada localmente para cada pseudo-ambiente e agregada. O ambiente de treinamento executa 10 simulações CFD concorrentes para acelerar a coleta de dados.

Principais Contribuições e Resultados

1. Validação da Linha de Base: A configuração LES não controlada foi validada contra dados da literatura (Montalà et al.) obtidos em um número de Reynolds ligeiramente superior ($750.000$). Duas resoluções de malha foram utilizadas: uma malha grossa ($p=2$) para treinamento de otimização e uma malha fina ($p=4$) para avaliação final. A malha fina capturou com precisão estatísticas resolvidas na parede ($\Delta y^+ < 2$), enquanto a malha grossa, apesar de subestimar o arrasto devido à menor resolução, capturou com sucesso as tendências do coeficiente de sustentação e da topologia do escoamento, validando seu uso no loop de otimização.

2. Sucesso da Otimização Bayesiana: O framework BO identificou com sucesso uma configuração de jato estacionária que melhorou a eficiência aerodinâmica em +10,9% na malha fina em comparação com a linha de base. Essa melhoria foi alcançada principalmente por meio de uma redução de 9,7% no arrasto, mantendo a sustentação ($+0,15\%$). A análise do escoamento revelou que a sucção no slat afinou a camada limite e eliminou a esteira do slat, impulsionando a redução do arrasto. Embora o arrasto nos elementos principal e flap tenha aumentado ligeiramente devido a uma zona de recirculação maior, o efeito líquido foi positivo. O método BO requereu apenas 19 avaliações CFD para convergir.

3. Desempenho e Limitações do DRL: Em contraste, o agente DRL, apesar de aproveitar informações instantâneas do escoamento e um framework MARL para atuação 3D, alcançou apenas melhorias marginais. Embora o agente tenha reduzido ligeiramente o arrasto e mantido a sustentação, o ganho de eficiência aerodinâmica foi negligenciável. A análise do processo de treinamento indicou que a função de recompensa foi dominada por termos de penalidade (especificamente a penalidade de sustentação). Como o agente não pôde eliminar totalmente a penalidade de sustentação (a sustentação nunca superou a linha de base), o termo de eficiência permaneceu estagnado. Os autores observam que as restrições "rígidas" na função de recompensa provavelmente limitaram a exploração do agente no espaço de controle, prendendo-o em um ótimo local.

4. Desafios Computacionais: O estudo destaca o custo computacional significativo do DRL em altos números de Reynolds. O treinamento de 990 episódios MARL exigiu aproximadamente duas semanas em 30 nós do supercomputador MN5 (aproximadamente 48.000 horas-GPU). Esse custo, impulsionado pelos pequenos passos de tempo exigidos para LES em $Re_c = 450.000$, limitou severamente a capacidade de ajustar hiperparâmetros ou testar formulações alternativas de recompensa.

Significância e Afirmações
O artigo afirma que, embora a BO seja uma ferramenta robusta e eficiente para identificar estratégias de AFC estacionárias e interpretáveis com poucas avaliações, o DRL enfrenta obstáculos significativos no controle de escoamento em altos números de Reynolds. A principal significância do trabalho reside em demonstrar que:

• A BO pode otimizar efetivamente a atuação de jatos sintéticos estacionários para mitigar o estol e melhorar a eficiência em asas complexas de alta sustentação 3D.
• Para o DRL, o design da função de recompensa é crítico; recompensas dominadas por penalidades podem restringir a exploração e impedir a descoberta de políticas que melhorem o desempenho.
• O custo computacional permanece um grande gargalo para o controle de escoamento baseado em DRL em altos números de Reynolds. Os autores sugerem que o progresso futuro depende de estratégias de aceleração, como modelagem substituta, aprendizado por transferência a partir de números de Reynolds mais baixos ou maior paralelização, em vez de simplesmente escalar os protocolos de treinamento atuais.

O estudo não afirma que o DRL é superior à BO para esta aplicação específica; em vez disso, apresenta uma análise comparativa mostrando que, sob as restrições computacionais e de recompensa atuais, a BO superou a abordagem de DRL em malha fechada em termos de ganhos de eficiência.