Resumo Técnico: Benchmarking Plug-and-Play de Algoritmos de Aprendizado por Reforço para Controle de Fluxo em Grande Escala

Declaração do Problema

O Controle Ativo de Fluxo (AFC) é crítico para a otimização de sistemas do mundo real, como aerodinâmica, colheita de energia e redução de turbulência. Embora o Aprendizado por Reforço (RL) tenha mostrado promessa neste domínio, o progresso é dificultado por um cenário de pesquisa fragmentado. Estudos existentes dependem de esquemas de observação e atuação heterogêneos, configurações numéricas diversas e protocolos de avaliação inconsistentes, tornando comparações diretas difíceis. Além disso, os benchmarks atuais sofrem de três limitações primárias:

1. Dependência de Solvers Externos: A maioria dos benchmarks exige acoplamento com solvers externos de Dinâmica dos Fluidos Computacional (CFD) (por exemplo, OpenFOAM, Fluent), criando pilhas de software frágeis que demandam expertise especializada e dificultam a integração com bibliotecas padrão de RL em Python.
2. Falta de Diferenciabilidade: Os ambientes existentes são amplamente não diferenciáveis, impedindo o uso de métodos de controle baseados em gradiente, como o Controle Preditivo Diferenciável (DPC), e limitando a aplicação de técnicas modernas de RL diferenciável.
3. Escopo Limitado: Os benchmarks atuais frequentemente carecem de suporte para RL Multiagente (MARL), que é natural para atuação espacialmente distribuída, e são predominantemente restritos a cenários 2D, falhando em capturar a física essencial do fluxo 3D.

Metodologia: FluidGym

Para abordar essas limitações, os autores introduzem o FluidGym, a primeira suíte de benchmarks autônoma e totalmente diferenciável para RL em AFC.

Arquitetura e Design

• Implementação de Pilha Única: Construído inteiramente em PyTorch sobre o solver acelerado por GPU PICT (um solver PISO multi-bloco diferenciável), o FluidGym elimina a necessidade de software CFD externo. Todas as simulações e interfaces de controle residem dentro de um único pacote Python, permitindo instalação via pip e compatibilidade imediata com bibliotecas padrão de RL (por exemplo, Gymnasium, PettingZoo, Stable-Baselines3, TorchRL).
• Diferenciabilidade: O framework é inerentemente diferenciável de ponta a ponta. Isso permite que métodos de controle baseados em gradiente (como DPC) retropropaguem através da simulação até os parâmetros da política sem modificar o ambiente, ao mesmo tempo que suportam RL clássico.
• Modos de Interação: O FluidGym suporta três modos de interação:
  1. RL de Agente Único (SARL): Um único agente emite um vetor de ação global.
  2. RL Multiagente (MARL): Múltiplos agentes atuam simultaneamente em diferentes localizações espaciais, recebendo observações e recompensas locais, permitindo estratégias de controle descentralizado.
  3. Controle Baseado em Gradiente: Otimização direta de políticas através de gradientes de recompensa propagados através da simulação diferenciável.

Ambientes de Benchmark

O FluidGym fornece 13 configurações de ambiente distintas abrangendo quatro cenários de fluxo principais, cada um oferecido em três níveis de dificuldade (Fácil, Médio, Difícil) para variar a intensidade da turbulência e a complexidade do fluxo:

1. Fluxo sobre um Cilindro: Foca na redução do arrasto por meio de jatos sintéticos ou rotação do cilindro. Inclui variantes 2D e 3D.
2. Convecção de Rayleigh-Bénard (RBC): Foca na melhoria da transferência de calor minimizando o número de Nusselt através do aquecimento da fronteira inferior. Inclui variantes 2D, 3D e de domínio amplo.
3. Fluxo sobre um Perfil Aerodinâmico: Visa melhorar a eficiência aerodinâmica (razão sustentação/arrasto) por meio de jatos sintéticos montados na superfície. Inclui variantes 2D e 3D.
4. Fluxo Turbulento em Canal (TCF): Visa reduzir a tensão de cisalhamento na parede através de sopro e sucção espacialmente distribuídos. Inclui variantes de domínio pequeno e grande com atuação em parede única ou dupla.

Protocolo Experimental

Os autores estabeleceram um protocolo unificado de treinamento e avaliação para garantir reprodutibilidade:

• Divisões de Dados: Três divisões pré-definidas (treino, validação, teste) contendo dez domínios iniciais gerados aleatoriamente cada.
• Sementes: Os experimentos utilizam cinco sementes aleatórias e dez episódios de teste por configuração.
• Alavores Avaliados: O estudo compara o Otimização de Política Proximal (PPO), Soft Actor-Critic (SAC), Controle Preditivo Diferenciável (DPC) e Aprendizado por Diferença Temporal para Controle Preditivo por Modelo (TD-MPC).

Resultados Principais

Desempenho dos Algoritmos

• SAC vs. PPO: Em todos os níveis de dificuldade e ambientes, o SAC alcançou consistentemente maiores melhorias relativas normalizadas no conjunto de teste sobre o fluxo base em comparação com o PPO. No entanto, em configurações Multiagente, o desempenho do PPO e do SAC tornou-se mais comparável, provavelmente devido ao PPO se beneficiar do aumento de contagens de amostras em configurações MARL paralelizadas.
• Métodos Baseados em Gradiente: O DPC demonstrou vantagens significativas na eficiência de amostras. No ambiente CylinderJet2D-easy, o DPC superou o PPO e o SAC em aproximadamente uma e duas ordens de magnitude na velocidade de treinamento, respectivamente. Em configurações mais turbulentas (RBC2D-hard), o DPC permaneceu competitivo com o TD-MPC e o SAC, superando o PPO.
• Aprendizado Multiagente: No ambiente RBC3D, os agentes MARL aprenderam com sucesso a coordenar o aquecimento da parede inferior para formar rolos de convecção estáveis, demonstrando a capacidade do framework de suportar cooperação descentralizada.

Aprendizado por Transferência

• Transferência de Dimensionalidade: Políticas treinadas em 2D foram transferidas com sucesso para ambientes de cilindro 3D. Em tarefas fáceis e difíceis, as políticas 2D transferidas superaram ou igualaram as linhas de base treinadas diretamente em 3D, sugerindo robustez na transferência cruzada de dimensões.
• Transferência de Tamanho de Domínio: Políticas treinadas em domínios pequenos de Fluxo Turbulento em Canal generalizaram efetivamente para domínios maiores, superando políticas treinadas diretamente no domínio grande. Isso destaca o potencial do MARL para aprender estratégias de controle equivariantes à translação.

Tempo de Execução e Eficiência

• Tempo de Treinamento: O DPC incorreu em tempos de treinamento de relógio mais altos (1,5–2×) em comparação com o RL padrão devido ao custo computacional da passagem de retrocesso através do ambiente diferenciável.
• Escalabilidade: O framework escalou com sucesso para grandes cargas de trabalho experimentais, totalizando mais de 25.000 horas de GPU ao longo do estudo.

Significado e Alegações

O artigo posiciona o FluidGym como uma ferramenta fundamental para fechar a lacuna entre a pesquisa de RL e a dinâmica dos fluidos. Seu significado primário reside em:

1. Padronização: Fornecer o primeiro benchmark autônomo e plug-and-play que remove a barreira das dependências de solvers CFD externos, reduzindo assim o limiar de entrada para pesquisadores.
2. Diferenciabilidade: Estabelecer um ambiente totalmente diferenciável que permite a comparação sistemática de RL clássico com métodos de controle baseados em gradiente, uma capacidade anteriormente ausente em benchmarks de AFC.
3. Escopo Abrangente: Oferecer uma plataforma unificada para controle de agente único e multiagente através de regimes de fluxo 2D e 3D diversos, facilitando o estudo de estratégias de controle espacialmente distribuídas.
4. Reprodutibilidade: Liberar todos os ambientes, conjuntos de dados, modelos treinados e resultados experimentais publicamente para fomentar a reprodutibilidade e a comparação estatística rigorosa no campo.

Os autores observam que, embora o benchmark seja um passo significativo para frente, as limitações atuais incluem a dependência de GPUs habilitadas para CUDA e um foco em hiperparâmetros padrão em vez de ajuste específico do algoritmo. Trabalhos futuros visam expandir a suíte para fluxos magnetohidrodinâmicos (MHD) e aumentar o número de sementes aleatórias para aprimorar ainda mais a robustez estatística.