Reinforcement-learning control of turbulence transition in the modified Hasegawa-Wakatani system

Formulação do Problema

O artigo aborda o desafio de controlar a turbulência de plasma, um mecanismo fundamental para o transporte anômalo em confinamento magnético. Enquanto o controle experimental frequentemente depende de sinais empíricos estáticos, os autores propõem o uso de Aprendizado por Reforço (RL) para encontrar trajetórias de controle ótimas e não triviais para a dinâmica de plasma não linear e caótica.

Para tornar isso computacionalmente tratável, o estudo utiliza um modelo de ordem reduzida: o sistema Hasegawa–Wakatani Modificado (MHW), que descreve a turbulência de ondas de deriva eletrostática e a dinâmica de fluxos zonais. Os autores identificam duas limitações críticas no modelo MHW padrão para aplicações de controle:

1. Falta de Repetibilidade: O modelo padrão suporta estados de fluxo zonal absorventes e de longa duração que persistem indefinidamente uma vez formados, tornando impossíveis as transições bidirecionais (turbulência $\leftrightarrow$ fluxo zonal) dentro de um episódio de controle finito.
2. Atuação Não Restrita: Atuadores do mundo real (ex: eletrodos de polarização, aquecimento por RF) possuem orçamentos de energia finitos.

Para resolver isso, os autores introduzem duas modificações:

• Arrasto Zonal: Um termo de arrasto linear fraco ($-\gamma_{ZF} \bar{\varpi}$) é adicionado à equação de vorticidade. Isso amortece as estruturas zonais, conferindo-lhes uma vida útil finita e restaurando o equilíbrio de acionamento-amortecimento necessário para transições repetíveis.
• Atuação com Orçamento Restrito: O controle é aplicado via um campo de fonte gaussiano espacialmente distribuído ($\phi_{ext}$) composto por quatro atuadores independentes. Um custo ponderado pelo tempo é aplicado à atuação, impondo um orçamento total fixo ($B_{total}$) por episódio.

O estudo investiga duas tarefas de controle complementares:

1. Supressão de Turbulência: Conduzir um estado dominado por turbulência de onda de deriva ($\alpha=0.1$) para um estado de fluxo zonal quiescente.
2. Quebra de Zonal (Aumento de Turbulência): Disromper um estado de fluxo zonal autossustentado ($\alpha=0.5$) para restaurar o transporte turbulento de seção transversal.

Metodologia

Os autores empregam um framework de RL model-free e online interagindo com um solver customizado, nativo de GPU.

• Solver: As equações MHW são resolvidas usando JAX, uma biblioteca Python otimizada para aceleração de GPU. O solver utiliza o esquema de Arakawa para parênteses de Poisson, métodos espectrais para inversão de campos e suporta integração temporal tanto por leapfrog quanto por Runge-Kutta. Ele roda aproximadamente uma ordem de magnitude mais rápido que códigos legados em Fortran (GDB), permitindo o alto rendimento de rollouts exigido para o treinamento online.
• Algoritmos: Dois algoritmos de ator-crítico são utilizados:
  • Soft Actor-Critic (SAC): Utilizado para a tarefa de supressão de turbulência (espaço de ação contínuo).
  • Twin-Delayed Deterministic Policy Gradient (TD3): Utilizado para a tarefa de quebra de zonal (espaço de ação discreto), escolhido por sua capacidade de convergir para ótimos de fronteira.
• Espaço de Observação: O agente observa um campo de 5 canais, $256 \times 256$, consistindo no potencial eletrostático ($\phi$), orçamento restante, energia cinética zonal, sua integral corrente e a fração do episódio restante.
• Funções de Recompensa:
  • Supressão: Uma recompensa baseada em física que minimiza o fluxo turbulento tempo-integrado ($\langle n \partial_y \phi \rangle$), penalizada por um custo de atuação ponderado pelo tempo e uma penalidade de excesso de gastos.
  • Quebra de Zonal: Uma recompensa de fluxo normalizada e invariante de escala para evitar o "reward hacking" (onde o agente infla artificialmente a amplitude do potencial sem interromper a estrutura zonal).
• Inicialização: Uma estratégia de buffer-quente informada pela física (physics-informed warm-buffer) é empregada. Para a tarefa de quebra de zonal, onde a solução ótima reside em uma variedade (manifold) estreita, o replay buffer é pré-preenchido com episódios contendo padrões de atuação antissimétricos específicos para guiar a exploração.

Principais Resultados

1. Tarefa de Supressão de Turbulência

• Desempenho: A política de RL aprendida superou dois baselines heurísticos (acionamento constante e rampa linear descendente) em cinco condições iniciais não vistas. Ela alcançou o menor fluxo turbulento tempo-integrado para o mesmo orçamento consumido.
• Estratégia: O agente aprendeu um cronograma "front-loaded": aplicando um forçamento forte no início para desencadear a transição para um estado zonal, e depois suavizando ao longo de um perfil não linear não trivial para manter o estado contra o arrasto zonal. Isso combinou a transição rápida da rampa linear com a estabilidade do acionamento constante.
• Generalização: A política convergiu para um cronograma próximo de malha aberta que foi robusto através de diferentes condições iniciais, descartando efetivamente detalhes específicos da condição inicial enquanto mantinha a trajetória temporal ótima.

2. Tarefa de Quebra de Zonal

• Desafio: A solução ótima exigia um padrão de atuação antissimétrico cima-baixo (atuadores superiores positivos, inferiores negativos) para induzir convecção $E \times B$ radial. Esta solução ocupava uma variedade de dimensão quase nula no espaço de ação.
• Reward Hacking: Usando uma recompensa de fluxo bruta, o agente falhou, convergindo para um padrão uniforme (mesmo sinal) que inflava artificialmente a amplitude do potencial sem interromper a estrutura zonal.
• Solução: Ao alternar para uma recompensa invariante de escala e usar um warm buffer informado pela física (semeadas com padrões antissimétricos), o agente conseguiu redescobrir a configuração ótima.
• Resultado: A política aprendida aplicou um padrão antissimétrico constante $[-9, -9, +9, +9]$, quebrando com sucesso as bandas zonais coerentes e aumentando o transporte de seção transversal em um fator de 1.8 comparado aos estados não atuados.

Significância e Alegações

O artigo posiciona-se como um estudo exploratório demonstrando a viabilidade do RL como um otimizador direto para a dinâmica de plasma não linear. Suas principais contribuições e alegações são:

• Otimização de Trajetória Prática: O RL pode otimizar políticas de controle diretamente contra o transporte turbulento não linear, em vez de depender de proxies como taxas de crescimento linear ou gradientes de fundo.
• Necessidade de Orientação Física: O estudo destaca que, para sistemas turbulentos, o panorama de recompensa (reward landscape) é frequentemente plano ou enganoso longe do ótimo. A exploração puramente aleatória é insuficiente; a inicialização informada pela física (warm buffers) e o design de recompensa baseado em física (invariância de escala) são críticos para encontrar políticas ótimas.
• Framework de Modelagem: A introdução do arrasto zonal fraco e das restrições de orçamento cria um problema de controle bem posto que mimetiza o tempo de vida finito dos estados zonais e os limites de energia experimentais, permitindo transições bidirecionais repetíveis.
• Escalabilidade: O uso de um solver JAX nativo de GPU torna o treinamento online em modelos de plasma de ordem reduzida viável, aproximando o controle de dinâmica de fluidos da física de plasma.

Os autores declaram explicitamente que, embora os resultados sejam promissores, o estudo é limitado a um modelo de ordem reduzida com parâmetros específicos. Eles não alegam aplicabilidade imediata a dispositivos de fusão de escala total, mas argumentam que as restrições geométricas e a necessidade de aprendizado informado pela física são provavelmente características genéricas de problemas de controle de turbulência.