Resumo Técnico: RL4F – Aprendizado por Reforço Offline para Controle de Plasma em Fusão Nuclear

Definição do Problema

O desenvolvimento de controladores para tokamaks de fusão nuclear via aprendizado por reforço (RL) online é proibitivamente caro e arriscado devido ao alto custo de operação, limitações de tempo e natureza crítica de segurança de dispositivos reais. Embora existam simuladores baseados em física (ex: RAPTOR, TORAX), eles são computacionalmente caros, exigem calibração extensiva e frequentemente têm dificuldade em capturar dinâmicas complexas e não lineares de plasma. Por outro lado, aprender diretamente de dados experimentais históricos sem interação online (RL offline) oferece uma alternativa mais segura, mas carece de um benchmark padronizado. Os desafios atuais incluem a alta dimensionalidade dos perfis de plasma, dinâmicas não lineares e estocásticas, observabilidade parcial e a dificuldade de especificar recompensas para tarefas de controle de longo horizonte.

Metodologia

O artigo apresenta o RL4F, um benchmark unificado para RL offline no controle de perfil de tokamak. A metodologia é estruturada em torno de quatro componentes principais:

1. Modelagem de Dinâmica (O Ambiente)

Em vez de utilizar simuladores baseados em física, os autores constroem um "gêmeo digital" orientado a dados usando um conjunto de Redes Neurais Probabilísticas Recorrentes (RPNN).

• Dados de Treinamento: O modelo é treinado em 18.000 disparos experimentais históricos do tokamak DIII-D, abrangendo quase uma década.
• Arquitetura: Um conjunto de 25 membros de RPNNs prevê a distribuição das mudanças de estado ($\Delta s_t$) dado o estado atual ($s_t$), a configuração anterior do atuador ($a_{t-1}$) e o incremento do atuador ($\Delta a_t$).
• Quantificação de Incerteza: O modelo fornece parâmetros para uma distribuição Gaussiana ($\mu_t, \sigma_t$). O conjunto captura a incerteza epistêmica (via discordância entre membros), enquanto a cabeça de log-variância captura a incerteza aleatória.
• Treinamento em Dois Estágios: O primeiro estágio otimiza a média preditiva (MSE), e o segundo estágio congela o backbone para calibrar a incerteza via log-verossimilhança negativa.

2. Construção do Conjunto de Dados

Um conjunto de dados offline sintético é gerado inicializando trajetórias (rollouts) a partir de estados reais de "flat-top" e executando o rollout autoregressivo do modelo de dinâmica de referência.

• Escala: O conjunto de dados final compreende 5.882 disparos e 945.828 transições.
• Divisão (Split): Divisões fixas são utilizadas: 5.282 disparos para treinamento, 300 para validação e 300 para teste.
• Procedimento: Próximos estados medidos são substituídos por previsões do conjunto para simular o comportamento de malha fechada, preservando os cronogramas reais de atuadores.

3. Tarefas de Benchmark

O benchmark avalia algoritmos em quatro tarefas de rastreamento de perfil completo, onde o objetivo é regular quantidades espaciais de alta dimensão ao longo da coordenada radial normalizada ($\psi_N \in [0, 1]$):

1. Rotação: Crítica para a supressão de modos de rasgamento (tearing modes) e assimetria de abastecimento.
2. Densidade: Regula o inventário de combustível do núcleo e as taxas de fusão.
3. Temperatura Eletrônica: Afeta o transporte de calor e o confinamento.
4. Pressão: Determina os limites de estabilidade MHD e a energia armazenada.

Configuração de Controle:

• Espaço de Ação: Potência de Injeção de Feixe Neutro (NBI), torque de NBI, voltagem de gas puffing e potência de Aquecimento de Ciclotron de Elétrons (ECH).
• Espaço de Observação: Perfil de corrente, perfil alvo, alvo futuro (deslocado em 10 passos) e termos de erro proporcional (termos-P).
• Recompensa: Erro quadrático médio (MSE) negativo entre o perfil alvo e o alcançado.

4. Protocolo de Avaliação

Os algoritmos são treinados no conjunto de dados sintético estático e avaliados em um ambiente de malha fechada no modelo de dinâmica de referência.

• Baselines: O estudo avalia uma ampla gama de métodos, incluindo Aprendizado por Imitação (GCIL), RL Offline sem modelo (TD3BC, CQL, IQL, EDAC, MCQ) e RL Offline com modelo (PPO, COMBO, MOPO, MOBILE, RAMBO, BAMCTS).
• Métrica: Erro quadrático médio (RMSE) em 33 localizações radiais, calculado sobre a média de 300 disparos de teste e 10 sementes aleatórias.

Principais Contribuições

1. Benchmark RL4F: O primeiro benchmark de RL offline especificamente projetado para o controle de perfil de fusão, fornecendo um ambiente comum para comparação de algoritmos.
2. Ambiente de Alta Fidelidade Baseado em Dados: Um modelo de dinâmica de alta fidelidade treinado em dados reais do DIII-D, evitando o custo de calibração de simuladores baseados em física, enquanto captura as não linearidades específicas do dispositivo.
3. Avaliação Abrangente de Baselines: Uma avaliação unificada de diversas abordagens de RL offline e aprendizado por imitação através de quatro tarefas distintas de rastreamento de perfil de longo horizonte.
4. Liberação de Código Aberto: O código, os conjuntos de dados e a estrutura de avaliação foram disponibilizados como código aberto para promover a reprodutibilidade e a adoção pela comunidade.

Resultados

A avaliação revela que métodos de RL offline com modelo geralmente superam os baselines sem modelo, embora nenhum algoritmo domine todas as tarefas:

• Rotação: O RAMBO alcançou o menor RMSE médio (8,03), seguido de perto pelo COMBO e MOPO. Os métodos sem modelo tiveram desempenho significativamente inferior, provavelmente devido à dificuldade de desviar da distribuição de comportamento em um conjunto de dados estático para a correção de torque de longo horizonte.
• Densidade: O COMBO obteou o melhor desempenho (RMSE 0,691), com MOPO e PPO próximos. A menor lacuna entre métodos com e sem modelo sugere que o conjunto de dados forneceu cobertura suficiente para o controle de densidade.
• Temperatura: O MOPO alcançou o melhor desempenho (RMSE 0,193). Sua capacidade de penalizar previsões de modelo incertas mostrou-se vantajosa para a dinâmica de temperatura, que envolve respostas atrasadas e efeitos de transporte acumulados.
• Pressão: O MOPO liderou novamente (RMSE 5198,6), seguido pelo RAMBO. O forte acoplamento da pressão com a densidade e a temperatura torna esta a tarefa mais desafiadora, favorecendo métodos conscientes de incerteza.

Tendências Gerais:

• O rastreamento próximo ao núcleo do plasma ($\psi_N \approx 0$) é consistentemente mais difícil do que na borda, devido às maiores magnitudes de perfil e variações temporais.
• O aprendizado por imitação puro (GCIL) foi insuficiente para esses problemas de longo horizonte, resultando em erros significativamente maiores do que os métodos de RL offline.
• Nenhum algoritmo é universalmente ótimo; o desempenho varia conforme a dinâmica física específica e o acoplamento do perfil alvo.

Significância e Alegações

O artigo afirma que o RL4F representa um passo crítico para acelerar o progresso tanto na fusão nuclear quanto no desenvolvimento de algoritmos de RL offline. Ao oferecer um ambiente padronizado e baseado em dados, ele permite que pesquisadores desenvolvam e comparem controladores sem os riscos e custos imediatos da experimentação em dispositivos reais.

Os autores observam modestamente que, embora o benchmark seja construído sobre dados reais do DIII-D, sua generalização para outros tokamaks permanece uma questão aberta que requer colaboração mais ampla. Eles enfatizam que o RL4F serve como um ambiente de avaliação offline controlado; o desempenho aqui é evidência do potencial algorítmico, mas não substitui a validação de segurança crítica em dispositivos físicos. O benchmark aborda os desafios específicos de dinâmicas não lineares, controle de longo horizonte e observabilidade parcial inerentes à fusão, posicionando-se como um campo de teste rigoroso para a comunidade de RL offline em geral.