Application of Reinforcement Learning for Multigroup Energy Grid Optimization for Neutron Transport Criticality Problems

Este artigo apresenta uma abordagem de aprendizado por reforço combinada com modelos substitutos de redes neurais para otimizar estruturas de energia multigrupo para problemas de transporte de nêutrons de criticidade k esféricos unidimensionais, alcançando precisão comparável ou superior aos métodos existentes, ao mesmo tempo que oferece maior flexibilidade e eficiência computacional.

O essencial

A Visão Geral: Sintonizando o Rádio para um Sinal Nuclear

Imagine que você está tentando ouvir um sinal de rádio muito fraco vindo de um reator nuclear. O sinal (nêutrons) é complexo, com diferentes "frequências" (energias) que mudam rapidamente. Para entender o sinal, você precisa sintonizar o dial do seu rádio.

Na física nuclear, os cientistas usam um método chamado Transporte Multigrupo de Nêutrons. Pense nisso como dividir todo o espectro de rádio em um número fixo de "canais" ou "compartimentos" (chamados grupos de energia).

• Compartimentos demais: Você obtém uma imagem cristalina do sinal, mas seu computador tem que fazer tanto trabalho que leva dias para terminar o cálculo. É como tentar ouvir cada frequência individualmente.
• Compartimentos de menos: O computador roda rápido, mas você pode perder detalhes importantes ou ouvir estática, levando a resultados imprecisos.

O objetivo deste artigo é encontrar o número perfeito de compartimentos e os lugares perfeitos para traçar as linhas entre eles para um problema nuclear específico.

O Problema: O Dilema "Cachinhos Dourados"

Por décadas, os cientistas usaram layouts de canais "pré-definidos" padrão (como as estruturas LANL30 ou LANL70). Estes são como comprar um rádio com botões fixos. Eles funcionam razoavelmente bem para muitas situações, mas não são perfeitos para cada reator específico.

Encontrar o layout personalizado melhor é difícil.

1. É caro: Para testar se um novo layout funciona, você tem que executar uma simulação computacional massiva e lenta (como fazer um teste completo de física para cada pressionamento de botão).
2. É complicado: Se você apenas começar a adivinhar, pode ficar preso em um "mínimo local". Imagine que você está em um vale nebuloso; você pode achar que chegou ao fundo porque não consegue ver o vale mais profundo logo além da próxima colina.

A Solução: Um Robô Inteligente com uma Bola de Cristal

Os autores, Ben Whewell e sua equipe no Laboratório Nacional de Los Alamos, usaram Aprendizado por Reforço (RL).

A Analogia:
Imagine um robô tentando resolver um labirinto.

• O Robô (Agente RL): Sua função é começar com um mapa muito detalhado (uma grade de alta fidelidade com 618 canais) e remover linhas até atingir um número-alvo (como 30 ou 70).
• A Recompensa: Toda vez que o robô remove uma linha, ele recebe uma pontuação. Ele quer uma pontuação alta, o que significa que a simulação ainda é precisa e ele removeu o máximo de linhas possível para economizar tempo.
• A Armadilha: Se o robô apenas adivinhar, levará milhões de tentativas para aprender, e cada tentativa requer uma simulação de física lenta e cara.

A Arma Secreta: O Modelo Surrogado (A Bola de Cristal)
Para fazer o robô aprender mais rápido, a equipe construiu um Modelo Surrogado de Rede Neural.

• Pense nisso como uma bola de cristal ou um treinador altamente experiente.
• Em vez de executar a simulação de física lenta e cara toda vez que o robô faz um movimento, o robô pergunta à bola de cristal: "Se eu remover esta linha, quão bom será o resultado?"
• A bola de cristal olha para o padrão das linhas e dos materiais (como Urânio ou Plutônio) e prevê instantaneamente a precisão. Ela não dá um número perfeito, mas coloca o resultado em um "nível de qualidade" (por exemplo, "Isso é um 9 em 10").

Isso permite que o robô pratique milhões de vezes em algumas horas, em vez de milhares de anos.

O Que Eles Fizeram

Eles testaram essa equipe "Robô + Bola de Cristal" em dois famosos quebra-cabeças nucleares:

1. Godiva: Uma esfera de Urânio puro.
2. BeRP Ball: Uma esfera de Plutônio cercada por uma casca de Berílio.

Eles ensinaram o robô a começar com uma grade massiva e "poder" (podar) até 30 ou 70 grupos, aprendendo quais linhas eram essenciais para manter e quais podiam ser cortadas.

Os Resultados: Melhor que o Padrão

Quando eles testaram os layouts personalizados do robô contra os layouts "pré-definidos" padrão (LANL30 e LANL70):

• Precisão: Os layouts personalizados do robô foram mais precisos. Eles capturaram os detalhes importantes da reação nuclear melhor que os pré-definidos padrão.
• Velocidade: O robô aprendeu a encontrar esses bons layouts muito mais rápido que métodos anteriores (como "Aglomeração Hierárquica", que é uma abordagem gananciosa lenta e passo a passo).
• Flexibilidade: O robô aprendeu uma estratégia geral. Se você mudasse o tamanho da esfera ou o material, o robô poderia se adaptar sem precisar ser re-treinado do zero.

Principais Conclusões em Linguagem Simples

1. Poda Inteligente: Em vez de construir uma grade do zero, a IA começa com uma grade perfeita e detalhada e aprende exatamente quais partes cortar para economizar tempo sem perder precisão.
2. O Treinador: Eles usaram um "treinador" de IA rápido (modelo surrogado) para prever resultados, poupando-os de executar simulações lentas e caras milhões de vezes.
3. Vitória: As grades desenhadas pela IA venceram as grades antigas e padrão para esses testes nucleares específicos, oferecendo uma maneira mais flexível e eficiente de resolver problemas de física nuclear.

Em resumo, eles ensinaram um computador a ser um sintonizador mestre, encontrando o equilíbrio perfeito entre velocidade e precisão para cálculos de segurança nuclear, usando uma "bola de cristal" para acelerar o processo de aprendizado.

Resumo técnico

Resumo Técnico: Aplicação de Aprendizado por Reforço para Otimização de Malhas de Energia Multigrupo em Problemas de Transporte de Nêutrons e Criticidade

Enunciado do Problema
Cálculos precisos de transporte de nêutrons dependem fortemente do esquema de discretização multigrupo, onde a variável de energia contínua é integrada sobre intervalos finitos para criar grupos de energia constantes por partes. A seleção dos limites dos grupos de energia é crítica; limites subótimos podem levar a erros significativos nos espectros de fluxo de nêutrons e nas taxas de reação. Embora malhas de alta fidelidade (por exemplo, LANL618) ofereçam precisão, elas acarretam altos custos computacionais e pegadas de memória. Por outro lado, malhas de baixa fidelidade (por exemplo, LANL30, LANL70) reduzem custos, mas exigem seleção cuidadosa dos limites para manter a precisão. Técnicas de otimização existentes, como Otimização por Enxame de Partículas (PSO) e Aglomeração Hierárquica (HA), enfrentam desafios, incluindo altos custos computacionais devido à exigência de simulações completas de transporte para cada etapa de avaliação e suscetibilidade a mínimos locais ou convergência pobre.

Metodologia
Os autores propõem um novo framework combinando Aprendizado por Reforço (RL) com modelagem de substituição por redes neurais para otimizar estruturas de grupos de energia para problemas unidimensionais esféricos de $k$-criticidade.

• Formulação de Aprendizado por Reforço: O problema é modelado utilizando o algoritmo Proximal Policy Optimization (PPO).

  • Espaço de Estados: Um vetor binário de comprimento 619 representando a presença ou ausência de limites de energia a partir de uma malha de referência LANL618. Para problemas não homogêneos (por exemplo, esfera BeRP), dados de espessura do material e seção de choque total são acrescidos.
  • Espaço de Ações: O agente remove um limite de energia por vez, transitando de um estado inicial de alta fidelidade ($G_{max} \in [200, 617]$) em direção a um número alvo de grupos ($G_{min}$). A máscara de ação garante que apenas remoções válidas ocorram.
  • Função de Recompensa: A recompensa equilibra dois objetivos: minimizar o número de grupos de energia e maximizar a precisão da malha. A precisão é avaliada por meio de uma métrica de erro ($\epsilon$) que combina os erros relativos do fator de multiplicação efetivo ($k_{eff}$) e das taxas de reação integradas (total, fissão-$\nu$ e absorção). Para evitar a cancelação de erros que mascaram imprecisões no fluxo, o erro de $k_{eff}$ é ponderado por um fator de 3 no cálculo da raiz da soma dos quadrados.

• Modelagem de Substituição: Para superar a ineficiência de amostragem do RL on-policy (que, de outra forma, exigiria milhões de simulações completas de transporte), um modelo de substituição de rede neural de classificação de 10 classes é empregado.

  • Arquitetura: Para problemas homogêneos (Godiva), uma Rede Neural Convolucional 1D (CNN) processa o vetor binário de limites de energia. Para problemas heterogêneos (esfera BeRP), uma arquitetura multimodal combina a CNN com uma rede de Memória de Curto e Longo Prazo (LSTM) para codificar propriedades espaciais e de material.
  • Dados de Treinamento: Subconjuntos aleatórios da malha LANL618 são gerados, e simulações completas de transporte são executadas para calcular a métrica de erro $\epsilon$. Esses erros são transformados em distribuições normais e agrupados em 10 classes (1 = menos preciso, 10 = mais preciso).
  • Integração: O modelo de substituição gera a distribuição de probabilidade sobre essas 10 classes. O valor esperado da classe é utilizado para calcular a recompensa, permitindo que o agente de RL aprenda sem executar uma simulação completa de transporte a cada etapa.

Principais Contribuições

1. RL para Otimização de Estrutura de Grupos: Este trabalho introduz a aplicação de RL baseado em PPO ao problema específico de otimização de estruturas de energia multigrupo, permitindo que o agente identifique limites críticos sem estar restrito a uma topologia de malha inicial fixa (além da restrição de subconjunto LANL618).
2. Treinamento Acelerado por Substituição: O desenvolvimento de um modelo de substituição baseado em classificação que incorpora informações de energia, material e espacial reduz significativamente o custo computacional do treinamento de RL, substituindo simulações de transporte caras por inferência rápida de rede neural.
3. Otimização Flexível: Ao contrário de métodos hierárquicos gananciosos que exigem a reexecução de simulações para cada nova condição inicial, os agentes de RL treinados podem adaptar-se a diferentes estruturas de grupos iniciais e disposições de material sem retreinamento.

Resultados
O método foi validado em dois problemas de referência: a esfera de urânio Godiva e a esfera BeRP (esfera de plutônio com refletor de berílio).

• Desempenho do Modelo de Substituição:
  • Godiva: O modelo de substituição CNN alcançou 78,3% de precisão verdadeira e 98,2% de precisão adjacente (previsão dentro de uma classe) em dados de teste subcríticos, generalizando bem para configurações supercríticas.
  • Esfera BeRP: O modelo de substituição multimodal CNN-LSTM alcançou 70,8% de precisão verdadeira e 97,4% de precisão adjacente através de raios de plutônio variados e estados de criticidade.
• Desempenho da Otimização por RL:
  • Precisão: As estruturas de grupos construídas por RL (RL30 e RL70) superaram as estruturas padrão LANL30 e LANL70 em termos de erros tanto de $k_{eff}$ quanto de taxas de reação quando comparadas à referência LANL618.
  • Comparação com HA: O método RL alcançou desempenho comparável ao método de Aglomeração Hierárquica (HA), mas com sobrecarga computacional significativamente reduzida. Enquanto o HA exigiu dezenas de milhares de simulações completas de transporte (45.225 para início de 301 grupos, 191.362 para início LANL618) para otimizar um único problema, o método RL exigiu apenas dois modelos treinados (para alvos de 30 e 70 grupos) e nenhum retreinamento para diferentes malhas iniciais ou disposições de material.
  • Eficiência de Treinamento: O treinamento dos modelos de substituição e RL levou aproximadamente seis horas em um laptop padrão (Apple M3 Max), enquanto o treinamento sem o modelo de substituição (usando simulações completas) teria exigido mais de 8.300 horas.
  • Adaptação Espectral: A análise das estruturas de grupos resultantes mostrou que os agentes de RL adaptaram com sucesso os limites de energia ao espectro de nêutrons específico. Para o problema Godiva de espectro rápido, os modelos RL concentraram limites na região de energia rápida, ao passo que as estruturas padrão LANL30 colocaram mais resolução em regiões de ressonância/térmicas menos relevantes para o problema específico.

Significado
O artigo demonstra que o aprendizado por reforço, quando acoplado à modelagem de substituição, oferece uma alternativa flexível e computacionalmente eficiente às técnicas tradicionais de otimização de estrutura de grupos. O método evita com sucesso armadilhas de mínimos locais comuns em algoritmos gananciosos e reduz a carga computacional da otimização em ordens de grandeza. Ao aprender a remover limites de uma malha de alta fidelidade, a abordagem gera estruturas de grupos específicas para o problema que superam malhas padrão generalizadas (LANL30/70), mantendo a capacidade de generalizar entre diferentes configurações de material e condições iniciais sem retreinamento. Os autores observam que trabalhos futuros poderiam expandir o espaço de ações para incluir a adição ou perturbação de limites e refinar ainda mais a resolução do modelo de substituição para melhorar o desempenho.