Application of Reinforcement Learning for Multigroup Energy Grid Optimization for Neutron Transport Criticality Problems

Este trabajo presenta un enfoque de aprendizaje por refuerzo combinado con modelos sustitutos de redes neuronales para optimizar estructuras de energía multigrupo para problemas de transporte de neutrones de criticidad k esférica unidimensional, logrando una precisión comparable o superior a los métodos existentes mientras ofrece mayor flexibilidad y eficiencia computacional.

Lo esencial

La Gran Imagen: Sintonizar la Radio para una Señal Nuclear

Imagina que estás intentando escuchar una señal de radio muy débil que proviene de un reactor nuclear. La señal (neutrones) es compleja, con diferentes "frecuencias" (energías) que cambian rápidamente. Para entender la señal, necesitas sintonizar el dial de tu radio.

En física nuclear, los científicos utilizan un método llamado Transporte de Neutrones Multigrupo. Piensa en esto como dividir todo el espectro de radio en un número fijo de "canales" o "compartimentos" (llamados grupos de energía).

• Demasiados compartimentos: Obtienes una imagen cristalina de la señal, pero tu computadora tiene que hacer tanto trabajo que tarda días en terminar el cálculo. Es como intentar escuchar cada frecuencia individualmente.
• Demasiados pocos compartimentos: La computadora corre rápido, pero podrías perder detalles importantes o escuchar estática, lo que lleva a resultados inexactos.

El objetivo de este artículo es encontrar el número perfecto de compartimentos y los lugares perfectos para trazar las líneas entre ellos para un problema nuclear específico.

El Problema: El Dilema de "La Caperucita"

Durante décadas, los científicos han utilizado diseños de canales "preestablecidos" estándar (como las estructuras LANL30 o LANL70). Estos son como comprar una radio con botones fijos. Funcionan bien para muchas situaciones, pero no son perfectos para cada reactor específico.

Encontrar el diseño personalizado mejor es difícil.

1. Es costoso: Para probar si un nuevo diseño funciona, tienes que ejecutar una simulación informática masiva y lenta (como realizar una prueba física completa por cada pulsación de botón).
2. Es complicado: Si simplemente empiezas a adivinar, podrías quedarte atrapado en un "mínimo local". Imagina que estás en un valle neblinoso; podrías pensar que has llegado al fondo porque no puedes ver el valle más profundo justo al otro lado de la siguiente colina.

La Solución: Un Robot Inteligente con una Bola de Cristal

Los autores, Ben Whewell y su equipo en el Laboratorio Nacional de Los Alamos, utilizaron Aprendizaje por Refuerzo (RL).

La Analogía:
Imagina a un robot intentando resolver un laberinto.

• El Robot (Agente RL): Su trabajo es comenzar con un mapa muy detallado (una cuadrícula de alta fidelidad con 618 canales) y eliminar líneas hasta alcanzar un número objetivo (como 30 o 70).
• La Recompensa: Cada vez que el robot elimina una línea, obtiene una puntuación. Quiere una puntuación alta, lo que significa que la simulación sigue siendo precisa y ha eliminado tantas líneas como sea posible para ahorrar tiempo.
• La Trampa: Si el robot simplemente adivina, tardará millones de intentos en aprender, y cada intento requiere una simulación física lenta y costosa.

El Arma Secreta: El Modelo Sustituto (La Bola de Cristal)
Para hacer que el robot aprenda más rápido, el equipo construyó un Modelo Sustituto de Red Neuronal.

• Piensa en esto como una bola de cristal o un entrenador altamente experimentado.
• En lugar de ejecutar la simulación física lenta y costosa cada vez que el robot hace un movimiento, el robot le pregunta a la bola de cristal: "Si elimino esta línea, ¿qué tan bueno será el resultado?"
• La bola de cristal observa el patrón de las líneas y los materiales (como Uranio o Plutonio) y predice instantáneamente la precisión. No da un número perfecto, pero coloca el resultado en un "cubo de calidad" (por ejemplo, "Esto es un 9 sobre 10").

Esto permite que el robot practique millones de veces en pocas horas en lugar de miles de años.

Lo Que Hicieron

Probaron este equipo de "Robot + Bola de Cristal" en dos acertijos nucleares famosos:

1. Godiva: Una esfera de Uranio puro.
2. BeRP Ball: Una esfera de Plutonio rodeada por una cáscara de Berilio.

Enseñaron al robot a comenzar con una cuadrícula masiva y "poda" hasta llegar a 30 o 70 grupos, aprendiendo qué líneas eran esenciales mantener y cuáles podían cortarse.

Los Resultados: Mejor que el Estándar

Cuando probaron los diseños personalizados del robot contra los diseños "preestablecidos" estándar (LANL30 y LANL70):

• Precisión: Los diseños personalizados del robot fueron más precisos. Capturaron mejor los detalles importantes de la reacción nuclear que los ajustes preestablecidos estándar.
• Velocidad: El robot aprendió a encontrar estos buenos diseños mucho más rápido que los métodos anteriores (como la "Aglomeración Jerárquica", que es un enfoque codicioso paso a paso y lento).
• Flexibilidad: El robot aprendió una estrategia general. Si cambiabas el tamaño de la esfera o el material, el robot podía adaptarse sin necesidad de ser reentrenado desde cero.

Conclusiones Clave en Lenguaje Sencillo

1. Poda Inteligente: En lugar de construir una cuadrícula desde cero, la IA comienza con una cuadrícula perfecta y detallada y aprende exactamente qué partes cortar para ahorrar tiempo sin perder precisión.
2. El Entrenador: Utilizaron un "entrenador" de IA rápido (modelo sustituto) para predecir resultados, ahorrándoles ejecutar simulaciones lentas y costosas millones de veces.
3. Victoria: Las cuadrículas diseñadas por la IA superaron a las cuadrículas estándar antiguas para estas pruebas nucleares específicas, ofreciendo una forma más flexible y eficiente de resolver problemas de física nuclear.

En resumen, enseñaron a una computadora a ser un sintonizador maestro, encontrando el equilibrio perfecto entre velocidad y precisión para los cálculos de seguridad nuclear, utilizando una "bola de cristal" para acelerar el proceso de aprendizaje.

Resumen técnico

Resumen Técnico: Aplicación del Aprendizaje por Refuerzo para la Optimización de Redes de Energía Multigrupo en Problemas de Criticalidad de Transporte de Neutrones

Planteamiento del Problema
Los cálculos precisos de transporte de neutrones dependen en gran medida del esquema de discretización multigrupo, donde la variable de energía continua se integra sobre rangos finitos para crear grupos de energía constantes por tramos. La selección de los límites de los grupos de energía es crítica; límites subóptimos pueden conducir a errores significativos en los espectros de flujo de neutrones y en las tasas de reacción. Si bien las redes de alta fidelidad (por ejemplo, LANL618) ofrecen precisión, incurren en altos costos computacionales y huellas de memoria. Por el contrario, las redes de baja fidelidad (por ejemplo, LANL30, LANL70) reducen los costos pero requieren una selección cuidadosa de los límites para mantener la precisión. Las técnicas de optimización existentes, como la Optimización por Enjambre de Partículas (PSO) y la Aglomeración Jerárquica (HA), enfrentan desafíos que incluyen altos costos computacionales debido a la necesidad de simulaciones completas de transporte para cada paso de evaluación y la susceptibilidad a mínimos locales o una convergencia deficiente.

Metodología
Los autores proponen un marco novedoso que combina el Aprendizaje por Refuerzo (RL) con la modelización sustituta mediante redes neuronales para optimizar las estructuras de grupos de energía para problemas de criticalidad $k$ esféricos unidimensionales.

• Formulación del Aprendizaje por Refuerzo: El problema se modela utilizando el algoritmo de Optimización de Políticas Proximales (PPO).

  • Espacio de Estados: Un vector binario de longitud 619 que representa la presencia o ausencia de límites de energía a partir de una red de referencia LANL618. Para problemas no homogéneos (por ejemplo, la esfera BeRP), se añaden datos de espesor del material y de sección transversal total.
  • Espacio de Acciones: El agente elimina un límite de energía a la vez, transitando desde un estado inicial de alta fidelidad ($G_{max} \in [200, 617]$) hacia un número objetivo de grupos ($G_{min}$). El enmascaramiento de acciones asegura que solo ocurran eliminaciones válidas.
  • Función de Recompensa: La recompensa equilibra dos objetivos: minimizar el número de grupos de energía y maximizar la precisión de la red. La precisión se evalúa mediante una métrica de error ($\epsilon$) que combina los errores relativos del factor de multiplicación efectivo ($k_{eff}$) y de las tasas de reacción integradas (total, fisión-$\nu$ y absorción). Para evitar la cancelación de errores que enmascare las inexactitudes del flujo, el error de $k_{eff}$ se pondera con un factor de 3 en el cálculo de la raíz de la suma de cuadrados.

• Modelización Sustituta: Para superar la ineficiencia de muestreo del RL en política (que de otro modo requeriría millones de simulaciones completas de transporte), se emplea un modelo sustituto de red neuronal de clasificación de 10 clases.

  • Arquitectura: Para problemas homogéneos (Godiva), una Red Neuronal Convolucional (CNN) unidimensional procesa el vector binario de límites de energía. Para problemas heterogéneos (esfera BeRP), una arquitectura multimodal combina la CNN con una red de Memoria a Corto y Largo Plazo (LSTM) para codificar propiedades espaciales y de material.
  • Datos de Entrenamiento: Se generan subconjuntos aleatorios de la red LANL618 y se ejecutan simulaciones completas de transporte para calcular la métrica de error $\epsilon$. Estos errores se transforman en distribuciones normales y se agrupan en 10 clases (1 = menos preciso, 10 = más preciso).
  • Integración: El modelo sustituto genera la distribución de probabilidad sobre estas 10 clases. El valor de clase esperado se utiliza para calcular la recompensa, permitiendo que el agente de RL aprenda sin ejecutar una simulación completa de transporte en cada paso.

Contribuciones Clave

1. RL para la Optimización de la Estructura de Grupos: Este trabajo introduce la aplicación de RL basado en PPO al problema específico de optimizar estructuras de energía multigrupo, permitiendo que el agente identifique límites críticos sin estar restringido a una topología de red inicial fija (más allá de la restricción del subconjunto LANL618).
2. Entrenamiento Acelerado por Sustitutos: El desarrollo de un modelo sustituto basado en clasificación que incorpora información de energía, material y espacial reduce significativamente el costo computacional del entrenamiento de RL, reemplazando las costosas simulaciones de transporte por inferencias rápidas de redes neuronales.
3. Optimización Flexible: A diferencia de los métodos jerárquicos codiciosos que requieren volver a ejecutar simulaciones para cada nueva condición inicial, los agentes de RL entrenados pueden adaptarse a diferentes estructuras de grupos iniciales y disposiciones de materiales sin reentrenamiento.

Resultados
El método se validó en dos problemas de referencia: la esfera de uranio Godiva y la esfera BeRP (esfera de plutonio con reflector de berilio).

• Rendimiento del Sustituto:
  • Godiva: El sustituto CNN alcanzó una precisión verdadera del 78,3% y una precisión adyacente del 98,2% (predicción dentro de una clase) en datos de prueba subcríticos, generalizando bien a configuraciones supercríticas.
  • Esfera BeRP: El sustituto multimodal CNN-LSTM alcanzó una precisión verdadera del 70,8% y una precisión adyacente del 97,4% a través de radios de plutonio y estados de criticalidad variables.
• Rendimiento de la Optimización con RL:
  • Precisión: Las estructuras de grupos construidas por RL (RL30 y RL70) superaron a las estructuras estándar LANL30 y LANL70 en términos de errores tanto de $k_{eff}$ como de tasas de reacción al compararse con la referencia LANL618.
  • Comparación con HA: El método RL logró un rendimiento comparable al método de Aglomeración Jerárquica (HA) pero con una sobrecarga computacional significativamente reducida. Mientras que HA requirió decenas de miles de simulaciones completas de transporte (45.225 para un inicio de 301 grupos, 191.362 para un inicio LANL618) para optimizar un solo problema, el método RL requirió solo dos modelos entrenados (para objetivos de 30 y 70 grupos) y ningún reentrenamiento para diferentes redes iniciales o disposiciones de materiales.
  • Eficiencia de Entrenamiento: El entrenamiento de los modelos sustitutos y de RL tomó aproximadamente seis horas en una computadora portátil estándar (Apple M3 Max), whereas el entrenamiento sin el sustituto (usando simulaciones completas) habría requerido más de 8.300 horas.
  • Adaptación Espectral: El análisis de las estructuras de grupos resultantes mostró que los agentes de RL adaptaron con éxito los límites de energía al espectro de neutrones específico. Para el problema de espectro rápido Godiva, los modelos de RL concentraron los límites en la región de energía rápida, mientras que las estructuras estándar LANL30 colocaron más resolución en regiones de resonancia/térmicas menos relevantes para el problema específico.

Significado
El artículo demuestra que el aprendizaje por refuerzo, cuando se combina con la modelización sustituta, ofrece una alternativa flexible y computacionalmente eficiente a las técnicas tradicionales de optimización de estructuras de grupos. El método evita con éxito las trampas de mínimos locales comunes en los algoritmos codiciosos y reduce la carga computacional de la optimización en órdenes de magnitud. Al aprender a eliminar límites de una red de alta fidelidad, el enfoque genera estructuras de grupos específicas del problema que superan a las redes estándar generalizadas (LANL30/70) mientras mantienen la capacidad de generalizar a través de diferentes configuraciones de materiales y condiciones iniciales sin reentrenamiento. Los autores señalan que el trabajo futuro podría expandir el espacio de acciones para incluir la adición o perturbación de límites y refinar aún más la resolución del sustituto para mejorar el rendimiento.