Application of Reinforcement Learning for Multigroup Energy Grid Optimization for Neutron Transport Criticality Problems

Ce papier présente une approche d'apprentissage par renforcement combinée à des modèles de substitution par réseaux de neurones pour optimiser les structures énergétiques multigroupes dans le cadre de problèmes de transport neutronique de criticité-k sphériques unidimensionnels, atteignant une précision comparable ou supérieure aux méthodes existantes tout en offrant une plus grande flexibilité et une efficacité computationnelle accrue.

L'essentiel

La Vue d'Ensemble : Accorder la Radio pour un Signal Nucléaire

Imaginez que vous essayez d'écouter un signal radio très faible émanant d'un réacteur nucléaire. Le signal (les neutrons) est complexe, avec différentes « fréquences » (énergies) qui changent rapidement. Pour comprendre le signal, vous devez accorder le cadran de votre radio.

En physique nucléaire, les scientifiques utilisent une méthode appelée Transport de Neutrons Multigroupe. Imaginez cela comme diviser l'ensemble du spectre radio en un nombre défini de « canaux » ou de « compartiments » (appelés groupes d'énergie).

• Trop de compartiments : Vous obtenez une image cristalline du signal, mais votre ordinateur doit effectuer tant de travail qu'il faut des jours pour terminer le calcul. C'est comme essayer d'écouter chaque fréquence individuellement.
• Trop peu de compartiments : L'ordinateur fonctionne rapidement, mais vous risquez de manquer des détails importants ou d'entendre du bruit statique, ce qui conduit à des résultats inexacts.

L'objectif de ce document est de trouver le nombre parfait de compartiments et les endroits parfaits pour tracer les lignes les séparant pour un problème nucléaire spécifique.

Le Problème : Le Dilemme de « Boucle d'Or »

Pendant des décennies, les scientifiques ont utilisé des agencements de « canaux » prédéfinis standards (comme les structures LANL30 ou LANL70). C'est comme acheter une radio avec des boutons fixes. Ils fonctionnent correctement pour de nombreuses situations, mais ils ne sont pas parfaits pour chaque réacteur spécifique.

Trouver la meilleure disposition personnalisée est difficile.

1. C'est coûteux : Pour tester si une nouvelle disposition fonctionne, vous devez exécuter une simulation informatique massive et lente (comme réaliser un test physique complet pour chaque pression de bouton).
2. C'est délicat : Si vous commencez simplement à deviner, vous pourriez rester coincé dans un « minimum local ». Imaginez que vous êtes dans une vallée brumeuse ; vous pourriez penser avoir atteint le fond parce que vous ne voyez pas la vallée plus profonde juste de l'autre côté de la colline suivante.

La Solution : Un Robot Intelligent avec une Boule de Cristal

Les auteurs, Ben Whewell et son équipe du Laboratoire National de Los Alamos, ont utilisé l'Apprentissage par Renforcement (RL).

L'Analogie :
Imaginez un robot essayant de résoudre un labyrinthe.

• Le Robot (Agent RL) : Sa tâche est de commencer avec une carte très détaillée (une grille haute fidélité avec 618 canaux) et de supprimer des lignes jusqu'à atteindre un nombre cible (comme 30 ou 70).
• La Récompense : Chaque fois que le robot supprime une ligne, il obtient un score. Il veut un score élevé, ce qui signifie que la simulation reste précise et qu'il a supprimé autant de lignes que possible pour gagner du temps.
• Le Piège : Si le robot devine simplement, il faudra des millions d'essais pour apprendre, et chaque essai nécessite une simulation physique lente et coûteuse.

L'Arme Secrète : Le Modèle de Substitution (La Boule de Cristal)
Pour permettre au robot d'apprendre plus vite, l'équipe a construit un Modèle de Substitution par Réseau de Neurones.

• Imaginez cela comme une boule de cristal ou un entraîneur hautement expérimenté.
• Au lieu d'exécuter la simulation physique lente et coûteuse à chaque fois que le robot fait un mouvement, le robot demande à la boule de cristal : « Si je supprime cette ligne, quel sera la qualité du résultat ? »
• La boule de cristal examine le motif des lignes et des matériaux (comme l'Uranium ou le Plutonium) et prédit instantanément la précision. Elle ne donne pas un nombre parfait, mais elle place le résultat dans un « seau de qualité » (par exemple, « C'est un 9 sur 10 »).

Cela permet au robot de s'entraîner des millions de fois en quelques heures au lieu de milliers d'années.

Ce Qu'ils Ont Fait

Ils ont testé cette équipe « Robot + Boule de Cristal » sur deux célèbres énigmes nucléaires :

1. Godiva : Une sphère d'Uranium pur.
2. BeRP Ball : Une sphère de Plutonium entourée d'une coquille de Béryllium.

Ils ont appris au robot à commencer avec une grille massive et à la « élaguer » jusqu'à 30 ou 70 groupes, apprenant quelles lignes étaient essentielles à conserver et lesquelles pouvaient être coupées.

Les Résultats : Mieux que la Norme

Lorsqu'ils ont testé les dispositions personnalisées du robot contre les dispositions « prédéfinies » standards (LANL30 et LANL70) :

• Précision : Les dispositions personnalisées du robot étaient plus précises. Elles capturaient mieux les détails importants de la réaction nucléaire que les préréglages standards.
• Vitesse : Le robot a appris à trouver ces bonnes dispositions beaucoup plus rapidement que les méthodes précédentes (comme l'« Agrégation Hiérarchique », qui est une approche gourmande lente et étape par étape).
• Flexibilité : Le robot a appris une stratégie générale. Si vous changiez la taille de la sphère ou le matériau, le robot pouvait s'adapter sans avoir besoin d'être réentraîné depuis zéro.

Points Clés en Langage Simple

1. Élagage Intelligent : Au lieu de construire une grille à partir de zéro, l'IA commence avec une grille parfaite et détaillée et apprend exactement quelles parties couper pour gagner du temps sans perdre en précision.
2. L'Entraîneur : Ils ont utilisé un « entraîneur » IA rapide (modèle de substitution) pour prédire les résultats, les épargnant d'exécuter des millions de fois des simulations lentes et coûteuses.
3. Victoire : Les grilles conçues par l'IA ont battu les anciennes grilles standards pour ces tests nucléaires spécifiques, offrant une manière plus flexible et efficace de résoudre des problèmes de physique nucléaire.

En bref, ils ont appris à un ordinateur à être un maître accordeur, trouvant l'équilibre parfait entre vitesse et précision pour les calculs de sûreté nucléaire, en utilisant une « boule de cristal » pour accélérer le processus d'apprentissage.

Résumé technique

Résumé technique : Application de l'apprentissage par renforcement pour l'optimisation des grilles d'énergie multigroupes dans les problèmes de criticité du transport neutronique

Énoncé du problème
Les calculs précis de transport neutronique reposent fortement sur le schéma de discrétisation multigroupe, où la variable d'énergie continue est intégrée sur des plages finies pour créer des groupes d'énergie constants par morceaux. Le choix des bornes de groupes d'énergie est critique ; des bornes sous-optimales peuvent entraîner des erreurs significatives dans les spectres de flux neutronique et les taux de réaction. Bien que des grilles de haute fidélité (par exemple, LANL618) offrent une précision, elles entraînent des coûts de calcul élevés et une empreinte mémoire importante. À l'inverse, des grilles de faible fidélité (par exemple, LANL30, LANL70) réduisent les coûts mais nécessitent une sélection minutieuse des bornes pour maintenir la précision. Les techniques d'optimisation existantes, telles que l'optimisation par essaim particulaire (PSO) et l'agrégation hiérarchique (HA), font face à des défis incluant des coûts de calcul élevés dus à l'exigence de simulations de transport complètes pour chaque étape d'évaluation, ainsi qu'une sensibilité aux minima locaux ou à une mauvaise convergence.

Méthodologie
Les auteurs proposent un cadre novateur combinant l'apprentissage par renforcement (RL) et la modélisation par réseau de neurones de substitution pour optimiser les structures de groupes d'énergie pour des problèmes de criticité $k$ sphériques unidimensionnels.

• Formulation de l'apprentissage par renforcement : Le problème est modélisé à l'aide de l'algorithme d'optimisation de politique proximale (PPO).

  • Espace d'état : Un vecteur binaire de longueur 619 représentant la présence ou l'absence de bornes d'énergie issues d'une grille de référence LANL618. Pour les problèmes non homogènes (par exemple, la sphère BeRP), l'épaisseur du matériau et les données de section efficace totale sont ajoutées.
  • Espace d'actions : L'agent supprime une borne d'énergie à la fois, passant d'un état de départ de haute fidélité ($G_{max} \in [200, 617]$) vers un nombre cible de groupes ($G_{min}$). Le masquage des actions garantit que seules des suppressions valides se produisent.
  • Fonction de récompense : La récompense équilibre deux objectifs : minimiser le nombre de groupes d'énergie et maximiser la précision de la grille. La précision est évaluée via une métrique d'erreur ($\epsilon$) qui combine les erreurs relatives du facteur de multiplication effectif ($k_{eff}$) et des taux de réaction intégrés (total, fission-$\nu$, et absorption). Pour empêcher l'annulation d'erreurs masquant les imprécisions du flux, l'erreur $k_{eff}$ est pondérée par un facteur de 3 dans le calcul de la racine carrée de la somme des carrés.

• Modélisation par substitution : Pour surmonter l'inefficacité d'échantillonnage du RL en politique (qui nécessiterait autrement des millions de simulations de transport complètes), un modèle de substitution de réseau de neurones de classification à 10 classes est employé.

  • Architecture : Pour les problèmes homogènes (Godiva), un réseau de neurones convolutif 1D (CNN) traite le vecteur binaire des bornes d'énergie. Pour les problèmes hétérogènes (sphère BeRP), une architecture multimodale combine le CNN avec un réseau à mémoire à court et long terme (LSTM) pour encoder les propriétés spatiales et matérielles.
  • Données d'entraînement : Des sous-ensembles aléatoires de la grille LANL618 sont générés, et des simulations de transport complètes sont exécutées pour calculer la métrique d'erreur $\epsilon$. Ces erreurs sont transformées en distributions normales et regroupées en 10 classes (1 = moins précis, 10 = le plus précis).
  • Intégration : Le modèle de substitution sort la distribution de probabilité sur ces 10 classes. La valeur de classe attendue est utilisée pour calculer la récompense, permettant à l'agent RL d'apprendre sans exécuter une simulation de transport complète à chaque étape.

Contributions clés

1. RL pour l'optimisation de la structure des groupes : Ce travail introduit l'application du RL basé sur PPO au problème spécifique de l'optimisation des structures d'énergie multigroupes, permettant à l'agent d'identifier des bornes critiques sans être contraint à une topologie de grille initiale fixe (au-delà de la contrainte de sous-ensemble LANL618).
2. Entraînement accéléré par substitution : Le développement d'un modèle de substitution basé sur la classification intégrant les informations d'énergie, de matériau et d'espace réduit considérablement le coût de calcul de l'entraînement RL, remplaçant les simulations de transport coûteuses par une inférence rapide de réseau de neurones.
3. Optimisation flexible : Contrairement aux méthodes hiérarchiques gourmandes qui nécessitent de relancer des simulations pour chaque nouvelle condition de départ, les agents RL entraînés peuvent s'adapter à différentes structures de groupes de départ et agencements de matériaux sans réentraînement.

Résultats
La méthode a été validée sur deux problèmes de référence : Godiva (sphère d'uranium) et la sphère BeRP (sphère de plutonium avec réflecteur en béryllium).

• Performance du substitut :
  • Godiva : Le substitut CNN a atteint une précision vraie de 78,3 % et une précision adjacente de 98,2 % (prédiction dans une classe) sur des données de test sous-critiques, se généralisant bien aux configurations sur-critiques.
  • Sphère BeRP : Le substitut multimodal CNN-LSTM a atteint une précision vraie de 70,8 % et une précision adjacente de 97,4 % à travers divers rayons de plutonium et états de criticité.
• Performance d'optimisation par RL :
  • Précision : Les structures de groupes construites par RL (RL30 et RL70) ont surpassé les structures LANL30 et LANL70 standard en termes d'erreurs de $k_{eff}$ et de taux de réaction lorsqu'elles ont été comparées à la référence LANL618.
  • Comparaison avec HA : La méthode RL a atteint des performances comparables à la méthode d'agrégation hiérarchique (HA) mais avec des frais généraux de calcul significativement réduits. Alors que HA nécessitait des dizaines de milliers de simulations de transport complètes (45 225 pour un départ à 301 groupes, 191 362 pour un départ LANL618) pour optimiser un seul problème, la méthode RL n'a requis que deux modèles entraînés (pour des cibles de 30 et 70 groupes) et aucun réentraînement pour différentes grilles de départ ou agencements de matériaux.
  • Efficacité de l'entraînement : L'entraînement des modèles de substitution et RL a pris environ six heures sur un ordinateur portable standard (Apple M3 Max), tandis que l'entraînement sans le substitut (en utilisant des simulations complètes) aurait nécessité plus de 8 300 heures.
  • Adaptation spectrale : L'analyse des structures de groupes résultantes a montré que les agents RL ont adapté avec succès les bornes d'énergie au spectre neutronique spécifique. Pour le problème Godiva à spectre rapide, les modèles RL ont concentré les bornes dans la région d'énergie rapide, tandis que les structures LANL30 standard plaçaient plus de résolution dans les régions de résonance/thermiques moins pertinentes pour le problème spécifique.

Signification
L'article démontre que l'apprentissage par renforcement, couplé à la modélisation par substitution, offre une alternative flexible et économiquement efficace aux techniques traditionnelles d'optimisation de la structure des groupes. La méthode évite avec succès les pièges de minima locaux courants dans les algorithmes gourmands et réduit la charge de calcul de l'optimisation de plusieurs ordres de grandeur. En apprenant à supprimer des bornes d'une grille de haute fidélité, l'approche génère des structures de groupes spécifiques au problème qui surpassent les grilles standard généralisées (LANL30/70) tout en maintenant la capacité de se généraliser à travers différentes configurations de matériaux et conditions de départ sans réentraînement. Les auteurs notent que les travaux futurs pourraient étendre l'espace d'actions pour inclure l'ajout ou la perturbation de bornes et affiner davantage la résolution du substitut pour améliorer les performances.