Application of Reinforcement Learning for Multigroup Energy Grid Optimization for Neutron Transport Criticality Problems

Dieser Beitrag stellt einen Reinforcement-Learning-Ansatz vor, der mit neuronalen Netzwerk-Surrogatmodellen kombiniert wird, um Mehrgruppen-Energiestrukturen für eindimensionale sphärische k-Kritikalitäts-Neutronentransportprobleme zu optimieren, wobei eine Genauigkeit erreicht wird, die mit bestehenden Methoden vergleichbar ist oder diese übertrifft, während gleichzeitig eine größere Flexibilität und Recheneffizienz geboten wird.

Das Wesentliche

Das große Ganze: Den Radioempfänger für ein Nuklearsignal abstimmen

Stellen Sie sich vor, Sie versuchen, ein sehr schwaches Funksignal von einem Kernreaktor zu empfangen. Das Signal (Neutronen) ist komplex, mit verschiedenen „Frequenzen" (Energien), die sich schnell ändern. Um das Signal zu verstehen, müssen Sie Ihren Radio-Drehknopf abstimmen.

In der Kernphysik verwenden Wissenschaftler eine Methode namens Multigruppen-Neutronentransport. Stellen Sie sich dies vor wie die Aufteilung des gesamten Radiospektrums in eine festgelegte Anzahl von „Kanälen" oder „Fächern" (genannt Energiegruppen).

• Zu viele Fächer: Sie erhalten ein kristallklares Bild des Signals, aber Ihr Computer muss so viel Arbeit leisten, dass die Berechnung Tage dauert. Es ist, als würde man versuchen, jede einzelne Frequenz einzeln zu hören.
• Zu wenige Fächer: Der Computer läuft schnell, aber Sie könnten wichtige Details verpassen oder Rauschen hören, was zu ungenauen Ergebnissen führt.

Das Ziel dieses Papiers ist es, die perfekte Anzahl von Fächern und die perfekten Stellen, an denen die Grenzen zwischen ihnen gezogen werden, für ein spezifisches nukleares Problem zu finden.

Das Problem: Das „Goldlöckchen"-Dilemma

Seit Jahrzehnten verwenden Wissenschaftler standardisierte „voreingestellte" Kanal-Layouts (wie die LANL30- oder LANL70-Strukturen). Diese sind wie der Kauf eines Radios mit festen Tasten. Sie funktionieren für viele Situationen in Ordnung, sind aber nicht perfekt für jeden spezifischen Reaktor.

Die Suche nach dem besten benutzerdefinierten Layout ist schwierig.

1. Es ist teuer: Um zu testen, ob ein neues Layout funktioniert, müssen Sie eine massive, langsame Computersimulation durchführen (wie einen vollständigen Physiktest für jeden einzelnen Tastendruck).
2. Es ist tückisch: Wenn Sie einfach nur raten, könnten Sie in einem „lokalen Minimum" stecken bleiben. Stellen Sie sich vor, Sie befinden sich in einem nebligen Tal; Sie könnten denken, Sie haben den Boden erreicht, weil Sie das tiefere Tal, das gerade hinter dem nächsten Hügel liegt, nicht sehen können.

Die Lösung: Ein intelligenter Roboter mit einer Kristallkugel

Die Autoren, Ben Whewell und sein Team am Los Alamos National Laboratory, verwendeten Reinforcement Learning (RL).

Die Analogie:
Stellen Sie sich einen Roboter vor, der versucht, ein Labyrinth zu lösen.

• Der Roboter (RL-Agent): Seine Aufgabe ist es, mit einer sehr detaillierten Karte zu beginnen (ein hochauflösendes Gitter mit 618 Kanälen) und Linien zu entfernen, bis er eine Zielzahl erreicht (wie 30 oder 70).
• Die Belohnung: Jedes Mal, wenn der Roboter eine Linie entfernt, erhält er Punkte. Er möchte eine hohe Punktzahl, was bedeutet, dass die Simulation immer noch genau ist und er so viele Linien wie möglich entfernt hat, um Zeit zu sparen.
• Die Falle: Wenn der Roboter nur rät, wird er Millionen von Versuchen benötigen, um zu lernen, und jeder Versuch erfordert eine langsame, teure Physiksimulation.

Die Geheimwaffe: Das Surrogatmodell (Die Kristallkugel)
Um das Lernen des Roboters zu beschleunigen, baute das Team ein Neuronales Netz-Surrogatmodell.

• Stellen Sie sich dies als eine Kristallkugel oder einen hocherfahrenen Trainer vor.
• Anstatt jedes Mal, wenn der Roboter einen Zug macht, die langsame, teure Physiksimulation durchzuführen, fragt der Roboter die Kristallkugel: „Wenn ich diese Linie entferne, wie gut wird das Ergebnis sein?"
• Die Kristallkugel betrachtet das Muster der Linien und der Materialien (wie Uran oder Plutonium) und sagt die Genauigkeit sofort voraus. Sie liefert keine perfekte Zahl, sondern ordnet das Ergebnis in eine „Qualitätskategorie" ein (z. B. „Das ist eine 9 von 10").

Dies ermöglicht es dem Roboter, innerhalb weniger Stunden Millionen von Malen zu üben, anstatt Tausende von Jahren.

Was sie taten

Sie testeten dieses „Roboter + Kristallkugel"-Team an zwei berühmten nuklearen Rätseln:

1. Godiva: Eine Kugel aus reinem Uran.
2. BeRP Ball: Eine Kugel aus Plutonium, umgeben von einer Schale aus Beryllium.

Sie brachten dem Roboter bei, mit einem massiven Gitter zu beginnen und es auf 30 oder 70 Gruppen zu „beschneiden", wobei er lernte, welche Linien essentiell zu behalten waren und welche gestrichen werden konnten.

Die Ergebnisse: Besser als der Standard

Als sie die benutzerdefinierten Layouts des Roboters mit den standardmäßigen „voreingestellten" Layouts (LANL30 und LANL70) verglichen:

• Genauigkeit: Die benutzerdefinierten Layouts des Roboters waren genauer. Sie erfassten die wichtigen Details der Kernreaktion besser als die Standard-Voreinstellungen.
• Geschwindigkeit: Der Roboter lernte, diese guten Layouts viel schneller zu finden als frühere Methoden (wie „Hierarchische Agglomeration", was ein langsamer, schrittweiser gieriger Ansatz ist).
• Flexibilität: Der Roboter lernte eine allgemeine Strategie. Wenn Sie die Größe der Kugel oder das Material änderten, konnte sich der Roboter anpassen, ohne von Grund auf neu trainiert werden zu müssen.

Wichtige Erkenntnisse in einfacher Sprache

1. Intelligentes Beschneiden: Anstatt ein Gitter von Grund auf neu zu bauen, beginnt die KI mit einem perfekten, detaillierten Gitter und lernt genau, welche Teile abgeschnitten werden müssen, um Zeit zu sparen, ohne an Genauigkeit zu verlieren.
2. Der Trainer: Sie verwendeten einen schnellen KI-„Trainer" (Surrogatmodell), um Ergebnisse vorherzusagen, was sie davor bewahrte, Millionen von Malen langsame, teure Simulationen durchzuführen.
3. Gewinnen: Die von der KI entworfenen Gitter schlugen die alten, Standardgitter für diese spezifischen nuklearen Tests und bieten einen flexibleren und effizienteren Weg, Probleme der Kernphysik zu lösen.

Kurz gesagt: Sie lehrten einen Computer, ein Meister-Tuner zu sein, der die perfekte Balance zwischen Geschwindigkeit und Genauigkeit für nukleare Sicherheitsberechnungen findet, wobei er eine „Kristallkugel" verwendet, um den Lernprozess zu beschleunigen.

Technische Zusammenfassung

Technische Zusammenfassung: Anwendung von Reinforcement Learning zur Optimierung von Mehrgruppen-Energienetzen für Neutronentransport-Kritikalitätsprobleme

Problemstellung
Präzise Neutronentransportrechnungen hängen stark vom Mehrgruppen-Diskretisierungsschema ab, bei dem die kontinuierliche Energievariable über endliche Bereiche integriert wird, um stückweise konstante Energiegruppen zu erzeugen. Die Auswahl der Energiegruppen-Grenzen ist entscheidend; suboptimale Grenzen können zu erheblichen Fehlern in Neutronenfluss-Spektren und Reaktionsraten führen. Während hochauflösende Netze (z. B. LANL618) Genauigkeit bieten, verursachen sie hohe Rechenkosten und Speicherbedarf. Umgekehrt reduzieren niedrigauflösende Netze (z. B. LANL30, LANL70) die Kosten, erfordern jedoch eine sorgfältige Auswahl der Grenzen, um die Genauigkeit zu erhalten. Bestehende Optimierungstechniken wie Particle Swarm Optimization (PSO) und Hierarchical Agglomeration (HA) stehen vor Herausforderungen, darunter hohe Rechenkosten aufgrund der Notwendigkeit vollständiger Transportrechnungen für jeden Bewertungsschritt sowie Anfälligkeit für lokale Minima oder schlechte Konvergenz.

Methodik
Die Autoren schlagen ein neuartiges Framework vor, das Reinforcement Learning (RL) mit neuronalen Surrogatmodellen kombiniert, um Energiegruppen-Strukturen für eindimensionale sphärische $k$-Kritikalitätsprobleme zu optimieren.

• Formulierung des Reinforcement Learning: Das Problem wird unter Verwendung des Proximal Policy Optimization (PPO)-Algorithmus modelliert.

  • Zustandsraum: Ein Binärvektor der Länge 619, der das Vorhandensein oder Fehlen von Energiegrenzen aus einem Referenz-LANL618-Netz darstellt. Für nicht-homogene Probleme (z. B. BeRP-Kugel) werden Materialdicken und Daten zum totalen Wirkungsquerschnitt angehängt.
  • Aktionsraum: Der Agent entfernt jeweils eine Energiegrenze und geht von einem hochauflösenden Startzustand ($G_{max} \in [200, 617]$) zu einer Zielanzahl von Gruppen ($G_{min}$) über. Eine Aktionsmaskierung stellt sicher, dass nur gültige Entfernungen erfolgen.
  • Belohnungsfunktion: Die Belohnung balanciert zwei Ziele aus: Minimierung der Anzahl der Energiegruppen und Maximierung der Netzgenauigkeit. Die Genauigkeit wird über eine Fehlermetrik ($\epsilon$) bewertet, die die relativen Fehler des effektiven Multiplikationsfaktors ($k_{eff}$) und integrierter Reaktionsraten (gesamt, $\nu$-Spaltung und Absorption) kombiniert. Um eine Fehlerkompensation durch das Verschleiern von Flussungenauigkeiten zu verhindern, wird der $k_{eff}$-Fehler in der Wurzelquadratsummenberechnung mit einem Faktor von 3 gewichtet.

• Surrogatmodellierung: Um die Ineffizienz des Stichprobenverbrauchs bei on-policy RL zu überwinden (was andernfalls Millionen vollständiger Transportrechnungen erfordern würde), wird ein 10-Klassen-Klassifizierungs-neuronales Surrogatmodell eingesetzt.

  • Architektur: Für homogene Probleme (Godiva) verarbeitet ein 1D-Convolutional Neural Network (CNN) den Binärvektor der Energiegrenzen. Für heterogene Probleme (BeRP-Kugel) kombiniert eine multimodale Architektur das CNN mit einem Long Short-Term Memory (LSTM)-Netzwerk, um räumliche und Materialeigenschaften zu kodieren.
  • Trainingsdaten: Zufällige Teilmengen des LANL618-Netzes werden generiert, und vollständige Transportrechnungen werden durchgeführt, um die Fehlermetrik $\epsilon$ zu berechnen. Diese Fehler werden in Normalverteilungen transformiert und in 10 Klassen eingeteilt (1 = am wenigsten genau, 10 = am genauesten).
  • Integration: Das Surrogatmodell gibt die Wahrscheinlichkeitsverteilung über diese 10 Klassen aus. Der erwartete Klassenwert wird zur Berechnung der Belohnung verwendet, wodurch der RL-Agent lernen kann, ohne bei jedem Schritt eine vollständige Transportrechnung auszuführen.

Hauptbeiträge

1. RL zur Optimierung der Gruppenstruktur: Diese Arbeit führt die Anwendung von PPO-basiertem RL auf das spezifische Problem der Optimierung von Mehrgruppen-Energiestrukturen ein, wodurch der Agent kritische Grenzen identifizieren kann, ohne auf eine feste Anfangsnetztopologie beschränkt zu sein (jenseits der LANL618-Teilmenge-Einschränkung).
2. Surrogat-gestützte Beschleunigung des Trainings: Die Entwicklung eines klassifizierungsbasierten Surrogatmodells, das Energie-, Material- und räumliche Informationen integriert, reduziert die Rechenkosten des RL-Trainings erheblich, indem teure Transportrechnungen durch schnelle neuronale Netz-Inferenz ersetzt werden.
3. Flexible Optimierung: Im Gegensatz zu gierigen hierarchischen Methoden, die für jede neue Startbedingung neue Simulationen erfordern, können die trainierten RL-Agenten sich an verschiedene Anfangsgruppenstrukturen und Materialanordnungen anpassen, ohne neu trainiert werden zu müssen.

Ergebnisse
Die Methode wurde an zwei Benchmark-Problemen validiert: der Godiva (Urankugel) und der BeRP-Kugel (Plutoniumkugel mit Beryllium-Reflektor).

• Surrogat-Leistung:
  • Godiva: Das CNN-Surrogat erreichte bei subkritischen Testdaten eine wahre Genauigkeit von 78,3 % und eine benachbarte Genauigkeit von 98,2 % (Vorhersage innerhalb einer Klasse) und generalisierte gut auf superkritische Konfigurationen.
  • BeRP-Kugel: Das multimodale CNN-LSTM-Surrogat erreichte über verschiedene Plutoniumradien und Kritikalitätszustände hinweg eine wahre Genauigkeit von 70,8 % und eine benachbarte Genauigkeit von 97,4 %.
• RL-Optimierungsleistung:
  • Genauigkeit: Die von RL konstruierten Gruppenstrukturen (RL30 und RL70) übertrafen die Standard-LANL30- und LANL70-Strukturen sowohl in Bezug auf $k_{eff}$- als auch Reaktionsratenfehler im Vergleich zur LANL618-Referenz.
  • Vergleich mit HA: Die RL-Methode erzielte eine Leistung, die der der Hierarchical Agglomeration (HA)-Methode vergleichbar war, jedoch mit deutlich reduziertem Rechenaufwand. Während HA Zehntausende vollständiger Transportrechnungen erforderte (45.225 für einen Start mit 301 Gruppen, 191.362 für einen Start mit LANL618), um ein einzelnes Problem zu optimieren, benötigte die RL-Methode nur zwei trainierte Modelle (für Zielwerte von 30 und 70 Gruppen) und kein erneutes Training für verschiedene Startnetze oder Materialanordnungen.
  • Trainingseffizienz: Das Training der Surrogat- und RL-Modelle dauerte etwa sechs Stunden auf einem Standard-Laptop (Apple M3 Max), während das Training ohne Surrogat (unter Verwendung vollständiger Simulationen) über 8.300 Stunden erfordert hätte.
  • Spektrale Anpassung: Die Analyse der resultierenden Gruppenstrukturen zeigte, dass die RL-Agenten die Energiegrenzen erfolgreich an das spezifische Neutronenspektrum anpassten. Für das schnelle Spektrum des Godiva-Problems konzentrierten die RL-Modelle die Grenzen im schnellen Energiebereich, wohingegen Standard-LANL30-Strukturen mehr Auflösung in Resonanz-/thermischen Bereichen platzierten, die für das spezifische Problem weniger relevant sind.

Bedeutung
Die Arbeit zeigt, dass Reinforcement Learning in Kombination mit Surrogatmodellierung eine flexible und rechnerisch effiziente Alternative zu traditionellen Techniken zur Optimierung von Gruppenstrukturen bietet. Die Methode vermeidet erfolgreich lokale Minima-Fallen, die bei gierigen Algorithmen üblich sind, und reduziert die Rechenlast der Optimierung um Größenordnungen. Durch das Erlernen des Entfernens von Grenzen aus einem hochauflösenden Netz generiert der Ansatz problemspezifische Gruppenstrukturen, die verallgemeinerten Standardnetzen (LANL30/70) überlegen sind, während sie gleichzeitig die Fähigkeit beibehalten, über verschiedene Materialkonfigurationen und Startbedingungen hinweg zu generalisieren, ohne neu trainiert werden zu müssen. Die Autoren weisen darauf hin, dass zukünftige Arbeiten den Aktionsraum erweitern könnten, um das Hinzufügen oder Perturbieren von Grenzen einzuschließen, und die Surrogat-Auflösung weiter verfeinern könnten, um die Leistung zu verbessern.