Using Neural Networks to Accelerate TALYS-2.0 Nuclear Reaction Simulations

Diese Studie zeigt, dass künstliche neuronale Netze als hochpräzise Surrogatmodelle fungieren können, um die TALYS-2.0-Simulationen von Kernreaktionen um mehr als den Faktor 1000 zu beschleunigen und dabei eine effiziente Anpassung der Modellparameter an experimentelle Daten zu ermöglichen.

Das Wesentliche

Das große Problem: Der langsame Koch

Stellen Sie sich vor, Sie sind ein genialer Koch (das ist das Computerprogramm TALYS-2.0), der Rezepte für die Herstellung von speziellen radioaktiven Zutaten (Isotopen) für Medizin und Forschung schreibt. Um das perfekte Rezept zu finden, müssen Sie die Temperatur, die Kochzeit und die Menge an Gewürzen (die sogenannten Parameter) immer wieder neu justieren.

Das Problem ist: Ihr Koch ist extrem präzise, aber auch extrem langsam. Wenn Sie eine Gewürzmischung ändern wollen, muss er den ganzen Ofen aufheizen, den Topf füllen, warten, messen und dann das Ergebnis notieren. Wenn Sie 17 verschiedene Gewürze optimieren wollen, dauert es Tage oder Wochen, bis Sie das perfekte Rezept haben. Das ist wie wenn Sie versuchen, ein Auto zu bauen, indem Sie jeden einzelnen Schraubenversuch einzeln mit dem Hammer einschlagen – es funktioniert, aber es ist ineffizient.

Die Lösung: Der superschnelle Koch-Assistent (Neuronales Netz)

Die Forscher aus dem Papier haben eine geniale Idee gehabt: Statt den langsamen Koch jedes Mal neu zu befragen, bauen sie einen Koch-Assistenten (ein künstliches neuronales Netz).

1. Das Training: Zuerst lassen sie den langsamen Koch (TALYS) nur etwa 1.500 Mal verschiedene Kombinationen von Gewürzen ausprobieren. Diese Ergebnisse (die "Rezepte") werden gesammelt.
2. Der Lernprozess: Der Koch-Assistent (das Neuronale Netz) schaut sich diese 1.500 Ergebnisse an und lernt die Muster. Er merkt sich: "Wenn ich mehr von Gewürz A nehme, wird das Ergebnis X, aber wenn ich Gewürz B reduziere, passiert Y."
3. Der Clou: Sobald der Assistent gelernt hat, ist er über 1.000-mal schneller als der Original-Koch. Er kann neue Rezepte in Sekundenbruchteilen vorhersagen, ohne den Ofen wirklich anzuschalten.

Der Test: Wie gut ist der Assistent?

Die Forscher haben den Assistenten auf drei Arten getestet, ähnlich wie man einen Schüler prüft:

• Der kleine Test (3 Gewürze): Der Assistent war fast so gut wie ein klassischer Mathematiker (ein "kubischer Interpolator"), aber viel robuster. Selbst wenn man ihm weniger Beispiele gab, machte er weniger Fehler.
• Der mittlere Test (6 Gewürze): Hier wurde es für den klassischen Mathematiker zu kompliziert. Er brauchte Tage, um die Berechnung zu machen. Der Assistent brauchte weniger als eine Minute.
• Der große Test (17 Gewürze): Das ist das echte Leben. Hier haben sie den Assistenten mit einem riesigen Datensatz trainiert (wie bei einem echten medizinischen Isotop namens Lanthan-139). Das Ergebnis? Der Assistent konnte die Ergebnisse des Original-Kochs so genau nachahmen, dass man kaum einen Unterschied sah.

Das Wichtigste: Der "Multi-Parameter"-Trick

Früher mussten die Forscher die Gewürze nacheinander justieren (erst Salz, dann Pfeffer, dann Paprika...). Das ist wie ein einspuriger Weg, auf dem man nur langsam vorankommt.

Mit dem neuen Assistenten konnten sie alle Gewürze gleichzeitig optimieren. Sie nutzten einen cleveren Algorithmus (eine Art "simuliertes Ausglühen"), der alle 17 Parameter gleichzeitig durchprobierte.

• Ergebnis: Dieser Prozess dauerte nur 8 Minuten und lieferte bessere Ergebnisse als die alten Methoden, die Tage brauchten.

Warum ist das so wichtig?

Stellen Sie sich vor, Sie müssten ein neues Medikament entwickeln, das nur 24 Stunden Zeit hat, um getestet zu werden. Mit dem alten Koch (TALYS direkt) wären Sie nie fertig. Mit dem Assistenten (Neuronales Netz) haben Sie in wenigen Stunden das perfekte Rezept.

Zusammenfassung in einem Satz:
Die Forscher haben einen "Koch-Assistenten" gebaut, der durch das Lernen von 1.500 Beispielen in Sekunden berechnet, was ein langsames Super-Computerprogramm in Tagen tun würde – und das mit fast gleicher Genauigkeit.

Die verschiedenen "Lernmethoden" (Stichwort: Probierverfahren)

Die Forscher haben auch getestet, wie man die 1.500 Beispiele am besten auswählt:

• Zufällig (Uniform): Wie Würfelwürfel.
• Geordnet (Latin Hypercube): Wie ein Schachbrett, das alle Felder abdeckt.
• Mathematisch perfekt (Sobol-Sequenz): Wie ein sehr cleverer Spaziergänger, der jeden Winkel des Raumes abdeckt.

Das Überraschende: Es machte kaum einen Unterschied, welche Methode sie wählten. Der Assistent lernte in allen Fällen fast gleich gut. Das ist toll, weil es bedeutet, dass die Methode sehr stabil und zuverlässig ist.

Fazit: Diese Technik macht die Entwicklung von neuen medizinischen Isotopen und die Erforschung der Kernphysik viel schneller, billiger und effizienter. Es ist, als würde man aus einem langsamen Handwerker einen High-Speed-Roboter machen, der trotzdem die Handwerkskunst beherrscht.

Technische Zusammenfassung

Problemstellung

Die Vorhersage von Wirkungsquerschnitten für Kernreaktionen ist entscheidend für die Produktion von Radioisotopen in Forschung, Medizin und Sicherheit. Das etablierte Rechenprogramm TALYS-2.0 wird häufig verwendet, um diese Wirkungsquerschnitte zu modellieren, insbesondere wenn experimentelle Daten fehlen. Um die Genauigkeit der TALYS-2.0-Vorhersagen zu verbessern, müssen die zugrunde liegenden Kernmodelle (z. B. optisches Potential, Pre-Equilibrium-Prozesse) durch Anpassung von Parametern an experimentelle Daten kalibriert werden.

Das Hauptproblem besteht jedoch im zeitlichen Aufwand dieses Kalibrierungsprozesses:

• Die traditionelle Methode erfordert sequenzielle TALYS-2.0-Berechnungen für jede Parameteranpassung.
• Dies verhindert eine effiziente Parallelisierung und macht iterative Optimierungen (insbesondere für viele Parameter) extrem rechenintensiv und langsam.
• Die Notwendigkeit, physikalische Modelle und Parameter vor der Anpassung festzulegen, schränkt die Flexibilität ein.

Methodik

Die Autoren schlagen vor, künstliche neuronale Netze (NN) als Surrogatmodelle (Ersatzmodelle) für TALYS-2.0 zu verwenden. Das Ziel ist es, die komplexe Funktion von TALYS-2.0 zu approximieren, um Wirkungsquerschnitte extrem schnell zu generieren, ohne das eigentliche TALYS-2.0 für jeden Schritt ausführen zu müssen.

Schlüsselschritte der Methodik:

1. Datengenerierung:

   • Es wurden große Datensätze von TALYS-2.0-Ausgaben parallel generiert (unter Verwendung eines HPC-Clusters oder einer Ryzen 7960X CPU).
   • Verschiedene Sampling-Methoden wurden getestet, um die Trainingsdaten zu erstellen: Uniform Random (gleichverteilte Zufallsstichprobe), Latin Hypercube Sampling (LHC) und Shuffled Sobol-Sequenzen.
   • Es wurden drei Szenarien mit unterschiedlicher Komplexität untersucht:
     • 3 Parameter: Zum Vergleich mit einem klassischen kubischen Interpolator.
     • 6 Parameter: Zum Testen der Skalierbarkeit.
     • 17 Parameter: Ein realistisches Szenario für Protonen-induzierte Reaktionen auf $^{139}\text{La}$ (La-139), basierend auf früheren Arbeiten von Morrell et al.

2. Neuronale Netzwerk-Architektur:

   • Implementierung mit PyTorch 2.5.1 und Python 3.11.
   • Ein vollvernetztes, tiefes Feedforward-Netzwerk (FC-NN).
   • Optimale Architektur: Hidden-Layer-Größen von [256, 128, 512, 512, 512].
   • Aktivierungsfunktionen: SELU (Eingang), Mish (versteckte Schichten), ReLU (Ausgang).
   • Training: AdamW-Optimierer mit Huber-Loss-Funktion, Learning-Rate-Decay, Regularisierung durch Weight Decay, Batch Normalization und Dropout zur Vermeidung von Overfitting.

3. Parameteranpassung (Optimierung):

   • Nach dem Training des NN wurden zwei Optimierungsstrategien getestet, um die TALYS-2.0-Parameter an experimentelle Daten anzupassen:
     • 1-D-Ansatz: Sequentielle Optimierung einzelner Parameter bis zur Konvergenz.
     • N-D-Ansatz (Multi-Parameter): Gleichzeitige Optimierung aller Parameter unter Verwendung eines Dual-Annealing-Algorithmus (simuliertes Abkühlen) für eine eingeschränkte Optimierung.

Wichtige Beiträge und Ergebnisse

1. Überlegene Leistung gegenüber klassischen Interpolatoren:

   • Im Vergleich zu einem konventionellen kubischen Interpolator zeigte das NN-Modell bei kleinen Trainingsdatensätzen (z. B. 6x6x6 Parameterkombinationen) eine deutlich höhere Robustheit und geringere Fehler (RMSE und MAE).
   • Der kubische Interpolator versagte bei höheren Dimensionen (6 Parameter), da er nicht in der Lage war, innerhalb angemessener Zeit (~66 Millionen Berechnungen) Ergebnisse zu liefern, während das NN dies in unter einer Minute schaffte.

2. Unabhängigkeit von der Sampling-Methode:

   • Es wurde festgestellt, dass die Wahl der Sampling-Methode (Uniform, LHC oder Sobol) für die Leistung des trainierten NN-Modells keine signifikanten praktischen Unterschiede machte.
   • Ein Modell, das mit 1536 Uniform-Random-Dateien trainiert wurde, erzielte vergleichbare Ergebnisse wie eines mit 2048 Sobol-Dateien. Dies vereinfacht die Datengenerierung erheblich.

3. Geschwindigkeitsvorteil:

   • Der NN-Ansatz ist >1000-mal schneller als die direkte Nutzung von TALYS-2.0 zur Generierung von Wirkungsquerschnitten.
   • Ein hochfideles Surrogatmodell für 17 Parameter konnte mit nur ~1500 TALYS-2.0-Dateien trainiert werden.
   • Die gesamte Anpassungsprozedur (N-D) dauerte nur ca. 8 Minuten (im Vergleich zu Stunden oder Tagen bei sequenziellen TALYS-Läufen), wobei über 100.000 Parameterkombinationen evaluiert wurden.

4. Genauigkeit der Anpassung:

   • Die mit dem NN angepassten Parameter führten zu einer besseren Übereinstimmung mit experimentellen Daten als die Standard-TALYS-2.0-Einstellungen.
   • Der N-D-Ansatz (Multi-Parameter-Optimierung) erzielte eine bessere Übereinstimmung mit TALYS-2.0 und einen leicht verbesserten "Figure of Merit" (FOM) im Vergleich zum 1-D-Ansatz und früheren Arbeiten.
   • Es wurden zwar einige Abweichungen in den absoluten Parameterwerten im Vergleich zu früheren Studien festgestellt, diese lassen sich jedoch auf geringere Sensitivität bestimmter Parameter und unterschiedliche Konvergenzkriterien zurückführen.

5. Generalisierbarkeit:

   • Die Hyperparameter, die für $^{139}\text{La}(p,x)$ optimiert wurden, funktionierten auch ohne Änderungen für $^{\text{nat}}\text{Cu}(p,x)$-Reaktionen, was auf eine gute Generalisierbarkeit des Ansatzes für andere Zielkerne hindeutet.

Bedeutung und Ausblick

Diese Arbeit demonstriert erfolgreich, dass maschinelles Lernen (insbesondere neuronale Netze) den Prozess der Kernmodell-Parametrierung revolutionieren kann.

• Paralleles Computing: Der Ansatz ermöglicht die vollständige Parallelisierung der Datengenerierung und des Trainings, was den Zugang zu modernen HPC-Clustern und GPUs für eine weitere Beschleunigung (Faktor 10–100) nutzt.
• Flexibilität: Da das Surrogatmodell TALYS-2.0 approximiert, können Experimentaldatensätze oder Optimierungsziele (FOM) nachträglich geändert werden, ohne neue TALYS-Berechnungen durchführen zu müssen.
• Zukünftige Arbeiten: Das Ziel ist es, die Anzahl der benötigten Trainingsdateien weiter zu reduzieren und den Ansatz auf mehrere Zielkerne gleichzeitig auszuweiten, um noch effizientere Multi-Ziel-Modelle zu erstellen.

Zusammenfassend bietet diese Studie einen robusten, schnellen und skalierbaren Weg, um die Vorhersagegenauigkeit von Kernreaktionscodes durch den Einsatz von Surrogatmodellen zu verbessern, was für die Entwicklung neuer Radioisotope und die Grundlagenforschung von großer Bedeutung ist.