Application of Reinforcement Learning for Multigroup Energy Grid Optimization for Neutron Transport Criticality Problems

Questo lavoro presenta un approccio di apprendimento per rinforzo combinato con modelli surrogati di reti neurali per ottimizzare le strutture energetiche multigruppo per problemi di trasporto neutronico k-criticità sferica monodimensionale, ottenendo una accuratezza paragonabile o superiore ai metodi esistenti offrendo al contempo maggiore flessibilità ed efficienza computazionale.

L'essenziale

Il Quadro Generale: Sintonizzare la Radio per un Segnale Nucleare

Immagina di cercare di ascoltare un segnale radio molto debole proveniente da un reattore nucleare. Il segnale (i neutroni) è complesso, con diverse "frequenze" (energie) che cambiano rapidamente. Per comprendere il segnale, devi sintonizzare la manopola della tua radio.

In fisica nucleare, gli scienziati utilizzano un metodo chiamato Trasporto Neutronico Multigruppo. Immagina questo come dividere l'intero spettro radio in un numero fisso di "canali" o "contenitori" (chiamati gruppi energetici).

• Troppi contenitori: Ottieni un'immagine cristallina del segnale, ma il tuo computer deve svolgere così tanto lavoro che impiega giorni per completare il calcolo. È come cercare di ascoltare ogni singola frequenza individualmente.
• Troppi pochi contenitori: Il computer lavora velocemente, ma potresti perdere dettagli importanti o sentire disturbi, portando a risultati inaccurati.

L'obiettivo di questo documento è trovare il numero perfetto di contenitori e i luoghi perfetti per tracciare le linee che li separano per un problema nucleare specifico.

Il Problema: Il Dilemma di "Cappuccetto Rosso"

Per decenni, gli scienziati hanno utilizzato layout di canali "preimpostati" standard (come le strutture LANL30 o LANL70). Questi sono come acquistare una radio con pulsanti fissi. Funzionano abbastanza bene per molte situazioni, ma non sono perfetti per ogni reattore specifico.

Trovare il layout personalizzato migliore è difficile.

1. È costoso: Per testare se un nuovo layout funziona, devi eseguire una simulazione computerizzata massiccia e lenta (come eseguire un test fisico completo per ogni singolo pressione del pulsante).
2. È insidioso: Se inizi semplicemente a indovinare, potresti rimanere intrappolato in un "minimo locale". Immagina di essere in una valle nebbiosa; potresti pensare di aver raggiunto il fondo perché non riesci a vedere la valle più profonda proprio oltre la collina successiva.

La Soluzione: Un Robot Intelligente con una Sfera di Cristallo

Gli autori, Ben Whewell e il suo team presso il Los Alamos National Laboratory, hanno utilizzato l'Apprendimento per Rinforzo (RL).

L'Analogia:
Immagina un robot che cerca di risolvere un labirinto.

• Il Robot (Agente RL): Il suo compito è iniziare con una mappa molto dettagliata (una griglia ad alta fedeltà con 618 canali) e rimuovere le linee fino a raggiungere un numero target (come 30 o 70).
• La Ricompensa: Ogni volta che il robot rimuove una linea, ottiene un punteggio. Vuole un punteggio alto, il che significa che la simulazione è ancora accurata e ha rimosso il maggior numero possibile di linee per risparmiare tempo.
• La Trappola: Se il robot indovina semplicemente, impiegherà milioni di tentativi per imparare, e ogni tentativo richiede una simulazione fisica lenta e costosa.

L'Arma Segreta: Il Modello Surrogato (La Sfera di Cristallo)
Per far imparare il robot più velocemente, il team ha costruito un Modello Surrogato di Rete Neurale.

• Immagina questo come una sfera di cristallo o un allenatore altamente esperto.
• Invece di eseguire la simulazione fisica lenta e costosa ogni volta che il robot fa una mossa, il robot chiede alla sfera di cristallo: "Se rimuovo questa linea, quanto buono sarà il risultato?"
• La sfera di cristallo osserva il pattern delle linee e dei materiali (come Uranio o Plutonio) e prevede istantaneamente l'accuratezza. Non fornisce un numero perfetto, ma colloca il risultato in una "categoria di qualità" (ad esempio, "Questo è un 9 su 10").

Questo permette al robot di esercitarsi milioni di volte in poche ore invece che in migliaia di anni.

Cosa Hanno Fatto

Hanno testato questa squadra "Robot + Sfera di Cristallo" su due famosi enigmi nucleari:

1. Godiva: Una sfera di Uranio puro.
2. BeRP Ball: Una sfera di Plutonio circondata da un guscio di Berillio.

Hanno insegnato al robot a iniziare con una griglia massiccia e a "potarla" fino a 30 o 70 gruppi, imparando quali linee erano essenziali mantenere e quali potevano essere tagliate.

I Risultati: Meglio dello Standard

Quando hanno testato i layout personalizzati del robot contro i layout "preimpostati" standard (LANL30 e LANL70):

• Accuratezza: I layout personalizzati del robot erano più accurati. Hanno catturato i dettagli importanti della reazione nucleare meglio dei preset standard.
• Velocità: Il robot ha imparato a trovare questi buoni layout molto più velocemente rispetto ai metodi precedenti (come l'"Agglomerazione Gerarchica", che è un approccio greedy lento e passo dopo passo).
• Flessibilità: Il robot ha imparato una strategia generale. Se cambiavi le dimensioni della sfera o il materiale, il robot poteva adattarsi senza bisogno di essere riaddestrato da zero.

Punti Chiave in Lingua Semplice

1. Potatura Intelligente: Invece di costruire una griglia da zero, l'IA inizia con una griglia perfetta e dettagliata e impara esattamente quali parti tagliare via per risparmiare tempo senza perdere accuratezza.
2. L'Allenatore: Hanno utilizzato un veloce "allenatore" IA (modello surrogato) per prevedere i risultati, risparmiando loro l'esecuzione di simulazioni lente e costose milioni di volte.
3. Vittoria: Le griglie progettate dall'IA hanno battuto le vecchie griglie standard per questi specifici test nucleari, offrendo un modo più flessibile ed efficiente per risolvere problemi di fisica nucleare.

In breve, hanno insegnato a un computer a essere un maestro sintonizzatore, trovando il perfetto equilibrio tra velocità e accuratezza per i calcoli di sicurezza nucleare, utilizzando una "sfera di cristallo" per accelerare il processo di apprendimento.

Sommario tecnico

Sintesi Tecnica: Applicazione dell'Apprendimento per Rinforzo per l'Ottimizzazione di Griglie Energetiche Multigruppo per Problemi di Criticità nel Trasporto di Neutroni

Enunciato del Problema
I calcoli accurati del trasporto di neutroni dipendono fortemente dallo schema di discretizzazione multigruppo, in cui la variabile energetica continua viene integrata su intervalli finiti per creare gruppi energetici costanti a tratti. La selezione dei limiti energetici dei gruppi è critica; limiti subottimali possono portare a errori significativi negli spettri di flusso neutronico e nelle velocità di reazione. Sebbene le griglie ad alta fedeltà (ad esempio, LANL618) offrano accuratezza, comportano elevati costi computazionali e ingenti footprint di memoria. Al contrario, le griglie a bassa fedeltà (ad esempio, LANL30, LANL70) riducono i costi ma richiedono una selezione attenta dei limiti per mantenere l'accuratezza. Le tecniche di ottimizzazione esistenti, come l'Ottimizzazione Sciame di Particelle (PSO) e l'Agglomerazione Gerarchica (HA), affrontano sfide tra cui elevati costi computazionali dovuti alla necessità di simulazioni di trasporto complete per ogni passo di valutazione e la suscettibilità a minimi locali o una scarsa convergenza.

Metodologia
Gli autori propongono un nuovo framework che combina l'Apprendimento per Rinforzo (RL) con la modellazione sostitutiva tramite reti neurali per ottimizzare le strutture dei gruppi energetici per problemi di criticità $k$ sferici monodimensionali.

• Formulazione dell'Apprendimento per Rinforzo: Il problema è modellato utilizzando l'algoritmo di Ottimizzazione della Policy Prossima (PPO).

  • Spazio degli Stati: Un vettore binario di lunghezza 619 che rappresenta la presenza o l'assenza di limiti energetici da una griglia di riferimento LANL618. Per problemi non omogenei (ad esempio, la sfera BeRP), vengono aggiunti dati sullo spessore del materiale e sulle sezioni d'urto totali.
  • Spazio delle Azioni: L'agente rimuove un limite energetico alla volta, transitando da uno stato iniziale ad alta fedeltà ($G_{max} \in [200, 617]$) verso un numero target di gruppi ($G_{min}$). La mascheratura delle azioni garantisce che avvengano solo rimozioni valide.
  • Funzione di Ricompensa: La ricompensa bilancia due obiettivi: minimizzare il numero di gruppi energetici e massimizzare l'accuratezza della griglia. L'accuratezza è valutata tramite una metrica di errore ($\epsilon$) che combina gli errori relativi del fattore di moltiplicazione efficace ($k_{eff}$) e delle velocità di reazione integrate (totali, di fissione $\nu$ e di assorbimento). Per prevenire la cancellazione dell'errore dovuta alla mascheratura delle imprecisioni del flusso, l'errore di $k_{eff}$ è pesato con un fattore di 3 nel calcolo della radice della somma dei quadrati.

• Modellazione Sostitutiva: Per superare l'inefficienza nel campionamento dell'RL on-policy (che altrimenti richiederebbe milioni di simulazioni di trasporto complete), viene impiegato un modello sostitutivo di rete neurale per classificazione a 10 classi.

  • Architettura: Per problemi omogenei (Godiva), una Rete Neurale Convoluzionale 1D (CNN) elabora il vettore binario dei limiti energetici. Per problemi eterogenei (sfera BeRP), un'architettura multimodale combina la CNN con una rete Long Short-Term Memory (LSTM) per codificare le proprietà spaziali e dei materiali.
  • Dati di Addestramento: Vengono generati sottoinsiemi casuali della griglia LANL618 e vengono eseguite simulazioni di trasporto complete per calcolare la metrica di errore $\epsilon$. Questi errori vengono trasformati in distribuzioni normali e binnati in 10 classi (1 = meno accurato, 10 = più accurato).
  • Integrazione: Il modello sostitutivo restituisce la distribuzione di probabilità su queste 10 classi. Il valore atteso della classe viene utilizzato per calcolare la ricompensa, consentendo all'agente RL di apprendere senza eseguire una simulazione di trasporto completa ad ogni passo.

Principali Contributi

1. RL per l'Ottimizzazione della Struttura dei Gruppi: Questo lavoro introduce l'applicazione dell'RL basato su PPO al problema specifico di ottimizzare le strutture energetiche multigruppo, consentendo all'agente di identificare i limiti critici senza essere limitato a una topologia di griglia iniziale fissa (oltre il vincolo del sottoinsieme LANL618).
2. Addestramento Accelerato da Sostituti: Lo sviluppo di un modello sostitutivo basato sulla classificazione che incorpora informazioni energetiche, sui materiali e spaziali riduce significativamente il costo computazionale dell'addestramento RL, sostituendo le costose simulazioni di trasporto con inferenze rapide di reti neurali.
3. Ottimizzazione Flessibile: A differenza dei metodi gerarchici greedy che richiedono la riesecuzione di simulazioni per ogni nuova condizione iniziale, gli agenti RL addestrati possono adattarsi a diverse strutture di gruppi iniziali e layout di materiali senza riaddestramento.

Risultati
Il metodo è stato validato su due problemi di riferimento: la sfera di Godiva (uranio) e la sfera BeRP (plutonio con riflettore in berillio).

• Prestazioni del Sostituto:
  • Godiva: Il sostituto CNN ha raggiunto un'accuratezza vera del 78,3% e un'accuratezza adiacente del 98,2% (previsione entro una classe) su dati di test sottocritici, generalizzando bene alle configurazioni supercritiche.
  • Sfera BeRP: Il sostituto multimodale CNN-LSTM ha raggiunto un'accuratezza vera del 70,8% e un'accuratezza adiacente del 97,4% attraverso vari raggi di plutonio e stati di criticità.
• Prestazioni di Ottimizzazione RL:
  • Accuratezza: Le strutture di gruppi costruite dall'RL (RL30 e RL70) hanno superato le strutture LANL30 e LANL70 standard in termini di errori sia di $k_{eff}$ che di velocità di reazione, confrontate con il riferimento LANL618.
  • Confronto con HA: Il metodo RL ha raggiunto prestazioni comparabili al metodo di Agglomerazione Gerarchica (HA) ma con un sovraccarico computazionale significativamente ridotto. Mentre HA richiedeva decine di migliaia di simulazioni di trasporto complete (45.225 per un avvio a 301 gruppi, 191.362 per un avvio da LANL618) per ottimizzare un singolo problema, il metodo RL ha richiesto solo due modelli addestrati (per target di 30 e 70 gruppi) e nessun riaddestramento per diverse griglie iniziali o layout di materiali.
  • Efficienza dell'Addestramento: L'addestramento del sostituto e dei modelli RL ha richiesto circa sei ore su un laptop standard (Apple M3 Max), mentre l'addestramento senza il sostituto (utilizzando simulazioni complete) avrebbe richiesto oltre 8.300 ore.
  • Adattamento Spettrale: L'analisi delle strutture di gruppi risultanti ha mostrato che gli agenti RL hanno adattato con successo i limiti energetici allo spettro neutronico specifico. Per il problema a spettro veloce di Godiva, i modelli RL hanno concentrato i limiti nella regione ad alta energia, mentre le strutture LANL30 standard hanno posto più risoluzione nelle regioni di risonanza/termiche meno rilevanti per il problema specifico.

Significato
Il documento dimostra che l'apprendimento per rinforzo, quando accoppiato alla modellazione sostitutiva, offre un'alternativa flessibile e computazionalmente efficiente alle tecniche tradizionali di ottimizzazione della struttura dei gruppi. Il metodo evita con successo le trappole dei minimi locali comuni negli algoritmi greedy e riduce il carico computazionale dell'ottimizzazione di ordini di grandezza. Imparando a rimuovere limiti da una griglia ad alta fedeltà, l'approccio genera strutture di gruppi specifiche per il problema che superano le griglie standard generalizzate (LANL30/70) mantenendo la capacità di generalizzare su diverse configurazioni di materiali e condizioni iniziali senza riaddestramento. Gli autori notano che il lavoro futuro potrebbe espandere lo spazio delle azioni per includere l'aggiunta o la perturbazione dei limiti e affinare ulteriormente la risoluzione del sostituto per migliorare le prestazioni.