Sintesi Tecnica: RL4F – Apprendimento per Rinforzo Offline per il Controllo del Plasma nella Fusione Nucleare

Definizione del Problema

Lo sviluppo di controllori per i tokamak a fusione nucleare tramite apprendimento per rinforzo (RL) online è proibitivamente costoso e rischioso a causa dell'elevato costo operativo, dei limiti temporali e della natura critica per la sicurezza dei dispositivi reali. Sebbene esistano simulatori basati sulla fisica (ad es., RAPTOR, TORAX), essi sono computazionalmente dispendiosi, richiedono una calibrazione estesa e spesso faticano a catturare le complesse dinamiche non lineari del plasma. Al contrario, l'apprendimento direttamente dai dati sperimentali storici senza interazione online (offline RL) offre un'alternativa più sicura, ma manca di un benchmark standardizzato. Le sfide attuali includono l'alta dimensionalità dei profili del plasma, le dinamiche non lineari e stocastiche, l'osservabilità parziale e la difficoltà di specificare ricompense per compiti di controllo a lungo orizzonte.

Metodologia

Il documento introduce RL4F, un benchmark unificato per l'offline RL nel controllo del profilo dei tokamak. La metodologia è strutturata attorno a quattro componenti principali:

1. Modellazione della Dinamica (L'Ambiente)

Invece di utilizzare simulatori basati sulla fisica, gli autori costruiscono un "gemello digitale" guidato dai dati utilizzando un insieme di Reti Neurali Probabilistiche Ricorrenti (RPNN).

• Dati di Addestramento: Il modello è addestrato su 18.000 scariche sperimentali storiche del tokamak DIII-D, che coprono quasi un decennio.
• Architettura: Un insieme di 25 membri di RPNN predice la distribuzione dei cambiamenti di stato ($\Delta s_t$) dato lo stato corrente ($s_t$), l'impostazione precedente dell'attuatore ($a_{t-1}$) e l'incremento dell'attuatore ($\Delta a_t$).
• Quantificazione dell'Incertezza: Il modello restituisce i parametri di una distribuzione Gaussiana ($\mu_t, \sigma_t$). L'insieme cattura l'incertezza epistemica (tramite il disaccordo tra i membri), mentre la testa della varianza logaritmica cattura l'incertezza aleatoria.
• Addestramento in Due Fasi: La prima fase ottimizza la media predittiva (MSE), e la seconda fase congela la struttura portante (backbone) per calibrare l'incertezza tramite la log-verosimiglianza negativa.

2. Costruzione del Dataset

Un dataset sintetico offline viene generato inizializzando i rollout da stati di "flat-top" reali e procedendo con un rollout autoregressivo del modello di dinamica di riferimento.

• Scala: Il dataset finale comprende 5.882 scariche e 945.828 transizioni.
• Suddivisione (Split): Vengono utilizzate suddivisioni fisse: 5.282 scariche per l'addestramento, 300 per la validazione e 300 per il test.
• Procedura: Gli stati successivi misurati sono sostituiti dalle predizioni dell'insieme per simulare il comportamento in loop chiuso preservando al contempo i programmi degli attuatori reali.

3. Compiti di Benchmark

Il benchmark valuta gli algoritmi su quattro compiti di tracciamento del profilo completo, dove l'obiettivo è regolare quantità spaziali ad alta dimensionalità attraverso la coordinata radiale normalizzata ($\psi_N \in [0, 1]$):

1. Rotazione: Critica per la soppressione dei modi di tearing e l'asimmetria dell'alimentazione.
2. Densità: Regola l'inventario del combustibile nel core e i tassi di fusione.
3. Temperatura Elettronica: Influenza il trasporto di calore e il confinamento.
4. Pressione: Determina i limiti di stabilità MHD e l'energia immagazzinata.

Configurazione del Controllo:

• Spazio delle Azioni: Potenza di Iniezione di Fascio Neutro (NBI), coppia NBI, tensione di gas puffing e potenza di Riscaldamento a Ciclotrone Elettronico (ECH).
• Spazio delle Osservazioni: Profilo di corrente, profilo target, target futuro (traslato di 10 step) e termini proporzionali (termini P).
• Ricompensa: Errore quadratico medio (MSE) negativo tra il profilo target e quello ottenuto.

4. Protocollo di Valutazione

Gli algoritmi vengono addestrati sul dataset sintetico statico e valutati in un contesto a loop chiuso sul modello di dinamica di riferimento.

• Baseline: Lo studio valuta una vasta gamma di metodi, inclusi l'Imitation Learning (GCIL), l'Offline RL Model-Free (TD3BC, CQL, IQL, EDAC, MCQ) e l'Offline RL Model-Based (PPO, COMBO, MOPO, MOBILE, RAMBO, BAMCTS).
• Metrica: Errore quadratico medio radiale (RMSE) su 33 posizioni radiali, mediato su 300 scariche di test e 10 seed casuali.

Contributi Chiave

1. Benchmark RL4F: Il primo benchmark di offline RL standardizzato specificamente progettato per il controllo del profilo del plasma di fusione, fornendo un banco di prova comune per il confronto degli algoritmi.
2. Ambiente Realistico Guidato dai Dati: Un modello di dinamica ad alta fedeltà addestrato su dati reali DIII-D, evitando l'overhead di calibrazione dei simulatori basati sulla fisica pur catturando le non linearità specifiche del dispositivo.
3. Valutazione Esaustiva delle Baseline: Una valutazione unificata di diversi approcci di offline RL e di imitation learning attraverso quattro distinti compiti di tracciamento del profilo a lungo orizzonte.
4. Rilascio Open-Source: Il codice, i dataset e il framework di valutazione sono rilasciati in open-source per favorire la riproducibilità e l'adozione della comunità.

Risultati

La valutazione rivela che i metodi di offline RL model-based generalmente superano le baseline model-free, sebbene nessun algoritmo domini tutti i compiti:

• Rotazione: RAMBO ha ottenuto il RMSE medio più basso (8.03), seguito da vicino da COMBO e MOPO. I metodi model-free sono stati significativamente peggiori, probabilmente a causa della difficoltà di deviare dalla distribuzione del comportamento in un dataset statico per la correzione della coppia a lungo orizzonte.
• Densità: COMBO è stato il migliore (RMSE 0.691), con MOPO e PPO vicini. Il divario ridotto tra i metodi model-based e model-free suggerisce che il dataset abbia fornito una copertura sufficiente per il controllo della densità.
• Temperatura: MOPO ha ottenuto la prestazione migliore (RMSE 0.193). La sua capacità di penalizzare le predizioni incerte del modello si è rivelata vantaggiosa per le dinamiche di temperatura, che comportano risposte ritardate ed effetti di trasporto accumulati.
• Pressione: MOPO è stato nuovamente in testa (RMSE 5198.6), seguito da RAMBO. Il forte accoppiamento della pressione con densità e temperatura rende questo il compito più impegnativo, favorendo i metodi sensibili all'incertezza.

Tendenze Generali:

• Il tracciamento vicino al core del plasma ($\psi_N \approx 0$) è costantemente più difficile rispetto al bordo a causa delle maggiori magnitudo dei profili e delle variazioni temporali.
• Il puro apprendimento per imitazione (GCIL) è stato insufficiente per questi problemi a lungo orizzonte, producendo errori significativamente più alti rispetto ai metodi di offline RL.
• Nessun algoritmo è universalmente ottimale; le prestazioni variano in base alle specifiche dinamiche fisiche e all'accoppiamento del profilo target.

Significato e Rivendicazioni

Il documento afferma che RL4F rappresenta un passo critico verso l'accelerazione dei progressi sia nella fusione nucleare che nello sviluppo di algoritmi di offline RL. Offrendo un ambiente standardizzato e guidato dai dati, consente ai ricercatori di sviluppare e confrontare i controllori senza i rischi e i costi immediati dell'esperimentazione su dispositivi reali.

Gli autori notano con modestia che, sebbene il benchmark sia costruito su dati reali DIII-D, la sua generalizzabilità ad altri tokamak rimane una questione aperta che richiede una collaborazione più ampia. Essi sottolineano che RL4F funge da ambiente di valutazione offline controllato; le prestazioni qui sono prova del potenziale algoritmico, ma non sostituiscono la validazione critica per la sicurezza sui dispositivi fisici. Il benchmark affronta le sfide specifiche delle dinamiche non lineari, del controllo a lungo orizzonte e dell'osservabilità parziale inerenti alla fusione, posizionandosi come un banco di prova rigoroso per la più ampia comunità dell'offline RL.