Automating data splitting and hyper-parameters tuning in an Echo State Network-based model for Dynamic Aperture prediction

Sintesi Tecnica: Automazione della suddivisione dei dati e della sintonizzazione degli iper-parametri in un modello basato su Echo State Network per la previsione dell'Apertura Dinamica

Problematica
La previsione dell'Apertura Dinamica (DA) — l'estensione della regione dello spazio delle fasi in cui avviene il moto limitato nei ring di accumulo di adroni — è critica per la progettazione e l'ottimizzazione di acceleratori di particelle come l'LHC e l'HL-LHC. La determinazione tradizionale della DA si basa su simulazioni numeriche computazionalmente costose su vasti ensemble di condizioni iniziali, spesso limitate a scale temporali brevi (ad esempio, $10^6$ giri) a causa dei vincoli della CPU, mentre le scale temporali operative richiedono l'estrapolazione su durate molto più lunghe.

Un lavoro precedente [1] ha stabilito che combinare le Echo State Networks (ESN), un tipo di Reservoir Computing (RC), con leggi di scala analitiche (SL) derivate dal teorema di Nekhoroshev potrebbe migliorare significativamente l'accuratezza della previsione e ridurre i costi computazionali. Tuttavia, le prestazioni di questo approccio ibrido dipendono fortemente da come il dataset viene partizionato in set di addestramento, validazione e test, nonché dagli specifici iper-parametri della ESN. Lo studio attuale affronta la mancanza di automazione in questi processi, mirando a determinare strategie ottimali di suddivisione dei dati e ad automatizzare la sintonizzazione degli iper-parametri per garantire risultati robusti e riproducibili senza intervento manuale.

Metodologia
Gli autori utilizzano due dataset: uno generato da simulazioni numeriche della dinamica trasversale del fascio dell'HL-LHC (utilizzando 60 semi per tenere conto delle imperfezioni magnetiche) e un altro basato su una mappa di Hénon 4D modulata. La metodologia principale prevede:

1. Modellazione Ibrida: Lo studio impiega un modello in cui l'evoluzione della DA è prevista adattando una Legge di Scala (SL) ai dati di tracking nei set di addestramento e validazione, mentre la ESN viene addestrata sugli stessi dati per prevedere la DA per il set di test (giri oltre il limite di simulazione). La previsione finale combina l'adattamento della SL e l'output della ESN (SL+ESN).
2. Analisi della Partizione dei Dati: Gli autori investigano l'impatto della variazione del rapporto di dati allocati ai set di addestramento, validazione e test. Analizzano specificamente la derivata della Scaling Law analitica ($dSL/dN$) ai confini di questi set. L'ipotesi è che il comportamento della derivata (transizione da un calo ripido a una diminuzione graduale) possa servire come metrica automatizzata per determinare il punto di split ottimale tra il set di addestramento/validazione e il set di test.
3. Ottimizzazione Automatica degli Iper-parametri: Per sostituire la sintonizzazione manuale, lo studio implementa un approccio di Ottimizzazione Bayesiana utilizzando l'algoritmo Tree-structured Parzen Estimator (TPE) tramite la libreria hyperopt. Questo ottimizza sei iper-parametri della ESN: dimensione del reservoir ($N_r$), numero di reservoir impilati ($L$), raggio spettrale ($\rho$), dati di input scartati ($B_I$), costante di discretizzazione temporale ($\Delta t$) e coefficiente di regolarizzazione di Tikhonov ($\beta$).
4. Approccio Ensemble: In linea con il lavoro precedente, lo studio utilizza un ensemble di realizzazioni ESN per ogni seme per mitigare la casualità algoritmica, mediando i risultati per generare le previsioni finali.

Risultati Chiave

• Suddivisione Ottimale dei Dati: L'analisi rivela che una quota di addestramento di circa il 35% (e fino al 30% per il modello SL+ESN) è sufficiente per ottenere un Errore Radice Quadrata Media Relativo (RRMSE) nel set di test di pochi punti percentuali. Lo studio identifica un "plateau" nelle prestazioni tra il 30% e il 45% di quota di addestramento.
• Automazione Basata sulla Derivata: Il valore assoluto della derivata della SL e la sua dispersione attraverso i 60 semi evolvono monotonicamente con la quota di addestramento. Gli autori dimostrano che una soglia fissa sul valore assoluto della derivata media o sulla sua deviazione standard può identificare automaticamente il punto in cui i dati esibiscono un comportamento asintotico adatto alla validazione, automatizzando efficacemente lo split tra addestramento/validazione e test.
• Ottimizzazione degli Iper-parametri: Utilizzando l'ottimizzazione Bayesiana basata su TPE su 50 corse indipendenti, lo studio ha trovato che il modello SL+ESN è altamente robusto. La mediana del RRMSE per il modello SL+ESN è rimasta inferiore all'1%, con il RRMSE medio massimo tra i diversi set di iper-parametri che è rimasto al di sotto del 2%. Al contrario, il modello ESN-only ha mostrato una variabilità leggermente superiore, pur performando comunque bene.
• Guadagno di Prestazioni: L'approccio combinato SL+ESN consente di sostituire le costose simulazioni di tracking nel set di test con previsioni ESN. Per le simulazioni HL-LHC, ciò ha comportato un fattore di accelerazione di 20. L'accuratezza della previsione per i giri tre ordini di grandezza oltre il set di test è rimasta intorno all'1% di RRMSE.

Significatività e Rivendicazioni
Il documento sostiene di fornire una procedura più efficiente e robusta per l'applicazione del machine learning ai problemi di fisica degli acceleratori. Nello specifico, stabilisce che:

1. L'automazione è fattibile: La derivata della legge di scala analitica può essere utilizzata per determinare automaticamente la partizione ottimale dei dati, eliminando la necessità di una selezione euristica o manuale dei confini di addestramento/test.
2. Robustezza dei Modelli Ibridi: La combinazione della Scaling Law basata su Nekhoroshev con le previsioni ESN produce una affidabilità superiore rispetto all'uso di un singolo metodo, particolarmente in regimi con pochi dati.
3. Sintonizzazione Automatica: L'ottimizzazione Bayesiana (TPE) identifica con successo gli iper-parametri ottimali della ESN, fornendo una stima quantificabile dell'incertezza relativa a tali parametri e confermando la stabilità dei modelli surrogati.

Gli autori concludono che questi risultati consentono un flusso di lavoro più snello per future applicazioni a nuove configurazioni di acceleratori, garantendo che i risparmi computazionali (fattori di accelerazione) siano raggiunti senza sacrificare l'accuratezza necessaria per una affidabile previsione a lungo termine della DA.