Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

Questo articolo presenta uno studio sull'ottimizzazione di varie architetture di reti neurali (Dense, CNN e Dense+RNN) mediante procedure Bayesiane e Deep Evidential Regression per l'esecuzione su FPGA dei calorimetri ATLAS, ottenendo una risoluzione energetica superiore e una stima accurata dell'incertezza rispetto ai metodi attuali in condizioni di alto pile-up previste per l'HL-LHC.

L'essenziale

Immaginate il rivelatore ATLAS al Large Hadron Collider (LHC come un gigantesco microfono ultra-sensibile che ascolta l'universo. Ogni 25 nanosecondi, due fasci di protoni si scontrano, creando una sinfonia caotica di particelle. Il "microfono" (specificamente il calorimetro a argon liquido) cerca di misurare l'energia di queste particelle ascoltando gli impulsi elettrici che esse creano.

Tuttari, c'è un problema: l'orchestra sta diventando più rumorosa e affollata. Nel futuro aggiornamento (chiamato HL-LHC), ci saranno così tanti urti simultanei (un fenomeno chiamato "pile-up") che i segnali si sovrapporranno come un mucchio disordinato di cuffie aggrovigliate. Il metodo attuale per districare questi segnali (chiamato "Optimal Filtering") è come cercare di ascoltare un singolo violino in un concerto rock usando un orecchio molto vecchio e lento: si confonde e perde il volume reale del suono.

Questo articolo presenta una nuova soluzione: insegnare al cervello del rivelatore a pensare come un'IA moderna.

Ecco la suddivisione di ciò che hanno fatto, utilizzando analogie semplici:

1. La sfida: Un cervello minuscolo e veloce

Il rivelatore non possiede un supercomputer per elaborare i dati. Deve prendere decisioni istantaneamente, proprio dove i dati vengono raccolti, utilizzando chip specializzati chiamati FPGA (Field-Programmable Gate Arrays). Pensate a questi FPGA come a minuscoli calcolatori ultra-veloci che hanno regole molto rigide:

• Velocità: Devono decidere l'energia di una particella in meno del tempo necessario a un colibrì per battere le ali (125 nanosecondi).
• Dimensioni: Hanno pochissimo spazio di memoria. Non si può installare un programma software massiccio e pesante su di essi.

2. La soluzione: Nuove "ricette" di Reti Neurali

I ricercatori hanno cercato di insegnare a questi minuscoli calcolatori a riconoscere i segnali disordinati utilizzando le Reti Neurali (modelli di IA). Hanno testato quattro diverse "ricette" (architetture) per vedere quale riuscisse a districare meglio il rumore senza violare i limiti di velocità o di dimensioni:

• La RNN (Reti Neurali Ricorrenti): Immaginate una persona che legge una storia una parola alla volta, ricordando la parola precedente per comprendere quella attuale. Questo è utile per le sequenze, ma in questo ambiente affollato, è diventata troppo grande e lenta.
• La CNN (Reti Neurali Convoluzionali): Immaginate di guardare un modello attraverso una finestra scorrevole, come una telecamera di sicurezza che scansiona un corridoio. Guarda un frammento del segnale alla volta per trovare delle forme. Questo ha funzionato molto bene.
• La Rete Densa (Dense Network): Immaginate un team di esperti dove tutti parlano con tutti per risolvere un puzzle. Anche questo ha funzionato molto bene.
• L'ibrido "Dense + RNN": Un mix dei due, cercando di ottenere il meglio da entrambi i mondi.

3. Il processo di sintonizzazione: La "Ricerca Intelligente"

I ricercatori non hanno semplicemente indovinato quale ricetta fosse la migliore. Hanno utilizzato un processo di Ottimizzazione Bayesiana.

• L'analogia: Immaginate di cercare la temperatura perfetta per cuocere una torta, ma avete solo pochi tentativi prima che il forno si rompa. Non tirate a indovinare casualmente; usate un assistente intelligente che dice: "Ok, abbiamo provato 180°C ed era troppo asciutta. Proviamo 190°C, ma forse con un po' meno farina".
• Hanno usato questo "assistente intelligente" per bilanciare due obiettivi contrastanti: Accuratezza (ottenere l'energia corretta) rispetto a Dimensioni (mantenere il codice abbastanza piccolo per il chip). Hanno trovato un "punto ottimale" dove l'IA era abbastanza piccola da entrarvi, ma abbastanza intelligente da battere il vecchio metodo.

4. I risultati: Un quadro più chiaro

Quando hanno testato questi nuovi modelli di IA contro il vecchio metodo di "Optimal Filtering":

• Maggiore Accuratezza: I nuovi modelli di IA (Dense e CNN) potevano misurare l'energia con una precisione di circa 80 MeV (un'unità di energia molto piccola). Il vecchio metodo e la RNN erano meno precisi (circa 90 MeV).
• Niente più sottostime: Il vecchio metodo tendeva a "abbassare il volume" sui segnali, pensando che l'energia fosse inferiore a quella reale. I nuovi modelli di IA hanno ottenuto il volume corretto.
• Efficienza: I modelli vincitori erano minuscoli (utilizzando meno di 500 "operazioni matematiche"), dimostrando di poter entrare nell'hardware.

5. La funzione bonus: "Quanto sei sicuro?"

Solitamente, l'IA fornisce una risposta ma non un punteggio di confidenza. È come un'app del meteo che dice "pioverà" senza dirti se c'è una probabilità del 50% o del 99%.

• I ricercatori hanno aggiunto una tecnica speciale chiamata Deep Evidential Regression.
• L'analogia: Questo è come dare all'IA un "misuratore di fiducia". Ora, quando l'IA dice: "Questa particella ha 50 GeV di energia", può anche dire: "Sono sicuro al 95% di questo", oppure "Sono un po' incerto su questo perché il rumore era strano".
• Hanno scoperto che questo misuratore di fiducia era accurato. Non ha reso l'IA più lenta o più grande, ma ha dato ai ricercatori un modo per sapere quali misurazioni fossero affidabili.

Riassunto

L'articolo dimostra che, utilizzando modelli di IA piccoli e intelligenti (specificamente reti Dense e CNN) sintonizzati con un metodo di "ricerca intelligente", il rivelatore ATLAS può essere aggiornato per gestire il caos delle future collisioni ad alta energia. Questi nuovi modelli sono più veloci, più accurati e possono persino dire agli scienziati quanto dovrebbero essere fiduciosi nei dati, il tutto pur entrando nei piccoli e veloci chip presenti sul rivelatore stesso.

Sommario tecnico

Riepilogo Tecnico: Reti Neurali Ottimizzate per l'Elaborazione dei Dati del Calorimetro ATLAS Online

Problematica
L'Alta Luminosità del Large Hadron Collider (HL-LHC) introdurrà un pile-up di segnale estremo, con fino a 200 collisioni protone-protone simultanee per incrocio di pacchetti (bunch crossing). Questo ambiente degrada le prestazioni dell'attuale algoritmo di Optimal Filtering (OF) utilizzato nei calorimetri a Liquid-Argon (LAr) di ATLAS, in particolare nella ricostruzione dell'energia quando gli impulsi si sovrappongono. L'aggiornamento di Fase-II dell'elettronica di lettura LAr introduce nuova hardware basata su FPGA INTEL Agilex 7. Questi FPGA offrono una maggiore potenza di elaborazione ma impongono vincoli severi sulla latenza (inferiore a 125 ns) e sulle dimensioni della rete (limitata a circa 500 operazioni di moltiplicazione-accumulo, o MAC, per cella) per la ricostruzione dell'energia online. La sfida consiste nello sviluppare architetture di reti neurali (NN) che superino l'algoritmo OF in risoluzione energetica sotto alto pile-up, rispettando al contempo questi severi vincoli hardware e fornendo stime affidabili dell'incertezza per singolo evento.

Metodologia
Lo studio valuta quattro architetture di reti neurali progettate per predire l'energia trasversa depositata in una cella calorimetrica utilizzando campioni di impulso digitalizzati come input. I dati di input includono campioni di pre-deposito (per tenere conto delle distorsioni dell'impulso causate da collisioni precedenti) e campioni di post-deposito (per catturare la forma dell'impulso del deposito di energia target).

1. Architetture Valutate:

   • Rete Neurale Ricorrente (RNN): Elabora i campioni sequenzialmente. Sebbene efficienti per i dati di serie temporali, le RNN standard richiedono grandi dimensioni interne per catturare dipendenze a lungo raggio, spesso superando i limiti di risorse degli FPGA per sequenze lunghe.
   • Rete Neurale Convoluzionale (CNN): Utilizza filtri 1D e 2D scorrevoli sui campioni di input. Sfrutta la condivisione dei pesi e riutilizza le computazioni dai precedenti incroci di pacchetti per ridurre la latenza.
   • Dense+RNN: Un approccio ibrido in cui uno strato denso (dense layer) elabora i campioni di pre-deposito per inizializzare una sequenza RNN per i campioni di post-deposito, con l'obiettivo di bilanciare i vantaggi della RNN con un costo computazionale ridotto.
   • Staged Dense (Dense a stadi): Un'architettura multistadio che utilizza solo strati densi. I campioni di pre-deposito vengono elaborati in un primo stadio per correggere le distorsioni, che vengono poi combinate con i campoli di post-deposito in un secondo stadio. Ciò consente la pre-computazione del primo stadio, minimizzando la latenza.

2. Strategia di Ottimizzazione:
   È stata impiegata una procedura di ottimizzazione bayesiana per regolare gli iperparametri (ad es. numero di campioni di pre/post-deposito, dimensioni degli strati, dimensioni dei kernel). La funzione obiettivo bilanciava la risoluzione energetica rispetto alla dimensione della rete (conteggio MAC), applicando penalità per le architetture che superavano i 500 MAC e penalità severe oltre gli 850 MAC per garantire la fattibilità sugli FPGA.

3. Stima dell'Incertezza:
   Per affrontare la necessità di stime dell'energia per singolo evento senza il costo computazionale delle Reti Neurali Bayesiane (che richiedono campionamento), gli autori hanno implementato la Deep Evidential Regression (DER). Questa tecnica modifica lo strato finale della rete Dense per produrre i parametri di una distribuzione Normal-Inverse-Gamma, consentendo l'inferenza sia dell'energia predetta che delle relative incertezze aleatorie (rumore dei dati) ed epistemiche (incertezza del modello).

4. Simulazione e Addestramento:
   Le reti sono state addestrate e testate su dati simulati utilizzando il toolkit AREUS, simulando uno scenario di pile-up peggiore ($\langle\mu\rangle = 200$) con eventi di hard-scattering da 0 a 130 GeV. Un dataset di 13 milioni di eventi è stato utilizzato per la valutazione finale per minimizzare le fluttuazioni statistiche.

Risultati Chiave

• Risoluzione Energetica: Le architetture ottimizzate Dense, CNN e Dense+RNN hanno raggiunto una risoluzione dell'energia trasversa di circa 80 MeV. Questo supera sia l'attuale algoritmo OF che l'architettura RNN (che ha raggiunto ~90 MeV).
• Accuratezza della Scala Energetica: A differenza dell'algoritmo OF e delle RNN standard, che sottostimano sistematicamente l'energia (l'OF ignora il pile-up in-time e le RNN non riescono a catturare le dipendenze a lungo raggio con input limitati), le reti Dense, CNN e Dense+RNN riproducono accuratamente la scala energetica attraverso l'intero intervallo dinamico.
• Fattibilità Hardware: Tutte le architetture di successo (Dense, CNN, Dense+RNN) sono state ottimizzate per utilizzare meno di 500 unità MAC, rendendole idonee all'implementazione sugli FPGA Agilex 7 entro i rigorosi vincoli di latenza.
• Performance dell'Incertezza: L'implementazione della DER ha aggiunto un carico computazionale minimo. L'incertezza predetta ($\delta_{pred}$) è risultata coerente, in media, con l'effettiva differenza tra l'energia reale e quella predetta. La distribuzione del pull $(E_{pred} - E_{true})/\delta_{pred}$ ha prodotto una deviazione standard di 0,75, indicando una leggera sovrastima dell'incertezza ma una generale affidabilità. L'analisi ha mostrato che l'incertezza epistemica domina, suggerendo potenzialità di ulteriore miglioramento con dataset più ampi o architetture raffinate.

Significato e Rivendicazioni
Il documento afferma di dimostrare che algoritmi di apprendimento automatico moderni possono essere implementati con successo nella catena di lettura online dei calorimetri LAr di ATLAS. Il significato primario risiede nel riuscito compromesso tra risoluzione e vincoli hardware:

• Lo studio prova che le architetture Dense e CNN possono migliorare la risoluzione energetica di circa l'8% rispetto al metodo OF legacy, rimanendo entro i limiti MAC degli hardware FPGA di Fase-II.
• Stabilisce che i campioni di pre-deposito sono critici per catturare le distorsioni dell'impulso, rendendo gli approcci puramente RNN meno competitivi a causa della loro intensità di risorse per sequenze lunghe.
• Introduce un metodo pratico per la stima dell'incertezza per singolo evento tramite Deep Evidential Regression, che non aumenta significativamente i costi di inferenza. Questa capacità è presentata come un passo verso una migliore selezione dell'energia delle celle negli algoritmi di clustering, permettendo una ricostruzione più accurata di oggetti fisici come elettroni e fotoni in ambienti ad alto pile-up.

Gli autori concludono che queste reti ottimizzate sono ben adatte all'implementazione su FPGA e rappresentano una via percorribile per l'aggiornamento di Fase-II di ATLAS, offrendo prestazioni superiori rispetto agli algoritmi attuali senza compromettere i rigorosi requisiti di latenza e risorse dei sistemi di trigger e lettura.