A converged architecture for processing 32 Tbps of physics data in real-time at the LHCb experiment

Immaginate una gigantesca telecamera ad alta velocità che non scatta foto a tramonti o cuccioli, ma ai blocchi da costruzione più piccoli dell'universo che si scontrano tra loro. Questo è il mondo della fisica delle particelle, dove gli scienziati usano enormi macchine chiamate collisionatori per sparare particelle l'una contro l'altra miliardi di volte al secondo. Quando queste particelle si scontrano, creano un'esplosione caotica di nuove particelle, come rompere un vaso per vedere cosa c'è dentro. L'obiettivo è catturare uno sguardo su qualcosa di raro e di nuovo nascosto tra quei detriti. Ma ecco il problema: la telecamera è così veloce e le collisioni così frequenti che produce una montagna di dati—così tanti che riempirebbe milioni di hard drive ogni secondo. Se gli scienziati cercassero di salvare ogni singolo pezzo di dati, i loro computer si scioglierebbero e la loro memoria si esaurirebbe istantaneamente.

Per risolvere questo problema, i fisici utilizzano un "filtro" o un "trigger". Pensatelo come un bouncer all'ingresso di un club esclusivo. Il bouncer deve decidere in una frazione di secondo quali collisioni sono abbastanza interessanti da tenere e quali sono solo noioso rumore di fondo da scartare. Per decenni, questi bouncer sono stati un mix di hardware specializzato e software per computer. Ma man mano che le macchine diventavano più veloci, i vecchi bouncer non riuscivano a stare al passo. Erano troppo lenti e troppo rigidi, spesso scartando eventi interessanti solo perché non somigliavano a ciò che l'hardware si aspettava. La grande domanda era: come costruiamo un filtro che sia abbastanza veloce da gestire un'alluvione di dati, abbastanza intelligente da guardare l'immagine completa e abbastanza flessibile da cambiare idea al volo?

Questo articolo racconta la storia di come l'esperimento LHCb al Large Hadron Collider abbia risolto questo problema con un massiccio aggiornamento. Il team ha costruito un nuovo sistema che agisce come una fabbrica super efficiente e tutto in uno. Invece di utilizzare un processo lento e multi-stadio con diversi team che gestiscono diverse parti del lavoro, hanno creato un "architettura convergente". Ciò significa che hanno combinato la raccolta dei dati, la selezione e il filtraggio in un unico processo fluido che gira su potenti schede grafiche (GPU, solitamente utilizzate nei computer da gaming). Sono riusciti a elaborare la strabiliante quantità di 32 terabit di dati al secondo in tempo reale. Quello è il tasso di dati più alto mai gestito da software in qualsiasi esperimento di fisica. Rimuovendo i vecchi e rigidi filtri hardware e sostituendoli con un sistema software intelligente e flessibile, non si sono limitati a stare al passo con la velocità; hanno effettivamente migliorato la qualità della scienza che possono fare, assicurando che nessun evento raro ed eccitante sfugga tra le crepe.

Il Problema: Un'alluvione di Dati

Il Large Hadron Collider (LHC) fa scontrare particelle miliardi di volte al secondo. Ogni volta che collidono, si parla di un "evento". In passato, l'esperimento LHCb utilizzava un sistema di filtraggio a due fasi. Prima, un "low-level trigger" composto da elettronica specializzata e costruita su misura scansionava rapidamente i dati e scartava la maggior parte delle collisioni noiose. Solo quelle che sembravano promettenti venivano passate a un "high-level trigger" (software) per un esame più approfondito.

Tuttamente, il vecchio sistema aveva un difetto. Poiché il filtro hardware guardava solo alcuni sensori specifici, a volte perdeva eventi interessanti che avvenivano altrove nel rilevatore. Inoltre, era difficile cambiare le regole una volta costruito l'hardware. Il team di LHCb ha deciso di eliminare completamente il primo filtro basato sull'hardware. Questo significava che il loro sistema doveva gestire 40 volte più dati rispetto al passato. Dovevano elaborare un flusso di dati grezzi di 32 terabit al secondo (Tbps) e filtrarli nei momenti più interessanti in tempo reale. Se avessero fallito, i dati sarebbero andati perduti per sempre.

La Soluzione: Una Fabbrica Convergente

Il team ha costruito un nuovo sistema utilizzando 164 server (computer) che agiscono come una singola, enorme macchina. Ecco come ci sono riusciti:

1. L'Autostrada "Zero-Copy"
Di solito, quando i dati si spostano da una scheda di rete alla memoria di un computer e poi a un processore, devono essere copiati più volte. È come spostare una scatola da un camion a un magazzino, poi a uno scaffale e infine a una vetrina. Richiede tempo ed energia. Il team di LHCb ha utilizzato una tecnica "zero-copy". Immaginate un nastro trasportatore che corre direttamente dal camion, attraverso il magazzino, e direttamente nella vetrina senza mai fermarsi per essere spostato a mano. Questo ha permesso loro di spostare i dati in modo incredibilmente veloce senza rallentare il computer.

2. Il Cuore Pulsante delle GPU
Invece di usare i normali processori per computer (CPU) per i lavori pesanti, hanno utilizzato le Graphics Processing Units (GPU). Questi sono i chip che si trovano solitamente nei computer per videogiochi, progettati per gestire migliaia di compiti contemporaneamente. Il team si è reso conto che ricostruire i percorsi delle particelle è molto simile al rendering di una complessa scena di un videogioco 3D. Mettendo l'intero processo di filtraggio sulle GPU, potevano elaborare migliaia di collisioni simultaneamente.

3. Una Programmazione più Intelligente
Una sfida era che non tutte le collisioni hanno la stessa dimensione o complessità. Alcune sono rapide da analizzare; altre richiedono più tempo. Se il sistema avesse tentato di elaborarle una alla volta, si sarebbe bloccato in attesa. Il team ha sviluppato uno "scheduler" intelligente che raggruppa gli eventi in lotti. È come uno chef che prepara un pasto: invece di cucinare un piatto alla volta, prepara tutte le verdure, poi trita tutta la carne, poi cuoce tutto insieme. Questo mantiene le GPU occupate ed efficienti. Hanno anche utilizzato uno "scheduler multi-evento" che guarda l'intero lotto e decide l'ordine migliore per eseguire i passaggi, assicurando che i calcoli più costosi vengano eseguiti solo sugli eventi che ne hanno effettivamente bisogno.

4. La Rete
Per connettere tutti i 164 server, hanno costruito una rete personalizzata utilizzando InfiniBand, una tecnologia spesso utilizzata nei supercomputer. Hanno progettato la rete in modo che ogni server potesse comunicare con tutti gli altri in modo efficiente, evitando ingorghi di traffico (un problema noto come "incast"). Ciò ha permesso loro di assemblare i pezzi di ogni collisione provenienti da diverse parti del rilevatore e inviarli alle GPU per il filtraggio senza colli di bottiglia.

I Risultati: Rompere i Record

Il team ha testato il loro sistema e ha scoperto che funzionava esattamente come previsto.

• Velocità: Hanno elaborato con successo l'intero flusso di 32 Tbps di dati in tempo reale.
• Filtraggio: Il sistema ha applicato un filtro che ha ridotto i dati di un fattore di 30:1. Ciò significa che per ogni 30 collisioni, solo 1 è stata conservata per ulteriori studi.
• Scalabilità: Quando hanno testato il sistema con più server, questo è scalato perfettamente. Il sistema poteva gestire l'intero tasso di progettazione dell'LHC, che è di 30 milioni di collisioni al secondo.
• Efficienza: Il sistema utilizzava 164 server dotati di 328 GPU (due per server). La potenza di calcolo totale era enorme, ma il design era abbastanza efficiente da non richiedere migliaia di macchine come in passato.

L'articolo conferma che questo sistema è in grado di elaborare il tasso di dati più alto mai raggiunto via software nel campo della fisica. Ha dimostrato che è possibile rimuovere i vecchi e rigidi filtri hardware e sostituirli con un sistema basato su software, più flessibile, più veloce e più intelligente.

Perché è Importante

Non si tratta solo di gestire più dati; si tratta di vedere di più dell'universo. Rimuovendo il filtro hardware, l'esperimento LHCb può ora guardare l'intero rilevatore alla ricerca di eventi interessanti, non solo le parti che il vecchio hardware era programmato per osservare. Questo significa che potrebbero trovare particelle rare o nuova fisica che prima erano invisibili. Il successo di questa "architettura convergente" stabilisce un nuovo standard per come saranno costruiti i futi esperimenti di fisica delle particelle, dimostrando che con il giusto mix di tecnologia commerciale e software intelligente, possiamo spingere i confini di ciò che è possibile nella scienza.