A Modular Zero-Dead-Time Data Acquisition and Real-Time GPU Processing Platform for High Throughput Physics Experiments

Questo lavoro presenta una piattaforma modulare definita via software che integra digitalizzatori PCIe ad alta larghezza di banda con GPU consumer per realizzare l'acquisizione dati continua a tempo morto zero e l'elaborazione in tempo reale per esperimenti di fisica ad alto rendimento, dimostrata con successo nella ricerca di materia oscura WISPLC con una portata sostenuta di 1 GB/s e una perdita di dati trascurabile.

L'essenziale

Immagina di dover registrare un'orchestra sinfonica che suona a velocità fulminea. In passato, se volevi analizzare la musica in tempo reale, avevi bisogno di una macchina enorme e costruita su misura (come un robot specializzato) che fosse incredibilmente veloce ma molto costosa, difficile da programmare e complicata da modificare se volevi ascoltare uno strumento diverso.

Questo articolo presenta un nuovo modo per effettuare questa registrazione e analisi utilizzando un approccio "modulare". Invece di un robot personalizzato, il team ha costruito un sistema utilizzando componenti informatici standard ad alta velocità (come quelli presenti nei PC da gioco) combinati con un programma software intelligente. Ecco come funziona, scomposto in concetti semplici:

1. Il Problema: Il "Traffico"

Negli esperimenti di fisica ad alta velocità, i dati arrivano più velocemente di un'autostrada durante l'ora di punta.

• Il Vecchio Modo: I sistemi tradizionali utilizzano hardware specializzato (FPGA) per gestire questo flusso. È come avere un agente di polizia dedicato e super-veloce che dirige il traffico. Funziona perfettamente, ma costruire e modificare le istruzioni dell'agente richiede mesi di formazione specializzata e costa una fortuna.
• Il Nuovo Modo: Questo team ha realizzato che potevano utilizzare la scheda grafica (GPU) di un computer standard—lo stesso tipo usato per giocare ai videogiochi—per fare il lavoro pesante. È come assumere un team di migliaia di lavoratori efficienti e disponibili sul mercato invece di un singolo robot costoso e costruito su misura.

2. La Soluzione: Una Pipeline a "Tempo Morto Zero"

La maggiore paura nella registrazione di dati veloci è il "tempo morto". Questa è una frazione infinitesimale di secondo in cui il sistema smette di registrare per elaborare ciò che ha appena ascoltato. Se perdi un battito, i dati sono rovinati.

Gli autori hanno costruito un sistema che afferma di avere tempo morto zero.

• L'Analogia: Immagina un nastro trasportatore in una fabbrica. Di solito, quando il nastro si ferma per permettere a un operaio di impacchettare una scatola, il nastro si ferma e la scatola successiva aspetta.
• Il Loro Trucco: Hanno costruito un sistema in cui il nastro trasportatore non si ferma mai. Mentre un operaio (la GPU) sta impacchettando la scatola corrente, un altro operaio sta già afferrando la scatola successiva e un terzo sta preparando quella dopo. Utilizzano un sistema di "callback", che è come un timer che dice: "Ehi, appena hai una scatola piena di dati, elaborala immediatamente, poi torna subito al nastro".
• Il Risultato: Hanno dimostrato che in una registrazione di 10 minuti, non hanno perso un singolo "battito" di dati. Il sistema è così preciso che, anche se avesse perso dati, sarebbe stato meno di un trilionesimo del tempo totale.

3. L'Hardware: Una "Scatola Fonoisolata" Personalizzata

Poiché stanno utilizzando potenti componenti informatici (GPU) che possono generare rumore elettrico, dovevano fare attenzione.

• Lo Scudo: Hanno costruito una scatola di alluminio personalizzata (una gabbia di Faraday) per ospitare la scheda di registrazione sensibile. Pensala come una cabina fonoisolata per un cantante. Mantiene il "rumore" delle ventole e degli alimentatori del computer dal disturbare i delicati segnali fisici che stanno cercando di ascoltare.
• Raffreddamento: Poiché la scatola è stretta, hanno aggiunto ventole e dissipatori di calore per evitare che l'elettronica si surriscaldasse troppo, garantendo che la registrazione rimanga stabile per settimane alla volta.

4. Il "Mostro a Tre Teste" (Configurazione Multi-GPU)

Per gestire la massa enorme di dati, non hanno usato una sola scheda grafica; ne hanno usate tre.

• La Catena di Montaggio: Hanno diviso il lavoro in tre fasi, come una catena di montaggio in una fabbrica di automobili:
  1. GPU 1: Converte i numeri grezzi in tensione fisica (come tradurre una lingua straniera).
  2. GPU 2: Esegue calcoli complessi (Trasformate di Fourier Veloci) per trasformare il suono in uno spettro di frequenze (come trasformare una canzone in uno spartito musicale).
  3. GPU 3: Media i risultati e calcola le statistiche.
• Il Compromesso: Spostare i dati tra queste tre schede richiede un po' di tempo extra (come passare un pezzo di auto lungo una lunga catena), ma permette loro di utilizzare molta più memoria di quanto una singola scheda potrebbe contenere. Questo permette loro di vedere dettagli molto fini nei dati.

5. Successo Reale: La Caccia alla "Materia Oscura"

Hanno testato questo sistema in un esperimento reale chiamato WISPLC, che sta cercando la "materia oscura" (particelle invisibili che costituiscono la maggior parte dell'universo).

• La Vittoria: Prima di questo sistema, l'esperimento avrebbe generato così tanti dati grezzi che avrebbero dovuto archiviare 21 Terabyte ogni singolo giorno.
• La Soluzione: Poiché il loro sistema analizza i dati mentre arrivano (mediandoli immediatamente), avevano bisogno di archiviare solo i risultati finali e riassunti. Questo ha ridotto il loro fabbisogno di archiviazione da 21 TB al giorno a meno di 20 TB al mese.
• Stabilità: Il sistema è stato eseguito continuamente per un mese intero senza crash, surriscaldamento o perdita di dati.

Riepilogo

L'articolo afferma di aver costruito un'alternativa flessibile, più economica e più facile da aggiornare rispetto all'hardware scientifico costoso e costruito su misura. Utilizzando componenti informatici standard e software intelligente, hanno creato un sistema di registrazione a "tempo morto zero" in grado di gestire enormi flussi di dati, analizzarli istantaneamente e archiviare solo le parti importanti. Hanno dimostrato che funziona eseguendo con successo un esperimento sulla materia oscura durato un mese senza un singolo malfunzionamento.

Sommario tecnico

Sintesi Tecnica: Una Piattaforma Modulare per l'Acquisizione Dati a Tempo Morto Zero e l'Elaborazione in Tempo Reale su GPU

Enunciato del Problema
Gli esperimenti fisici moderni ad alto throughput generano volumi di dati in continua crescita che mettono alla prova le pipeline tradizionali di acquisizione dati (DAQ). I sistemi convenzionali fanno spesso affidamento su elaborazione offline, che è insufficiente per ricerche flessibili di segnali transitori e per la gestione dell'archiviazione. Sebbene le soluzioni basate su hardware, quali Field Programmable Gate Arrays (FPGA) o Sistemi su Chip a Radio Frequenza (RFSoC), offrano latenza deterministica ed elevata efficienza, presentano significativi colli di bottiglia nello sviluppo. Questi includono la necessità di competenze specializzate in linguaggi di descrizione hardware (HDL) (ad es. VHDL, Verilog), lunghi tempi di compilazione, cicli di debug complessi e costi di ingresso elevati. Inoltre, la natura rigida delle architetture hardware fisse rende difficile lo sviluppo iterativo di algoritmi in ambienti sperimentali.

Metodologia
Gli autori propongono una piattaforma DAQ modulare definita via software che integra convertitori analogico-digitali (ADC) PCIe ad alta banda con unità di elaborazione grafica (GPU) di livello consumer standard. Il sistema è progettato per realizzare un'acquisizione dati continua, a tempo morto zero, e un'elaborazione in tempo reale utilizzando NVIDIA CUDA.

• Architettura Hardware: Il sistema centrale utilizza digitalizzatori della serie SPCM di Spectrum Instrumentation (M4i.4420-x8 e M2p.5941-x8) accoppiati a una CPU multi-threaded e a più GPU compatibili con CUDA. Per mitigare le interferenze elettromagnetiche (EMI) provenienti dai componenti dell'host, la scheda ADC è fisicamente isolata all'interno di una gabbia di Faraday in alluminio personalizzata spessa 10 mm, dotata di raffreddamento attivo. La piattaforma supporta una configurazione a tre GPU (due NVIDIA RTX 2080 Ti e una RTX A4000) per superare i limiti di VRAM delle singole schede consumer, abilitando bande di risoluzione più elevate.
• Architettura Software: Il sistema impiega un'architettura multi-threaded in C/C++ che utilizza i POSIX Threads (pthreads). Presenta un design guidato da callback, in cui un thread lavoratore ADC dedicato gestisce il buffer ad anello FIFO hardware. Quando i dati disponibili superano una soglia definita dall'utente, viene invocata una funzione di callback fornita dall'utente. Questa astrazione permette agli utenti di implementare logiche di elaborazione personalizzate (ad es. FFT, filtraggio, media statistica) senza gestire il wrapping della memoria a basso livello o i driver hardware.
• Pipeline di Elaborazione: La pipeline di elaborazione in tempo reale prevede la conversione dei dati ADC int16 intercalati in tensioni in virgola mobile, l'applicazione di funzioni di finestramento e il calcolo delle Trasformate di Fourier Veloci (FFT) utilizzando la libreria cuFFT. Nella configurazione multi-GPU, il carico di lavoro è distribuito in sequenza su tre GPU: conversione di tipo sulla prima, calcolo FFT sulla seconda (che possiede la VRAM più ampia) e media statistica sulla terza. Questa distribuzione sequenziale evita la complessità delle copie di memoria con passo (strided) tra dispositivi fisici, sebbene introduca un sovraccarico nel trasferimento della RAM dell'host.

Contributi Chiave

1. Architettura Modulare Definita via Software: Realizzazione di un sistema DAQ che abilita l'acquisizione continua ad alto throughput di segnali e l'elaborazione in tempo reale utilizzando digitalizzatori PCIe standard e GPU consumer, eliminando la necessità di firmware FPGA specializzato.
2. Design Guidato da Callback: Implementazione di un framework flessibile in cui gli utenti definiscono la logica di elaborazione tramite callback, abilitando il calcolo in tempo reale di statistiche derivate (potenza, varianza, medie spettrali) e una facile adattamento a diversi algoritmi di elaborazione del segnale.
3. Validazione a Tempo Morto Zero: Dimostrazione in situ delle capacità di acquisizione continua, validata attraverso test di continuità di fase ed esecuzioni di stabilità a lungo termine.
4. Distribuzione del Carico di Lavoro Multi-GPU: Una strategia per distribuire i compiti di FFT e media su più GPU per raggiungere bande di risoluzione elevate nonostante i vincoli individuali di VRAM.

Risultati

• Benchmark delle Prestazioni: La piattaforma sostiene un'elaborazione continua a velocità di campionamento fino a 500 MSa/s, gestendo throughput di dati di 1 GB/s. Al tasso massimo, l'elaborazione in tempo reale totale consuma circa l'80% del tempo DAQ disponibile, principalmente a causa delle latenze nel trasferimento di memoria tra GPU instradate attraverso la RAM dell'host. Al tasso inferiore di 124 MSa/s utilizzato nell'esperimento WISPLC, l'utilizzo dell'elaborazione scende a circa il 20%.
• Verifica a Tempo Morto Zero:
  • Analisi dei Confini di File: Test che iniettavano segnali sinusoidali a varie frequenze (da 9 Hz a 19,8 MHz) hanno confermato la continuità di fase attraverso i confini dei file. Il confronto statistico con simulazioni Monte Carlo ha mostrato accordo con il modello a tempo morto zero, escludendo la perdita di dati durante i riavvolgimenti del buffer.
  • Validazione End-to-End: Un'acquisizione continua di 10 minuti di un segnale a 3 MHz ha limitato la perdita frazionaria di dati a meno di $5,6 \times 10^{-12}$ (equivalente a un tempo morto ipotetico di <3,33 ns), che è inferiore a un singolo intervallo di campionamento a 125 MSa/s.
• Stabilità a Lungo Termine: Il sistema ha operato continuamente per un mese senza crash, corruzione di memoria o degradazione delle prestazioni. La soluzione di raffreddamento personalizzata ha mantenuto temperature ADC stabili (~48°C), prevenendo la deriva termica.
• Impatto Applicativo: Nell'esperimento di materia oscura WISPLC, la piattaforma ha operato a 124 MSa/s con una banda di risoluzione di 0,1 Hz. La media spettrale in tempo reale ha ridotto i requisiti di archiviazione dati giornalieri da 21 TB a meno di 20 TB al mese.

Significato
Il documento stabilisce che piattaforme DAQ ad alte prestazioni definite via software che utilizzano GPU consumer possono sostituire efficacemente pipeline hardware specializzate e rigide (come le FPGA) per configurazioni di laboratorio di medie e grandi dimensioni. Sfruttando la programmazione standard C/C++ e CUDA, il sistema abbassa significativamente la barriera di ingresso per esperimenti ad alto throughput, consentendo un'iterazione rapida degli algoritmi di elaborazione del segnale senza ridisegni hardware. La capacità dimostrata di mantenere il tempo morto zero a velocità di campionamento elevate mentre si esegue una media complessa in tempo reale offre un'alternativa flessibile ed economica ai sistemi tradizionali di convertitori di banda base digitale (DBBC) e alle soluzioni basate su FPGA. Gli autori notano che, sebbene l'implementazione attuale affronti esigenze fisiche specifiche, l'architettura è adattabile per applicazioni più ampie, inclusa la sintesi di segnali e l'analisi di rete, a condizione che venga integrato un hardware RF appropriato.