GPU-Accelerated Simulation of 3D Diamond Sensors Using the TeRABIT Infrastructure

Questo articolo presenta un framework di simulazione distribuito e accelerato da GPU che sfrutta l'infrastruttura TeRABIT per risolvere in modo efficiente una nuova equazione differenziale parziale del terzo ordine per la modellazione della formazione del segnale nei sensori in diamante 3D, consentendo così studi rapidi su ipotesi alternative riguardanti la geometria del sensore.

L'essenziale

Immagina di cercare di ascoltare un sussurro in un corridoio lunghissimo e rumoroso. Il sussurro è un minuscolo segnale proveniente da una particella di radiazione che colpisce un sensore in diamante. Il corridoio è il diamante stesso, e le pareti sono rivestite da speciali "fili" di carbonio (elettrodi) che trasportano il suono al tuo orecchio (il computer).

Il problema è che questi fili di carbonio non sono perfetti; sono un po' come vecchie tubature arrugginite. Quando il segnale viaggia attraverso di essi, subisce ritardi e distorsioni, proprio come un suono che echeggia e svanisce in una lunga galleria. Questo rende difficile sapere esattamente quando è iniziato il sussurro, il che è cruciale per gli esperimenti di fisica ad alta velocità.

Ecco come i ricercatori di questo articolo hanno risolto il problema di capire esattamente come si comporta quel segnale, utilizzando un mix di matematica super-intelligente e computer super-veloci.

1. Il Vecchio Metodo: Cercare di Mappare un Labirinto con una Torcia

In precedenza, gli scienziati cercavano di simulare come questi segnali si muovono attraverso il diamante. Era come cercare di mappare un labirinto gigante tridimensionale camminandoci dentro un passo alla volta con una torcia.

• Il Collo di Bottiglia: La matematica necessaria per prevedere come il segnale si torce e gira attraverso le "tubature arrugginite" era incredibilmente pesante. A un supercomputer ci voleva un'intera settimana per simulare una sola versione del sensore.
• La Limitazione: Poiché richiedeva tanto tempo, non potevano testare molti design diversi. Erano bloccati con una sola forma, incapaci di chiedersi: "E se rendessimo i fili più sottili?" o "E se il diamante fosse più corto?".

2. Il Nuovo Strumento: Il Super-Express "TeRABIT"

Gli autori hanno costruito un nuovo motore di simulazione chiamato WeightingTide. Immagina questo come sostituire la torcia lenta e passo-passo con una flotta di droni ad alta velocità che possono sorvolare l'intero labirinto in una sola volta.

• L'Impulso GPU: Hanno spostato la matematica pesante sulle GPU (i potenti chip solitamente presenti nei computer per videogiochi). Invece di un solo cervello che fa i calcoli, hanno utilizzato migliaia di piccoli cervelli che lavorano simultaneamente. Questo ha trasformato un lavoro di una settimana in poche ore.
• La Rete "TeRABIT": Per gestire ancora più lavoro, non hanno usato un solo computer. Hanno collegato computer in città diverse (Firenze, Bologna e Padova) utilizzando un protocollo internet speciale chiamato InterLink. Immagina una staffetta in cui i corridori in città diverse passano il testimone istantaneamente. Se un computer è occupato, il lavoro viene immediatamente passato a un altro nelle vicinanze. Hanno archiviato i dati in un "armadietto cloud" centrale (archiviazione S3) in modo che tutti potessero prendere ciò di cui avevano bisogno senza intasare le strade locali.

3. Il Gioco "E Se...": Progettare il Sensore Perfetto

Con questo nuovo sistema veloce, il team ha finalmente potuto giocare a "E se...". Hanno testato migliaia di forme diverse per il sensore in diamante per vedere quale avrebbe fornito il segnale più chiaro e veloce.

Si sono concentrati su due parti principali del sensore:

• I Fili "Bias" (L'Alimentazione): Si chiedevano se rendere questi fili più sottili avrebbe aiutato.
  • La Sorpresa: Hanno scoperto che rendere questi fili più sottili non ha effettivamente cambiato molto i tempi. Era come rendersi conto che stringere la maniglia di una porta non ferma lo scricchiolio; lo scricchiolio proviene dalle cerniere altrove.
• I Fili "Readout" (Il Percorso del Segnale): Hanno testato il rendere il diamante più sottile, il che accorcia il percorso che il segnale deve percorrere.
  • La Scoperta: Questo ha aiutato! Accorciare il percorso che il segnale percorre ha ridotto il ritardo. È come accorciare un lungo corridoio; il sussurro raggiunge il tuo orecchio più velocemente e più chiaramente.

4. Il Risultato: Un'Immagine Più Nitida

Combinando queste scoperte, il team ha proposto un nuovo design:

1. Rendere i fili "readout" più corti (usando un diamante più sottile).
2. Rendere i fili "bias" il più sottili possibile (per risparmiare denaro e ridurre il rischio di rompere il diamante durante la produzione), poiché le loro dimensioni non influenzano i tempi.

Il Punto Chiave:
Questo nuovo metodo di simulazione è come passare da un cartografo manuale lento a un sistema GPS in tempo reale. Ha permesso agli scienziati di testare rapidamente i design e ha trovato un modo per migliorare la precisione temporale del sensore di circa 10%. Questo li avvicina all'obiettivo finale: rilevare particelle con una risoluzione temporale così veloce da essere migliore di 100 picosecondi (cioè 100 milionesimi di miliardesimo di secondo!).

Non hanno inventato un nuovo sensore oggi, ma hanno costruito la "galleria del vento" che permette agli ingegneri di progettare il miglior sensore possibile per il futuro.

Sommario tecnico

Sintesi Tecnica: Simulazione Accelerata da GPU di Sensori in Diamante 3D Utilizzando l'Infrastruttura TeRABIT

Enunciato del Problema
I rivelatori in diamante dotati di elettrodi ortogonali alla superficie, creati mediante grafitizzazione indotta da laser, offrono un potenziale significativo per la Fisica delle Alte Energie, la Medicina Nucleare e la dosimetria, grazie alla loro resistenza alle radiazioni e alle capacità di temporizzazione rapida. I recenti progressi nella grafitizzazione hanno permesso risoluzioni temporali inferiori a 100 ps. Tuttavia, simulare accuratamente la formazione del segnale in questi dispositivi rimane una sfida computazionale maggiore. Il processo di formazione del segnale coinvolge un'interazione complessa tra fluttuazioni nel deposito di energia, trasporto di portatori, propagazione del segnale ed elettronica di lettura.

I metodi di simulazione standard basati sul teorema di Ramo-Shockley sono insufficienti poiché non tengono conto degli effetti di impedenza degli elettrodi resistivi, che dominano la risoluzione temporale in queste strutture 3D. Sebbene un'estensione del teorema di Riegler incorpori questi effetti tramite una funzione di correlazione quadridimensionale, $\vec{H}(\vec{x}, t)$, il calcolo numerico di tale funzione è computazionalmente oneroso. I precedenti tentativi che utilizzavano metodi pseudo-spettrali in Python (con estensioni C) e COMSOL MultiPhysics® erano o troppo lenti per un'ottimizzazione geometrica sistematica o limitati da vincoli di memoria che impedivano il calcolo distribuito su reti di High-Throughput Computing (HTC).

Metodologia
Gli autori hanno sviluppato un nuovo framework di simulazione che affronta questi colli di bottiglia attraverso tre innovazioni tecniche principali:

1. Flusso di Lavoro a Micro-Step Orchestrato: La simulazione è strutturata come un flusso di lavoro a grafo aciclico diretto (DAG) orchestrato da Snakemake. Questo flusso di lavoro suddivide il processo in sei fasi distinte:

   • Compilazione della geometria (da OpenSCAD a STL).
   • Calcolo del campo elettrostatico (risoluzione dell'equazione di Laplace).
   • Calcolo della funzione di correlazione (risoluzione di un'equazione differenziale alle derivate parziali del terzo ordine derivata dalle leggi di Maxwell in un'approssimazione quasi-statica).
   • Simulazione delle traiettorie dei portatori (utilizzando Garfield++).
   • Calcolo della corrente indotta (convoluzione di velocità e funzione di correlazione).
   • Simulazione dell'elettronica e del DAQ.
     I formati dei dati intermedi sono ottimizzati per le prestazioni, inclusa l'uso di Apache Arrow per ridurre le dimensioni dei file di circa l'80% e l'overhead di deserializzazione.

2. Accelerazione GPU (WeightingTide): Le fasi critiche per le prestazioni, in particolare il calcolo del campo elettrostatico e della funzione di correlazione $\vec{H}(\vec{x}, t)$, sono state portate sulle GPU utilizzando la libreria CuPy.

   • Elettrostatica: Un metodo pseudo-spettrale iterativo risolve l'equazione di Laplace utilizzando FFT 3D e kernel CUDA personalizzati. Sono stati impiegati kernel personalizzati per moltiplicare le rappresentazioni spettrali per il quadrato del momento del vettore d'onda, dimezzando la memoria GPU richiesta rispetto a un'implementazione in Python pura.
   • Funzione di Correlazione: Un kernel CUDA personalizzato calcola la tensione impostata dalle cariche puntiformi ai confini, imponendo le condizioni al contorno copiando blocchi ridimensionati di soluzioni fondamentali. Questa fase, che dominava il tempo di esecuzione della CPU, ha raggiunto un'accelerazione di 100× sulle GPU.
   • Convoluzione: La convoluzione delle velocità dei portatori con la funzione di correlazione è stata delegata alla GPU. La funzione di correlazione è stata caricata nella memoria texture della GPU per sfruttare l'interpolazione lineare accelerata dall'hardware lungo le traiettorie dei portatori.

3. Calcolo Distribuito tramite TeRABIT e InterLink: Per abilitare scansioni sistematiche dei parametri, il flusso di lavoro è stato distribuito su risorse di calcolo eterogenee. Il sistema utilizza le risorse HPC "Bubbles" di TeRABIT (in particolare il sito di Padova con GPU H200) e le risorse HTC di INFN-CNAF (nodi solo CPU).

   • Il flusso di lavoro Snakemake interagisce con un cluster Kubernetes gestito da Kueue.
   • Il progetto InterLink definisce nodi virtuali che eseguono carichi di lavoro containerizzati (gestiti tramite Apptainer e CVMFS) su siti remoti (CNAF e Padova) anziché su nodi fisici locali.
   • Lo scambio di dati tra siti geograficamente distanti è gestito tramite un archiviazione centralizzata compatibile con S3 (Deuxfleurs Garage), sebbene la larghezza di banda del trasferimento dati sia indicata come il principale collo di bottiglia nell'esecuzione parallela.

Contributi Chiave

• Innovazione Algoritmica: Lo sviluppo di un solver che utilizza soluzioni fondamentali per imporre le condizioni al contorno e metodi spettrali per estendere la soluzione al volume del rivelatore in diamante, risolvendo l'equazione differenziale alle derivate parziali del terzo ordine necessaria per i potenziali di ponderazione dipendenti dal tempo.
• Porting Software: La migrazione riuscita delle fasi di simulazione critiche per le prestazioni verso le GPU, riducendo il tempo per ottenere risultati per una singola geometria da circa una settimana a poche ore.
• Integrazione dell'Infrastruttura: La dimostrazione di un modello di calcolo distribuito che integra senza soluzione di continuità le risorse HTC (CNAF) e HPC (TeRABIT Padova) tramite il protocollo InterLink e Kubernetes, consentendo l'orchestrazione di flussi di lavoro scientifici complessi e multistep tra diversi siti.
• Sviluppo di Pacchetti: La creazione del pacchetto Python WeightingTide, che incapsula i metodi accelerati da GPU basati su CuPy per i calcoli elettrostatici e della funzione di correlazione.

Risultati
Utilizzando la nuova architettura di simulazione, gli autori hanno eseguito studi parametrici sistematici su rivelatori in diamante 3D con elettrodi grafitizzati, concentrandosi su due variabili geometriche: il diametro dell'elettrodo di polarizzazione e lo spessore del volume di diamante.

• Diametro dell'Elettrodo di Polarizzazione: Contrariamente alle aspettative iniziali secondo cui la resistenza dell'elettrodo avrebbe determinato linearmente la risoluzione temporale, lo studio ha rilevato che la risoluzione temporale è in gran parte indipendente dal diametro dell'elettrodo di polarizzazione (variato da 6 a 14 $\mu$m). Gli autori attribuiscono ciò alla geometria 3D, dove il contributo degli elettrodi di polarizzazione all'evoluzione della funzione di correlazione è trascurabile rispetto a quello degli elettrodi di lettura. Ciò suggerisce che gli elettrodi di polarizzazione possono essere fabbricati con diametri molto piccoli per minimizzare i rischi di danno durante la grafitizzazione senza compromettere le prestazioni di temporizzazione.
• Spessore del Volume: Lo studio ha confermato che la risoluzione temporale migliora al diminuire dello spessore del volume di diamante. Ciò è coerente con la constatazione che la propagazione del segnale lungo l'elettrodo di lettura è il fattore dominante che limita la temporizzazione. Elettrodi di lettura più corti (volume più sottile) migliorano direttamente le prestazioni di temporizzazione.
• Proposta di Ottimizzazione: Sulla base di queste scoperte, gli autori propongono una nuova geometria del sensore (Fig. 7) caratterizzata da elettrodi di lettura accorciati e diametri minimizzati degli elettrodi di polarizzazione. Si prevede che questa configurazione migliori la risoluzione temporale di circa il 10% mantenendo la fattibilità di fabbricazione.

Significato e Prospettive
Il lavoro afferma che questa ricerca consente studi "what-if" sulla geometria del sensore che erano precedentemente proibitivi dal punto di vista computazionale. Riducendo il tempo per ottenere risultati da settimane a ore e abilitando l'esecuzione distribuita, il framework permette un'ottimizzazione sistematica dei parametri del rivelatore.

Gli autori concludono che, sebbene guadagni incrementali (~10%) possano essere ottenuti attraverso l'ottimizzazione geometrica (in particolare riducendo la lunghezza degli elettrodi di lettura), la strategia più efficace per un ulteriore miglioramento delle prestazioni rimane il miglioramento della conducibilità delle colonne grafitizzate. I risultati indicano che i rivelatori in diamante 3D si stanno avvicinando rapidamente ai limiti fondamentali imposti dall'elettronica di lettura. L'integrazione riuscita dell'accelerazione GPU con risorse HPC/HTC distribuite tramite l'infrastruttura TeRABIT fornisce un percorso robusto per la progettazione e l'ottimizzazione futura dei rivelatori.