JACC v1.0: High-productivity Performance Portability in the LLVM-compiled Julia Language

I moderni supercomputer stanno diventando macchine sempre più complesse, dotate di diversi tipi di processori che possono risolvere problemi a velocità incredibili. Per decenni, gli scienziati si sono affidati a pochi linguaggi standard per dire a queste macchine cosa fare, ma man mano che l'hardware evolve, scrivere codice per questi sistemi è diventato un compito difficile e specializzato. I ricercatori si trovano spesso costretti a riscrivere gli stessi programmi scientifici più volte, una volta per un tipo di chip di un computer e di nuovo per un altro, solo per ottenere lo stesso risultato. Ciò crea un collo di bottiglia in cui il tempo trascorso a tradurre il codice per diverse macchine divora il tempo disponibile per la scoperta effettiva. L'obiettivo per molti nel campo è trovare un modo per scrivere un unico set di istruzioni che funzioni efficientemente su qualsiasi macchina, che sia un laptop personale o un massiccio supercomputer nazionale, senza dover conoscere i dettagli intricati del design di ogni processore.

Un team di ricercatori dell'Oak Ridge National Laboratory e di altre istituzioni ha introdotto un nuovo strumento chiamato JACC, che mira a risolvere questo problema per gli scienziati che utilizzano il linguaggio di programmazione Julia. Julia è un linguaggio progettato per essere facile da leggere come una formula matematica pur correndo veloce come il codice macchina più efficiente. Il nuovo software JACC agisce come un traduttore universale per questo linguaggio, consentendo agli screnti di scrivere una singola versione del proprio codice che può girare sui processori centrali di un computer o sui chip grafici specializzati utilizzati per calcoli pesanti. I ricercatori hanno scoperto che questo approccio non rende solo più facile la programmazione; permette al software di girare con una velocità quasi identica a quella del codice scritto specificamente per ogni singolo tipo di hardware. Ciò significa che uno scienziato può sviluppare una simulazione su un laptop e poi eseguire esattamente lo stesso programma su un supercomputer di classe mondiale senza cambiare una singola riga di codice.

Il cuore di questo traguardo risiede nel modo in cui JACC gestisce la relazione tra il lavoro dello scienziato e l'hardware del computer. In passato, spostare un programma da un tipo di processore a un altro richiedeva spesso una riscrittura completa, molto simile al tradurre un libro dall'inglese al francese e poi al giapponese, con ogni traduzione che rischiava di perdere sfumature o velocità. JACC elimina la necessità di queste traduzioni separate. Fornisce un set di comandi semplici che dicono al computer di eseguire un compito, come il calcolo di valori su una grande griglia di numeri, senza specificare quale processore specifico debba svolgere il lavoro. Il software rileva automaticamente se il computer possiede un chip NVIDIA, AMD, Intel o Apple, e poi indirizza il lavoro verso il processore più appropriato disponibile. Questa flessibilità consente ai ricercatori di utilizzare le potenti schede grafiche presenti nei moderni laptop per test interattivi e poi passare senza problemi alle enormi serie di processori nei supercomputer per esecuzioni finali su larga scala.

I ricercatori hanno dimostrato l'efficacia di questo sistema testandolo su una varietà di problemi scientifici reali. Hanno applicato lo strumento a simulazioni di fluidodinamica, che vengono utilizzate per modellare come l'aria scorre sopra le ali o come l'acqua si muove attraverso i tubi. In questi test, il software è stato eseguito su diversi tipi di hardware con prestazioni che eguagliavano o si avvicinavano molto al codice specializzato scritto dagli esperti per ogni specifica macchina. Ad esempio, simulando il movimento dei fluidi, il sistema ha raggiunto velocità sui chip grafici che erano entro pochi punti percentuali della migliore prestazione possibile, dimostrando che la comodità di un unico codebase non avviene a scapito della velocità. Il team ha anche mostrato che il sistema può gestire compiti complessi che coinvolgono molteplici processori che lavorano insieme su una singola macchina, una capacità che sta diventando essenziale man mano che i supercomputer concentrano più potenza in meno unità fisiche.

Oltre alla semplice velocità, lo strumento apre la porta a esplorazioni scientifiche più complesse che erano precedentemente troppo difficili da gestire. I ricercatori hanno mostrato che JACC può essere utilizzato per simulare materiali magnetici quantistici, un campo che richiede il monitoraggio del comportamento di innumerevoli particelle minuscole. Utilizzando questo nuovo sistema, un calcolo che precedentemente richiedeva un'ora per essere eseguito su un singolo processore è stato ridotto a pochi secondi quando eseguito su una scheda grafica, il tutto utilizzando lo stesso codice. Questo tipo di accelerazione è vitale per campi come la chimica quantistica e la fisica nucleare, dove gli scienziati devono eseguire migliaia di variazioni di una simulazione per capire come i materiali si comportano sotto diverse condizioni. La capacità di eseguire queste simulazioni su hardware diversi senza riscrivere il codice significa che gli scienziati possono concentrarsi più sulla fisica e meno sulla meccanica della programmazione.

L'impatto di questo lavoro si estende al futuro di come il software scientifico viene costruito e mantenuto. I ricercatori hanno osservato che il sistema è progettato per lavorare insieme agli strumenti esistenti utilizzati dalla comunità scientifica, consentendo una transizione graduale piuttosto che un completo stravolgimento dei progetti attuali. Ciò significa che i laboratori possono adottare il nuovo sistema pezzo per pezzo, testandolo su parti specifiche del loro codice prima di impegnarsi in una migrazione completa. Il software supporta anche funzionalità avanzate come la memoria condivisa, che consente a diverse parti di un calcolo di accedere rapidamente ai dati, e l'esecuzione asincrona, che permette al computer di iniziare un nuovo compito prima che il precedente sia completamente terminato. Queste caratteristiche sono critiche per ottenere il massimo dai più recenti supercomputer, che sono progettati per gestire molti compiti contemporaneamente.

Guardando al futuro, i ricercatori vedono questa tecnologia come una base per applicazioni ancora più avanzate. Stanno esplorando come il sistema potrebbe essere utilizzato nello sviluppo di computer quantistici, dove le regole della fisica sono molto diverse da quelle dei computer classici che usiamo oggi. La capacità di scrivere codice che sia portabile ed efficiente potrebbe aiutare gli scienziati a progettare e testare algoritmi per queste macchine future molto prima che l'hardware sia completamente pronto. Inoltre, il sistema viene integrato con software intelligente che può decidere automaticamente quale processore debba gestire un compito specifico, riducendo ulteriormente il carico sul programmatore umano. Questa combinazione di facilità d'uso e alte prestazioni suggerisce un futuro in cui la barriera tra l'idea di uno scienziato e una simulazione in esecuzione è molto più bassa rispetto a oggi.

Il lavoro presentato in questo articolo rappresenta un passo avanti significativo nel rendere l'informatica ad alte prestazioni accessibile a una gamma più ampia di scienziati. Fornendo uno strumento che colma il divario tra la programmazione di alto livello e i dettagli dell'hardware di basso livello, i ricercatori hanno creato una via per una scoperta scientifica più efficiente e produttiva. I risultati mostrano che è possibile avere sia un'alta produttività che alte prestazioni, due obiettivi che sono stati spesso in contrasto in passato. Mentre il mondo si muove verso sistemi di calcolo ancora più complessi, strumenti come JACC diventeranno probabilmente essenziali per sbloccare il pieno potenziale di queste macchine, permettendo agli scienziati di affrontare problemi che erano precedentemente troppo difficili da risolvere.