Unified MPI Parallelization of Wave Function Methods: iCIPT2 as a Showcase

Questo articolo presenta un framework di parallelizzazione MPI unificato all'interno della piattaforma MetaWave che astrae i passi computazionali in loop a programmazione dinamica, dimostrando la sua alta efficienza e la capacità di eseguire calcoli iCIPT2 su larga scala per il benchmarking di sistemi chimici complessi come il ciclobutadiene, il benzene e l'ozono.

L'essenziale

Immagina di cercare di risolvere un puzzle enorme e incredibilmente complesso. Nel mondo della chimica, questo puzzle consiste nel capire esattamente come si comportano gli elettroni in una molecola per prevederne l'energia e le proprietà. Più accurati si vuole essere, più pezzi del puzzle (configurazioni matematiche) è necessario considerare. Per le grandi molecole, il numero di pezzi diventa così vasto che anche i supercomputer più veloti del mondo faticano a farli entrare in memoria o a completare il calcolo in un tempo ragionevole.

Questo articolo introduce un nuovo modo per organizzare i "lavoratori" (processori informatici) per risolvere questi puzzle in modo più rapido ed efficiente. Ecco la suddivisione utilizzando semplici analogie:

1. Il Problema: Troppi Lavoratori, Troppa Caos

Di solito, quando gli scienziati utilizzano i supercomputer, assegnano compiti specifici a computer specifici (nodi) prima che il lavoro inizi. È come un capocantiere che distribuisce i progetti a 16 diverse squadre e dice: "Tu costruisci il tetto, tu costruisci le pareti", e poi dice loro di attenersi a quel piano per sempre.

Il problema è che alcuni compiti richiedono 10 minuti, mentre altri ne richiedono 10 ore. Se il capocantiere non lo sa in anticipo, la squadra che costruisce il tetto finisce prima e resta inattiva, mentre la squadra delle pareti sta ancora lottando. Questo spreca tempo e potenza di calcolo.

2. La Soluzione: Il Gestore del "Processo Fantasma"

Gli autori hanno creato un nuovo sistema chiamato MetaWave che agisce come un manager intelligente e dinamico. Invece di distribuire progetti fissi, utilizzano un "Processo Fantasma" (Ghost Process).

• L'Analogia: Immaginate una cucina di un ristorante con 16 chef (i nodi del computer). Invece di assegnare a ogni chef un piatto specifico da cucinare per tutta la serata, c'è un "Manager Fantasma" (il Ghost Process) che sta in una stazione centrale.
• Come funziona: Gli chef dicono al Manager Fantasma: "Sono libero!". Il Manager Fantasma consegna immediatamente loro il prossimo ordine disponibile da un enorme mucchio di compiti. Non appena uno chef finisce, chiede il compito successivo.
• Il Risultato: Nessuno chef rimane mai inattivo in attesa di un compito, e nessun chef rimane bloccato con un compito che richiede troppo tempo mentre gli altri hanno finito. Questo mantiene tutti al 100% della capacità.

3. Il "Traduttore Universale" (Serializzazione)

Uno dei grandi mal di testa nella programmazione è che computer diversi parlano "lingue" diverse quando inviano dati. Un computer potrebbe organizzare i suoi dati in una complessa struttura 3D, mentre il sistema di comunicazione (MPI) comprende solo liste piatte e semplici di numeri.

Gli autori hanno costruito un Traduttore Universale (un modulo di serializzazione).

• L'Analogia: Immaginate di dover spedire per posta uno scaffale IKEA smontato e complesso a un amico. Non potete semplicemente lanciare viti e assi sparse in una scatola; potrebbero perdersi o arrivare nel ordine sbagliato.
• La Soluzione: Gli autori hanno creato un sistema che prende automaticamente lo scaffale complesso, lo imballa in una scatola piatta e perfettamente ordinata (serializzazione), lo invia e poi lo spacchetta automaticamente e lo rimonta esattamente com'era dall'altra parte (deserializzazione). Questo permette al loro software complesso di comunicare con i supercomputer standard senza rompersi.

4. La Dimostrazione: iCIPT2 (Il "Ricercatore Intelligente")

Per dimostrare che il loro sistema funziona, lo hanno testato su un metodo chiamato iCIPT2.

• L'Analogia: Immaginate di cercare il miglior percorso attraverso una città con miliardi di strade. Un metodo "brute force" controlla ogni singola strada, il che richiede un tempo infinito. iCIPT2 è come un GPS intelligente che controlla solo le strade più promettenti per prime, ignorando i vicoli ciechi.
• L'Innovazione: Hanno migliorato il modo in cui questo GPS trova le connessioni tra le strade (prodotti matrice-vettore) e il modo in cui stima la distanza rimanente (correzione di perturbazione) utilizzando un metodo "semi-stocastico" (un mix di calcolo esatto e ipotesi intelligenti).

5. I Risultati: Velocità e Scala

Utilizzando questo nuovo "Manager Fantasma" e il "Traduttore Universale", hanno ottenuto risultati impressionanti:

• Efficienza: Su un supercomputer con 1.024 core (16 nodi), il loro sistema ha lavorato con un'efficienza del 94% per le parti più difficili del calcolo. Ciò significa che quasi tutti i processori stavano svolgendo un lavoro utile, con pochissimo tempo sprecato in attesa.
• Nuovi Standard: Poiché il loro sistema è così veloce, sono riusciti a risolvere enigmi che prima erano impossibili. Hanno calcolato l'energia del benzene (una comune molecola ad anello) e della molecola di ozono con un livello di accuratezza che stabilisce un nuovo standard per la comunità scientifica.
• La Scoperta della "Legge di Potenza": Hanno trovato un modello pulito: man mano che aggiungevano più pezzi del puzzle (configurazioni), l'errore nella loro risposta diminuiva in un modo prevedibile e matematico (una "legge di potenza"). Ciò suggerisce che se continuano ad aggiungere potenza di calcolo, possono continuare ad avvicinarsi alla risposta perfetta.

Riassunto

In breve, gli autori non hanno solo inventato un calcolatore più veloce; hanno inventato un modo migliore per organizzare i calcolatori. Usando un "Manager Fantasma" dinamico per assegnare i compiti al volo e un "Traduttore Universale" per spostare i dati fluidamente tra i computer, hanno reso possibile risolvere problemi chimici estremamente difficili che prima erano troppo grandi anche per i migliori supercomputer. Lo hanno dimostrato risolvendo gli enigmi energetici di ciclobutadiene, benzene e ozono con una velocità e un'accuratezza record.

Sommario tecnico

Sintesi Tecnica: Parallelizzazione MPI Unificata dei Metodi della Funzione d'Onda

Problematica
L'integrazione dei metodi di chimica quantistica con l'informatica ad alte prestazioni è essenziale per trattare sistemi estesi con un'accuratezza moderata o sistemi piccoli con un'alta accuratezza. Sebbene la piattaforma MetaWave abbia precedentemente raggiunto un'implementazione unificata dei metodi della funzione d'onda non relativistici e relativistici utilizzando l'avanzata metaprogrammazione dei template, tali metodi mancavano di una strategia di parallelizzazione unificata e scalabile. Gli esistenti sforzi di parallelizzazione massiva per i metodi della funzione d'onda (ad es. sCI, HBCI) sono tipicamente specifici per ogni metodo, basandosi su una pianificazione dei task statica che manca di trasferibilità e fatica a gestire il bilanciamento del carico su cluster eterogenei. Inoltre, la gestione di grandi spazi variazionali richiede algoritmi efficienti per i prodotti matrice-vettore (MVP) e le correzioni perturbative che evitino un uso proibitivo della memoria e l'overhead di comunicazione.

Metodologia
Gli autori propongono una strategia di parallelizzazione MPI (Message Passing Interface) unificata per i metodi della funzione d'onda all'interno della piattaforma MetaWave. La metodologia principale si basa su tre pilastri tecnici:

1. Astrazione Algoritmica tramite Ghost Process:
   Ogni passaggio computazionale di un metodo (ad es. selezione, diagonalizzazione, perturbazione) è astratto come un ciclo a pianificazione dinamica. Per ottenere il bilanciamento del carico tra i nodi distribuiti senza una conoscenza preventiva dei costi dei task, gli autori introducono un meccanismo di "ghost process". In un cluster di $N$ nodi, $N$ processi worker eseguono i calcoli effettivi (utilizzando internamente OpenMP), mentre uno o più ghost process gestiscono la coda dei task. Il ghost process distribuisce dinamicamente blocchi di task ai worker e raccoglie i risultati, separando la logica di pianificazione (scheduling) dagli algoritmi core. Ciò consente l'applicazione di un singolo template MPI a diversi metodi e passaggi.

2. Serializzazione/Deserializzazione Unificata:
   Per colmare il divario tra i complessi oggetti C++ (utilizzati in MetaWave per Hamiltoniane e funzioni d'onda) e i buffer di dati piatti richiesti dall'interfaccia MPI basata su C, gli autori hanno sviluppato un modulo di serializzazione/deserializzazione automatica. Questo modulo gestisce la registrazione dei membri, i metadati della memoria heap e le interfacce MPI generiche, consentendo il trasferimento fluido di oggetti complessi tra i nodi con modifiche minime al codice.

3. Miglioramenti Algoritmici per Grandi Spazi (Caso Studio iCIPT2):
   La strategia è dimostrata utilizzando il metodo della Configuration Interaction iterativa con correzione perturbativa del secondo ordine (iCIPT2). Le principali modifiche algoritmiche includono:

   • Ricerca di Connessione Basata sui Residui: Invece di memorizzare la matrice Hamiltoniana completa o rigenerare i residui on-the-fly (come in ASCI o HBCI), il metodo utilizza residui precomputati del primo e secondo ordine per identificare efficientemente le connessioni tra configurazioni orbitaliche (oCFG).
   • MVP On-the-Fly: Viene utilizzata un'implementazione diretta del prodotto matrice-vettore, evitando l'archiviazione della matrice Hamiltoniana sparsa. Uno spazio di singole (singles space, $S$) viene introdotto per generare separatamente le connessioni singole e doppie all'interno di un unico ciclo, evitando la deduplicazione globale.
   • ENPT2 Semi-Stocastica: Per spazi variazionali estremamente grandi dove la memorizzazione dell'intero spazio è impossibile, viene impiegato un estimatore semi-stocastico modificato. Lo spazio è partizionato in un generatore ($P_m$) memorizzato su ogni nodo e un complemento ($P_s$). La correzione è calcolata come una parte deterministica per $P_m$ e una parte stocastica per la differenza, utilizzando un estimatore specifico non distorto per ridurre la varianza.

Contributi Chiave

• Template MPI Unificato: Il documento presenta un template algoritmico MPI generale che converte l'esistente codice parallelizzato con OpenMP in una versione ibrida MPI-OpenMP con modifiche marginali. Questo template si basa sul meccanismo del ghost process per la pianificazione dinamica e la riduzione globale.
• Architettura Ghost Process: Un meccanismo leggero ed efficace per il bilanciamento del carico inter-nodo che si adatta ad ambienti eterogenei senza richiedere una stima precisa dei costi.
• Implementazione Scalabile di iCIPT2: L'integrazione della ricerca di connessione basata sui residui e della teoria perturbativa semi-stocastica permette a iCIPT2 di gestire spazi variazionali con decine di milioni di Funzioni di Stato di Configurazione (CSF) e First-Order Interacting Spaces (FOIS) contenenti $\sim 10^{13}$ CSF.
• Gestione dei Dati: Un robusto livello di serializzazione che consente il trasferimento di strutture dati C++ complesse in un ambiente a memoria distribuita.

Risultati
Gli autori hanno validato il framework utilizzando iCIPT2 su sistemi inclusi il ciclobutadiene, il benzene e l'ozono, utilizzando fino a 16 nodi (1024 core).

• Efficienza del Parallelismo: Il passaggio perturbativo ha raggiunto un'efficienza del parallelismo del 94%, e l'intero calcolo ha raggiunto l'89% su 16 nodi. Ciò supera significativamente gli approcci a pianificazione statica (ad es. HBCI ha raggiunto un'efficienza complessiva dell'81% su 16 nodi).
• Benchmarking:
  • Ciclobutadiene: La barriera di automerizzazione è stata calcolata come 8.91 kcal/mol, in eccellente accordo con il benchmark CCSDTQ (8.93 kcal/mol).
  • Benzene: Sono state calcolate le energie dello stato fondamentale per i set di basi cc-pVDZ e cc-pVTZ. L'energia di correlazione estrapolata per cc-pVTZ è risultata essere circa -1034.0 mEh, coerente con i risultati AFQMC e inferiore alle stime CCSD(T).
  • Ozono: Le barriere di reazione e le differenze di energia per varie posizioni stazionarie concordavano con i risultati NN-LAVA entro 0.02 eV dopo l'estrapolazione al limite del set di basi completo (CBS).
• Legge di Scalabilità: L'analisi dell'errore di energia ($\Delta E$) rispetto al numero di CSF ($N_{CSF}$) ha rivelato una relazione di legge di potenza ($\Delta E \propto N_{CSF}^{\alpha}$). Gli esponenti di scala variavano a seconda del sistema e del set di basi (ad es. -0.24 e -0.18 per il benzene con cc-pVDZ e cc-pVTZ, rispettivamente), indicando che, sebbene iCIPT2 converga più lentamente di alcuni approcci basati su reti neurali (come NN-LAVA), esso fornisce un percorso sistematico verso l'accuratezza.

Significatività e Rivendicazioni
Il documento afferma che questo lavoro stabilisce un quadro unificato e scalabile per la parallelizzazione dei metodi della funzione d'onda, superando i limiti delle strategie di parallelizzazione specifiche per metodo. Astrattizzando i passaggi computazionali in cicli a pianificazione dinamica, gli autori consentono l'estensione dei codici OpenMP esistenti a sistemi distribuiti su larga scala con uno sforzo minimo. La riuscita applicazione a iCIPT2 dimostra che i calcoli su grandi spazi attivi, precedentemente inaccessibili a causa dei vincoli di memoria e scalabilità, sono ora fattibili. Gli autori osservano che, sebbene l'implementazione attuale replichi il vettore CI su ogni nodo (un collo di bottiglia per la memoria), il template unificato è progettato per facilitare sviluppi futuri, come la distribuzione cross-nodo dei vettori, per rimuovere completamente i limiti di memoria. Il lavoro evidenzia inoltre l'utilità della scalabilità della legge di potenza degli errori di iCIPT2, fornendo una metrica prevedibile per la convergenza nei calcoli su larga scala.