Memory-Scalable and Hardware-Adaptive Matrix-Free Quantum Simulation

Riepilogo Tecnico: Simulazione Quantistica Matrix-Free Scalabile in Memoria e Adattiva all'Hardware

Definizione del Problema
Il collo di bottiglia computazionale centrale nelle simulazioni numeriche quantistiche esatte o quasi esatte è l'applicazione di un grande operatore Hamiltoniano $\hat{H}$ a un vettore di stato $\psi$ (ovvero, $\phi = \hat{H}\psi$). Nelle implementazioni standard, ciò richiede la memorizzazione della matrice Hamiltoniana densa completa $D \times D$, dove $D$ è la dimensione dello spazio di Hilbert. Ciò impone un costo di memoria quadratico ($O(D^2)$), che supera rapidamente la capacità dei singoli acceleratori (GPU) all'aumentare delle dimensioni del sistema. Mentre il vettore di stato stesso scala linearmente ($O(D)$), la materializzazione esplicita della matrice densa crea una barriera di memoria fissa che impedisce le simulazioni di sistemi più grandi, anche quando l'azione matematica dell'operatore può essere definita senza memorizzare ogni elemento della matrice.

Metodologia
Gli autori propongono un framework matrix-free, scalabile in memoria e adattivo all'hardware che scinde la definizione matematica dell'Hamiltoniana dal suo stoccaggio fisico. La metodologia si basa su tre pilastri:

1. Rappresentazione Procedurale a Blocchi:
   L'Hamiltoniana è partizionata in $N_{blk}$ blocchi computazionali. La matrice globale non viene mai assemblata. Invece, è rappresentata da un'interfaccia in grado di generare, caricare, mettere in cache o applicare blocchi specifici $\hat{H}[n,m]$ su richiesta. L'interfaccia supporta molteplici sorgenti di dati:

   • Generazione con Seed: Blocchi casuali riproducibili generati tramite seed.
   • Generazione Analitica: Blocchi calcolati tramite formule quando necessario.
   • Storage Esterno: Blocchi recuperati dalla memoria host, database o file.
   • Azione Fusa (Fused Action): Calcolo diretto del prodotto $\hat{H}[n,m]\psi[m]$ senza mai formare l'array di blocchi densi.
   • Caching: Caching completo o parziale dei blocchi sulla GPU per evitare la rigenerazione.

   Il prodotto matrice-vettore viene calcolato come un ciclo sui blocchi di output: $\phi[n] = \sum_m \hat{H}[n,m]\psi[m]$, accumulando i contributi senza mai detenere l'intera matrice $D \times D$ in memoria.

2. Pianificazione dell'Esecuzione Adattiva all'Hardware:
   Riconoscendo che la strategia ottimale dipende dai vincoli hardware specifici (memoria GPU, larghezza di banda, throughput computazionale) e dalle caratteristiche del carico di lavoro, il framework utilizza un pianificatore adattivo. Questo pianificatore seleziona la dimensione del blocco, la modalità di stoccaggio, il budget di cache e la strategia di parallelizzazione. Utilizza tre distinti livelli di ottimizzazione:

   • Pianificatore Analitico: Un modello di costo basato sui vincoli di memoria e sull'intensità aritmetica per filtrare i piani non fattibili.
   • Autotuner Misurato: Una fase di micro-benchmarking che esegue i piani candidati sull'hardware reale per misurare il tempo di esecuzione reale, tenendo conto degli overhead di lancio dei kernel, della larghezza di banda della memoria e dei costi di movimento dei dati.
   • Surrogato Neurale: Un modello appreso, addestrato sui dati di benchmark accumulati, per predire i tempi di esecuzione per nuove configurazioni di problemi/hardware, riducendo lo spazio di ricerca per le esecuzioni future.

3. Strategie di Parallelizzazione:
   Il framework supporta il parallelismo di parametri (distribuzione di task indipendenti come le intensità di accoppiamento tra gruppi di GPU) e il parallelismo di righe (divisione delle righe di blocchi di output tra le GPU all'interno di un gruppo). Per le matrici dense che non entrano in una singola GPU, il full caching distribuito per righe consente di memorizzare la matrice tra un gruppo di GPU, con ogni GPU che detiene una porzione contigua di righe, abilitando kernel simili a GEMM.

Risultati Chiave
Il documento valida il framework utilizzando una simulazione di propagazione in tempo reale di un sistema a 18 qubit (2 qubit di sistema, 16 qubit di bagno, $D=2^{18} \approx 262.144$) su un cluster di otto GPU NVIDIA L40S.

• Fattibilità della Memoria: L'Hamiltoniana densa esplicita per questo sistema richiede circa 512 GiB (precisione singola) a 1 TiB (precisione doppia), superando di gran lunga i ~44 GiB disponibili per GPU. Il framework ha eseguito con successo la simulazione distribuendo le righe della matrice e utilizzando una strategia ibrida di full-cache, richiedendo solo ~32 GiB di stoccaggio dell'operatore per GPU.
• Efficacia dell'Autotuning: L'autotuner misurato ha selezionato un piano "full-cache hybrid" con una dimensione del gruppo di righe pari a 2. I risultati hanno dimostrato che piani con tempi di singolo kernel quasi identici potevano differire significativamente nel tempo totale di esecuzione del job a causa del numero di "onde di task" richieste. L'autotuner ha correttamente dato priorità al piano che minimizzava il lavoro programmato totale (5 onde) rispetto a quelli che richiedevano più onde (10 onde), nonostante velocità per singola applicazione simili.
• Scalabilità: Il tempo di esecuzione end-to-end per produrre i risultati completi è stato misurato attraverso diverse dimensioni di sistema, mostrando che, sebbene il calcolo diventi fattibile, il tempo di esecuzione scala ancora rapidamente con la dimensione dello spazio di Hilbert, in linea con il costo aritmetico sottostante $O(D^2)$ delle operazioni dense.

Significato e Rivendicazioni
Il documento afferma che questo framework sposta il limite delle grandi simulazioni quantistiche da una barriera di memoria fissa a un equilibrio regolabile tra generazione di blocchi, riutilizzo della cache, movimento dei dati e pianificazione del parallelismo.

• Generalità dell'Applicazione: Sebbene inquadrato nella simulazione quantistica, gli autori sottolineano che il metodo affronta un primitivo generale: l'applicazione di grandi operatori lineari a vettori. È applicabile a qualsiasi scenario in cui la matrice sia troppo grande per essere memorizzata esplicitamente ma la sua azione possa essere valutata proceduralmente o tramite blocchi (ad esempio, filtri, proiezioni, super-operatori).
• Nessuna Approssimazione Matematica: Il metodo non approssima l'Hamiltoniana; rimane un operatore denso matematicamente esatto. La natura "matrix-free" è puramente una strategia di stoccaggio e pianificazione.
• Adattività all'Hardware: Il significato risiede nella capacità di selezionare automaticamente la strategia di esecuzione ottimale (caching vs. generazione procedurale, distribuzione per righe vs. singola GPU) in base all'ambiente hardware specifico, garantendo che le simulazioni non siano bloccate da vincoli di memoria che potrebbero essere aggirati con un diverso layout dei dati.
• Workflow della Comunità: Gli autori suggeriscono che i dati di benchmark generati dall'autotuner possano formare una risorsa per la comunità, permettendo ai surrogati neurali di migliorare le predizioni delle prestazioni su diverse macchine e famiglie di problemi senza rivelare voci di matrici proprietarie.

In conclusione, il framework consente simulazioni quantistiche esatte su hardware dove lo stoccaggio esplicito dell'Hamiltoniana è impossibile, trasformando il problema da un vincolo di memoria rigido a un'ottimizzazione gestibile del movimento dei dati e della pianificazione.