Memory-Scalable and Hardware-Adaptive Matrix-Free Quantum Simulation

Résumé Technique : Simulation Quantique Sans Matrice, Évolutive en Mémoire et Adaptative au Matériel

Énoncé du Problème
Le principal goulot d'étranglement computationnel dans les simulations numériques quantiques exactes ou quasi-exactes est l'application d'un opérateur hamiltonien $\hat{H}$ de grande taille à un vecteur d'état $\psi$ (c'est-à-dire $\phi = \hat{H}\psi$). Dans les implémentations standards, cela nécessite le stockage de la matrice hamiltonienne dense complète de dimension $D \times D$, où $D$ est la dimension de l'espace de Hilbert. Cela impose un coût mémoire quadratique ($O(D^2)$), qui dépasse rapidement la capacité des accélérateurs uniques (GPU) à mesure que la taille des systèmes augmente. Bien que le vecteur d'état lui-même évolue linéairement ($O(D)$), la matérialisation explicite de la matrice dense crée une barrière de mémoire fixe qui empêche la simulation de systèmes plus larges, même lorsque l'action mathématique de l'opérateur peut être définie sans stocker chaque élément de la matrice.

Méthodologie
Les auteurs proposent un cadre de travail sans matrice, évolutif en mémoire et adaptatif au matériel qui découple la définition mathématique de l'Hamiltonien de son stockage physique. La méthodologie repose sur trois piliers :

1. Représentation Procédurale par Blocs :
   L'Hamiltonien est partitionné en $N_{blk}$ blocs de calcul. La matrice globale n'est jamais assemblée. Au lieu de cela, elle est représentée par une interface capable de générer, de charger, de mettre en cache ou d'appliquer des blocs spécifiques $\hat{H}[n,m]$ à la demande. L'interface prend en charge plusieurs sources de données :

   • Génération par Graine (Seeded Generation) : Blocs aléatoires reproductibles générés à partir de graines.
   • Génération Analytique : Blocs calculés via des formules lorsqu'ils sont nécessaires.
   • Stockage Externe : Blocs récupérés depuis la mémoire hôte, des bases de données ou des fichiers.
   • Action Fusionnée (Fused Action) : Calcul direct du produit $\hat{H}[n,m]\psi[m]$ sans jamais former le tableau de blocs denses.
   • Mise en Cache (Caching) : Mise en cache complète ou partielle des blocs sur le GPU pour éviter la régénération.

   Le produit matrice-vecteur est calculé via une boucle sur les blocs de sortie : $\phi[n] = \sum_m \hat{H}[n,m]\psi[m]$, accumulant les contributions sans jamais détenir la matrice $D \times D$ complète en mémoire.

2. Planification d'Exécution Adaptative au Matériel :
   Reconnaissant que la stratégie optimale dépend des contraintes matérielles spécifiques (mémoire GPU, bande passante, débit de calcul) et des caractéristiques de la charge de travail, le cadre utilise un planificateur adaptatif. Ce planificateur sélectionne la taille des blocs, le mode de stockage, le budget de cache et la stratégie de parallélisation. Il utilise trois couches d'optimisation distinctes :

   • Planificateur Analytique : Un modèle de coût basé sur les contraintes de mémoire et l'intensité arithmétique pour filtrer les plans infaisables.
   • Autotuner Mesuré : Une étape de micro-benchmarking qui exécute des plans candidats sur le matériel réel pour mesurer le temps d'exécution réel, en tenant compte des surcoûts de lancement de noyau (kernel launch), de la bande passante mémoire et des coûts de mouvement de données.
   • Surrogate Neurale : Un modèle appris, entraîné sur des données de benchmark accumulées, pour prédire les temps d'exécution pour de nouvelles configurations de problèmes/matériels, réduisant ainsi l'espace de recherche pour les exécutions futures.

3. Stratégies de Parallélisation :
   Le cadre prend en charge le parallélisme de paramètres (distribution de tâches indépendantes comme les forces de couplage entre des groupes de GPU) et le parallélisme de lignes (division des lignes de blocs de sortie entre les GPU au sein d'un groupe). Pour les matrices denses qui ne tiennent pas sur un seul GPU, le cache complet distribué par lignes permet de stocker la matrice à travers un groupe de GPU, chaque GPU détenant une tranche contiguë de lignes, permettant l'utilisation de noyaux de type GEMM de grande taille.

Résultats Clés
Le papier valide le cadre en utilisant une simulation de propagation en temps réel d'un système à 18 qubits (2 qubits de système, 16 qubits de bain, $D=2^{18} \approx 262\,144$) sur un cluster de huit GPU NVIDIA L40S.

• Faisabilité Mémoire : L'Hamiltonien dense explicite pour ce système nécessite environ 512 Gio (simple précision) à 1 To (double précision), dépassant largement les ~44 Gio disponibles par GPU. Le cadre a exécuté avec succès la simulation en distribuant les lignes de la matrice et en utilisant une stratégie hybride de cache complet, ne nécessitant que ~32 Gio de stockage d'opérateur par GPU.
• Efficacité de l'Autotuning : L'autotuner mesuré a sélectionné un plan "hybride à cache complet" avec une taille de groupe de lignes de 2. Les résultats ont démontré que des plans ayant des temps de noyau quasi identiques pouvaient différer considérablement en termes de temps d'exécution total du job en raison du nombre de "vagues de tâches" (task waves) requises. L'autotuner a correctement privilégié le plan qui minimisait le travail planifié total (5 vagues) par rapport à ceux nécessitant plus de vagues (10 vagues), malgré des vitesses par application similaires.
• Mise à l'échelle (Scaling) : Le temps d'exécution de bout en bout pour produire des résultats complets a été mesuré à travers différentes tailles de systèmes, montrant que si le calcul devient faisable, le temps d'exécution augmente toujours rapidement avec la taille de l'espace de Hilbert, ce qui est cohérent avec le coût arithmétique sous-jacent de $O(D^2)$ des opérations denses.

Signification et Revendications
Le papier affirme que ce cadre déplace la limitation des simulations quantiques à grande échelle d'une barrière de mémoire fixe vers un équilibre ajustable entre génération de blocs, réutilisation du cache, mouvement de données et planification parallèle.

• Applicabilité Générale : Bien que formulé autour de la simulation quantique, les auteurs soulignent que la méthode traite d'un primitif général : l'application de grands opérateurs linéaires à des vecteurs. Elle est applicable à tout scénario où la matrice est trop grande pour être stockée explicitement mais dont l'action peut être évaluée procéduralement ou par blocs (ex: filtres, projections, super-opérateurs).
• Aucune Approximation Mathématique : La méthode ne procède à aucune approximation de l'Hamiltonien ; il reste un opérateur dense mathématiquement exact. Le caractère "sans matrice" est purement une stratégie de stockage et de planification.
• Adaptativité au Matériel : La signification réside dans la capacité à sélectionner automatiquement la stratégie d'exécution optimale (génération procédurale vs mise en cache, distribution de lignes vs GPU unique) en fonction de l'environnement matériel spécifique, garantissant que les simulations ne soient pas bloquées par des contraintes de mémoire qui pourraient être contournées par une disposition de données différente.
• Flux de Travail Communautaire : Les auteurs suggèrent que les données de benchmark générées par l'autotuner peuvent constituer une ressource communautaire, permettant aux surrogates neurales d'améliorer les prédictions de performance sur différentes machines et familles de problèmes sans révéler de données matricielles propriétaires.

En conclusion, le cadre permet des simulations quantiques exactes sur du matériel où le stockage explicite de l'Hamiltonien est impossible, transformant le problème d'une contrainte de stockage rigide en une optimisation gérable du mouvement de données et de la planification.