Résumé Technique : LightGP

Énoncé du Problème

L'inférence par Processus Gaussiens (GP) constitue un cadre bayésien rigoureux pour la régression avec une incertitude calibrée, mais son coût computationnel — $O(N^3)$ pour l'inférence exacte et $O(N^2)$ en mémoire — a historiquement limité son application à de petits jeux de données. Bien que des approximations évolutives (par exemple, méthodes de points d'induction, gradients conjugués, interpolation de noyaux structurés) aient repoussé ces limites jusqu'à des centaines de milliers de points, les implémentations dominantes comme GPyTorch et GPflow reposent sur des frameworks d'apprentissage profond lourds (PyTorch, TensorFlow). Ces frameworks imposent une empreinte de dépendances significative (dépassant souvent 2 Go), des frais de dispatch Python non négligeables par opération, et un support limité pour le déploiement dans des environnements mobiles ou embarqués. De plus, les bibliothèques existantes manquent souvent d'implémentations natives en C++ sans dépendances, capables de tirer parti d'accélérateurs matériels spécifiques comme Apple Metal ou NVIDIA CUDA sans le gonflement des frameworks.

Méthodologie

LightGP est une bibliothèque C++17 sans dépendances conçue pour répondre à ces limitations. Elle fournit des liaisons Python mais fonctionne sur un noyau natif C++, éliminant ainsi le besoin de PyTorch ou TensorFlow. La bibliothèque est structurée en quatre couches :

1. Tenseurs et BLAS : Une classe Tensor stockant des données float32 en ordre de ligne. Elle dispatche la multiplication matricielle vers Apple Accelerate (utilisant le coprocesseur AMX sur macOS) ou OpenBLAS (sur Linux). La factorisation de Cholesky utilise spotrf de LAPACK.
2. Noyaux : Une classe de base abstraite Kernel prend en charge la composition via des opérateurs (+, *, Scale). Les implémentations concrètes incluent les noyaux RBF, Matérn, Périodique et Linéaire.
3. Backends GPU :
   • Metal (Apple Silicon) : Implémente la construction de matrices de noyaux par tuiles, un produit noyau-vecteur fusionné sans matrice, une factorisation de Cholesky bloquée avec GEMM en mémoire de groupe de threads tuilée, et des résolutions triangulaires.
   • CUDA (NVIDIA) : Reflète les fonctionnalités de Metal en utilisant cuBLAS, cuSOLVER et des noyaux personnalisés pour les opérations sans matrice.
   • Sélection Automatique : Une heuristique Backend::Auto sélectionne le CPU ou le GPU en fonction de la taille du problème et de la dimensionalité.
4. Modèles d'Inférence :
   • GPExact : Prend en charge trois solveurs : Cholesky Exact ($O(N^3)$), Gradients Conjugués (CG) avec déterminant logarithmique de Lanczos stochastique (sans matrice, $O(N^2k)$), et Interpolation de Noyaux Structurés (SKI) via FFT ($O(N \log N)$).
   • GPSparse : Implémente l'Énergie Libre Variationnelle (VFE) de Titsias avec une initialisation des points d'induction par point le plus éloigné et une optimisation Adam. Il inclut une fonctionnalité de "re-ajustement à chaud" pour sauter la réinitialisation lors des ajustements répétés.

La bibliothèque se compile en une seule bibliothèque statique avec zéro dépendance externe et est installable via pip install lightgp.

Contributions Clés

1. Implémentation Native C++ : Une implémentation complète de quatre voies d'inférence GP (exacte, CG, VFE sparse, SKI) avec des noyaux composites, déployable sans Python ni dépendances de frameworks.
2. Noyaux Optimisés Matériellement : Des shaders de calcul Metal manuellement optimisés pour Apple Silicon et des noyaux CUDA pour les GPU NVIDIA. Notamment, il introduit un produit noyau-vecteur fusionné sans matrice qui permet une inférence en mémoire $O(N)$ pour les CG, une fonctionnalité non supportée nativement par le backend Metal de PyTorch.
3. SKI Accéléré par FFT : Une implémentation de SKI utilisant vDSP d'Apple Accelerate et cuFFT pour atteindre une multiplication matrice-vecteur en $O(N \log N)$ à grande échelle.
4. Benchmarks Multiplateformes : Une évaluation systématique révélant que sur Apple Silicon, le coprocesseur AMX basé sur CPU (via Accelerate) surpasse significativement Metal pour la factorisation de Cholesky dense, une découverte qui informe les heuristiques de sélection de backend.
5. Liaisons Python sans Dépendances : Exposition complète de l'API via pybind11 avec interopérabilité NumPy, permettant l'installation sans l'empreinte lourde des frameworks d'apprentissage profond.

Résultats

Les benchmarks ont été réalisés sur un Apple M4 (Metal 3) et un bureau Linux équipé d'un Intel i7-12700 et d'une NVIDIA RTX 3060 (CUDA 12.0).

• Performance vs GPyTorch :
  • Apple M4 (CPU) : LightGP est 2,6 à 8,7 fois plus rapide que GPyTorch pour l'inférence GP exacte et environ 1,5 fois plus rapide pour le GP sparse sur toutes les échelles testées. L'accélération est attribuée à l'élimination des frais de dispatch Python et PyTorch.
  • Linux (CUDA) : LightGP est 2,3 à 6,7 fois plus rapide que GPyTorch pour le GP exact jusqu'à $N=2\,048$. À $N=4\,096$, GPyTorch réduit l'écart grâce à son pipeline autograd fusionné amortissant les frais. Pour le GP sparse, LightGP est plus rapide à $N=10\,000$ (1,7x), mais GPyTorch l'emporte à $N=50\,000$ en raison des tenseurs de périphérique persistants et du calcul de gradient compilé.
• Opérations Sans Matrice : Sur Apple M4, le produit noyau-vecteur Metal fusionné sans matrice atteint une accélération de 32x par rapport au chemin CPU explicite à $N=20\,000$ et est la seule option viable au-delà de $N=30\,000$ sur 16 Go de mémoire. Sur Linux, CUDA atteint jusqu'à 259x d'accélération à $N=10\,000$.
• Évolutivité Mémoire : Les CG sans matrice, la VFE sparse et la SKI maintiennent une utilisation mémoire en $O(N)$. En revanche, le Cholesky exact ($O(N^2)$) épuise 16 Go de RAM à $N \approx 42\,000$–45 000 sur Mac et 12 Go de VRAM à $N \approx 35\,000$ sur Linux.
• Précision : Les prédictions des backends CPU et GPU concordent à $10^{-5}$ pour la moyenne et la variance sur des jeux de données standards (Motorcycle, Mauna Loa, kin40k).

Importance

LightGP démontre que l'inférence GP native en C++ peut égaler ou dépasser les performances des bibliothèques basées sur des frameworks tout en nécessitant zéro dépendance externe. En éliminant les frais de dispatch des frameworks Python et d'apprentissage profond, LightGP offre des gains de performance constants, en particulier sur Apple Silicon où le coprocesseur AMX est exploité directement. La bibliothèque permet l'inférence GP à des échelles ($N > 100\,000$) précédemment impraticables sur le matériel grand public grâce aux méthodes sans matrice en mémoire $O(N)$ et à la SKI accélérée par FFT.

L'article met en évidence une découverte matérielle critique : sur Apple Silicon, le CPU (via Accelerate/AMX) est souvent supérieur au GPU (Metal) pour les tâches d'algèbre linéaire dense comme la factorisation de Cholesky, une nuance que les heuristiques de LightGP gèrent automatiquement. Bien que GPyTorch reste compétitif ou supérieur à très grande échelle ($N \ge 50\,000$) sur CUDA grâce à son autograd mature et son infrastructure de tenseurs persistants, LightGP comble une niche pour une inférence GP légère, haute performance et déployable sans la charge d'une pile complète d'apprentissage profond.