Technische Samenvatting: LightGP

Probleemstelling

Gaussische Processen (GP) inferentie is een principieel Bayesiaans raamwerk voor regressie met gekalibreerde onzekerheid, maar de rekenkosten—$O(N^3)$ voor exacte inferentie en $O(N^2)$ geheugen—hebben historisch gezien de toepassing beperkt tot kleine datasets. Hoewel schaalbare benaderingen (bijv. methoden met inducerende punten, geconjugeerde gradiënten, gestructureerde kernelinterpolatie) deze grenzen hebben verlegd tot honderdduizenden punten, vertrouwen dominante implementaties zoals GPyTorch en GPflow op zware deep-learning frameworks (PyTorch, TensorFlow). Deze frameworks leggen aanzienlijke afhankelijkheidsvoetafdrukken op (vaak meer dan 2 GB), niet-triviale Python-dispatch-overhead per bewerking, en bieden beperkte ondersteuning voor implementatie in mobiele of ingebouwde omgevingen. Bovendien missen bestaande bibliotheken vaak native, afhankelijkheidsvrije C++-implementaties die specifieke hardware-versnellers zoals Apple Metal of NVIDIA CUDA kunnen benutten zonder framework-bloat.

Methodologie

LightGP is een afhankelijkheidsvrije C++17-bibliotheek ontworpen om deze beperkingen aan te pakken. Het biedt Python-bindings maar opereert op een native C++-kern, waardoor de noodzaak voor PyTorch of TensorFlow wordt weggenomen. De bibliotheek is gestructureerd in vier lagen:

1. Tensor en BLAS: Een Tensor-klasse die float32-data in rij-volgorde opslaat. Het dispatcht matrixvermenigvuldiging naar Apple Accelerate (met gebruik van de AMX-coprocessor op macOS) of OpenBLAS (op Linux). Cholesky-factorisatie maakt gebruik van LAPACK spotrf.
2. Kernels: Een abstracte Kernel-basisklasse ondersteunt compositie via operatoren (+, *, Scale). Concreet implementaties omvatten RBF-, Matérn-, Periodieke en Lineaire kernels.
3. GPU Backends:
   • Metal (Apple Silicon): Implementeert getegelde kernelmatrixconstructie, een gefuseerde matrixvrije kernel-vectorproduct, geblokkeerde Cholesky met getegelde threadgroup-geheugen GEMM, en driehoekige oplossingen.
   • CUDA (NVIDIA): Spiegelde Metal-functionaliteit met behulp van cuBLAS, cuSOLVER en aangepaste kernels voor matrixvrije bewerkingen.
   • Auto-Selectie: Een Backend::Auto-heuristiek selecteert CPU of GPU op basis van probleemgrootte en dimensionaliteit.
4. Inferentiemodellen:
   • GPExact: Ondersteunt drie oplosmethodes: Exacte Cholesky ($O(N^3)$), Geconjugeerde Gradiënten (CG) met stochastische Lanczos log-determinant (matrixvrij, $O(N^2k)$), en Gestructureerde Kernel Interpolatie (SKI) via FFT ($O(N \log N)$).
   • GPSparse: Implementeert Titsias' Variational Free Energy (VFE) met ver-van-elkaar-inducerende initialisatie en Adam-optimatie. Het bevat een "warm-refit"-functie om herinitialisatie bij herhaalde fits over te slaan.

De bibliotheek compileert als een enkele statische bibliotheek met nul externe afhankelijkheden en is installeerbaar via pip install lightgp.

Belangrijkste Bijdragen

1. Native C++ Implementatie: Een volledige implementatie van vier GP-inferentiepaden (exact, CG, sparse VFE, SKI) met composeerbare kernels, inzetbaar zonder Python of framework-afhankelijkheden.
2. Hardware-geoptimaliseerde Kernels: Handgetuneerde Metal-compute shaders voor Apple Silicon en CUDA-kernels voor NVIDIA GPU's. Opmerkelijk is de introductie van een gefuseerde matrixvrije kernel-vectorproduct die $O(N)$-geheugeninferentie voor CG mogelijk maakt, een functie die niet native wordt ondersteund door PyTorch's Metal-backend.
3. FFT-versnelde SKI: Een implementatie van SKI met gebruik van Apple Accelerate vDSP en cuFFT om $O(N \log N)$ matrix-vectorvermenigvuldiging op schaal te bereiken.
4. Cross-platform Benchmarks: Systematische evaluatie die aantoont dat op Apple Silicon de CPU-gebaseerde AMX-coprocessor (via Accelerate) aanzienlijk beter presteert dan Metal voor dichte Cholesky-factorisatie, een bevinding die de heuristiek voor backend-selectie informeert.
5. Afhankelijkheidsvrije Python Bindings: Volledige API-exposure via pybind11 met NumPy-interoperabiliteit, waardoor installatie mogelijk is zonder de zware voetafdruk van deep-learning frameworks.

Resultaten

Benchmarks werden uitgevoerd op een Apple M4 (Metal 3) en een Linux-desktop met een Intel i7-12700 en NVIDIA RTX 3060 (CUDA 12.0).

• Prestaties vs. GPyTorch:
  • Apple M4 (CPU): LightGP is 2,6–8,7× sneller dan GPyTorch voor exacte GP-inferentie en ~1,5× sneller voor sparse GP over alle geteste schalen. De snelheidswinst wordt toegeschreven aan het elimineren van Python- en PyTorch-dispatch-overhead.
  • Linux (CUDA): LightGP is 2,3–6,7× sneller dan GPyTorch voor exacte GP tot $N=2.048$. Bij $N=4.096$ sluit GPyTorch de kloof door de gefuseerde autograd-pipeline die overhead afbouwt. Voor sparse GP is LightGP sneller bij $N=10.000$ (1,7×), maar wint GPyTorch bij $N=50.000$ door persistente apparaat-tensors en gecompileerde gradiëntberekening.
• Matrixvrije Bewerkingen: Op Apple M4 bereikt de gefuseerde Metal matrixvrije kernel-vectorproduct een 32× snelheidswinst ten opzichte van het expliciete CPU-pad bij $N=20.000$ en is de enige haalbare optie boven $N=30.000$ op 16 GB geheugen. Op Linux bereikt CUDA tot 259× snelheidswinst bij $N=10.000$.
• Geheugenschaal: Matrixvrije CG, sparse VFE en SKI behouden $O(N)$-geheugengebruik. Daarentegen put exacte Cholesky ($O(N^2)$) 16 GB RAM uit bij $N \approx 42.000$–45.000 op Mac en 12 GB VRAM bij $N \approx 35.000$ op Linux.
• Nauwkeurigheid: Voorspellingen van CPU- en GPU-backends komen binnen $10^{-5}$ overeen voor gemiddelde en variantie over standaarddatasets (Motorcycle, Mauna Loa, kin40k).

Betekenis

LightGP demonstreert dat native C++ GP-inferentie de prestaties van framework-gebaseerde bibliotheken kan evenaren of overtreffen, terwijl het nul externe afhankelijkheden vereist. Door de dispatch-overhead van Python en deep-learning frameworks te verwijderen, biedt LightGP consistente prestatiewinst, met name op Apple Silicon waar de AMX-coprocessor direct wordt benut. De bibliotheek maakt GP-inferentie mogelijk op schalen ($N > 100.000$) die voorheen onpraktisch waren op consumentenhardware, dankzij $O(N)$-geheugen matrixvrije methoden en FFT-versnelde SKI.

Het artikel benadrukt een cruciaal hardware-inzicht: op Apple Silicon is de CPU (via Accelerate/AMX) vaak superieur aan de GPU (Metal) voor dichte lineaire algebra-taken zoals Cholesky-factorisatie, een nuance die de heuristiek van LightGP automatisch beheert. Hoewel GPyTorch op zeer grote schalen ($N \ge 50.000$) op CUDA concurrerend of superieur blijft vanwege zijn volwassen autograd en persistente tensor-infrastructuur, vult LightGP een niche voor lichtgewicht, hoogpresterende en inzetbare GP-inferentie zonder de last van een volledige deep-learning-stack.