Riepilogo Tecnico: LightGP

Enunciato del Problema

L'inferenza dei Processi Gaussiani (GP) è un quadro bayesiano fondato per la regressione con incertezza calibrata, ma il suo costo computazionale—$O(N^3)$ per l'inferenza esatta e memoria $O(N^2)$—ha storicamente limitato la sua applicazione a piccoli dataset. Sebbene approssimazioni scalabili (ad esempio, metodi a punti induttori, gradienti coniugati, interpolazione strutturata del kernel) abbiano esteso questi limiti a centinaia di migliaia di punti, implementazioni dominanti come GPyTorch e GPflow si basano su pesanti framework di deep learning (PyTorch, TensorFlow). Questi framework impongono footprint di dipendenze significativi (spesso superiori a 2 GB), un overhead di dispatch Python non trascurabile per ogni operazione e un supporto limitato per il deployment in ambienti mobili o embedded. Inoltre, le librerie esistenti spesso mancano di implementazioni C++ native e prive di dipendenze in grado di sfruttare specifici acceleratori hardware come Apple Metal o NVIDIA CUDA senza il rigonfiamento del framework.

Metodologia

LightGP è una libreria C++17 priva di dipendenze progettata per affrontare queste limitazioni. Fornisce binding Python ma opera su un nucleo nativo C++, eliminando la necessità di PyTorch o TensorFlow. La libreria è strutturata in quattro livelli:

1. Tensori e BLAS: Una classe Tensor che memorizza dati float32 in ordine riga-maggiore. Dispone la moltiplicazione di matrici su Apple Accelerate (utilizzando il coprocessore AMX su macOS) o OpenBLAS (su Linux). La fattorizzazione di Cholesky utilizza LAPACK spotrf.
2. Kernel: Una classe base Kernel astratta supporta la composizione tramite operatori (+, *, Scale). Le implementazioni concrete includono kernel RBF, Matérn, Periodici e Lineari.
3. Backend GPU:
   • Metal (Apple Silicon): Implementa la costruzione di matrici di kernel a blocchi, un prodotto vettore-kernel senza matrice fuso, Cholesky bloccato con GEMM in memoria di threadgroup a blocchi e risoluzioni triangolari.
   • CUDA (NVIDIA): Riflette la funzionalità di Metal utilizzando cuBLAS, cuSOLVER e kernel personalizzati per operazioni senza matrice.
   • Selezione Automatica: Un'euristica Backend::Auto seleziona CPU o GPU in base alla dimensione e alla dimensionalità del problema.
4. Modelli di Inferenza:
   • GPExact: Supporta tre risolutori: Cholesky Esatto ($O(N^3)$), Gradienti Coniugati (CG) con log-determinante di Lanczos stocastico (senza matrice, $O(N^2k)$) e Interpolazione Strutturata del Kernel (SKI) tramite FFT ($O(N \log N)$).
   • GPSparse: Implementa l'Energia Libera Variazionale (VFE) di Titsias con inizializzazione dei punti induttori al punto più lontano e ottimizzazione Adam. Include una funzionalità "warm-refit" per saltare la re-inizializzazione su adattamenti ripetuti.

La libreria viene compilata come un'unica libreria statica con zero dipendenze esterne ed è installabile tramite pip install lightgp.

Contributi Chiave

1. Implementazione Nativa C++: Un'implementazione completa di quattro percorsi di inferenza GP (esatto, CG, VFE sparsa, SKI) con kernel componibili, deployabile senza Python o dipendenze di framework.
2. Kernel Ottimizzati per Hardware: Shader di calcolo Metal manualmente ottimizzati per Apple Silicon e kernel CUDA per GPU NVIDIA. In particolare, introduce un prodotto vettore-kernel senza matrice fuso che abilita un'inferenza con memoria $O(N)$ per CG, una funzionalità non supportata nativamente dal backend Metal di PyTorch.
3. SKI Accelerato da FFT: Un'implementazione di SKI che utilizza vDSP di Apple Accelerate e cuFFT per ottenere una moltiplicazione matrice-vettore $O(N \log N)$ su larga scala.
4. Benchmark Cross-Platform: Valutazione sistematica che rivela che su Apple Silicon, il coprocessore AMX basato su CPU (tramite Accelerate) supera significativamente Metal per la fattorizzazione densa di Cholesky, un dato che informa le euristiche di selezione del backend.
5. Binding Python a Dipendenze Zero: Esposizione completa dell'API tramite pybind11 con interoperabilità NumPy, consentendo l'installazione senza il pesante footprint dei framework di deep learning.

Risultati

I benchmark sono stati condotti su un Apple M4 (Metal 3) e su un desktop Linux con Intel i7-12700 e NVIDIA RTX 3060 (CUDA 12.0).

• Prestazioni vs GPyTorch:
  • Apple M4 (CPU): LightGP è 2.6–8.7 volte più veloce di GPyTorch per l'inferenza GP esatta e ~1.5 volte più veloce per GP sparsa su tutte le scale testate. L'aumento di velocità è attribuito all'eliminazione dell'overhead di dispatch Python e PyTorch.
  • Linux (CUDA): LightGP è 2.3–6.7 volte più veloce di GPyTorch per GP esatta fino a $N=2,048$. A $N=4,096$, GPyTorch riduce il divario grazie al suo pipeline autograd fuso che ammortizza l'overhead. Per GP sparsa, LightGP è più veloce a $N=10,000$ (1.7 volte), ma GPyTorch vince a $N=50,000$ grazie a tensori dispositivo persistenti e calcolo del gradiente compilato.
• Operazioni Senza Matrice: Su Apple M4, il prodotto vettore-kernel Metal senza matrice fuso raggiunge un accelerazione di 32 volte rispetto al percorso CPU esplicito a $N=20,000$ ed è l'unica opzione fattibile oltre $N=30,000$ su 16 GB di memoria. Su Linux, CUDA raggiunge fino a 259 volte di accelerazione a $N=10,000$.
• Scalabilità della Memoria: CG senza matrice, VFE sparsa e SKI mantengono un utilizzo di memoria $O(N)$. Al contrario, Cholesky esatto ($O(N^2)$) esaurisce 16 GB di RAM a $N \approx 42,000$–45,000 su Mac e 12 GB di VRAM a $N \approx 35,000$ su Linux.
• Accuratezza: Le previsioni dai backend CPU e GPU concordano entro $10^{-5}$ per media e varianza su dataset standard (Motocicletta, Mauna Loa, kin40k).

Significato

LightGP dimostra che l'inferenza GP nativa C++ può eguagliare o superare le prestazioni delle librerie basate su framework richiedendo zero dipendenze esterne. Rimuovendo l'overhead di dispatch di Python e dei framework di deep learning, LightGP offre guadagni di prestazioni coerenti, in particolare su Apple Silicon dove il coprocessore AMX è sfruttato direttamente. La libreria abilita l'inferenza GP a scale ($N > 100,000$) precedentemente impraticabili sull'hardware consumer attraverso metodi senza matrice a memoria $O(N)$ e SKI accelerato da FFT.

Il documento evidenzia un'insight hardware critico: su Apple Silicon, la CPU (tramite Accelerate/AMX) è spesso superiore alla GPU (Metal) per compiti di algebra lineare densa come la fattorizzazione di Cholesky, una sfumatura che le euristiche di LightGP gestiscono automaticamente. Sebbene GPyTorch rimanga competitivo o superiore a scale molto grandi ($N \ge 50,000$) su CUDA grazie alla sua infrastruttura autograd e tensori persistenti matura, LightGP riempie una nicchia per inferenza GP leggera, ad alte prestazioni e deployabile senza il peso di un intero stack di deep learning.