🤖 machine learning

Lightweight Gaussian Process Inference in C++ on Metal and CUDA

Dieser Beitrag stellt LightGP vor, eine leichte, abhangigkeitsfreie C++17-Bibliothek für die Gaußsche Prozessregression, die optimierte CPU-, Metal- und CUDA-Backends nutzt, um über ein breites Spektrum an Datensatzgrößen hinweg signifikante Geschwindigkeitssteigerungen gegenüber bestehenden Python-basierten Frameworks wie GPyTorch zu erzielen.

Ursprüngliche Autoren: Yu-Hsueh Fang

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yu-Hsueh Fang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das Wetter für die nächste Woche vorherzusagen. Sie verfügen über eine massive Menge historischer Daten und möchten einen „intelligenten Rechner" namens Gaußscher Prozess (GP) verwenden, um diese Vorhersage zu treffen. Dieser Rechner ist berühmt dafür, sehr genau zu sein und Ihnen mitzuteilen, wie sicher er sich bei seiner Antwort ist.

Allerdings gibt es einen Haken: Dieser Rechner ist unglaublich schwer. Traditionell benötigen Sie zum Ausführen eine riesige, aufgeblähte Software-Suite (wie eine komplette Küche mit jedem erdenklichen Gerät), nur um einen einzigen Mixer zu benutzen. Genau das tun aktuelle populäre Tools wie GPyTorch; sie sind auf riesigen Deep-Learning-Frameworks aufgebaut, die Gigabytes an Speicherplatz beanspruchen und durch zusätzliche Schritte alles verlangsamen.

Hier kommt LightGP ins Spiel.

Die Autoren dieses Papers haben eine neue, ultraleichte Version dieses Rechners entwickelt. Stellen Sie sich dies als ein Schweizer Taschenmesser vor, anstatt einer kompletten Küche. Es ist in einer schlanken, effizienten Sprache (C++) geschrieben und benötigt keine riesigen Software-Suiten zum Ausführen. Es passt auf ein Smartphone, einen Laptop oder einen Server, ohne dass Sie 2 GB zusätzlichen Ballast herunterladen müssen.

Hier ist die Funktionsweise von LightGP, erklärt durch alltägliche Analogien:

1. Die vier verschiedenen „Pfade"

Das Paper besagt, dass LightGP vier verschiedene Wege bietet, um das Problem zu lösen, je nachdem, wie groß Ihre Daten sind:

Der exakte Pfad (Cholesky): Wie das Lösen eines mathematischen Problems, indem jeder einzelne Schritt perfekt aufgeschrieben wird. Es ist supergenau, wird aber sehr langsam und speicherintensiv, wenn Sie zu viele Zahlen haben (wie der Versuch, ein Puzzle mit einer Million Teilen zu lösen).
Der „Raten-und-Prüfen"-Pfad (Konjugierte Gradienten): Anstatt das gesamte Puzzle aufzuschreiben, nimmt diese Methode einen intelligenten Abkürzungsweg. Sie fragt: „Wenn ich das versuche, komme ich näher?" und passt sich entsprechend an. Es ist wie das Navigieren durch ein Labyrinth, indem man die Wändeertastet, anstatt zuerst die gesamte Karte zu zeichnen. Dies spart eine enorme Menge an Speicherplatz.
Der „Stichproben"-Pfad (Sparse Variational): Stellen Sie sich vor, Sie haben eine Million Fotos von Katzen, müssen aber nur 200 davon ansehen, um zu lernen, wie eine Katze aussieht. Diese Methode wählt einige „repräsentative" Datenpunkte aus, um die schwere Arbeit zu erledigen, und ignoriert den Rest.
Der „Vorspulen"-Pfad (SKI mit FFT): Dies verwendet einen speziellen mathematischen Trick (wie eine magische Linse), um die Details gerade so weit zu verwischen, dass man das große Bild sofort erkennt, was es für riesige Datensätze unglaublich schnell macht.

2. Das Rennen: LightGP gegen die Riesen

Die Autoren ließen LightGP in einem Rennen gegen die Riesen (GPyTorch) auf zwei verschiedenen Strecken antreten: auf einem Apple M4-Laptop und einer NVIDIA RTX 3060-Grafikkarte.

Auf dem Apple-Laptop: LightGP war wie ein Sprinter im Vergleich zu einem Marathonläufer. Da die Chips von Apple einen speziellen „Assistenten" (AMX genannt) haben, der Mathematik sehr schnell verarbeitet, nutzte LightGP dies direkt. GPyTorch hingegen musste durch eine lange Reihe von Python-Managern und Dispatchern laufen, bevor es überhaupt den Assistenten um Hilfe bitten konnte.
- Ergebnis: LightGP war für Standardaufgaben 2,6- bis 8,7-mal schneller.
Auf der NVIDIA-Grafikkarte: LightGP war auch für kleine bis mittlere Aufgaben (bis zu etwa 2.000 Datenpunkte) schneller. Für sehr große Aufgaben holte der „Riese" (GPyTorch) jedoch auf, da er über integrierte Funktionen verfügt, um massive, kontinuierliche Datenströme besser zu bewältigen.
- Ergebnis: LightGP war für kleinere Jobs 2,3- bis 6,7-mal schneller, aber GPyTorch gewann bei den allergrößten Jobs.

3. Die „magischen" Tricks

Das Paper hebt zwei spezifische „magische Tricks" hervor, die LightGP verwendet:

Die unsichtbare Matrix: Normalerweise müssen Sie für die Mathematik ein riesiges Gitter aus Zahlen (die Matrix) aufschreiben, das viel Speicherplatz beansprucht. LightGP hat einen Trick, bei dem es das Ergebnis berechnet, ohne jemals das Gitter aufzuschreiben. Es ist wie das Berechnen der Gesamtkosten eines Einkaufs, ohne zuerst jeden einzelnen Artikelpreis auf ein Stück Papier zu schreiben. Dies ermöglicht es, große Datenmengen auf Computern mit begrenztem Speicher zu verarbeiten.
Der Geschwindigkeitsschub: Auf Apple-Computern stellten die Autoren fest, dass die Verwendung der „CPU" (das Hauptgehirn) für bestimmte schwere mathematische Aufgaben tatsächlich schneller war als die „GPU" (die Grafikkarte), da die CPU über einen spezialisierten Assistenten (AMX) verfügte, den die GPU nicht schlagen konnte. LightGP weiß automatisch, wann es zur CPU wechseln muss, um Zeit zu sparen.

4. Das Fazit

LightGP ist ein neues Tool, das beweist, dass Sie kein massives, schweres Software-Framework benötigen, um fortgeschrittene statistische Vorhersagen zu treffen.

Es ist schnell: Es läuft auf vielen Geräten 2- bis 8-mal schneller als die populären Alternativen.
Es ist leicht: Es hat keine schweren Abhängigkeiten und kann mit einem einzigen Befehl installiert werden (pip install lightgp).
Es ist flexibel: Es funktioniert sowohl auf Apple- als auch auf NVIDIA-Hardware.

Die Autoren kommen zu dem Schluss, dass für viele alltägliche Datenmengen (bis zu 100.000 Punkte) dieses leichte Tool der effizienteste Weg ist, um genaue Vorhersagen zu erhalten, insbesondere auf Apple-Geräten, ohne den Ballast der älteren, schwereren Tools.

Technische Zusammenfassung: LightGP

Problemstellung

Die Inferenz von Gaußschen Prozessen (GP) ist ein prinzipiengeleitetes bayessches Framework für Regression mit kalibrierter Unsicherheit, doch ihre Rechenkosten – $O(N^3)$ für exakte Inferenz und $O(N^2)$ Speicherbedarf – haben ihre Anwendung historisch auf kleine Datensätze beschränkt. Obwohl skalierbare Approximationen (z. B. Methoden mit induzierenden Punkten, konjugierte Gradienten, strukturierte Kernel-Interpolation) diese Grenzen auf Hunderttausende von Punkten erweitert haben, verlassen sich dominante Implementierungen wie GPyTorch und GPflow auf schwere Deep-Learning-Frameworks (PyTorch, TensorFlow). Diese Frameworks erzwingen erhebliche Abhängigkeits-Fußabdrücke (oft über 2 GB), nicht zu vernachlässigenden Python-Dispatch-Overhead pro Operation und bieten nur eingeschränkte Unterstützung für den Einsatz in mobilen oder eingebetteten Umgebungen. Darüber hinaus fehlt es bestehenden Bibliotheken oft an nativen, abhängigkeitsfreien C++-Implementierungen, die spezifische Hardware-Beschleuniger wie Apple Metal oder NVIDIA CUDA ohne Framework-Aufblähung nutzen können.

Methodik

LightGP ist eine abhängigkeitsfreie C++17-Bibliothek, die entwickelt wurde, um diese Einschränkungen zu adressieren. Sie bietet Python-Bindings, operiert jedoch auf einem nativen C++-Kern und eliminiert damit die Notwendigkeit von PyTorch oder TensorFlow. Die Bibliothek ist in vier Schichten strukturiert:

Tensor und BLAS: Eine Tensor-Klasse, die row-major float32-Daten speichert. Sie leitet Matrixmultiplikation an Apple Accelerate (unter Verwendung des AMX-Coprozessors auf macOS) oder OpenBLAS (unter Linux) weiter. Die Cholesky-Zerlegung nutzt LAPACK spotrf.
Kernel: Eine abstrakte Kernel-Basis-Klasse unterstützt die Komposition über Operatoren (+, *, Scale). Konkrete Implementierungen umfassen RBF-, Matérn-, Periodische und Lineare Kernel.
GPU-Backends:
- Metal (Apple Silicon): Implementiert die geteilte Konstruktion von Kernel-Matrizen, ein fusioniertes matrixfreies Kernel-Vektor-Produkt, blockierte Cholesky-Zerlegung mit geteilter Threadgroup-Speicher-GEMM und Dreieckslösungen.
- CUDA (NVIDIA): Spiegelt die Metal-Funktionalität unter Verwendung von cuBLAS, cuSOLVER und benutzerdefinierten Kerneln für matrixfreie Operationen wider.
- Automatische Auswahl: Eine Heuristik Backend::Auto wählt CPU oder GPU basierend auf Problemgröße und Dimensionalität aus.
Inferenzmodelle:
- GPExact: Unterstützt drei Löser: Exakte Cholesky-Zerlegung ( $O(N^3)$ ), Konjugierte Gradienten (CG) mit stochastischem Lanczos-Log-Determinanten (matrixfrei, $O(N^2k)$ ) und Strukturierte Kernel-Interpolation (SKI) via FFT ( $O(N \log N)$ ).
- GPSparse: Implementiert Titsias' Variationale Freie Energie (VFE) mit Initialisierung der induzierenden Punkte nach dem Prinzip des weitesten Punkts und Adam-Optimierung. Sie enthält eine „Warm-Refit"-Funktion, um bei wiederholten Anpassungen die Neuinitialisierung zu überspringen.

Die Bibliothek wird als einzelne statische Bibliothek ohne externe Abhängigkeiten kompiliert und kann über pip install lightgp installiert werden.

Hauptbeiträge

Native C++-Implementierung: Eine vollständige Implementierung von vier GP-Inferenzpfaden (exakt, CG, sparse VFE, SKI) mit komponierbaren Kerneln, die ohne Python oder Framework-Abhängigkeiten bereitgestellt werden können.
Hardware-optimierte Kernel: Handoptimierte Metal-Compute-Shader für Apple Silicon und CUDA-Kernel für NVIDIA-GPUs. Bemerkenswert ist die Einführung eines fusionierten matrixfreien Kernel-Vektor-Produkts, das eine $O(N)$ -Speicher-Inferenz für CG ermöglicht, eine Funktion, die vom Metal-Backend von PyTorch nativ nicht unterstützt wird.
FFT-beschleunigte SKI: Eine Implementierung von SKI unter Verwendung von Apple Accelerate vDSP und cuFFT, um bei Skalierung eine $O(N \log N)$ -Matrix-Vektor-Multiplikation zu erreichen.
Plattformübergreifende Benchmarks: Systematische Evaluierung, die zeigt, dass auf Apple Silicon der CPU-basierte AMX-Coprozessor (via Accelerate) die Cholesky-Zerlegung für dichte Matrizen signifikant besser bewältigt als Metal, eine Erkenntnis, die die Heuristiken zur Backend-Auswahl informiert.
Abhängigkeitsfreie Python-Bindings: Vollständige API-Exponierung via pybind11 mit NumPy-Interoperabilität, die eine Installation ohne den schweren Fußabdruck von Deep-Learning-Frameworks ermöglicht.

Ergebnisse

Benchmarks wurden auf einem Apple M4 (Metal 3) und einem Linux-Desktop mit Intel i7-12700 und NVIDIA RTX 3060 (CUDA 12.0) durchgeführt.

Leistung im Vergleich zu GPyTorch:
- Apple M4 (CPU): LightGP ist für exakte GP-Inferenz 2,6–8,7-mal schneller als GPyTorch und für sparse GP über alle getesteten Skalen hinweg ca. 1,5-mal schneller. Der Geschwindigkeitsvorteil ist auf die Eliminierung von Python- und PyTorch-Dispatch-Overhead zurückzuführen.
- Linux (CUDA): LightGP ist für exakte GP bis $N=2.048$ 2,3–6,7-mal schneller als GPyTorch. Bei $N=4.096$ schließt GPyTorch die Lücke, da seine fusionierte Autograd-Pipeline den Overhead amortisiert. Für sparse GP ist LightGP bei $N=10.000$ schneller (1,7-fach), gewinnt aber GPyTorch bei $N=50.000$ aufgrund persistenter Device-Tensoren und kompilierter Gradientenberechnung.
Matrixfreie Operationen: Auf dem Apple M4 erreicht das fusionierte Metal-matrixfreie Kernel-Vektor-Produkt bei $N=20.000$ eine 32-fache Beschleunigung gegenüber dem expliziten CPU-Pfad und ist bei 16 GB Speicher die einzige machbare Option jenseits von $N=30.000$ . Unter Linux erzielt CUDA bei $N=10.000$ bis zu 259-fache Beschleunigung.
Speicherskalierung: Matrixfreies CG, sparse VFE und SKI halten einen Speicherbedarf von $O(N)$ aufrecht. Im Gegensatz dazu erschöpft die exakte Cholesky-Zerlegung ( $O(N^2)$ ) 16 GB RAM bei $N \approx 42.000$ –45.000 auf dem Mac und 12 GB VRAM bei $N \approx 35.000$ unter Linux.
Genauigkeit: Vorhersagen von CPU- und GPU-Backends stimmen für Mittelwert und Varianz über Standarddatensätze (Motorcycle, Mauna Loa, kin40k) innerhalb von $10^{-5}$ überein.

Bedeutung

LightGP zeigt, dass native C++ GP-Inferenz die Leistung frameworkbasierter Bibliotheken erreichen oder übertreffen kann, während sie keine externen Abhängigkeiten erfordert. Durch die Beseitigung des Dispatch-Overheads von Python und Deep-Learning-Frameworks bietet LightGP konsistente Leistungsgewinne, insbesondere auf Apple Silicon, wo der AMX-Coprozessor direkt genutzt wird. Die Bibliothek ermöglicht GP-Inferenz in Skalen ( $N > 100.000$ ), die zuvor auf Consumer-Hardware aufgrund von $O(N)$ -Speicher-matrixfreien Methoden und FFT-beschleunigter SKI unpraktisch waren.

Die Arbeit hebt eine kritische Hardware-Erkenntnis hervor: Auf Apple Silicon ist die CPU (via Accelerate/AMX) für dichte lineare Algebra-Aufgaben wie die Cholesky-Zerlegung oft überlegen gegenüber der GPU (Metal), eine Nuance, die LightGPs Heuristiken automatisch verwalten. Während GPyTorch aufgrund seiner ausgereiften Autograd- und persistenten Tensor-Infrastruktur bei sehr großen Skalen ( $N \ge 50.000$ ) auf CUDA wettbewerbsfähig oder überlegen bleibt, füllt LightGP eine Nische für leichte, hochleistungsfähige und einsetzbare GP-Inferenz ohne die Last eines vollständigen Deep-Learning-Stacks.