🤖 machine learning

Lightweight Gaussian Process Inference in C++ on Metal and CUDA

यह शोध पत्र LightGP को प्रस्तुत करता है, जो गॉसियन प्रोसेस रिग्रेशन के लिए एक हल्का, डिपेंडेंसी-फ्री C++17 लाइब्रेरी है, जो विभिन्न डेटासेट आकारों की एक विस्तृत श्रृंखला में GPyTorch जैसे मौजूदा पायथन-आधारित फ्रेमवर्क की तुलना में महत्वपूर्ण गति प्राप्त करने के लिए अनुकूलित CPU, Metal और CUDA बैकएंड का लाभ उठाता है।

मूल लेखक: Yu-Hsueh Fang

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu-Hsueh Fang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अगले एक सप्ताह के मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास ऐतिहासिक डेटा की एक विशाल मात्रा है, और आप इस भविष्यवाणी को करने के लिए एक "स्मार्ट कैलकुलेटर" का उपयोग करना चाहते हैं जिसे गौसियन प्रोसेस (GP) कहा जाता है। यह कैलकुलेटर अपने सटीक उत्तरों और अपनी सटीकता बताने की क्षमता के लिए प्रसिद्ध है।

हालाँकि, एक पेंच है। यह कैलकुलेटर अविश्वसनीय रूप से भारी है। पारंपरिक रूप से, इसे चलाने के लिए आपको एक विशाल, फूले हुए सॉफ़्टवेयर सूट (जैसे एक पूरा किचन जिसमें हर तरह के उपकरण हों) को लोड करना पड़ता है सिर्फ एक ब्लेंडर इस्तेमाल करने के लिए। GPyTorch जैसे वर्तमान लोकप्रिय टूल्स यही करते हैं; वे विशाल डीप-लर्निंग फ्रेमवर्क पर बने हैं जो गीगाबाइट्स जगह घेरते हैं और अतिरिक्त चरणों के साथ काम को धीमा कर देते हैं।

पेश है, LightGP।

लेखकों ने एक नया, अत्यंत हल्का संस्करण बनाया है। इसे एक पूर्ण किचन के बजाय एक स्विस आर्मी नाइफ की तरह समझें। यह एक लीन (lean), कुशल भाषा (C++) में लिखा गया है और इसे चलाने के लिए किसी विशाल सॉफ़्टवेयर सूट की आवश्यकता नहीं है। यह बिना 2GB का अतिरिक्त बोझ डाउनलोड किए, आपके फोन, लैपटॉप या सर्वर पर फिट हो सकता है।

यहाँ बताया गया है कि LightGP कैसे काम करता है, रोजमर्रा के उदाहरणों के माध्यम से:

1. चार अलग-अलग "पथ" (Paths)

पेपर कहता है कि आपके डेटा के आकार के आधार पर LightGP समस्या को हल करने के चार अलग-अलग तरीके प्रदान करता है:

सटीक पथ (Cholesky): यह गणित की समस्या को हर एक चरण को पूरी तरह से लिखकर हल करने जैसा है। यह बहुत सटीक है लेकिन यदि आपके पास बहुत अधिक संख्याएँ हैं (जैसे दस लाख टुकड़ों वाली पहेली सुलझाना), तो यह बहुत धीमा और मेमोरी-भारी हो जाता है।
"अनुमान और जाँच" पथ (Conjugate Gradients): पूरी पहेली को लिखने के बजाय, यह तरीका एक स्मार्ट शॉर्टकट लेता है। यह पूछता है, "यदि मैं यह कोशिश करूँ, तो क्या मैं करीब पहुँच रहा हूँ?" और फिर सुधार करता है। यह एक भूलभुलैया (maze) में नक्शा बनाने के बजाय दीवारों को छूकर रास्ता खोजने जैसा है। यह बहुत सारी मेमोरी बचाता है।
"नमूना" पथ (Sparse Variational): कल्पना कीजिए कि आपके पास बिल्लियों की दस लाख तस्वीरें हैं, लेकिन बिल्ली को समझने के लिए आपको केवल 200 तस्वीरों की आवश्यकता है। यह तरीका भारी काम करने के लिए कुछ "प्रतिनिधि" डेटा पॉइंट्स चुनता है और बाकी को अनदेखा कर देता है।
"फास्ट-फॉरवर्ड" पथ (SKI with FFT): यह एक विशेष गणितीय ट्रिक (एक जादुई लेंस की तरह) का उपयोग करता है जो बड़े चित्र को तुरंत देखने के लिए विवरणों को थोड़ा धुंधला कर देता है, जिससे यह विशाल डेटासेट के लिए अविश्वसनीय रूप से तेज़ हो जाता है।

2. दौड़: LightGP बनाम दिग्गज (Giants)

लेखकों ने एक Apple M4 लैपटॉप और एक NVIDIA RTX 3060 ग्राफिक्स कार्ड पर दो ट्रैक पर दिग्गजों (GPyTorch) के खिलाफ LightGP को एक दौड़ में खड़ा किया।

Apple लैपटॉप पर: LightGP एक मैराथन धावक की तुलना में एक स्प्रिंटर (तेज धावक) की तरह था। क्योंकि Apple के चिप्स में एक विशेष "सहायक" (जिसे AMX कहा जाता है) होता है जो गणित को बहुत तेज़ी से संभालता है, LightGP सीधे इसका उपयोग करता है। इसके विपरीत, GPyTorch को सहायक से मदद माँगने से पहले पायथन प्रबंधकों और डिस्पैचर्स की एक लंबी कतार से गुजरना पड़ता है।
- परिणाम: मानक कार्यों के लिए LightGP 2.6 से 8.7 गुना तेज़ था।
NVIDIA ग्राफिक्स कार्ड पर: छोटे-से-मध्यम कार्यों के लिए भी LightGP तेज़ था (लगभग 2,000 डेटा पॉइंट्स तक)। हालाँकि, बहुत बड़े कार्यों के लिए, "दिग्गज" (GPyTorch) ने पकड़ बना ली क्योंकि इसमें डेटा के विशाल प्रवाह को संभालने के लिए अंतर्निहित सुविधाएँ हैं।
- परिणाम: छोटे कामों के लिए LightGP 2.3 से 6.7 गुना तेज़ था, लेकिन बहुत बड़े कामों में GPyTorch जीत गया।

3. "जादुई" ट्रिक्स

पेपर दो विशिष्ट "जादुई ट्रिक्स" पर प्रकाश डालता है जिनका LightGP उपयोग करता है:

अदृश्य मैट्रिक्स (The Invisible Matrix): आमतौर पर, गणित करने के लिए, आपको संख्याओं का एक विशाल ग्रिड (मैट्रिक्स) लिखना पड़ता है जो बहुत अधिक मेमोरी लेता है। LightGP के पास एक ट्रिक है जहाँ यह ग्रिड को लिखे बिना ही परिणाम की गणना करता है। यह खरीदारी के कुल खर्च की गणना करने जैसा है बिना हर आइटम की कीमत को कागज पर लिखे। यह इसे सीमित मेमोरी वाले कंप्यूटरों पर भी विशाल डेटा संभालने की अनुमति देता है।
स्पीड बूस्ट (The Speed Boost): Apple कंप्यूटरों पर, लेखकों ने पाया कि कुछ भारी गणित कार्यों के लिए "CPU" (मुख्य मस्तिष्क) का उपयोग करना वास्तव में "GPU" (ग्राफिक्स कार्ड) की तुलना में तेज़ था क्योंकि CPU के पास एक विशेष सहायक (AMX) था जिसे GPU मात नहीं दे सका। LightGP स्वचालित रूप से समय बचाने के लिए CPU पर स्विच करना जानता है।

4. निष्कर्ष (The Bottom Line)

LightGP एक नया टूल है जो यह साबित करता है कि उन्नत सांख्यिकीय भविष्यवाणियों के लिए आपको एक विशाल, भारी सॉफ़्टवेयर फ्रेमवर्क की आवश्यकता नहीं है।

यह तेज़ है: यह कई उपकरणों पर लोकप्रिय विकल्पों की तुलना में 2 से 8 गुना तेज़ी से चलता है।
यह हल्का है: इसमें कोई भारी डिपेंडेंसी नहीं है और इसे एक सिंगल कमांड (pip install lightgp) के साथ इंस्टॉल किया जा सकता है।
यह लचीला है: यह Apple और NVIDIA दोनों हार्डवेयर पर काम करता है।

लेखक निष्कर्ष निकालते हैं कि रोज़मर्रा के डेटा आकार (1,00,000 पॉइंट्स तक) के लिए, यह हल्का टूल सटीक भविष्यवाणियाँ प्राप्त करने का सबसे कुशल तरीका है, विशेष रूप से Apple डिवाइसों पर, बिना पुराने, भारी टूल्स के बोझ के।

तकनीकी सारांश: LightGP

समस्या विवरण

गौसियन प्रोसेस (GP) इन्फरेंस एक रिग्रेशन के लिए एक सिद्धांतवादी बायेसियन ढांचा है जो कैलिब्रेटेड अनिश्चितता प्रदान करता है, लेकिन इसकी कम्प्यूटेशनल लागत—सटीक इन्फरेंस के लिए $O(N^3)$ और $O(N^2)$ मेमोरी—ने ऐतिहासिक रूप से इसे छोटे डेटासेट्स तक सीमित कर दिया है। जबकि स्केलेबल एप्रोक्सिमेशन (जैसे, इंड्यूसिंग-पॉइंट मेथड्स, कंजुगेट ग्रेडिएंट्स, स्ट्रक्चर्ड कर्नल इंटरपोलेशन) ने सैकड़ों हजार पॉइंट्स तक इसकी सीमाओं का विस्तार किया है, GPyTorch और GPflow जैसे प्रमुख कार्यान्वयन भारी डीप-लर्निंग फ्रेमवर्क्स (PyTorch, TensorFlow) पर निर्भर हैं। ये फ्रेमवर्क्स महत्वपूर्ण डिपेंडेंसी फुटप्रिंट (अक्सर 2 GB से अधिक) थोपते हैं, प्रत्येक ऑपरेशन पर गैर-मामूली पायथन डिस्पैच ओवरहेड पैदा करते हैं, और मोबाइल या एम्बेडेड वातावरण में तैनाती के लिए सीमित समर्थन प्रदान करते हैं। इसके अलावा, मौजूदा लाइब्रेरीज़ में अक्सर नेटिव, डिपेंडेंसी-मुक्त C++ कार्यान्वयन की कमी होती है जो Apple Metal या NVIDIA CUDA जैसे विशिष्ट हार्डवेयर एक्सेलेरेटर्स का लाभ उठा सकें बिना फ्रेमवर्क के बोझ के।

कार्यप्रणाली (Methodology)

LightGP एक डिपेंडेंसी-मुक्त C++17 लाइब्रेरी है जिसे इन सीमाओं को दूर करने के लिए डिज़ाइन किया गया है। यह पायथन बाइंडिंग्स प्रदान करता है लेकिन एक नेटिव C++ कोर पर संचालित होता है, जिससे PyTorch या TensorFlow की आवश्यकता समाप्त हो जाती है। लाइब्रेरी को चार परतों में संरचित किया गया है:

टेन्सर और BLAS: एक Tensor क्लास जो रो-मेजर float32 डेटा संग्रहीत करती है। यह मैट्रिक्स मल्टीप्लिकेशन को Apple Accelerate (macOS पर AMX कोप्रोसेसर का उपयोग करके) या OpenBLAS (Linux पर) को डिस्पैच करता है। चोलेस्की फैक्टराइजेशन LAPACK spotrf का उपयोग करता है।
कर्नेल (Kernels): एक एब्स्ट्रैक्ट Kernel बेस क्लास ऑपरेटरों (+, *, Scale) के माध्यम से कंपोजिशन का समर्थन करता है। इसमें RBF, Matérn, Periodic, और Linear कर्नेल के मूर्त कार्यान्वयन शामिल हैं।
GPU बैकएंड्स:
- Metal (Apple Silicon): टाइल्ड कर्नल मैट्रिक्स कंस्ट्रक्शन, एक फ्यूज्ड मैट्रिक्स-फ्री कर्नल-वेक्टर प्रोडक्ट, ब्लॉकड चोलेस्की विद टाइल्ड थ्रेडग्रुप-मेमोरी GEMM, और ट्राइएंगुलर सॉल्व्स को लागू करता है।
- CUDA (NVIDIA): cuBLAS, cuSOLVER, और मैट्रिक्स-फ्री ऑपरेशंस के लिए कस्टम कर्नेल्स का उपयोग करके Metal फंक्शनलिटी की नकल करता है।
- ऑटो-सिलेक्शन: एक Backend::Auto ह्यूरिस्टिक समस्या के आकार और डाइमेंशनलिटी के आधार पर CPU या GPU का चयन करता है।
इन्फरेंस मॉडल्स:
- GPExact: तीन सॉल्वर का समर्थन करता है: सटीक चोलेस्की ( $O(N^3)$ ), स्टोकेस्टिक लैंकोस लॉग-डेटर्मिनेंट के साथ कंजुगेट ग्रेडिएंट्स (CG) (मैट्रिक्स-फ्री, $O(N^2k)$ ), और FFT के माध्यम से स्ट्रक्चर्ड कर्नल इंटरपोलेशन (SKI) ( $O(N \log N)$ )।
- GPSparse: फार्टेस्ट-पॉइंट इंड्यूसिंग इनिशियलाइजेशन और Adam ऑप्टिमाइज़ेशन के साथ Titsias' वेरिएशनल फ्री एनर्जी (VFE) को लागू करता है। इसमें बार-बार फिट होने पर री-इनिशियलाइजेशन को स्किप करने के लिए एक "वार्म-रिफिट" फीचर शामिल है।
  लाइब्रेरी एक सिंगल स्टैटिक लाइब्रेरी के रूप में कंपाइल होती है जिसमें शून्य बाहरी डिपेंडेंसी है और इसे pip install lightgp के माध्यम से इंस्टॉल किया जा सकता है।

मुख्य योगदान

नेटिव C++ कार्यान्वयन: चार GP इन्फरेंस पाथ (exact, CG, sparse VFE, SKI) का एक पूर्ण कार्यान्वयन, कंपोजेबल कर्नेल्स के साथ, जिसे पायथन या फ्रेमवर्क डिपेंडेंसी के बिना तैनात किया जा सकता है।
हार्डवेयर-ऑप्टिमाइज्ड कर्नेल्स: Apple Silicon के लिए हैंड-ट्यून्ड Metal कंप्यूट शेडर्स और NVIDIA GPU के लिए CUDA कर्नेल्स। विशेष रूप से, यह एक फ्यूज्ड मैट्रिक्स-फ्री कर्नल-वेक्टर प्रोडक्ट पेश करता है जो CG के लिए $O(N)$ मेमोरी इन्फरेंस सक्षम करता है, एक ऐसी विशेषता जो PyTorch के Metal बैकएंड द्वारा नेटिव रूप से समर्थित नहीं है।
FFT-एक्सेलेरेटेड SKI: स्केल पर $O(N \log N)$ मैट्रिक्स-वेक्टर मल्टीप्लिकेशन प्राप्त करने के लिए Apple Accelerate vDSP और cuFFT का उपयोग करके SKI का कार्यान्वयन।
क्रॉस-प्लेटफॉर्म बेंचमार्क्स: व्यवस्थित मूल्यांकन जो दर्शाता है कि Apple Silicon पर, CPU-आधारित AMX कोप्रोसेसर (Accelerate के माध्यम से) डेंस चोलेस्की फैक्टराइजेशन के लिए Metal से काफी बेहतर प्रदर्शन करता है, जो बैकएंड चयन ह्यूरिस्टिक्स को सूचित करता है।
जीरो-डिपेंडेंसी पायथन बाइंडिंग्स: NumPy इंटरऑपरेबिलिटी के साथ pybind11 के माध्यम से पूर्ण API एक्सपोज़र, जिससे भारी डीप-लर्निंग फ्रेमवर्क्स के बिना इंस्टॉलेशन संभव होता है।

परिणाम

बेंचमार्क्स Apple M4 (Metal 3) और एक Linux डेस्कटॉप (Intel i7-12700 और NVIDIA RTX 3060, CUDA 12.0 के साथ) पर आयोजित किए गए।

GPyTorch के विरुद्ध प्रदर्शन:
- Apple M4 (CPU): लाइटजीपी (LightGP) सटीक GP इन्फरेंस के लिए GPyTorch की तुलना में 2.6–8.7× तेज़ है और सभी परीक्षण किए गए स्केल्स पर स्पार्स GP के लिए ~1.5× तेज़ है। यह गति वृद्धि पायथन और PyTorch डिस्पैच ओवरहेड को समाप्त करने के कारण है।
- Linux (CUDA): $N=2,048$ तक सटीक GP के लिए लाइटजीपी GPyTorch की तुलना में 2.3–6.7× तेज़ है। $N=4,096$ पर, GPyTorch अपने फ्यूज्ड ऑटोग्रेड पाइपलाइन के माध्यम से ओवरहेड को कम करके इस अंतर को पाट लेता है। स्पार्स GP के लिए, $N=10,000$ पर लाइटजीपी तेज़ है (1.7×), लेकिन पर्सिस्टेंट डिवाइस टेन्सर्स और कंपाइल्ड ग्रेडिएंट कम्प्यूटेशन के कारण $N=50,000$ पर GPyTorch जीत जाता है।
मैट्रिक्स-फ्री ऑपरेशंस: Apple M4 पर, फ्यूज्ड Metal मैट्रिक्स-फ्री कर्नल-वेक्टर प्रोडक्ट $N=20,000$ पर स्पष्ट CPU पाथ की तुलना में 32× स्पीडअप प्राप्त करता है और 16 GB मेमोरी पर $N=30,000$ के बाद एकमात्र व्यवहार्य विकल्प है। Linux पर, CUDA $N=10,000$ पर 259× तक का स्पीडअप प्राप्त करता है।
मेमोरी स्केलिंग: मैट्रिक्स-फ्री CG, स्पार्स VFE, और SKI $O(N)$ मेमोरी उपयोग बनाए रखते हैं। इसके विपरीत, सटीक चोलेस्की ( $O(N^2)$ ) Mac पर $N \approx 42,000$ –$45,000$ और Linux पर $N \approx 35,000$ पर 12 GB VRAM को समाप्त कर देता है।
सटीकता: CPU और GPU बैकएंड से भविष्यवाणियाँ मानक डेटासेट्स (Motorcycle, Mauna Loa, kin40k) के लिए मीन और वेरिएंस के लिए $10^{-5}$ के भीतर सहमत हैं।

महत्व

लाइटजीपी (LightGP) यह प्रदर्शित करता है कि नेटिव C++ GP इन्फरेंस शून्य बाहरी डिपेंडेंसी के साथ डीप-लर्निंग फ्रेमवर्क-आधारित लाइब्रेरीज़ के प्रदर्शन से मेल खा सकता है या उससे बेहतर हो सकता है। पायथन और डीप-लर्निंग फ्रेमवर्क्स के डिस्पैच ओवरहेड को हटाकर, लाइटजीपी निरंतर प्रदर्शन लाभ प्रदान करता है, विशेष रूप से Apple Silicon पर जहाँ AMX कोप्रोसेसर का सीधे लाभ उठाया जाता है। यह लाइब्रेरी $O(N)$ मेमोरी मैट्रिक्स-फ्री मेथड्स और FFT-एक्सेलेरेटेड SKI के माध्यम से उन स्केल्स ( $N > 100,000$ ) पर GP इन्फरेंस को सक्षम बनाती है जो पहले उपभोक्ता हार्डवेयर पर अव्यावहारिक थे।

यह पेपर एक महत्वपूर्ण हार्डवेयर अंतर्दृष्टि को उजागर करता है: Apple Silicon पर, CPU (Accelerate/AMX के माध्यम से) अक्सर डेंस लीनियर अलजेब्रा कार्यों जैसे चोलेस्की फैक्टराइजेशन के लिए GPU (Metal) से बेहतर होता है, एक सूक्ष्मता जिसे लाइटजीपी के ह्यूरिस्टिक्स स्वचालित रूप से प्रबंधित करते हैं। जबकि GPyTorch अपने परिपक्व ऑटोग्रेड और पर्सिस्टेंट टेन्सर इंफ्रास्ट्रक्चर के कारण बहुत बड़े स्केल्स ( $N \ge 50,000$ ) पर CUDA पर प्रतिस्पर्धी या श्रेष्ठ बना रहता है, लाइटजीपी एक पूर्ण डीप-लर्निंग स्टैक के बोझ के बिना हल्के, उच्च-प्रदर्शन और तैनात करने योग्य GP इन्फरेंस के लिए एक विशिष्ट स्थान (niche) भरता है।