🤖 machine learning

TorchKM: A GPU-Oriented Library for Kernel Learning and Model Selection

TorchKM एक ओपन-सोर्स, GPU-एक्सेलेरेटेड लाइब्रेरी है जिसमें scikit-learn-शैली का API है जो प्रतिस्पर्धी प्रेडिक्टिव परफॉरमेंस बनाए रखते हुए विभिन्न कर्नेल मशीनों के प्रशिक्षण और मॉडल चयन को महत्वपूर्ण रूप से तेज़ करता है।

मूल लेखक: Yikai Zhang, Gaoxiang Jia, Jie Ding, Boxiang Wang

प्रकाशित 2026-06-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yikai Zhang, Gaoxiang Jia, Jie Ding, Boxiang Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक परफेक्ट केक की रेसिपी खोजने की कोशिश कर रहे हैं। आपके पास एक बुनियादी बैटर (आपका डेटा) है, लेकिन आपको यह पता लगाने की जरूरत है कि स्वाद को सबसे अच्छा बनाने के लिए चीनी और मैदा कितनी मात्रा में उपयोग करना है (आपके "ट्यूनिंग पैरामीटर्स")।

मशीन लर्निंग की दुनिया में, इसे कर्नेल लर्निंग (Kernel Learning) कहा जाता है। यह चीजों की भविष्यवाणी करने का एक शक्तिशाली तरीका है, लेकिन इसमें एक बड़ी समस्या है: हर संभव रेसिपी को टेस्ट करना अविश्वसनीय रूप से धीमा और महंगा है।

यहाँ TorchKM पेपर का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।

1. समस्या: "ब्रूट फोर्स" किचन

परंपरागत रूप से, यदि आप सबसे अच्छी रेसिपी खोजना चाहते थे, तो आप:

चीनी की एक मात्रा चुनते।
केक बेक करते।
उसका स्वाद लेते।
चीनी की एक अलग मात्रा चुनते।
शुरुआत से एक नया केक बनाते।
और फिर उसे भी चखते।

यदि आपके पास टेस्ट करने के लिए 50 अलग-अलग चीनी की मात्राएं हैं और आप सुनिश्चित करना चाहते हैं कि आपकी रेसिपी विभिन्न समूहों के लिए काम करे (क्रॉस-वैलिडेशन), तो आपको सैकड़ों केक बनाने पड़ सकते हैं।

कंप्यूटर की भाषा में, यह वह है जो scikit-learn जैसी लाइब्रेरी करती हैं। वे "ट्रेनिंग" (बेक करना) और "ट्यूनिंग" (चीनी की सही मात्रा खोजना) को दो अलग-अलग चरणों के रूप में मानती हैं। आप बेक करते हैं, फिर रुक जाते हैं, सेटिंग्स बदलते हैं, और फिर से बेक करते हैं। बड़े डेटासेट के साथ यह बहुत अधिक समय लेता है।

2. पुराना "फास्ट" समाधान: ThunderSVM

एक पिछला टूल था जिसे ThunderSVM कहा जाता था, जिसने एक GPU (एक ग्राफिक्स कार्ड, जो आमतौर पर गेमिंग कंप्यूटर में पाया जाता है) का उपयोग करके इसे ठीक करने की कोशिश की।

उदाहरण: ThunderSVM एक सुपर-फास्ट शेफ की तरह है जो रिकॉर्ड समय में एक केक बेक कर सकता है।
कैच (दिक्कत): भले ही आपका शेफ बिजली की तरह तेज हो, लेकिन अगर आपको अभी भी एक-एक करके 500 अलग-अलग केक बेक करने हैं, तो आप फिर भी घंटों तक किचन में रहेंगे। "एक बार में एक केक बेक करने वाला" हिस्सा ही मुख्य बाधा (bottleneck) है।

3. नया समाधान: TorchKM

इस पेपर के लेखकों ने TorchKM बनाया। उन्होंने केवल एक तेज़ शेफ नहीं रखा; उन्होंने पूरे किचन के वर्कफ़्लो को ही नया रूप दे दिया।

मुख्य विचार: "एक बड़ा बैच, न कि 500 छोटे केक"
500 अलग-अलग रेसिपी टेस्ट करने के लिए 500 अलग-अलग केक बेक करने के बजाय, TorchKM एक चालाक गणितीय ट्रिक का उपयोग करता है ताकि एक विशाल केक बनाया जा सके जिसमें वह सारी जानकारी हो जिसकी आपको आवश्यकता है।

"एक्जैक्ट क्रॉस-वैलिडेशन" ट्रिक:
कल्पना कीजिए कि आपके पास एक विशाल केक है। 500 अलग-अलग टुकड़ों में काटकर उन्हें अलग-अलग बेक करने के बजाय, आप एक विशेष चाकू का उपयोग करते हैं जो आपको बिना वास्तव में ओवन से बाहर निकाले एक टुकड़े को "दिखावा करने" (pretend) की अनुमति देता है। आप गणितीय रूप से गणना कर सकते हैं कि वह गायब टुकड़ा कैसा स्वाद देगा, बिना नया केक बेके। इसका मतलब है कि आपको हर टेस्ट के लिए पूरा केक दोबारा बेक करने की आवश्यकता नहीं है।
"स्पेक्ट्रल एल्गोरिदम" ट्रिक:
यह शुरुआत में सारा भारी काम (जैसे सभी सब्जियों को काटना) एक ही बार करने जैसा है। एक बार जब आप यह कठिन काम कर लेते हैं, तो रेसिपी बदलना (चीनी की मात्रा बदलना) केवल एक त्वरित स्टिर (एक सरल गणितीय ऑपरेशन) की आवश्यकता रखता है, न कि सब कुछ फिर से काटने की।

4. यह क्यों एक बड़ी बात है

पेपर का दावा है कि इन दोनों ट्रिक्स को GPU की शक्ति के साथ जोड़कर, TorchKM पुराने तरीकों की तुलना में कई गुना (orders of magnitude) तेज़ है।

परिणाम: उनके परीक्षणों में, जबकि पुराने कंप्यूटर को एक कार्य पूरा करने में 8 घंटे से अधिक का समय लगा, TorchKM ने इसे 2 मिनट में कर दिया।
गुणवत्ता: यह सिर्फ तेज़ ही नहीं है; यह सटीक भी है। यह अनुमान या अंदाज़ा नहीं लगाता; यह बिल्कुल वही सटीक उत्तर पाता है जो धीमी विधियों से मिलता है, बस बहुत तेज़ी से।

5. आप इसके साथ क्या कर सकते हैं?

TorchKM डेटा वैज्ञानिकों के लिए एक टूलबॉक्स है। यह कई प्रकार की "रेसिपी" (एल्गोरिदम) को संभालता है:

SVMs: वर्गीकरण (classification) के लिए मानक वर्कहॉर्स।
लॉजिस्टिक्स रिग्रेशन (Logistic Regression): संभावनाओं (probabilities) की भविष्यवाणी करने के लिए।
क्वांटाइल रिग्रेशन (Quantile Regression): डेटा के रेंज या विशिष्ट बिंदुओं की भविष्यवाणी करने के लिए।
DWD: जटिल डेटा आकृतियों को संभालने का एक तरीका।

इसमें एक "यूजर मैनुअल" भी है जो लोकप्रिय scikit-learn लाइब्रेरी के समान दिखता है, इसलिए यदि आप जानते हैं कि इसका उपयोग कैसे करना है, तो आप इसे तुरंत उपयोग कर सकते हैं। यह आपको Platt Scaling नामक विधि का उपयोग करके संभावना अनुमान (जैसे "बारिश होने की 80% संभावना है") प्राप्त करने की अनुमति भी देता है, जिसे पेपर बहुत विश्वसनीय बताता है।

सारांश

TorchKM को एक क्रांतिकारी किचन अप्लायंस के रूप में सोचें।

पुराना तरीका: एक-एक करके 500 केक बेक करें। (धीमा)
ThunderSVM: एक-एक करके 500 केक बेक करें, लेकिन एक सुपर-फास्ट ओवन के साथ। (तेज़, लेकिन फिर भी धीमा)
TorchKM: एक विशाल केक बेक करें जो गणितीय रूप से तुरंत सभी 500 परिदृश्यों का अनुकरण (simulate) करता है। (अत्यधिक तेज़)

पेपर निष्कर्ष निकालता है कि यह "एल्गोरिदम-हार्डवेयर को-डिज़ाइन" (कंप्यूटर चिप के लिए विशेष रूप से गणित को बनाना) हमें बड़े डेटासेट पर इन शक्तिशाली मशीन लर्निंग टूल्स का उपयोग करने की अनुमति देता है, बिना परिणामों के लिए दिनों तक प्रतीक्षा किए।

TorchKM का तकनीकी सारांश: कर्नेल लर्निंग और मॉडल चयन के लिए एक GPU-उन्मुख लाइब्रेरी

समस्या विवरण
कर्नेल मशीनें, जिनमें सपोर्ट वेक्टर मशीन (SVM), कर्नेल लॉजिस्टिक रिग्रेशन और कर्नेल क्वांटाइल रिग्रेशन शामिल हैं, मौलिक एल्गोरिदम हैं जो अपने मजबूत भविष्य कहनेवाला प्रदर्शन (predictive performance) और कठोर सैद्धांतिक आधारों के लिए जानी जाती हैं। हालांकि, आधुनिक अभ्यास में उनका उपयोग अक्सर उच्च कम्प्यूटेशनल लागत, विशेष रूप से मॉडल चयन चरण के दौरान, द्वारा सीमित होता है। पारंपरिक वर्कफ़्लो प्रशिक्षण (training) और मॉडल चयन (जैसे क्रॉस-वैलिडेशन के माध्यम से हाइपरपैरामीटर ट्यूनिंग) को अलग-अलग चरणों के रूप में देखते हैं। यह ट्यूनिंग मापदंडों और क्रॉस-वैलिडेशन फोल्ड्स के एक ग्रिड के माध्यम से बार-बार मॉडल फिटिंग की आवश्यकता पैदा करता है। कर्नेल विधियों के लिए, जिनमें $O(n^3)$ जटिलता वाले रैखिक सिस्टम (linear systems) को हल करना शामिल है, यह बार-बार होने वाली रिफिटिंग एक निषेधात्मक कम्प्यूटेशनल बाधा उत्पन्न करती है। जबकि ग्राफिक्स प्रोसेसिंग यूनिट्स (GPUs) के माध्यम से हार्डवेयर त्वरण (जैसे ThunderSVM) का पता लगाया गया है, मौजूदा CPU सॉल्वर को सीधे GPU पर पोर्ट करने से केवल मामूली सुधार ही प्राप्त होते हैं क्योंकि ट्यूनिंग मापदंडों और फोल्ड्स के बीच बार-बार होने वाली मैट्रिक्स ऑपरेशन्स अभी भी कम्प्यूटेशनल लागत पर हावी रहती हैं।

कार्यप्रणाली
TorchKM इस "एल्गोरिदम-हार्डवेयर को-डिज़ाइन" दृष्टिकोण के माध्यम से इन सीमाओं को संबोधित करता है। एक CPU सॉल्वर को सीधे GPU पर पोर्ट करने के बजाय, लाइब्रेरी को GPU-अनुकूल लीनियर अलजेब्रा का लाभ उठाने के लिए शून्य से बनाया गया है। मुख्य कार्यप्रणाली दो प्रमुख एल्गोरिदम नवाचारों पर निर्भर करती है जो बिना किसी सन्निकटन (approximation) के प्रशिक्षण और ट्यूनिंग पाइपलाइन के सटीक समाधान की अनुमति देती हैं:

सटीक क्रॉस-वैलिडेशन फॉर्मूला: प्रत्येक क्रॉस-वैलिडेशन फोल्ड के लिए मॉडलों को पुन: प्रशिक्षित करने के खर्च से बचने के लिए, TorchKM एक ऐसे पुनर्गठन का उपयोग करता है जहाँ कर्नेल मैट्रिक्स अपरिवर्तित रहता है। रिफिटिंग करने के बजाय, यह विधि प्रत्येक फोल्ड के लिए रिस्पॉन्स वेक्टर को संशोधित करती है। यह एक ही कर्नेल मैट्रिक्स और उसके संबद्ध अपघटन (decompositions) के पुन: उपयोग की अनुमति देता है, जिससे क्रॉस-वैलिडेशन का ओवरहेड काफी कम हो जाता है।
स्पेक्ट्रल एल्गोरिदम: रेगुलराइजेशन मापदंडों (सॉल्यूशन पाथ) की ट्यूनिंग को संभालने के लिए, TorchKM एक स्पेक्ट्रल दृष्टिकोण अपनाता है। यह कर्नेल मैट्रिक्स का एक एकल आइजनडिकम्पोजिशन ( $K = U\Lambda U^\top$ ) कंप्यूट करता है। विभिन्न ट्यूनिंग मापदंडों के लिए बाद के अपडेट्स मैट्रिक्स-वेक्टर गुणन ( $O(n^2)$ ) के माध्यम से किए जाते हैं, न कि बार-बार होने वाले मैट्रिक्स इन्वर्जन ( $O(n^3)$ ) के माध्यम से। यह संरचना स्वाभाविक रूप से समानांतर (parallelizable) है और GPU आर्किटेक्चर के लिए उपयुक्त है।

इन एल्गोरिदम को एक एकीकृत पाइपलाइन में एकीकृत किया गया है जो "scikit-learn-शैली" का API समर्थन करता है। लाइब्रेरी विभिन्न विधियों का समर्थन करती है जिनमें SVM, डिस्टेंस-वेटेड डिस्क्रिमिनेशन (DWD), कर्नेल लॉजिस्टिक रिग्रेशन और कर्नेल क्वांटाइल रिग्रेशन शामिल हैं। यह बड़े पैमाने के डेटासेट के लिए Nyström सन्निकटन भी प्रदान करता है जहाँ सटीक समाधान असंभव है, और इसमें संभाव्यता अंशांकन (probability calibration) के लिए Platt स्केलिंग शामिल है।

प्रमुख योगदान

एकीकृत पाइपलाइन: उन लाइब्रेरीओं के विपरीत जो प्रशिक्षण और ट्यूनिंग को अलग करती हैं, TorchKM दोनों प्रक्रियाओं को एक ही एल्गोरिदम चरण में एकीकृत करता है, जिससे बार-बार होने वाली बाहरी रिफिटिंग की आवश्यकता समाप्त हो जाती है।
सटीक समाधान: लाइब्रेरी पूर्ण प्रशिक्षण-और-ट्यूनिंग पाइपलाइन के लिए सटीक समाधान (न कि सन्निकटन) प्रदान करती है, जो इसे गति के लिए ह्यूरिस्टिक सन्निकटन पर निर्भर विधियों से अलग करती है।
व्यापक विधि समर्थन: SVM के अलावा, लाइब्रेरी कर्नेल लॉजिस्टिक रिग्रेशन, कर्रल क्वांटाइल रिग्रेशन और DWD को लागू करती है, जो सभी एक सुसंगत API साझा करते हैं।
ओपन-सोर्स कार्यान्वयन: लाइब्रेरी MIT लाइसेंस के तहत जारी की गई है, PyPI और GitHub के माध्यम से उपलब्ध है, और इसमें व्यापक दस्तावेज़, ट्यूटोरियल और बेंचमार्क शामिल हैं।

परिणाम
पेपर में प्रस्तुत बेंचमार्क दर्शाते हैं कि TorchKM मानक बेसलाइनों की तुलना में पर्याप्त गति वृद्धि के साथ प्रतिस्पर्धी भविष्य कहनेवाला प्रदर्शन प्राप्त करता है:

scikit-learn के साथ तुलना: TorchKM CPU-आधारित कार्यान्वयन की तुलना में काफी बेहतर प्रदर्शन करता है। $n=20,000$ नमूनों और $p=1,000$ फीचर्स वाले एक परिदृश्य में, scikit-learn 8 घंटे की सीमा के भीतर प्रशिक्षण-और-ट्यूनिंग कार्य पूरा करने में विफल रहा, जबकि TorchKM ने कार्य को 129.3 सेकंड में पूरा किया।
ThunderSVM के साथ तुलना: जबकि ThunderSVM GPU पर सिंगल-मॉडल फिटिंग को तेज करता है, TorchKM पूरे ट्यूनिंग पाइपलाइन को तेज करके प्रदर्शन में और सुधार करता है। उसी $n=20,000, p=1,000$ सेटिंग में, TorchKM (129.3s) ThunderSVM (580.8s) से तेज़ था।
स्केलेबिलिटी: पेपर नोट करता है कि $n=10,000$ के लिए, TorchKM मानक CPU कार्यान्वयन की तुलना में दो से अधिक ऑर्डर ऑफ मैग्नीट्यूड तेज़ है और उन मानक GPU कार्यान्वयनों की तुलना में लगभग दो ऑर्डर ऑफ मैग्नीट्यूड तेज़ है जो एकीकृत स्पेक्ट्रल और क्रॉस-वैलिडेशन रणनीतियों का उपयोग नहीं करते हैं।
कैलिब्रेशन: लाइब्रेरी अच्छी तरह से अंशांकित (calibrated) संभाव्यता अनुमान उत्पन्न करती है, जिसमें परीक्षण किए गए परिदृश्यों में 0.044 का एक्सपेक्टेड कैलिब्रेशन एरर (ECE) और 0.130 का ब्रायर स्कोर (Brier score) है।

महत्व
पेपर का तर्क है कि कर्नेल मशीनों के व्यापक उपयोग में प्राथमिक बाधा हाइपरपैरामीटर ट्यूनिंग की कम्प्यूटेशनल लागत है। एल्गोरिदम को फिर से डिज़ाइन करके ताकि क्यूबिक-कॉस्ट के बोझ को मैट्रिक्स-वेक्टर ऑपरेशन्स में बदला जा सके जो GPU समानांतरता (parallelism) का लाभ उठाते हैं, TorchKM पूरे प्रशिक्षण-और-ट्यूनिंग पाइपलाइन को बड़े पैमाने के संरचित डेटा के लिए व्यवहार्य बनाता है। लेखक तर्क देते हैं कि यह दृष्टिकोण कर्नेल विधियों को उनके पूर्ण भविष्य कहनेवाला क्षमता प्राप्त करने में सक्षम बनाता है, जिससे गहन मॉडल चयन संभव होता है जो पहले कम्प्यूटेशनल रूप से निषेधाध्य (prohibitive) था। यह लाइब्रेरी एल्गोरिदम नवाचार और हार्डवेयर त्वरण के तालमेल के माध्यम से आधुनिक डेटासेट के लिए सटीक कर्नेल लर्निंग को व्यावहारिक बनाने की दिशा में एक कदम है।