🤖 machine learning

Don't Get Your Kroneckers in a Twist: Gaussian Processes on High-Dimensional Incomplete Grids

यह शोध पत्र CUTS-GPR प्रस्तुत करता है, जो एक नवीन विधि है जो एक योगात्मक कर्नेल (additive kernel) का लाभ उठाकर उच्च-आयामी अपूर्ण ग्रिडों के लिए संख्यात्मक रूप से सटीक, स्केलेबल गाऊसी प्रक्रिया प्रतिगमन (Gaussian process regression) को सक्षम बनाती है, जिससे डेटा आकार के साथ लगभग रैखिक स्केलिंग और आयामीता के साथ बहुपद स्केलिंग प्राप्त होती है, जिससे संभावित ऊर्जा सतहों (potential energy surfaces) जैसे जटिल प्रणालियों के बेयसियन मॉडलिंग को सुगम बनाया जा सके।

मूल लेखक: Mads Greisen Højlund, August Smart Lykke-Møller, Henry Moss, Ove Christiansen

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mads Greisen Højlund, August Smart Lykke-Møller, Henry Moss, Ove Christiansen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Don't Get Your Kroneckers in a Twist" पेपर का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: "बहुत सारे कमरे" वाली दुविधा

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं, लेकिन केवल तापमान और आर्द्रता को देखने के बजाय, आपको हज़ारों अलग-अलग चरों (variables) को ट्रैक करना है (जैसे हर सड़क के कोने पर हवा की गति, हर घन मीटर में बादलों का घनत्व, आदि)। विज्ञान की दुनिया में, इसे हाई-डायमेंशनल डेटा (high-dimensional data) कहा जाता है।

भविpredictions करने के मानक तरीके (जिन्हें गौसियन प्रोसेस रिग्रेशन (Gaussian Process Regression - GPR) कहा जाता है) एक शहर का विशाल, सटीक 3D मानचित्र बनाने की कोशिश करने जैसा है। यदि शहर में 10 सड़कें हैं, तो मानचित्र प्रबंधनीय है। लेकिन यदि शहर में 1,000 सड़कें हैं, तो मानचित्र इतना बड़ा हो जाएगा कि उसे बनाने में सुपरकंप्यूटर को दस लाख साल लग जाएंगे, और यह तुरंत अपनी मेमोरी खत्म कर देगा। इसे "डायमेंशनलिटी का अभिशाप" (curse of dimensionality) कहा जाता है।

वैज्ञानिकों को इन भविष्यवाणियों को सटीक रूप से करने के लिए एक ऐसे तरीके की आवश्यकता है जिससे उन्हें अनंत काल तक प्रतीक्षा न करनी पड़े या उन्हें ग्रह के आकार के कंप्यूटर की आवश्यकता न हो।

समाधान: CUTS-GPR ("कट-एंड-स्किप" विधि)

लेखक एक नई विधि पेश करते हैं जिसे CUTS-GPR कहा जाता है। यह कैसे काम करता है, इसे समझने के लिए, आइए एक विशाल, बहु-मंजिला पुस्तकालय के उदाहरण का उपयोग करें।

1. पुराना तरीका: हर किताब पढ़ना

एक पारंपरिक पुस्तकालय (एक "पूर्ण ग्रिड") में, यदि आप किताबों के बीच के संबंध को समझना चाहते हैं, तो आपको हर शेल्फ पर मौजूद हर एक किताब को पढ़ना होगा। यदि पुस्तकालय में 24 मंजिलें (dimensions) हैं और प्रति शेल्फ 10 किताबें हैं, तो कुल किताबों की संख्या $10^{24}$ होगी। यह पृथ्वी पर रेत के कणों की संख्या से भी अधिक है। आप उन सभी को पढ़ नहीं सकते।

2. नया तरीका: "कट" (Cut) रणनीति

लेखकों ने महसूस किया कि कई वैज्ञानिक समस्याओं में (जैसे कि अणु में परमाणुओं की गति की भविष्यवाणी करना), आपको हर किताब पढ़ने की आवश्यकता नहीं है। आपको केवल निम्नलिखित को पढ़ने की आवश्यकता है:

संदर्भ पुस्तक (Reference Book) (पुस्तकालय का केंद्र)।
एकल शेल्फ पर किताबें (1D कट्स)।
जहाँ दो शेल्फ आपस में क्रिया करते हैं (2D कट्स)।

वे इसे एक अपूर्ण ग्रिड (Incomplete Grid) कहते हैं। यह कहने जैसा है कि, "मैं केवल पहली मंजिल, दूसरी मंजिल और पहली और दूसरी मंजिल के संयोजनों की किताबें पढ़ूँगा। मैं 20वीं, 21वीं और 22वीं मंजिल की जटिल अंतःक्रियाओं को एक साथ अनदेखा कर दूँगा।"

यह आपको पढ़नी पड़ने वाली किताबों की संख्या को नाटकीय रूप से कम कर देता है। $10^{24}$ के बजाय, आपको शायद केवल कुछ मिलियन किताबें पढ़ने की आवश्यकता होगी।

3. जादुई ट्रिक: "क्रोनेकर" (Kronecker) शॉर्टकट

कम किताबें होने के बावजूद, उन्हें जोड़ने के लिए गणित अभी भी जटिल है। आमतौर पर, इन डेटा बिंदुओं को जोड़ने के लिए एक विशाल गणना की आवश्यकता होती है जिसे "मैट्रिक्स-वेक्टर प्रोडक्ट" कहा जाता है।

लेखकों ने एक चतुर गणितीय शॉर्टकट खोजा। कल्पना कीजिए कि पुस्तकालय एक विशेष लेगो (Lego) जैसी संरचना (जिसे क्रोनेकर प्रोडक्ट कहा जाता है) के साथ बनाया गया है।

सामान्यतः, पुस्तकालय के माध्यम से एक भारी बक्से को ले जाने के लिए, आपको उसे हर दरवाजे से धकेलना होगा।
उनके नए तरीके के साथ, उन्होंने महसूस किया कि क्योंकि उन्होंने केवल विशिष्ट "कट्स" (एकल मंजिल या जोड़ियों) को देखा, इसलिए दरवाजे इस तरह व्यवस्थित हैं कि वे उस बक्से को तुरंत स्लाइड कर सकते हैं।

वे इसे कर्नेल मैट्रिक्स-वेक्टर प्रोडक्ट (Kernel Matrix-Vector Product) कहते हैं। यह एक जादुई लिफ्ट की तरह है जो पुस्तकालय की विशाल संरचना के माध्यम से बिना रुके तेज़ी से ऊपर जा सकती है, भले ही पुस्तकालय बहुत बड़ा हो।

उन्होंने वास्तव में क्या किया (परिणाम)

पेपर का दावा है कि उन्होंने सफलतापूर्वक इस "जादुई लिफ्ट" का निर्माण किया और इसे दो प्रमुख तरीकों से परखा:

स्पीड टेस्ट (गति परीक्षण): उन्होंने अरबों डेटा बिंदुओं और हजारों आयामों (dimensions) के साथ बेंचमार्क चलाए।
- परिणाम: जैसे-जैसे उन्होंने अधिक डेटा जोड़ा, डेटा को प्रोसेस करने में लगने वाला समय बहुत धीरे-धीरे बढ़ा (लगतः रैखिक रूप से)। यह पुराने तरीकों की तरह तेजी से (exponentially) नहीं बढ़ा।
- उपमा: यदि पुराना तरीका एक ऐसे पहाड़ पर चढ़ने जैसा था जो हर कदम के साथ खड़ा होता जाता है, तो उनका तरीका एक हल्की ढलान पर चलने जैसा था।
केमिस्ट्री टेस्ट (रसायन विज्ञान परीक्षण): उन्होंने इसे पोटेंशियल एनर्जी सर्फेस (PES) पर लागू किया।
- यह क्या है? एक अणु की कल्पना एक जटिल, ऊबड़-खाबड़ परिदृश्य पर लुढ़कती एक बाउंस बॉल के रूप में करें। वैज्ञानिकों को यह जानने की आवश्यकता होती है कि गेंद बिल्कुल कैसे चलती है ताकि रासायनिक प्रतिक्रियाओं को समझा जा सके।
- सेटअप: उन्होंने 10 विभिन्न कार्बनिक अणुओं (organic molecules) का अध्ययन किया। प्रत्येक अणु में 24 आयाम थे (सोचिए 24 अलग-अलग तरीके जिनसे परमाणु हिल-डुल सकते हैं)।
- डेटा: उन्होंने 447,265 ट्रेनिंग पॉइंट्स (सीखने के लिए डेटा बिंदु) का उपयोग किया।
- परिणाम: वे केवल कुछ घंटों में इन 24-आयामी परिदृश्यों का एक सटीक मॉडल बनाने में सक्षम थे।
- तुलना: उन्होंने इसकी तुलना एक अन्य लोकप्रिय विधि (SVGP) से की। उनकी विधि अधिक सटीक थी (उन्होंने "ऊबड़-खाबड़ परिदृश्य" को बेहतर ढंग से अनुमानित किया) और गति में तेज़ या तुलनीय थी, भले ही उनकी विधि "सटीक" (exact) थी (कोई शॉर्टकट नहीं जिससे जानकारी का नुकसान हो), जबकि दूसरी विधि अनुमानों (approximations) का उपयोग करती थी।

मुख्य निष्कर्ष (The Bottom Line)

पेपर का दावा है कि उन्होंने कम्प्यूटेशनल केमिस्ट्री और मशीन लर्निंग की दशकों पुरानी समस्या को हल कर दिया है। डेटा के स्मार्ट सैंपलिंग ( "कट्स") को एक चतुर गणितीय ट्रिक ("क्रोनेकर" संरचना) के साथ जोड़कर, उन्होंने एक ऐसा उपकरण बनाया है जो हाई-डायमेंशनल समस्याओं को संभाल सकता है जिन्हें पहले सटीक रूप से हल करना असंभव था।

उन्होंने केवल एक छोटा सुधार नहीं किया; उन्होंने जटिल प्रणालियों के हजारों आयामों और अरबों डेटा बिंदुओं को कुछ घंटों में मॉडल करने का रास्ता खोल दिया है, जो पहले सदियों का काम लगता था।

संक्षेप में: उन्होंने एक लाख कमरों वाली भूलभुलैया में नेविगेट करने का तरीका ढूंढ लिया है, जिसमें वे केवल मुख्य गलियारों और चौराहों की जांच करते हैं, और एक विशेष मानचित्र का उपयोग करते हैं जो उन्हें महत्वपूर्ण स्थानों के बीच टेलीपोर्ट करने की अनुमति देता है।

तकनीकी सारांश: उच्च-आयामी गाऊसी प्रक्रिया प्रतिगमन (GPR) के लिए CUTS-GPR

समस्या विवरण
गाऊसी प्रक्रिया प्रतिगमन (GPR) जटिल डेटा के मॉडलिंग के लिए अनिश्चितता के परिमाणीकरण के साथ एक शक्तिशाली गैर-पैरामीट्रिक विधि है, जो विशेष रूप से उन वैज्ञानिक क्षेत्रों में मूल्यवान है जहाँ डेटा महंगा होता है और त्रुटि नियंत्रण महत्वपूर्ण होता है। हालाँकि, इसका व्यापक उपयोग इसकी अत्यधिक कम्प्यूटेशनल लागत के कारण बाधित है। पारंपरिक GPR कार्यान्वयन $N$ प्रशिक्षण बिंदुओं के लिए $O(N^3)$ संचालन और $O(N^2)$ स्टोरेज की आवश्यकता रखते हैं, जो बड़े डेटासेट के लिए अव्यवहार्य हो जाता है। यह समस्या उच्च-आयामी स्थानों (डेटा के आयामों का अभिशाप या "curse of dimensionality") में और भी बढ़ जाती है, जहाँ मॉडलिंग सटीकता बनाए रखने के लिए डेटा की आवश्यकता आयामों की संख्या $D$ के साथ तेजी से (exponentially) बढ़ती है। जबकि मौजूदा विधियाँ जैसे कि स्ट्रक्चर्ड GP मॉडल, निकट-रैखिक स्केलिंग के लिए क्रोनेकर संरचनाओं का लाभ उठाते हैं, वे पूर्ण कार्टेशियन उत्पाद ग्रिड पर निर्भर करते हैं, जो $D$ के साथ भी तेजी से बढ़ता है। इसके विपरीत, स्पार्स ग्रिड या इंड्यूसिंग-पॉइंट विधियाँ अक्सर सटीकता का त्याग करती हैं या $N$ और $D$ दोनों के साथ कुशलतापूर्वक स्केल करने में विफल रहती हैं।

कार्यप्रणाली: CUTS-GPR
लेखक CUTS-GPR (CUTs-आधारित गाऊसी प्रक्रिया प्रतिगमन) प्रस्तुत करते हैं, जो उच्च-आयामी सेटिंग्स में संख्यात्मक रूप से सटीक GPR करने के लिए डिज़ाइन किया गया है, जो दो प्रमुख घटकों को जोड़ता है: एडिटिव कर्नेल (additive kernels) और स्ट्रक्चर्ड इनकम्प्लीट ग्रिड (structured incomplete grids)।

इनकम्प्लीट ग्रिड (CUTS): एक पूर्ण ग्रिड के नमूने लेने के बजाय, यह विधि एक संदर्भ बिंदु और निम्न-आयामी उप-ग्रिडों या "कट्स" (cuts) के सेट द्वारा परिभाषित एक इनकम्प्लीट ग्रिड का उपयोग करती है। ग्रिड को एक मोड कॉम्बिनेशन रेंज (MCR) द्वारा परिभाषित किया जाता है जो सबसेट लेने के लिए बंद (Closed Under Taking Subsets - CUTS) है। इसका अर्थ है कि यदि आयामों का एक विशिष्ट संयोजन (मोड्स) ग्रिड में शामिल है, तो उसके सभी उपसमूह (subsets) भी शामिल हैं। एक अधिकतम कट स्तर $\alpha$ के लिए, प्रशिक्षण बिंदुओं $\hat{N}$ की संख्या $O(D^\alpha)$ के रूप में बहुपद (polynomially) रूप से स्केल करती है, न कि $O(D)$ के रूप में तेजी से।
एडिटिव कर्नेल (Additive Kernels): यह विधि एक एडिटिव कर्नेल का उपयोग करती है, जो एक अधिकतम क्रम $\omega$ (जहाँ $\omega = \alpha$ ) तक इंटरैक्शन टर्म्स को जोड़ती है। यह कर्नेल संरचना, CUTS ग्रिड के साथ मिलकर, एक ऐसा कर्नेल मैट्रिक्स बनाती है जिसे "छंटे हुए" (chopped) क्रोनेकर उत्पादों के योग के रूप में व्यक्त किया जा सकता है।
फास्ट मैट्रिक्स-वेक्टर प्रोडक्ट्स (MVP): मुख्य नवाचार एक एल्गोरिदम है जो $O(n^\alpha \hat{N})$ $O (n^{α} \hat{N})$ की कम्प्यूटेशनल जटिलता के साथ कर्नेल मैट्रिक्स-वेक्टर उत्पाद (MVPs) की गणना करता है, जहाँ $n$ $n$ प्रति आयाम ग्रिड बिंदु है। यह निम्नलिखित के माध्यम से प्राप्त किया जाता है:
- कर्नेल प्रतिनिधित्व के भीतर 'ऑल-वन्स' (all-ones) मैट्रिसेस को लोअर और अपर ट्राइएंगुलर घटकों में गुणनखंडित (factorize) करना।
- यह लाभ उठाना कि इंडेक्स सेट "घटमानों के लिए बंद" (Closed Under Decrements - CUD) है, जो यह अनुमति देता है कि "छँटाई" (missing grid points के संगत पंक्तियों/स्तंभों को हटाना) को पूर्ण, बिना गणना किए गए ग्रिड का संदर्भ दिए बिना कुशलतापूर्वक संभाला जा सके।
- MVP को छंटे हुए ट्राइएंगुलर फैक्टर्स और कोर इंटरैक्शन टर्म्स से जुड़े स्पार्स ऑपरेशंस के एक अनुक्रम में विघटित करना।
पुनरावृत्त सॉल्वर (Iterative Solver): क्योंकि यह विधि एक तेज़, सटीक MVP प्रदान करती है, यह GPR अनुमान और हाइपरपैरामीटर अनुकूलन के लिए आवश्यक रैखिक प्रणालियों (linear systems) को हल करने के लिए पुनरावृत्त संख्यात्मक तकनीकों (विशेष रूप से प्रीकंडीशनिंग के साथ कंजुगेट ग्रेडिएंट) के उपयोग को सक्षम बनाती है। यह प्रत्यक्ष मैट्रिक्स व्युत्क्रमण ( $O(N^3)$ ) की आवश्यकता को समाप्त करता है।

प्रमुख योगदान

स्ट्रक्चर्ड इनकम्प्लीट ग्रिड: उच्च-आयामी अनुप्रयोगों के लिए उपयुक्त इनकम्प्लीट ग्रिडों (CUTS) का एक विशिष्ट वर्ग, जो आयामों के साथ बहुपद रूप से स्केल करने वाले डेटा सैंपलिंग की अनुमति देता है।
सटीक स्केलेबल MVP: एक कर्नेल MVP का व्युत्पत्ति और कार्यान्वयन जो $N$ में निकट-रैखिक स्केलिंग (विशेष रूप से $O(\hat{N})$ ) और $D$ में कम-क्रम की बहुपद स्केलिंग (विशेष रूप से $O(D^\alpha)$ ) प्रदर्शित करता है। महत्वपूर्ण रूप से, यह कर्नेल मैट्रिक्स का अनुमान लगाए बिना किया जाता है।
उच्च-आयामी GPR: यह प्रदर्शन करना कि सैकड़ों हजार बिंदुओं और दर्जनों आयामों (जैसे, $N=447,265$ और $D=24$ ) वाले डेटासेट के लिए पूर्ण GPR गणना, हाइपरपैरामीटर अनुकूलन सहित, कुछ घंटों में की जा सकती है।

परिणाम
लेखकों ने सिंथेटिक डेटा पर CUTS-GPR का बेंचमार्किंग किया और इसे दस कार्बनिक अणुओं के लिए 24-आयामी पोटेंशियल एनर्जी सर्फेस (PESs) पर लागू किया।

स्केलेबिलिटी बेंचमार्क: अरबों डेटा बिंदुओं और हजारों आयामों के साथ अनुभवजन्य परीक्षणों ने सैद्धांतिक जटिलता की पुष्टि की। MVP के लिए CPU समय $O(D^{2.06})$ से $O(D^{4.29})$ तक स्केल हुआ, जो कट स्तर $\alpha$ के आधार पर $O(D^\alpha)$ स्केलिंग के करीब है।
PES अनुप्रयोग: 24-आयामी PES डेटासेट के लिए, हाइपरपैरामीटर अनुकूलन 1.6 से 3.6 घंटे (वॉल टाइम) में पूरा हो गया। 1.6 मिलियन से अधिक टेस्ट पॉइंट्स के लिए भविष्यवाणियां दो मिनट से भी कम समय में की गईं।
सटीकता तुलना: CUTS-GPR की तुलना ऑर्थोगोनल एडिटिव कर्नेल (OAK) का उपयोग करने वाले स्पार्स वेरिएशनल गाऊसी प्रोसेस (SVGP) से की गई। CUTS-GPR ने सभी एरर मेट्रिक्स (मैक्सिमम एब्सोल्यूट एरर, RMSE और MAE) में SVGP को पछाड़ दिया। सुधार विशेष रूप से मैक्सिमम एब्सोल्यूट एरर में महत्वपूर्ण था, जो बताता है कि SVGP स्मूथ टारगेट फंक्शन्स के बावजूद सबसे कठिन बिंदुओं को पकड़ने में संघर्ष करता है। SVGP ने इंड्यूसिंग पॉइंट्स बढ़ाने के साथ घटते रिटर्न दिखाए, जबकि CUTS-GPR सटीक अनुमान प्रदान करता है।

महत्व
यह पेपर दावा करता है कि CUTS-GPR उच्च-आयामी पोटेंशियल एनर्जी सर्फेस के बायेसियन मॉडलिंग को सक्षम बनाता है, जो कम्प्यूटेशनल केमिस्ट्री में एक लंबे समय से चली आ रही चुनौती है। सटीक अनिश्चितता मात्रा निर्धारण (uncertainty quantification) की आवश्यकता और उच्च-आयामी वैज्ञानिक डेटा की कम्प्यूटेशनल बाधाओं के बीच के अंतर को पाटकर, यह विधि उन सेटिंग्स में GPR के अनुप्रयोग की अनुमति देती है जो पहले आयामों के अभिशाप के कारण दुर्गम थे। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण सटीक अनुमान और स्केलेबल जटिलता के बीच के अंतर को पाटता है, जिससे विज्ञान और इंजीनियरिंग में वास्तव में उच्च-आयामी अनुप्रयोगों का मार्ग प्रशस्त होता है। यह विधि एक विशिष्ट डेटा संरचना (इनकम्प्लीट ग्रिड) पर निर्भर करती है, जिसे लेखक नोट करते हैं कि यह कई वैज्ञानिक सैंपलिंग समस्याओं (जैसे PES फिटिंग) के लिए एक स्वाभाविक विकल्प है जहाँ उपयोगकर्ता डेटा जनरेशन को नियंत्रित करता है।