gp2Scale: A Class of Compactly Supported Non-Stationary Kernels and Distributed Computing for Exact Gaussian Processes on 10 Million Data Points

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने, किसी घर की कीमत बताने या किसी रोबोट के पथ का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन आपके पास डेटा का एक विशाल भंडार है—लाखों बिंदु। डेटा साइंस की दुनिया में, एक शक्तिशाली उपकरण है जिसे गौसियन प्रोसेस (Gaussian Process - GP) कहा जाता है। एक GP को एक अत्यंत स्मार्ट, लचीली रबर की चादर के रूप में सोचें। आप इस चादर को उन विशिष्ट बिंदुओं पर दबाते हैं जहाँ आपके पास वास्तविक डेटा (जैसे तापमान रीडिंग या घरों की कीमतें) होता है, और चादर उन बिंदुओं के साथ पूरी तरह से फिट होने के लिए खिंचती और मुड़ती है। क्योंकि यह एक "संभाव्यता आधारित" (probabilistic) उपकरण है, यह केवल एक संख्या का अनुमान नहीं लगाता; यह डेटा के चारों ओर संभावित आकृतियों का एक बादल बनाता है, जिससे आपको न केवल यह पता चलता है कि उत्तर क्या है, बल्कि यह भी कि वह उत्तर कितना निश्चित है। यह "अनिश्चितता" वैज्ञानिकों के लिए बड़े निर्णय लेने, जैसे कि नई दवा डिजाइन करने या जलवायु परिवर्तन की भविष्यवाणी करने के लिए अत्यंत महत्वपूर्ण है।

हालाँकि, इसमें एक पेंच है। लंबे समय तक, इस रबर शीट टूल के साथ एक बड़ी समस्या रही है कि यह अविश्वसनीय रूप से धीमा और मेमोरी-खपत वाला रहा है। यदि आपके पास कुछ हज़ार डेटा बिंदु हैं, तो यह बहुत अच्छा काम करता है। लेकिन यदि आप इसे लाखों बिंदुओं पर फैलाने की कोशिश करते हैं, तो गणित अनियंत्रित हो जाता है। इसे ठीक करने के लिए, अधिकांश वैज्ञानिक "अनुमान" (approximations) का उपयोग करने के लिए मजबूर हुए हैं—बेसिकली, वे रबर शीट के एक सस्ते, कम सटीक संस्करण का उपयोग करते हैं जो समय बचाने के लिए कुछ बारीक विवरणों को अनदेखा कर देता है। लेकिन इसका मतलब है उस चीज़ को खो देना जिसके लिए यह टूल विशेष है: इसकी पूर्णतः सटीक और अत्यधिक अनुकूलन योग्य होने की क्षमता।

यहीं पर एक नया अध्ययन आता है, जो इस मूल, पूर्ण रबर शीट को बिना बजट बिगाड़े विशाल डेटासेट पर चलाने का एक तरीका प्रस्तावित करता है। शोधकर्ताओं ने, मार्कस एम. नोक और उनके सहयोगियों के नेतृत्व में, एक विधि पेश की है जिसे वे gp2Scale कहते हैं। उनका बड़ा विचार यह है कि समस्या डेटा स्वयं नहीं है, बल्कि वे "नियम" हैं जिनका उपयोग हम रबर शीट को खींचने के लिए करते हैं। पारंपरिक रूप से, ये नियम मानते हैं कि प्रत्येक बिंदु दूसरे प्रत्येक बिंदु से जुड़ा हुआ है, जिससे गणित का एक घना (dense), भारी जाल बनता है। टीम ने महसूस किया कि यदि वे नियमों को "गैर-स्थिर" (non-stationary) और "कॉम्पैक्टली सपोर्टेड" (compactly supported) में बदल देते हैं, तो वह विशाल जाल अचानक एक विरल (sparse), हल्के ढांचे में बदल जाता है। यहाँ महत्वपूर्ण बात यह है कि यह विरलता (sparsity) डेटा-संचालित है, जो विशिष्ट डेटा समूहों के बीच दूर के संबंधों (far-field correlations) को भी बनाए रखने में सक्षम है।

इन नए, लचीले नियमों का उपयोग करके, शोधकर्ता 10 मिलियन (1 करोड़) डेटा बिंदुओं पर एक सटीक गौसियन प्रोसेस चलाने में सक्षम रहे। उन्होंने शॉर्टकट या अनुमानों का उपयोग करके धोखाधड़ी नहीं की; उन्होंने बस गणित को इतना स्मार्ट बनाया कि वह समझ सके कि अधिकांश कनेक्शनों की गणना करने की आवश्यकता नहीं है। उन्होंने 1D लहरदार रेखाओं से लेकर पूरे संयुक्त राज्य अमेरिका में 3D तापमान मानचित्रों तक सब कुछ पर इसका परीक्षण किया। परिणाम दिखाते हैं कि जबकि उनकी विधि में अन्य तरीकों की तुलना में अधिक कंप्यूटिंग पावर लगती है, यह बहुत बेहतर सटीकता प्रदान करती है और किसी भी विशिष्ट समस्या के लिए अनुकूलित होने की क्षमता बनाए रखती है। यह एक स्केच से हाई-डेफिनिशन फोटोग्राफ में अपग्रेड करने जैसा है: इसे प्रोसेस करने में अधिक समय लगता है, लेकिन विवरण वास्तविक होते हैं, और आपको छाया में क्या है इसका अनुमान लगाने की ज़रूरत नहीं होती।

मुख्य समस्या: "घना" (Dense) जाल

यह समझने के लिए कि यह कितनी बड़ी बात है, एक छोटे शहर के मित्रता नेटवर्क को मैप करने की कल्पना करें। यदि हर कोई एक-दूसरे को जानता है, तो आपको लोगों के प्रत्येक जोड़े के बीच एक रेखा खींचनी होगी। यदि शहर में 100 लोग हैं, तो यह प्रबंधनीय है। लेकिन यदि शहर में 1 करोड़ लोग हैं, और हर कोई हर किसी से जुड़ा हुआ है, तो आपको 100 ट्रिलियन रेखाएं खींचनी होंगी। पारंपरिक गौसियन प्रोसेस यही करते हैं: वे मानते हैं कि प्रत्येक डेटा बिंदु दूसरे प्रत्येक बिंदु से जुड़ा हुआ है, जिससे संख्याओं का एक "घना" मैट्रिक्स बनता है जो कंप्यूटर द्वारा संभालने के लिए बहुत भारी होता है।

वर्षों से, समाधान यह था कि, "ठीक है, मान लेते हैं कि कुछ लोग एक-दूसरे को नहीं जानते," या "आइए कुछ प्रतिनिधि लोगों को पूरे समूह के स्थान पर खड़ा कर दें।" ये वे अनुमान विधियाँ (approximation methods) हैं (जैसे SVGP, Vecaccia, या SKI) जिनके विरुद्ध इस पेपर की तुलना की गई है। ये तेज़ काम करती हैं, लेकिन ये एक धुंधली खिड़की से फोटो देखने जैसी हैं; आपको सामान्य विचार मिल जाता है, लेकिन आप तीखे किनारे और बारीक विवरण खो देते हैं। इससे भी बदतर है कि वे अक्सर आपको विशिष्ट, कठोर प्रकार के नियमों (kernels) का उपयोग करने के लिए मजबूर करते हैं जो शायद आपकी विशिष्ट समस्या के अनुकूल न हों।

gp2Scale समाधान: "स्मार्ट मास्क"

इस पेपर के लेखक, gp2Scale, तर्क देते हैं कि "घना" जाल बुरे नियमों द्वारा बनाया गया एक भ्रम है। वे कर्नेल (kernels) (वे गणितीय नियम जो यह परिभाषित करते हैं कि रबर शीट कैसे खिंचती है) की एक नई श्रेणी का प्रस्ताव करते हैं। उनका गुप्त मंत्र एक "गैर-स्थिर, कॉम्पैक्टली सपोर्टेड" कर्नेल है।

आइए एक उपमा का उपयोग करें: कल्पना कीजिए कि आप एक विशाल भित्ति चित्र (mural) पेंट कर रहे हैं।

• पुरानी विधि: आप मानते हैं कि ब्रश का हर स्ट्रोक दीवार के हर दूसरे हिस्से को प्रभावित करता है। पूरी पेंटिंग करने के लिए, आपको हर एक वर्ग इंच के मुकाबले हर दूसरे वर्ग इंच के लिए रंग मिलाना होगा। यह असंभव है।
• अनुमान विधि (Approximation Method): आप तय करते हैं कि आप केवल कुछ प्रमुख स्थानों को पेंट करेंगे और बाकी का अनुमान लगाएंगे। यह तेज़ है, लेकिन पेंटिंग धुंधली दिखती है।
• gp2Scale विधि: आप एक "स्मार्ट मास्क" का उपयोग करते हैं जो गणना के जाल को बहुत हल्का बना देता है। यह मास्क सुनिश्चित करता कि कनेक्शनों का ढांचा डेटा-संचालित और विरल (sparse) हो, जिससे यह विशिष्ट डेटा समूहों के बीच के दूर के संबंधों को भी सुरक्षित रखते हुए अनावश्यक गणनाओं के बोझ को कम कर सके।

पेपर में इन "मास्क" के कई प्रकार पेश किए गए हैं, जिनमें वेंडलैंड कर्नेल (Wendland kernels) (जो एक दूरी-आधारित कटऑफ के रूप में कार्य करते हैं) और बम्प-फंक्शन कर्नेल (Bump-function kernels) (जो कनेक्शनों के लिए ऑन/ऑफ स्विच के रूप में कार्य करते हैं) शामिल हैं। ये मास्क कंप्यूटर को अनावश्यक गणनाओं के विशाल बहुमत को अनदेखा करने की अनुमति देते हैं, जिससे एक ऐसी समस्या जो अनंत काल ले सकती थी, उसे हजारों कंप्यूटरों के बीच काम को विभाजित करके हल करने योग्य बना दिया जाता है।

प्रयोग: लहरदार रेखाओं से लेकर 10 मिलियन बिंदुओं तक

टीम ने केवल गणित नहीं किया; उन्होंने इसे वास्तविक दुनिया के परिदृश्यों पर परखा ताकि देखा जा सके कि यह कितना टिकता है।

1. 1D लहरदार रेखा (The 1D Wiggly Line): उन्होंने एक सरल, जटिल तरंग के साथ शुरुआत की। उन्होंने पाया कि "अनुमान" वाली विधियों ने तीखे, लहरदार विवरणों को सुस्त कर दिया, जिससे वक्र बहुत गोल दिखने लगा। हालाँकि, gp2Scale ने तीखे किनारों को पूरी तरह से बरकरार रखा, जो लगभग सटीक रूप से "ग्राउंड ट्रुथ" से मेल खाता है।
2. यूएस टोपोग्राफी (US Topography): उन्होंने 20,000 बिंदुओं का उपयोग करके अमेरिकी भूभाग की ऊंचाई का मानचित्र बनाया। चूंकि परिदृश्य (पहाड़ों बनाम मैदानी इलाकों के कारण) जंगली रूप से बदलता है, इसलिए डेटा "गैर-स्थिर" है। मानक विधियों को संघर्ष करना पड़ा, लेकिन gp2Scale ने इलाके के अनुसार अपने नियमों को अनुकूलित किया, जिससे सबसे सटीक मानचित्र प्राप्त हुआ जिसमें त्रुटि सबसे कम थी।
3. कैलिफोर्निया हाउसिंग (California Housing): उन्होंने 8-आयामी स्थान में घर की कीमतों की भविष्यवाणी करने की कोशिश की। यहाँ, डेटा विरल (sparse) था (पैटर्न ढूंढना कठिन था)। इस मामले में भी, gp2Scale ने अन्य विधियों (जैसे Vecchia) की तुलना में बेहतर प्रदर्शन किया, जिससे यह साबित हुआ कि यह जटिल और विरल डेटा संरचनाओं को संभालने में भी सक्षम है। यह एक महत्वपूर्ण सूक्ष्मता है: लेखक स्पष्ट करते हैं कि उनकी विधि जटिल डेटा सेट में भी अपनी श्रेष्ठता बनाए रखती है।
4. MNIST डिजिट्स (MNIST Digits): उन्होंने एक प्रसिद्ध छवि पहचान कार्य (हाथ से लिखे नंबरों की पहचान करने) को एक रिग्रेशन समस्या में बदल दिया। gp2Scale ने 28x28 पिक्सेल ग्रिड को बिना किसी परेशानी के संभाला, जबकि अन्य विधियों को या तो विफल होना पड़ा या बहुत अधिक बदलाव की आवश्यकता पड़ी।
5. 10 मिलियन पॉइंट चैलेंज (The 10 Million Point Challenge): ग्रैंड फिनाले। उन्होंने पूरे अमेरिका से 10 मिलियन (1 करोड़) तापमान रीडिंग ली। इसे करने के लिए, उन्होंने 1,024 A100 GPUs (एक विशाल सुपरकंप्यूटर सेटअप) का उपयोग किया। उन्होंने मॉडल को लगभग 100 इटरेशन के लिए चलाया। परिणाम? उन्होंने अपने सबसे करीबी प्रतिद्वंद्वी (Vecchia) को भी पीछे छोड़ दिया, यह साबित करते हुए कि एक सटीक गौसियन प्रोसेस वास्तव में लाखों बिंदुओं तक स्केल कर सकता है। उन्होंने नोट किया कि शून्य से एक पूर्ण रन लेने में लगभग एक सप्ताह लगेगा, जो आज के बड़े AI मॉडल को प्रशिक्षित करने के बराबर है।

निष्कर्ष: सटीकता बनाम गति

पेपर एक स्पष्ट अंतर स्पष्ट करता है: gp2Scale सबसे तेज़ विधि बनने की कोशिश नहीं कर रहा है। यदि आपके पास सीमित कंप्यूटर शक्ति है और आपको बस एक त्वरित, "काफी अच्छी" उत्तर की आवश्यकता है, तो पुरानी अनुमान विधियाँ अभी भी आपके लिए सबसे अच्छा विकल्प हैं।

हालाँकि, gp2Scale उन स्थितियों के लिए खेल बदल देता है जहाँ सटीकता और लचीलापन गैर-परक्राम्य (non-negotiable) हैं। यदि आप जलवायु परिवर्तन का मॉडल बना रहे हैं, एक नई सामग्री डिजाइन कर रहे हैं, या एक स्वायत्त प्रयोग चला रहे हैं जहाँ गलत अनुमान खतरनाक हो सकता है, तो आप अनुमान के "धुंधलेपन" को बर्दाश्त नहीं कर सकते। आपको हाई-डेफिनिशन दृश्य की आवश्यकता है।

लेखक निष्कर्ष निकालते हैं कि इन नए, लचीले कर्नेल का उपयोग करके, हम अंततः विशाल डेटासेट पर "सटीक" गौसियन प्रोसेस चला सकते हैं। हमें मॉडल को अनुकूलित करने की क्षमता या अनिश्चितता अनुमानों की सटीकता को छोड़ने की आवश्यकता नहीं है। ट्रेड-ऑफ केवल यह है कि आपको अधिक कंप्यूटिंग पावर की आवश्यकता है। लेकिन जैसा कि पेपर सुझाव देता है, शक्तिशाली सुपरकंप्यूटर और GPU के उदय के साथ, यह ट्रेड-ऑफ एक ऐसा है जिसे हम अब वहन कर सकते हैं।

संक्षेप में, gp2Scale साबित करता है कि सटीक गौसियन प्रोसेस का "असंभव" गणित वास्तव में असंभव नहीं है; इसे बस डेटा को देखने के एक स्मार्ट तरीके की आवश्यकता थी। यह महसूस करके कि प्रत्येक बिंदु को दूसरे प्रत्येक बिंदु से बात करने की आवश्यकता नहीं है, उन्होंने 10-मिलियन-पॉइंट वाले राक्षस को एक प्रबंधनीय, अत्यधिक सटीक उपकरण में बदल दिया जो विज्ञान के भविष्य के लिए तैयार है।