📊 statistics

Taking the GP Out of the Loop

यह शोध पत्र एपिस्टेमिक नियरेस्ट नेबर्स (ENN) को प्रस्तुत करता है, जो एक हल्का सरोगेट मॉडल है जो बेयसियन ऑप्टिमाइज़ेशन में गॉसियन प्रोसेस को प्रतिस्थापित करता है ताकि फिटिंग और एक्विज़िशन दोनों के लिए रैखिक $\mathcal{O}(N)$ स्केलिंग प्राप्त की जा सके, जिससे 50,000 अवलोकनों तक के परिदृश्यों में प्रस्ताव समय को एक से दो क्रम (ऑर्डर) कम किया जा सके।

मूल लेखक: Mehul Bafna, Siddhant anand Jadhav, David Sweet

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mehul Bafna, Siddhant anand Jadhav, David Sweet

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप केक की सबसे अच्छी रेसिपी खोजने की कोशिश कर रहे हैं, लेकिन आपके पास कोई कुकबुक नहीं है। आपको केक बनाने होंगे, उन्हें चखना होगा और परिणामों से सीखना होगा। बेयसियन ऑप्टिमाइज़ेशन (Bayesian Optimization - BO) यही करता है: यह एक स्मार्ट सर्च एल्गोरिदम है जो अलग-अलग विकल्पों को आज़माकर और उनके परिणामों से सीखकर "सर्वश्रेष्ठ" समाधान (जैसे कि एक परफेक्ट केक) खोजने की कोशिश करता है।

समस्या: "धीमा शेफ" (The Slow Chef)

अतीत में, ये "बेकिंग" प्रयोग बहुत महंगे और धीमे थे (जैसे रासायनिक प्रतिक्रिया के लिए दिनों तक प्रतीक्षा करना)। इसलिए, एल्गोरिदम को बहुत सावधानी बरतने के लिए डिज़ाइन किया गया था, जिससे केवल कुछ ही केक बनाए जाते थे। इसने एक जटिल गणितीय उपकरण का उपयोग किया जिसे गॉसियन प्रोसेस (Gaussian Process - GP) कहा जाता है, ताकि यह अनुमान लगाया जा सके कि पहले से बेक किए गए केक के आधार पर अगला केक कैसा स्वाद देगा।

हालाँकि, GP टूल एक धीमे, बहुत अधिक सोचने वाले शेफ की तरह है। हर बार जब आप इतिहास में एक नया केक जोड़ते हैं, तो शेफ को अपना अनुमान अपडेट करने के लिए पूरे इतिहास की फिर से गणना करनी पड़ती है।

यदि आपके पास 10 केक हैं, तो यह तेज़ है।
यदि आपके पास 1,000 केक हैं, तो इसमें काफी समय लगता है।
यदि आपके पास 50,000 केक हैं (जो आधुनिक तेज़ कंप्यूटरों के साथ करना आसान है), तो शेफ गणनाओं में इतना उलझ जाता है कि पूरी प्रक्रिया रुक जाती है।

पेपर इस स्थिति को BOMO (Many Observations के साथ Bayesian Optimization) कहता है। पुराना तरीका आधुनिक सिमुलेशन की गति के साथ तालमेल नहीं बिठा सका।

समाधान: "पड़ोस की निगरानी" (The Neighborhood Watch)

लेखक, मेहुल बाफना, सिद्धांत आनंद जाधव और डेविड स्वीट, एक नई विधि प्रस्तावित करते हैं जिसे TuRBO-ENN कहा जाता है। धीमे, अत्यधिक सोचने वाले GP शेफ के बजाय, वे एक बहुत सरल, तेज़ दृष्टिकोण का उपयोग करते हैं जिसे एपिस्टेमिक नियरेस्ट नेबर्स (Epistemic Nearest Neighbors - ENN) कहा जाता है।

ENN को एक पड़ोस की निगरानी (neighborhood watch) या एक स्थानीय गपशप नेटवर्क (local gossip network) के रूप में सोचें:

यह कैसे काम करता है: जब आप पूछते हैं, "इस नए केक का स्वाद कैसा होगा?", तो ENN पूरे 50,000 केक के इतिहास को फिर से नहीं पढ़ता है। इसके बजाय, यह केवल K निकटतम पड़ोसियों (वे सबसे समान केक जो आपने पहले ही बना लिए हैं) को देखता है।
गणित: यह उन कुछ पड़ोसियों के औसत स्वाद को लेता है और नए केक के स्वाद का अनुमान लगाता है। यह यह भी अनुमान लगाता है कि वह कितना अनिश्चित (uncertainty) है, इस आधार पर कि नया केक उन पड़ोसियों से कितनी दूर है।
गति: क्योंकि यह केवल पड़ोसियों की एक छोटी सी संख्या को देखता है, इसलिए इससे कोई फर्क नहीं पड़ता कि आपके पास 10 केक हैं या 50,000 केक। निर्णय लेने में लगने वाला समय लगभग समान रहता है। यह रैखिक (linearly) रूप से स्केल करता है, जिसका अर्थ है कि भारी मात्रा में डेटा के साथ भी यह अविश्वसनीय रूप से तेज़ है।

दो मोड (The Two Modes)

पेपर दिखाता है कि यह नई विधि दो अलग-अलग परिदृश्यों में काम करती है:

शोर वाला संसार (Noisy World - वास्तविक जीवन): कभी-कभी, एक ही रेसिपी को दो बार बेक करने से थोड़े अलग परिणाम मिलते हैं (शायद ओवन का तापमान बदल गया हो)। इस मामले में, TuRBO-ENN यह पता लगाने के लिए एक त्वरित गणना करता है कि डेटा में कितना "शोर" (noise) है, और फिर UCB नामक एक सरल सूत्र का उपयोग करके अगला सबसे अच्छा केक चुनता है (जो नई चीज़ों को आज़माने और जो काम कर रहा है उस पर टिके रहने के बीच संतुलन बनाता है)।
परफेक्ट वर्ल्ड (Perfect World - सिमुलेशन): कभी-कभी कंप्यूटर सिमुलेशन एकदम सटीक होता है और हर बार बिल्कुल समान परिणाम देता है। इस स्थिति में, TuRBO-ENN और भी तेज़ है। यह "शोर का अनुमान लगाने" वाले चरण को पूरी तरह से छोड़ देता है और बस बेहतरीन विकल्पों को खोजने के लिए उन्हें क्रमबद्ध (sort) करता है, जिससे और भी अधिक समय बचता है।

परिणाम

लेखकों ने विभिन्न समस्याओं पर, जैसे कि एक वर्चुअल स्पेसशिप को लैंड कराने से लेकर रोबोट की गतिविधियों को अनुकूलित करने तक, इस नई विधि का परीक्षण पुराने "धीमे शेफ" (GP के साथ TuRBO) के विरुद्ध किया।

गति: TuRBO-ENN पुराने तरीके की तुलना में निर्णय लेने में 10 से 100 गुना तेज़ था।
गुणवत्ता: बहुत तेज़ और सरल होने के बावजूद, इसने पुराने जटिल तरीके जितने ही अच्छे समाधान खोजे।
स्केल: इसने बिना धीमे हुए 50,000 अवलोकनों (observations) तक सफलतापूर्वक काम किया, जबकि पुराना तरीका या तो क्रैश हो जाता या एक एकल निर्णय लेने में ही घंटों लगा देता।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर मूल रूप से कहता है: "हमने लूप से भारी, धीमी गणित को हटाने का एक तरीका खोज लिया है।" एक जटिल, वैश्विक मॉडल को एक सरल, स्थानीय "अपने पड़ोसियों को देखो" दृष्टिकोण से बदलकर, हम गुणवत्ता खोए बिना चीज़ों को बहुत तेज़ी से अनुकूलित कर सकते हैं। उन्होंने इस टूल को दूसरों के उपयोग के लिए एक फ्री सॉफ़्टवेयर पैकेज के रूप में भी उपलब्ध कराया है।

तकनीकी सारांश: GP को लूप से बाहर निकालना

समस्या विवरण (Problem Statement)

बेयसियन ऑप्टिमाइज़ेशन (BO) पारंपरिक रूप से ब्लैक-बॉक्स समस्याओं के लिए नियोजित किया जाता है जहाँ फलन मूल्यांकन (function evaluations) महंगे होते हैं, जिसके परिणामस्वरूप कम अवलोकन ( $N$ ) प्राप्त होते हैं। हालाँकि, समस्याओं का एक बढ़ता हुआ वर्ग है, जिसे बेयसियन ऑप्टिमाइज़ेशन विद मेनी ऑब्जर्वेशन्स (BOMO) कहा जाता है, जिसमें तेज़, समानांतर करने योग्य मूल्यांकन (जैसे, बड़े पैमाने पर सिमुलेशन) शामिल होते हैं जहाँ $N$ दसियों हज़ार तक पहुँच सकता है।

BOMO शासन (regime) में, मानक BO विधियाँ स्केलेबिलिटी की बाधा का सामना करती हैं। पारंपरिक दृष्टिकोण गॉसियन प्रोसेस (GP) सरोगेट्स पर निर्भर करते हैं। जबकि आधुनिक कार्यान्वयन ने अधिग्रहण समय जटिलता (acquisition time complexity) को $O(N^3)$ से घटाकर लगभग $O(N^2)$ कर दिया है, प्रत्येक पुनरावृत्ति (iteration) में GP हाइपरपैरामीटर को फिट करने की आवश्यकता एक महत्वपूर्ण कम्प्यूटेशनल बोझ बनी रहती है। यह फिटिंग प्रक्रिया, जिसमें अक्सर कर्नल मैट्रिक्स का पुनर्निर्माण शामिल होता है, $N$ के साथ खराब तरीके से स्केल करती है, जो विशाल अवलोकन गणनाओं वाले समस्याओं में BO के अनुप्रयोग को बाधित करती है।

कार्यप्रणाली (Methodology)

लेखक TuRBO-ENN का प्रस्ताव करते हैं, जो ट्रस्ट रीजन बेयसियन ऑप्टिमाइज़ेशन (TuRBO) ढांचे में GP सरोगेट को एपिस्टेमिक निएरेस्ट नेबर्स (ENN) नामक एक हल्के विकल्प से बदल देता है।

1. एपिस्टेमिक निएरेस्ट नेबर्स (ENN)

ENN एक K-निएरेस्ट नेबर (KNN) आधारित सरोगेट है जिसे फलन मानों और अनिश्चितता (एपिस्टेमिक और एलियटोरिक) दोनों का अनुमान लगाने के लिए डिज़ाइन किया गया है, जो रैखिक स्केलिंग (linear scaling) के साथ काम करता है।

सरोगेट निर्माण: एक क्वेरी पॉइंट $x$ के लिए, ENN अवलोकन सेट $D$ में $K$ निकटतम पड़ोसियों की पहचान करता है। यह प्रत्येक पड़ोसी को फलन मान के एक स्वतंत्र अनुमान के रूप में मानता है।
अनिश्चितता परिमाणीकरण (Uncertainty Quantification):
- एलियटोरिक वेरिएंस ( $\sigma_a^2$ ): इसे एक बेस नॉइज़ लेवल ( $s_0^2$ ) और विशिष्ट अवलोकन के नॉइज़ स्केल ( $s_m^2$ ) के योग के रूप में मॉडल किया गया है।
- एपिस्टेमिक वेरिएंस ( $\sigma_e^2$ ): इसे क्वेरी पॉइंट और पड़ोसी के बीच वर्ग यूक्लिडियन दूरी ( $c_e d^2(x, x_m)$ ) के आनुपातिक के रूप में मॉडल किया गया है।
एकत्रीकरण (Aggregation): अंतिम माध्य अनुमान $\mu(x)$ और वेरिएंस अनुमानों की गणना $K$ पड़ोसियों के प्रिसिजन-वेटेड औसत (इनवर्स वेरिएंस वेटिंग) का उपयोग करके की जाती है। यह GPs द्वारा आवश्यक $O(N^2)$ पेयरवाइज कोवेरिएंस गणनाओं से बचता है।
जटिलता: एक मैक्स-हीप या Faiss लाइब्रेरी का उपयोग करके $K$ निएरेस्ट नेबर्स खोजना प्रति क्वेरी $O(N \ln K)$ लेता है। हाइपरपैरामीटर्स ( $s_0, c_e$ ) की फिटिंग Type-II मैक्सिमम लाइक्लीहुड एस्टीमेशन (MLE) के माध्यम से की जाती है, जो एक फिक्स्ड-साइज़ सबसैंपल का उपयोग करके $O(N)$ स्केलिंग बनाए रखने के लिए LOOCV स्यूडोलाइक्लीहुड पर आधारित है।

2. TuRBO-ENN एकीकरण

यह विधि ENN को TuRBO एल्गोरिदम में एकीकृत करती है, जो खोज प्रयासों को केंद्रित करने के लिए एक ट्रस्ट रीजन का उपयोग करता है।

नॉइजी ऑब्जेक्टिव्स: शोर वाली समस्याओं के लिए, यह विधि ENN हाइपरपैरामीटर्स को फिट करती है और अपर कॉन्फिडेंस बाउंड (UCB) एक्विजिशन फंक्शन का उपयोग करती है: $UCB(x) = \mu(x) + \sigma(x)$ ।
नॉइज़-फ्री ऑब्जेक्टिव्स: नियतात्मक (deterministic) समस्याओं के लिए, लेखक एक फिटिंग-फ्री वेरिएंट का प्रस्ताव करते हैं। चूंकि जब शोर शून्य होने का ज्ञात हो तो हाइपरपैरामीटर फिटिंग अनावश्यक है, इसलिए यह विधि $(\mu(x), \sigma(x))$ के जोड़े पर नॉन-डोमिनेटेड सॉर्टिंग (NDS) के माध्यम से उम्मीदवारों का चयन करती है। यह फिटिंग स्टेप को पूरी तरह से समाप्त कर देता है, जिससे प्रस्ताव समय (proposal time) और भी कम हो जाता है।
स्यूडो-बेयसियन ऑप्टिमाइज़ेशन (PBO): लेखक सत्यापित करते हैं कि TuRBO-ENN, Chen & Lam (2025) की शर्तों को पूरा करता है, जो सैद्धांतिक अभिसरण गारंटी (convergence guarantees) सुनिश्चित करता है।

मुख्य योगदान (Key Contributions)

ENN सरोगेट: एक हल्का KNN सरोगेट जो $O(N)$ फिटिंग और क्वेरीइंग समय के साथ फलन मानों और अनिश्चितता का अनुमान लगाता है, जो GPs के $O(N^2)$ या $O(N^3)$ स्केलिंग के विपरीत है।
TuRBO-ENN एल्गोरिदम: एक BO विधि का विकास जो TuRBO के GP और थॉम्पसन सैंपलिंग को ENN और UCB (या नॉइज़-फ्री मामलों के लिए NDS) से बदल देती है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि TuRBO-ENN, 50,000 अवलोकनों तक की समस्याओं पर TuRBO-GP की तुलना में प्रस्ताव समय (फिटिंग + एक्विजिशन) को एक से दो ऑर्डर ऑफ मैग्नीट्यूड कम कर देता है, बिना समाधान की गुणवत्ता से समझौता किए।
सैद्धांतिक गारंटी: सत्यापन कि TuRBO-ENN एक PBO विधि के रूप में योग्य है, जो बेयसियन ऑप्टिमाइज़ेशन के अभिसरण गुणों को विरासत में प्राप्त करता है।
ओपन सोर्स: ennbo पायथन पैकेज का रिलीज़।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच सिमुलेशन कार्यों (LunarLander, Hopper, BipedalWalker, Push) और एक हाइपरपैरामीटर ऑप्टिमाइज़ेशन कार्य (LASSO-DNA) पर, जिनकी विमाएँ (dimensions) 12 से 180 तक थीं, TuRBO-ENN का अत्याधुनिक तरीकों (TuRBO-GP, Optuna, SMAC, CMA-ES, DNGO, Vecchia GP) के विरुद्ध बेंचमार्किंग किया।

स्केलिंग: जबकि GP-आधारित विधियों (जैसे, turbo-one, ucb) ने प्रस्ताव समय में लगभग $O(N^2)$ स्केलिंग प्रदर्शित की, TuRBO-ENN ने रैखिक ( $O(N)$ ) स्केलिंग दिखाई।
स्पीडअप: TuRBO-ENN ने TuRBO-GP पर 8.5x से 151x तक की स्पीडअप हासिल की, उच्च अवलोकन गणनाओं ( $N$ ) और फ्रोजन-नॉइज़ (नॉइज़-फ्री) सेटिंग्स में अधिक लाभ देखा गया जहाँ हाइपरपैरामीटर फिटिंग को छोड़ दिया गया था।
समाधान की गुणवत्ता: TuRBO-ENN ने सभी परीक्षण किए गए कार्यों में TuRBO-GP के अनुकूलन प्रदर्शन (समाधान की गुणवत्ता) के साथ बराबरी की।
फिटिंग कार्य: शुद्ध रिग्रेशन कार्यों (सिंथेटिक डेटा) में, ENN को Exact GPs, SVGP और न्यूरल नेटवर्क सरोगेट्स की तुलना में कई गुना तेज़ी से फिट किया गया, जबकि प्रतिस्पर्धी टेस्ट-सेट लॉग-लाइक्लीहुड बनाए रखा गया।

महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि जैसे-जैसे सिमुलेशन क्षमताएं बढ़ती हैं, बेयसियन ऑप्टिमाइज़ेशन में बॉटलनेक फलन मूल्यांकन लागत से बदलकर अनुकूलन एल्गोरिदम की कम्प्यूटेशनल लागत (प्रस्ताव समय) में स्थानांतरित हो जाता है। गॉसियन प्रोसेस को लूप से बाहर करके, TuRBO-ENN, BO को उनдеся हज़ारों अवलोकनों वाले शासन (regimes) तक स्केल करने में सक्षम बनाता है जहाँ पारंपरिक विधियाँ कम्प्यूटेशनल रूप से निषेधात्मक हो जाती हैं।

लेखक विनम्रतापूर्वक दावा करते हैं कि उनकी विधि BOMO समस्याओं के लिए एक व्यावहारिक, स्केलेबल विकल्प प्रदान करती है, जो नियतात्मक सिमुलेशन के लिए एक "फिटिंग-फ्री" विकल्प और शोर वाली समस्याओं के लिए एक रैखिक-स्केलिंग विकल्प प्रदान करती है, और यह सब बेयसियन ऑप्टिमाइज़ेशन के सैद्धांतिक अभिसरण गुणों को बनाए रखते हुए किया जाता है। वे नोट करते हैं कि हालांकि वे PBO एक्सिओम्स के माध्यम से अभिसरण गारंटी प्राप्त करते हैं, वे विशिष्ट रिग्रेट बाउंड (regret bounds) प्रदान नहीं करते हैं। भविष्य के कार्य की दिशाओं में $O(\ln N)$ स्केलिंग के लिए अनुमानित निएरेस्ट नेबर एल्गोरिदम को अनुकूलित करना और दूरी मीट्रिक में डाइमेंशन-विशिष्ट वेटिंग का पता लगाना शामिल है।