📊 statistics

Regime-Adaptive Bayesian Optimization via Dirichlet Process Mixtures of Gaussian Processes

यह शोध पत्र RAMBO प्रस्तुत करता है, जो एक नवीन बेयसियन ऑप्टिमाइज़ेशन फ्रेमवर्क है जो स्थानीय रूप से अनुकूलित हाइपरपैरामीटर्स वाले विशिष्ट प्रतिमानों (रेजीम्स) को स्वचालित रूप से पहचानने और मॉडल करने के लिए डिरिचलेट प्रोसेस मिक्स्चर ऑफ गॉसियन प्रोसेसेज का उपयोग करता है, जिससे ड्रग डिस्कवरी और फ्यूजन रिएक्टर डिज़ाइन जैसे अनुप्रयोगों में मल्टी-रेजीम उद्देश्यों को संभालने में मानक BO की सीमाओं को दूर किया जा सके।

मूल लेखक: Yan Zhang, Xuefeng Liu, Sipeng Chen, Sascha Ranftl, Chong Liu, Shibo Li

प्रकाशित 2026-07-29

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Yan Zhang, Xuefeng Liu, Sipeng Chen, Sascha Ranftl, Chong Liu, Shibo Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक खजाना खोजने वाले शिकारी हैं जो एक विशाल, अराजक गुफा प्रणाली में कहीं छिपे सबसे गहरे, सबसे मूल्यवान रत्न को खोजने की कोशिश कर रहे हैं। यह कोई साधारण गुफा नहीं है; यह एक ऐसी जगह है जहाँ खेल के नियम इस बात पर पूरी तरह से बदल जाते हैं कि आप किस कमरे में हैं। एक कक्ष में, फर्श चिकना और सपाट है, जिससे गेंद को नीचे तक लुढ़काना आसान हो जाता है। अगले कमरे में, फर्श ऊबड़-खाबड़ और नुकीले कांटों से भरा है। तीसरे कमरे में, गुरुत्वाकर्षण उल्टा प्रतीत होता है। यह बेयसियन ऑप्टिमाइज़ेशन (Bayesian Optimization) की दुनिया है, जो एक स्मार्ट तरीका है जिससे कंप्यूटर किसी समस्या के सर्वोत्तम समाधान को खोजने के लिए काम करता है जब हर संभावना का परीक्षण करना बहुत महंगा या धीमा होता है। इसे एक सुपर-स्मार्ट गाइड के रूप में सोचें जो यह तय करने के लिए कि आगे कहाँ देखना है, आपके द्वारा उठाए गए हर कदम से सीखता है।

आमतौर पर, ये गाइड मान लेते हैं कि पूरी गुफा एक ही प्रकार की चट्टान से बनी है—चिकनी और अनुमानित। वे एक उपकरण का उपयोग करते हैं जिसे गॉसियन प्रोसेस (Gaussian Process) कहा जाता है, जो आपके डेटा पॉइंट्स के ऊपर तनी हुई एक लचीली रबर की चादर की तरह है जो अनुमान लगाती है कि बीच में क्या हो रहा है। लेकिन वास्तविक दुनिया में, वैज्ञानिक समस्याएं अक्सर एक चिकनी चादर के बजाय एक पैचवर्क क्विल्ट (अलग-अलग टुकड़ों से बनी चादर) की तरह दिखती हैं। एक दवा एक प्रकार के अणु पर पूरी तरह से काम कर सकती है लेकिन थोड़े अलग अणु पर पूरी तरह विफल हो सकती है। एक फ्यूजन रिएक्टर एक आकार में स्थिर हो सकता है लेकिन दूसरे आकार में फट सकता है। जब एक मानक गाइड इन तीखी, अचानक होने वाली परिवर्तनों को सुचारू बनाने की कोशिश करता है, तो वह भ्रमित हो जाता है, वहां शोर (noise) की कल्पना करने लगता है जहाँ कोई शोर नहीं है या वह महत्वपूर्ण तीखे मोड़ों को पूरी तरह से मिस कर देता है। यह एक ही, विशाल, धुंधले लेंस के साथ शहर का नक्शा बनाने की कोशिश करने जैसा है; आप उन विवरणों को चूक जाते हैं जो सबसे अधिक मायने रखते हैं।

यहीं पर नया पेपर RAMBO (Regime-Adaptive Mixture Bayesian Optimization) पेश करता है। पूरी गुफा को एक जैसा दिखाने के बजाय, RAMBO एक ऐसे जासूस की तरह कार्य करता है जिसे एहसास होता है कि गुफा वास्तव में कई अलग-अलग "रेजीम" (regimes) या ज़ोन से बनी है, जिनमें से प्रत्येक के अपने अनूठे नियम हैं। यह इन छिपे हुए ज़ोनों को खोजने के लिए डिरिचलेट प्रोसेस मिक्सचर (Dirichlet Process Mixture) नामक एक चतुर सांख्यिकीय ट्रिक का उपयोग करता है। कल्पना कीजिए कि गाइड अपने पास अलग-अलग मानचित्रों का एक सेट लेकर चलता है: एक चिकने कमरों के लिए, एक कांटों से भरे कमरों के लिए, और एक उल्टे गुरुत्वाकर्षण वाले कमरों के लिए। जैसे-जैसे वह चलता है, वह बिना किसी के बताए यह पता लगा लेता है कि वर्तमान स्थान के लिए किस मानचित्र का उपयोग करना है।

शोधकर्ताओं ने पाया कि यह दृष्टिकोण कठिन, वास्तविक दुनिया की पहेलियों पर अविश्वसनीय रूप से अच्छा काम करता है। परमाणु संलयन रिएक्टर (nuclear fusion reactor) के सर्वोत्तम आकार को खोजने, नई दवाओं को डिजाइन करने और अणुओं के मुड़ने और घूमने के तरीके को समझने से जुड़े परीक्षणों में, RAMBO ने मौजूदा सर्वोत्तम तरीकों की तुलना में लगातार बेहतर समाधान तेजी से खोजे। इसने केवल अनुमान नहीं लगाया; इसने समस्या के एक प्रकार से दूसरे प्रकार की सीमा को पार करते ही अपनी रणनीति बदलने में महारत हासिल की। एक बड़ी, भ्रमित करने वाली समस्या को छोटे, प्रबंधनीय टुकड़ों में तोड़कर, RAMBO उस भ्रम से बच जाता है जो पुराने तरीकों को उलझा देता है, यह साबित करते हुए कि कभी-कभी एक विशाल पहेली को हल करने का सबसे स्मार्ट तरीका यह महसूस करना है कि वह वास्तव में कई छोटी, अलग पहेलियों से बनी है।

तकनीकी सारांश: डिरिचलेट प्रोसेस मिश्रण ऑफ गॉसियन प्रोसेस (DPMM-GP) के माध्यम से रिजीम-अनुकूली बेयसियन ऑप्टिमाइज़ेशन (RAMBO)

1. समस्या विवरण

मानक बेयसियन ऑप्टिमाइज़ेशन (BO) सिंगुलर गॉसियन प्रोसेस (GP) सरोगेट्स पर निर्भर करता है जो पूरे सर्च स्पेस में समान स्मूथनेस और स्टेशनरी नॉइज़ विशेषताओं को मानते हैं। यह धारणा अक्सर उन वैज्ञानिक डिजाइन समस्याओं में विफल हो जाती है जो बहु-रिजीम संरचनाओं (multi-regime structures) द्वारा चिह्नित होती हैं, जहाँ ऑब्जेक्टिव फंक्शन (objective function) क्रमिक संक्रमणों के बजाय स्पष्ट सीमाओं द्वारा अलग किए गए विशिष्ट, स्थानीय रूप से सुसंगत क्षेत्रों से बना होता है।

लेखक इन सीमाओं को तीन प्राथमिक डोमेन में महत्वपूर्ण पाते हैं:

आणविक विन्यास खोज (Molecular Conformation Search): रोटेटेबल बॉन्ड्स अलग-अलग ऊर्जा बेसिन बनाते हैं जो टॉर्सनल बैरियर्स द्वारा अलग किए जाते हैं; प्रत्येक बेसिन स्थानीय रूप से स्मूथ है, लेकिन वैश्विक परिदृश्य सैकड़ों ऐसे बेसिनों का है जिनकी वक्रता (curvature) एक-दूसरे से असंगत है।
ड्रग डिस्कवरी (Drug Discovery): रासायनिक परिदृश्य आणविक स्कैफोल्ड्स (molecular scaffolds) में खंडित होते हैं, जहाँ विभिन्न रासायनिक परिवार मौलिक रूप से भिन्न स्ट्रक्चर-एक्टिविटी रिलेशनशिप (SAR) प्रदर्शित करते हैं।
फ्यूजन रिएक्टर डिज़ाइन (Fusion Reactor Design): प्लाज्मा ज्योमेट्री के बदलाव गुणात्मक रूप से भिन्न स्थिरता रिजीम्स के बीच यात्रा करते हैं, जिसमें स्थिर और अस्थिर कॉन्फ़िगरेशन के बीच अचानक संक्रमण होता है।

इन परिदृश्यों में, एक सिंगल ग्लोबल GP या तो तीखे संक्रमणों को अत्यधिक स्मूथ (oversmooth) कर देता है या स्मूथ क्षेत्रों में नॉइज़ की कल्पना (hallucinate) करता है, जिससे अनिश्चितता का गलत अंशांकन (miscalibration) होता है। मौजूदा नॉन-स्टेशनरी कर्नेल दृष्टिकोण (जैसे इनपुट-डिपेंडेंट लेंथ स्केल्स या डीप GPs) आमतौर पर स्मूथली परिवर्तनशील हाइपरपैरामीटर्स को मॉडल करते हैं और परिवर्तन के कार्यात्मक रूप को पूर्व निर्धारित करने की आवश्यकता होती है, जो वास्तविक वैज्ञानिक परिदृश्यों की असतत (discrete), अचानक होने वाली विषमता को पकड़ने में विफल रहते हैं।

2. कार्यप्रणाली: RAMBO

लेखक RAMBO (रिजीम-अनुकूली मिश्रण बेयसियन ऑप्टिमाइज़ेशन) प्रस्तावित करते हैं, जो मोनोलिथिक GP सरोगेट को डिरिचलेट प्रोसेस मिश्रण ऑफ गॉसियन प्रोसेस (DPMM-GP) से बदल देता है। यह एक नॉन-पैरामीट्रिक बेयसियन फ्रेमवर्क है जो डेटा से सीधे अनुमानित अज्ञात संख्या में रिजीम्स में सर्च स्पेस को अनुकूल रूप से विभाजित करता है।

2.1 जनरेटिव मॉडल

ऑब्जेक्टिव फंक्शन को स्वतंत्र GPs के एक गणनीय मिश्रण (countable mixture) के रूप में मॉडल किया गया है। जनरेटिव प्रक्रिया में शामिल है:

स्टिक-ब्रेकिंग कंस्ट्रक्शन (Stick-Breaking Construction): मिश्रण भार (mixture weights) $\beta_k \sim \text{Beta}(1, \alpha)$ के माध्यम से उत्पन्न होते हैं, जहाँ $\alpha$ सांद्रता पैरामीटर (concentration parameter) है।
रिजीम असाइनमेंट: प्रत्येक अवलोकन $i$ को भार के आधार पर एक कैटेगोरिकल डिस्ट्रीब्यूशन से प्राप्त एक लेटेंट रिजीम $z_i$ असाइन किया जाता है।
लोकल मॉडलिंग: प्रत्येक रिजीम $k$ को स्थानीय रूप से अनुकूलित हाइपरपैरामीटर्स $\theta_k = \{\sigma^2_{f,k}, \ell_k, \sigma^2_{n,k}\}$ (सिग्नल वेरिएंस, लेंथ स्केल, और नॉइज़ वेरिएंस) के साथ एक स्वतंत्र GP द्वारा मॉडल किया जाता है।
प्रायर्स (Priors): संख्यात्मक स्थिरता और परिमित मोमेंट्स सुनिश्चित करने के लिए हाइपरपैरामीटर्स इनवर्स-गामा (Inverse-Gamma) प्रायर्स का पालन करते हैं।

2.2 कोलैप्स्ड गिब्स सैंपलिंग के माध्यम से अनुमान

असतत रिजीम असाइनमेंट और ट्रांस-डायमेंशनल पैरामीटर स्पेस को अनुकूलित करने की जटिलता को दूर करने के लिए, लेखक एक कोलैप्स्ड गिब्स सैंपलर (collapsed Gibbs sampler) व्युत्पन्न करते हैं।

एनालिटिकल मार्जिनलाइजेशन: लेटेंट फंक्शन वैल्यूज $f$ को एनालिटिकली मार्जिनलाइज कर दिया जाता है, जिससे स्टेट स्पेस केवल डिस्क्रीट असाइनमेंट $z$ और हाइपरपैरामीटर्स $\Theta$ तक सीमित हो जाता है। यह सीधे $f$ को सैंपल करने वाले तरीकों (जैसे HMC) की तुलना में मिक्सिंग दक्षता में काफी सुधार करता है।
असाइनमेंट सैंपलिंग: रिजीम असाइनमेंट को चाइनीज रेस्टोरेंट प्रोसेस (CRP) प्रायर और कंडीशनल GP लाइकलीहुड के आधार पर अपडेट किया जाता है।
हाइपरपैरामीटर अपडेट्स: सक्रिय रिजीम्स के लिए हाइपरपैरामीटर्स को एम्पिरिकल बेयस (Adam का उपयोग करके मार्जिनल लॉग-लाइकेलीहुड को मैक्सिमाइज करना) या मेट्रोपोलिस-हेस्टिंग्स स्टेप्स के माध्यम से अपडेट किया जाता है।

2.3 स्पैटियली-मॉड्यूलेटेड प्रेडिक्टिव डिस्ट्रीब्यूशन

एक प्रमुख नवाचार प्रेडिक्टिव डिस्ट्रीब्यूशन को संभालने का तरीका है। मानक DPMMs वैश्विक लोकप्रियता ( $\pi_k$ ) के आधार पर रिजीम्स को एकत्रित करते हैं, जो इनपुट-स्वतंत्र है। मल्टी-रिजीम लैंडस्केप्स के लिए, यह एक विशिष्ट टेस्ट पॉइंट पर अप्रासंगिक रिजीम्स के ऊपर औसत निकाल देता है।

प्रस्तावित समाधान: लेखक स्पैटियली-मॉड्यूलेटेड प्रेडिक्टिव वेट्स $w_k(x^*)$ पेश करते हैं। ये वेट्स ग्लोबल पॉपुलैरिटी ( $\pi_k$ ) को GP पोस्टीरियर वेरिएंस ( $\sigma^{-1}_{*,k}(x^*)$ ) से प्राप्त स्थानिक विश्वास (spatial confidence) टर्म के साथ जोड़ते हैं।
औचित्य: इस वेटिंग स्कीम को दो दृष्टिकोणों द्वारा न्यायसंगत ठहराया गया है: (i) घटक के अपने प्रेडिक्टिव के तहत अपेक्षित पोस्टीरियर रिस्पॉन्सिबिलिटी, और (ii) जेफ्रीज़ स्केल-इनवेरिएंट रेफरेंस मेजर। यह नए सीखने योग्य गेटिंग पैरामीटर्स को पेश किए बिना $x^*$ पर अनिश्चित रिजीम्स को दबा देता है।

2.4 एडेप्टिव कंसंट्रेशन पैरामीटर शेड्यूलिंग

सांद्रता पैरामीटर $\alpha$ नए रिजीम्स बनाने की प्रवृत्ति को नियंत्रित करता है। पेपर में एक एडेप्टिव शेड्यूलिंग स्ट्रैटेजी (Log-Sqrt Schedule) पेश की गई है जहाँ $\alpha_t = \alpha_0 \cdot \frac{\sqrt{t}}{\log(t+e)}$ ।

तर्क: अनुकूलन के शुरुआती चरणों में, डेटा विरल (sparse) होता है; एक छोटा $\alpha$ समयपूर्व विखंडन (premature fragmentation) को रोकता है। जैसे-जैसे डेटा जमा होता है, $\alpha$ बढ़ता है ताकि सूक्ष्म-स्तरीय रिजीम संरचनाओं की खोज की जा सके। यह एक्सप्लोरेशन-एक्सप्लोइटेशन ट्रेड-ऑफ को दर्शाता है लेकिन यह मॉडल कॉम्प्लेक्सिटी के स्तर पर काम करता है।

2.5 एक्विजिशन फंक्शन्स (Acquisition Functions)

फ्रेमवर्क DPMM-GP पोस्टीरियर के लिए एक क्लोज्ड-फॉर्म एक्सपेक्टेड इम्प्रूवमेंट (EI) व्युत्पन्न करता है। एक्विजिशन वैल्यू प्रत्येक घटक GP के EI का एक वेटेड सम है, जहाँ वेट्स स्पैटियली-मॉड्यूलेटेड $w_k(x)$ हैं। यह अनिश्चितता को स्वाभाविक रूप से दो भागों में विभाजित करता है:

इंट्रा-रिजीम वेरिएंस: एक विशिष्ट रिजीम के भीतर एलेटोरिक (aleatoric) अनिश्चितता।
इंटर-रिजीम डिसएग्रीमेंट: विभिन्न रिजीम्स के बीच असहमति से उत्पन्न एपिस्टेमिक (epistemic) अनिश्चितता।

पेपर मिश्रण मोमेंट्स का उपयोग करके अन्य एक्विजिशन फंक्शन्स (UCB, Thompson Sampling, MES, KG, PES) के विस्तार को भी रेखांकित करता है।

3. मुख्य योगदान

DPMM-GP सरोगेट: DPMM-GP सरोगेट का विकास जो लेटेंट फंक्शन्स को एनालिटिकली मार्जिनलाइज करने के लिए कोलैप्स्ड गिब्स सैंपलिंग का उपयोग करता है, जिससे अनुमान दक्षता में सुधार होता है।
एडेप्टिव $\alpha$ -शेड्यूलिंग: मॉडल पार्सिमनी (parsimony) और एक्सप्रेसिवनेस के बीच संतुलन बनाने के लिए कंसंट्रेशन पैरामीटर के लिए एक डायनेमिक शेड्यूलिंग मैकेनिज्म का परिचय।
रिजीम-अवेयर एक्विजिशन: क्लोज्ड-फॉर्म एक्सपेक्टेड इम्प्रूवमेंट का व्युत्पन्न जो अनिश्चितता को इंट्रा-रिजीम और इंटर-रिजीम घटकों में विभाजित करता है, जिससे मल्टी-रिजीम ऑब्जेक्टिव्स को मजबूती से संभालना संभव होता है।
स्पेशियल मॉड्यूलेशन: एक प्रेडिक्टिव मॉडलिंग विकल्प जो अतिरिक्त गेटिंग पैरामीटर्स के बिना मिश्रण भार में स्थानिक निर्भरता पेश करता है, यह सुनिश्चित करता है कि भविष्यवाणियाँ स्थानीय खोज स्थान के लिए प्रासंगिक हों।

4. प्रयोगात्मक परिणाम

लेखक सिंथेटिक बेंचमार्क और वास्तविक वैज्ञानिक अनुप्रयोगों पर RAMBO का मूल्यांकन करते हैं, जिसमें स्टैंडर्ड SGP, TuRBO, SAASBO, BAxUS, ALEBO, HEBO और अन्य सहित स्टेट-ऑफ-द-आर्ट बेसलाइन्स के साथ तुलना की गई है।

सिंथेटिक बेंचमार्क: Levy और Schwefel फंक्शन्स (6D और 10D) पर, एडेप्टिव शेड्यूलिंग के साथ RAMBO लगातार बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन करता है। यह रग्ड (rugged) Levy फंक्शन पर काफी तेजी से अभिसरण (converge) करता है और भ्रामक (deceptive) Schwefel लैंडस्केप पर सब-ऑप्टिमल बेसिन में फंसने से बचता है।
मॉलिक्यूलर कॉन्फॉर्मर ऑप्टिमाइज़ेशन (12D): RAMBO 200 इटरेशन के बाद SAASBO (सर्वश्रेष्ठ बेसलाइन) की तुलना में ऊर्जा न्यूनीकरण में 39.73% का सुधार प्राप्त करता है, जो अलग-अलग रोटामेरिक बेसिनों के बीच कुशलता से नेविगेट करता है।
वर्चुअल ड्रग स्क्रीनिंग (50D): कैंसर से संबंधित प्रोटीन के लिए डॉकिंग स्कोर को ऑप्टिमाइज़ करने में, RAMBO TuRBO की तुलना में बाइंडिंग एफिनिटी में 4.06% का सुधार प्राप्त करता है, जो रासायनिक स्थान को स्कैफोल्ड-विशिष्ट रिजीम्स में सफलतापूर्वक विभाजित करता है।
फ्यूजन रिएक्टर डिज़ाइन (80D): RAMBO 3-5 रिजीम्स की खोज करता है जो विशिष्ट चुंबकीय टोपोलॉजी के अनुरूप हैं, जो प्रतिस्पर्धी तरीकों की तुलना में लगभग 51.55% उच्च कन्फाइनमेंट क्वालिटी मान प्राप्त करता है। यह एम्बेडिंग-आधारित तरीकों (जो लो-रैंक स्ट्रक्चर मानते हैं) और ट्रस्ट-रिजन तरीकों (जो स्थिरता सीमाओं पर प्लेटो हो जाते हैं) की विफलता मोड से बचता है।

5. महत्व और दावे

पेपर यह दावा करता है कि RAMBO मानक BO की एक मौलिक सीमा को संबोधित करता है: वैज्ञानिक डिजाइन समस्याओं में डिस्क्रीट हेटेरोजेनिटी और अचानक संक्रमणों को मॉडल करने में असमर्थता। एक स्टेशनरी सरोगेट को नॉन-पैरामीट्रिक मिश्रण मॉडल से बदलकर, RAMBO उस "पैचवर्क" प्रकृति को कैप्चर करता है जहाँ अलग-अलग रिजीम्स स्थानीय रूप से सुसंगत लेकिन वैश्विक रूप से असंगत गुणों को प्रदर्शित करते हैं।

लेखक इस बात पर जोर देते हैं कि उनके दृष्टिकोण के लिए पहले से गैर-स्थिरता (non-stationarity) के कार्यात्मक रूप को निर्दिष्ट करने की आवश्यकता नहीं है। इसके बजाय, रिजीम की सीमाएं और रिजीम्स की संख्या सीधे डेटा से अनुमानित की जाती है। विविध, उच्च-आयामी और मल्टी-मोडल बेंचमार्क में निरंतर सुधार यह सुझाव देता है कि RAMBO उन डोमेन में वैज्ञानिक खोज को तेज करने के लिए एक मजबूत ढांचा प्रदान करता है जहाँ फंक्शन इवैल्यूएशन महंगे हैं और अंतर्निहित भौतिकी या रसायन विज्ञान जटिल, नॉन-स्टेशनरी संरचनाएं प्रदर्शित करते हैं।

यह कार्य एक ऐसे तरीके के रूप में प्रस्तुत किया गया है जो महंगी सिमुलेशन या प्रयोगों की संख्या को कम करने में मदद करता है, जिससे कंप्यूटेशनल साइंस वर्कफ़्लो के संसाधन और ऊर्जा पदचिह्न (footprint) को कम किया जा सके। लेखक नोट करते हैं कि जबकि यह विधि अनुकूलन को तेज करती है, यह अनिश्चितता के तहत पॉइंट रिकमेंडेशन प्रदान करती है, और डाउनस्ट्रीम निर्णय लेने वालों को एक्विजिशन वैल्यूज को ग्राउंड-ट्रुथ रैंकिंग के बजाय एक विचारशील प्रक्रिया के इनपुट के रूप में मानना चाहिए, विशेष रूप से सुरक्षा-महत्वपूर्ण अनुप्रयोगों में।