📊 statistics

Ensemble Distributionally Robust Bayesian Optimisation

यह शोध पत्र 'एन्सेम्बल डिस्ट्रीब्यूशनली रोबस्ट बेयसियन ऑप्टिमाइज़ेशन' के लिए एक गणनात्मक रूप से सुलभ एल्गोरिदम प्रस्तावित करता है जो वितरण संबंधी अनिश्चितता के तहत निरंतर संदर्भ (कंटीन्यूअस कॉन्टेक्स्ट) को संभालता है, जिससे बेहतर सैद्धांतिक उप-रैखिक रिग्रेट बाउंड्स प्राप्त होते हैं और मजबूत अनुभवजन्य प्रदर्शन प्रदर्शित होता है।

मूल लेखक: Tigran Ramazyan, Denis Derkach

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tigran Ramazyan, Denis Derkach

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक नए व्यंजन के लिए एकदम सही रेसिपी बनाने की कोशिश कर रहे हैं। आपके पास सामग्रियों (जैसे नमक या मसाला) के लिए एक कंट्रोल नॉब है, जिसे आप एडजस्ट कर सकते हैं। हालाँकि, आपको अलग-अलग किचन में खाना बनाना पड़ता है जहाँ स्थितियाँ अप्रत्याशित होती हैं: एक किचन बहुत नम (humid) हो सकता है, दूसरा बहुत गर्म हो सकता है, और तीसरा खिड़की से हवा वाला हो सकता है। आप नहीं जानते कि अगले किचन में मौसम कैसा होगा, लेकिन आप जानते हैं कि यह आपके व्यंजन के परिणाम को प्रभावित करेगा।

यह समस्या है जिसे यह पेपर हल करता है: अपने "सामग्रियों" के लिए सबसे अच्छा सेटिंग ढूँढना जब "किचन की स्थितियाँ" अनिश्चित और बदलती रहती हैं।

यहाँ एक सरल विवरण दिया गया है कि लेखकों ने इसे कैसे हल किया, रोजमर्रा की जिंदगी के उदाहरणों का उपयोग करते हुए:

समस्या: द "ऑप्टिमाइज़र कर्ज़" (Optimizer's Curse)

आमतौर पर, जब वैज्ञानिक किसी सर्वोत्तम समाधान को खोजने की कोशिश करते हैं, तो वे पिछले डेटा के आधार पर एक मॉडल बनाते हैं। लेकिन यदि भविष्य की स्थितियाँ (जैसे "किचन का मौसम") अतीत से थोड़ी अलग हैं, तो मॉडल गलत हो सकता है। इससे एक ऐसी स्थिति पैदा होती है जहाँ आपको लगता है कि आपने एकदम सही रेसिपी खोज ली है, लेकिन वह विफल हो जाती है क्योंकि आपने अनिश्चितता को ध्यान में नहीं रखा था। इसे "ऑप्टिमाइज़र कर्ज़" कहा जाता है।

पुराना तरीका: एक एकल विशेषज्ञ (The Single Expert)

पिछले तरीकों ने एक एकल विशेषज्ञ (एक गणितीय मॉडल) को नियुक्त करके इसे हल करने की कोशिश की जो परिणाम की भविष्यवाणी कर सके। फिर वे पूछते थे, "यह विशेषज्ञ सबसे खराब संभव किचन स्थिति के बारे में क्या सोच सकता है?" और उसके लिए तैयारी करने की कोशिश करते थे।

दोष: यदि वह एक विशेषज्ञ "सबसे खराब स्थिति" की प्रकृति के बारे में गलत है, तो पूरी योजना विफल हो जाती है। साथ ही, जटिल, निरंतर परिवर्तनों (जैसे आर्द्रता में क्रमिक बदलाव) के लिए "सबसे खराब स्थिति" की गणना करना अविश्वसनीय रूप से धीमा और गणनात्मक रूप से भारी होता है, जैसे एक साथ दस लाख पहेलियों को हल करने की कोशिश करना।

नया समाधान: विशेषज्ञों का "समूह" (The "Ensemble" of Experts - EDRBO)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे एन्सेम्बल डिस्ट्रीब्यूशनल रोबस्ट बेयसियन ऑप्टिमाइज़ेशन (EDRBO) कहा जाता है। एक विशेषज्ञ को काम पर रखने के बजाय, वे विविध विशेषज्ञों की एक टीम को काम पर रखते हैं।

टीम (The Ensemble): कल्पना कीजिए कि आपके पास तीन अलग-अलग शेफ हैं, जिनमें से प्रत्येक की खाना पकाने की शैली थोड़ी अलग है (एक गणित प्रेमी है, एक अंतर्ज्ञान/इंट्यूशन प्रेमी है, एक परंपरा प्रेमी है)। वे सभी व्यंजन का स्वाद लेते हैं और परिणाम के बारे में अपनी अलग भविष्यवाणी देते हैं।
आम सहमति (The Barycentre): टीम केवल उनके उत्तरों का औसत नहीं निकालती है। इसके बजाय, वे एक "ज्यामितीय आम सहमति" (geometric consensus) पाते हैं—एक ऐसा मध्य मार्ग जो प्रत्येक शेफ की अनिश्चितता के अद्वितीय आकार का सम्मान करता है। यह विचारों के बादल के केंद्र को खोजने जैसा है, न कि केवल एक बिंदु को।
सुरक्षा मार्जिन (Distributional Robustness): टीम देखती है कि वे आपस में कितना असहमत हैं।
- यदि वे सभी सहमत हैं, तो टीम आश्वस्त है।
- यदि वे बुरी तरह असहमत हैं (उदाहरण के लिए, शेफ A कहता है कि इसमें अधिक नमक चाहिए, शेफ B कहता है कि कम चाहिए), तो टीम को पता चल जाता है कि उनके ज्ञान में एक "गैप" है।
- एल्गोरिदम इस असहमति का उपयोग एक सुरक्षा बफर बनाने के लिए करता है। यह मान लेता है कि सबसे खराब स्थिति संभवतः उनकी असहमतियों के दायरे के भीतर कहीं होगी।

यह व्यवहार में कैसे काम करता है

एल्गोरिदम एक लूप में काम करता है:

टीम से पूछें: "जो कुछ भी हम अब तक जानते हैं, उसके आधार पर हमें आगे कहाँ प्रयास करना चाहिए?"
गैप की जाँच करें: "परिणाम के बारे में हमारे विशेषज्ञ आपस में कितने असहमत हैं?"
सावधान रहें: यदि विशेषज्ञ बहुत अधिक असहमत हैं (उच्च अनिश्चितता), तो एल्गोरिदम एक ऐसा स्थान चुनता है जो उन्हें अधिक सीखने में मदद करे (एक्सप्लोरेशन/exploration)। यदि वे सहमत हैं, तो यह उस स्थान को चुनता है जो सबसे अच्छा दिखता है (एक्सप्लोइटेशन/exploitation)।
अपडेट करें: आप रेसिपी आज़माते हैं, देखते हैं कि वर्तमान किचन में यह कैसी रही, और उस परिणाम को टीम को वापस देते हैं। टीम अपनी भविष्यवाणियों को अपडेट करती है, और "असहमति" (अनिश्चितता) समय के साथ कम होती जाती है।

यह बेहतर क्यों है?

यह तेज़ है: टीम की आंतरिक असहमति का उपयोग करके "सबसे खराब स्थिति" का अनुमान लगाकर, एल्गोरिदम हर संभावित भविष्य के परिदृश्य की गणना करने के भारी गणित से बच जाता है। यह तूफान के पथ का अनुमान लगाने के लिए बारिश की हर बूंद का सिमुलेशन करने के बजाय एक समूह की सामूहिक अंतर्दृष्टि का उपयोग करने जैसा है।
यह निरंतर परिवर्तन को संभालता है: पुराने तरीकों के विपरीत जिन्हें "किचन स्थितियों" को छोटे, कठोर बॉक्सों में काटने की आवश्यकता थी (डिस्क्रीटाइजेशन), यह तरीका सहज, निरंतर परिवर्तनों (जैसे तापमान में क्रमिक वृद्धि) को स्वाभाविक रूप से संभालता है।
यह प्रमाणित है: लेखकों ने गणित के माध्यम से सिद्ध किया है कि यह तरीका अंततः सर्वोत्तम समाधान खोज लेगा, और "रिग्रेट" (तुरंत सही समाधान न मिल पाने की लागत) समय के साथ बहुत धीरे-धीरे बढ़ता है।

परिणाम

लेखकों ने विभिन्न कठिन समस्याओं पर इस "विशेषकों की टीम" वाले दृष्टिकोण का परीक्षण किया, जिसमें शामिल हैं:

कैमेल फंक्शन्स (Camel functions): गणितीय परिदृश्य जिनमें कई पहाड़ और घाटियाँ हैं (जैसे कई चोटियों वाला पहाड़ी इलाका)।
एकली और हार्टमैन फंक्शन्स (Ackley and Hartmann functions): जटिल, ऊबड़-खाबड़ सतहें जहाँ आसानी से एक छोटे गड्ढे में फंसकर यह समझना आसान हो जाता है कि वही सबसे निचला बिंदु है।
न्यूज़वेंडर समस्याएं (Newsvendor problems): एक क्लासिक व्यावसायिक परिदृश्य कि अनिश्चित मांग के समय कितना इन्वेंट्री स्टॉक रखना चाहिए।

इन परीक्षणों में, नया तरीका (EDRBO) लगातार पिछले "एकल विशेषज्ञ" या "बॉक्स-आधारित" तरीकों की तुलना में बेहतर समाधान तेजी से खोजता है, विशेष रूप से उन ऊबड़-खाबड़, जटिल परिदृश्यों में जहाँ अन्य तरीके भ्रमित हो जाते हैं।

सारांश

यह पेपर एक स्मार्ट तरीका पेश करता है कि जब भविष्य अनिश्चित हो तो निर्णय कैसे लिया जाए। एक एकल भविष्यवाणी पर भरोसा करने के बजाय, यह मॉडलों की एक विविध टीम का उपयोग करता है ताकि यह मापा जा सके कि वे कितने अनिश्चित हैं। उनकी असहमतियों को सुनकर, एल्गोरिदम एक मजबूत सुरक्षा जाल बनाता है जो बुरी किस्मत से बचाता है, और साथ ही इतना तेज़ चलता है कि इंजीनियरिंग और डिज़ाइन की वास्तविक दुनिया की समस्याओं में उपयोगी हो सके।

तकनीकी सारांश: एन्सेम्बल डिस्ट्रीशनली रोबस्ट बेयसियन ऑप्टिमाइज़ेशन (EDRBO)

1. समस्या विवरण

यह शोध पत्र जीरो-ऑर्डर ऑप्टिमाइज़ेशन के उन परिवेशों को संबोधित करता है जहाँ उद्देश्य फलन (objective function) एक नियंत्रणीय डिज़ाइन चर $x \in \mathcal{X}$ और एक अनियंत्रित संदर्भ (context) $c \in \mathcal{C}$ दोनों पर निर्भर करता है। संदर्भ $P$ नामक एक अज्ञात वितरण से लिया जाता है। कई वास्तविक दुनिया के परिदृश्यों (जैसे इंजीनियरिंग डिज़ाइन, वैज्ञानिक सिमुलेशन) में, उद्देश्य फलन एक ब्लैक बॉक्स होता है, जिसे मूल्यांकन करना महंगा है और जो गैर-विभेदक (non-differentiable) होता है।

मुख्य चुनौती वितरण संबंधी अनिश्चितता (distributional uncertainty) है: वास्तविक संदर्भ वितरण $P$ अज्ञात है और इसे सीमित डेटा से अनुमानित किया जाना चाहिए, जिससे अनुमानित वितरण $\tilde{Q}_t$ और वास्तविक $P$ के बीच एक विसंगति उत्पन्न होती है। यह विसंगति "ऑप्टिमाइज़र के अभिशाप" (optimizer's curse) का कारण बन सकती है, जहाँ अनुमानित वितरण के लिए अनुकूलित निर्णय वास्तविक वितरण के तहत अच्छा प्रदर्शन करने में विफल रहते हैं। लक्ष्य एक ऐसा डिज़ाइन $x^*$ खोजना है जो अनुमानित वितरण के आसपास के सबसे खराब स्थिति वाले एम्बिग्युटी सेट (ambiguity set) के तहत अपेक्षित प्रदर्शन को अधिकतम करे।

2. कार्यप्रणाली: EDRBO

लेखक एन्सेम्बल डिस्ट्रीशनली रोबस्ट बेयसियन ऑप्टिमाइज़ेशन (EDRBO) प्रस्तावित करते हैं, जो एक एन्सेम्बल सरोगेट मॉडल का उपयोग करके बेयसियन ऑप्टिमाइज़ेशन (BO) को डिस्ट्रीशनली रोबस्ट ऑप्टिमाइज़ेशन (DRO) के साथ एकीकृत करता है।

मुख्य घटक:

एन्सेम्बल सरोगेट मॉडल (Ensemble Surrogate Model):
एक एकल गॉसियन प्रोसेस (GP) के बजाय, EDRBO $M$ अलग-अलग GP सरोगेट्स ( $\hat{f}_m$ ) का एक एन्सेम्बल उपयोग करता है जिनमें विभिन्न कर्नेल (Squared Exponential, Rational Quadratic, और Matérn $\nu=5/2$ ) होते हैं। ये कर्नेल विशिष्ट रिप्रोड्यूसिंग कर्नेल हिल्बर्ट स्पेस (RKHS) को कवर करते हैं, जिससे यह सुनिश्चित होता है कि विशेषज्ञ (experts) एक-दूसरे से स्वतंत्र (orthogonal) हैं। एन्सेम्बल माध्य $\hat{f}$ ब्लैक-बॉक्स फलन का सन्निकटन करता है, जबकि विशेषज्ञों के बीच का विचरण (variance) एपिस्टेमिक अनिश्चितता को दर्शाता है।
वॉसरस्टीन एम्बिग्युटी सेट (Wasserstein Ambiguity Set):
यह विधि अनुभवजन्य संदर्भ वितरण $Q_t$ के केंद्र में और त्रिज्या $\epsilon_t$ के साथ 2-वॉसरस्टीन दूरी का उपयोग करके एक एम्बिग्युटी सेट $\mathcal{B}_{\epsilon_t}(Q_t)$ को परिभाषित करती है। अनुकूलन समस्या एक मिनिमैक्स (minimax) समस्या बन जाती है:
$\max_{x \in \mathcal{X}} \inf_{Q \in \mathcal{B}_{\epsilon_t}(Q_t)} \mathbb{E}_{c \sim Q}[\hat{f}(x, c)]$
सुगम अधिग्रहण फलन (Tractable Acquisition Function):
मिनिमैक्स DRO समस्या को सीधे हल करना गणनात्मक रूप से महंगा है। लेखक सरोगेट फलनों की सुगमता (smoothness) का लाभ उठाते हुए एक सुगम सन्निकटन प्राप्त करते हैं। एक वॉसरस्टीन रोबस्ट रेगुलराइज़र लागू करके, आंतरिक न्यूनीकरण (minimization) को सीमित किया जाता है, जिससे समस्या एक रेगुलराइज्ड अधिग्रहण फलन के मैक्सिमाइजेशन में बदल जाती है:
$x_t = \arg \max_{x \in \mathcal{X}} \left( \mathbb{E}_{c \sim Q_t}[\mu_t(x, c)] - \epsilon_t \|\nabla_c f\|_{Q_t, 2} - \frac{\epsilon_t^2 h(x)}{2} \right)$
यहाँ, $\mu_t$ एन्सेम्बल माध्य है, और $h(x)$ फलन की सुगमता से संबंधित है।
वॉसरस्टीन बैरीसेंटर के माध्यम से गतिशील त्रिज्या अनुमान:
एक नवीन योगदान एन्सेम्बल से सीधे एम्बिग्युटी सेट त्रिज्या $\hat{\epsilon}_t$ का अनुमान लगाना है। विधि एन्सेम्बल पोस्टीरियर्स का वॉसरस्टीन बैरीसेंटर (Wasserstein Barycentre) $\bar{f}$ की गणना करती है। त्रिज्या $\hat{\epsilon}_t$ को किसी भी एकल विशेषज्ञ के पोस्टीरियर और सर्वसम्मत बैरीसेंटर के बीच अधिकतम 2-वॉसरस्टीन दूरी के रूप में परिभाषित किया गया है। यह त्रिज्या स्वाभाविक रूप से घटती है क्योंकि अधिक डेटा एकत्र किया जाता है ( $W_2(P, Q_t) \to 0$ ), जिससे किसी भी मनमाने क्षय शेड्यूल (decay schedule) की आवश्यकता नहीं रहती। यह दो भागों में विभाजित है:
- संरचनात्मक असहमति (Structural Disagreement): माध्य भविष्यवाणियों में अंतर ( $\mu_m - \bar{\mu}$ )।
- कॉन्फिडेंस डिस्पर्शन (Confidence Dispersion): अनिश्चितता अनुमानों में अंतर ( $\sigma_m - \bar{\sigma}$ )।

3. मुख्य योगदान

एल्गोरिदमिक नवाचार: EDRBO का परिचय, जो एक गणनात्मक रूप से सुलभ DRBO एल्गोरिदम है जो निरंतर संदर्भ (continuous context) को बिना विविक्तीकरण (discretization) के संभाल सकता है, और फलन तथा एम्बिग्युटी सेट दोनों को मॉडल करने के लिए एक एन्सेम्बल सरोगेट का उपयोग करता है।
सैद्धांतिक गारंटी: एन्सेम्बल के भीतरित अधिकतम सूचना लाभ के क्रम $O(\gamma_T \sqrt{T})$ का एक सबलीनियर संचयी रिग्रेट बाउंड (sublinear cumulative regret bound) प्राप्त करना, जहाँ $\gamma_T$ सबसे खराब स्थिति वाला लाभ है। यह मौजूदा अत्याधुनिक परिणामों में सुधार करता है।
रोबस्टनेस तंत्र: एन्सेम्बल के भीतर की असहमति (संरचनात्मक और एलेयटोरिक अनिश्चितता) का उपयोग करके गतिशील रूप से रोबस्टिफिकेशन त्रिज्या का अनुमान लगाने की एक विधि, जो निश्चित या मैन्युअल रूप से ट्यून किए गए एम्बिग्युटी सेट रेडियस की आवश्यकता को समाप्त करती है।
अनुभवजन्य सत्यापन: व्यापक प्रयोग जो दर्शाते हैं कि EDRBO, अत्यधिक गैर-उत्तल (non-convex) फलनों (जैसे Ackley, Hartmann, Camel functions) पर अत्याधुनिक तरीकों (SBO-KDE, WDRBO, और DRBO-MMD सहित) के साथ मेल खाता है या उनसे बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने सिंथेटिक बेंचमार्क (Three-Hump Camel, Six-Hump Camel, Ackley, Hartmann, Modified Branin) और वास्तविक दुनिया से प्रेरित समस्याओं (Newsvendor, Portfolio Optimization) पर EDRBO का मूल्यांकन किया।

प्रदर्शन: EDRBO ने अत्याधुनिक बेसलाइन्स की तुलना में बेहतर या तुलनीय संचयी रिग्रेट प्राप्त किया, विशेष रूप से अत्यधिक गैर-उत्तल फलनों के मामले में जिनमें कई स्थानीय चरम (local extrema) होते हैं (जैसे Ackley, Hartmann, Camel functions)।
स्थिरता: विधि ने SBO-KDE और WDRBO जैसे बेसलाइन्स की तुलना में अधिक सुचारू (smoother) रिग्रेट कर्व्स प्रदान किए, जो टेढ़े-मेढ़े, सीढ़ीनुमा व्यवहार प्रदर्शित करते थे।
सीमाएँ देखी गईं: डिज़ाइन और संदर्भ के बीच मजबूत गैर-रेखीय, गैर-पृथक्करणीय (non-separable) अंतःक्रियाओं वाले समस्याओं (जैसे Modified Branin) या जहाँ डेटा आर्टिफैक्ट्स के कारण उद्देश्य सतह गैर-स्थिर (non-stationary) थी (पोर्टफोलियो ऑप्टिमाइज़ेशन), वहाँ प्रदर्शन थोड़ा कम हो गया। हालाँकि, इन मामलों में भी EDRBO दूसरे सर्वश्रेष्ठ परिणाम के एक दसवें मानक विचलन के भीतर रहा।
दक्षता: हालांकि EDRBO सरल UCB की तुलना में गणनात्मक रूप से अधिक गहन है, यह MMD-आधारित विधियों (DRBO-MMD) की तुलना में काफी अधिक कुशल है, जो विविक्त संदर्भ बिंदुओं (discretized context points) में क्यूबिक जटिलता से ग्रस्त होते हैं।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि EDRBO संदर्भ वितरण के बारे में अनिश्चितता को एनकोड करने के लिए एक व्यवस्थित और व्याख्या योग्य तंत्र प्रदान करता है। एन्सेम्बल के ज्यामितीय सर्वसम्मति (वॉसरस्टीन बैरीसेंटर) का लाभ उठाकर, विधि प्रभावी रूप से संरचनात्मक अस्पष्टता को एलेयटोरिक अनिश्चितता से अलग करती है।

लेखक तर्क देते हैं कि उनका दृष्टिकोण DRO ढांचे के माध्यम से औपचारिक वर्स्ट-केस प्रदर्शन गारंटी प्रदान करता है, जिससे बेयसियन ऑप्टिमाइज़ेशन उन सेटिंग्स में अधिक विश्वसनीय हो जाता है जहाँ वितरण परिवर्तन (distributional shifts) महत्वपूर्ण होते हैं। वे EDRBO को निरंतर संदर्भों के लिए अनुक्रमिक निर्णय लेने के समाधान के रूप में प्रस्तुत करते हैं, जो विशेष रूप से उन वातावरणों के लिए उपयुक्त है जहाँ उद्देश्य फलन सुचारू है लेकिन अत्यधिक गैर-उत्तल है और संयुक्त प्रथम- और द्वितीय-क्रम मोमेंट विविधताओं के प्रति संवेदनशील है। यह कार्य सैद्धांतिक DRO गारंटी और व्यावहारिक, सुलभ बेयसियन ऑप्टिमाइज़ेशन के बीच के अंतर को पाटने का लक्ष्य रखता है।