🤖 machine learning

Constrained Bayesian Optimisation with Multiple Information Sources

यह शोध पत्र बाधा-युक्त बेयसियन अनुकूलन (constrained Bayesian optimization) के लिए एक सामान्य बहु-स्रोत ढांचे का प्रस्ताव करता है जो मैक्स-वैल्यू एंट्रॉपी सर्च (Max-value Entropy Search) का विस्तार करता है ताकि सहायक डेटा स्रोतों का लाभ उठाकर व्यवहार्य और इष्टतम समाधानों को कुशलतापूर्वक पहचाना जा सके, भले ही वे वास्तविक उद्देश्य के साथ केवल कमजोर रूप से सह-संबंधित हों।

मूल लेखक: Hauke Maathuis, Roeland De Breuker, Saullo Castro, Maike Osborne

प्रकाशित 2026-07-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hauke Maathuis, Roeland De Breuker, Saullo Castro, Maike Osborne

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले शहर में नींबू पानी (lemonade) का स्टॉल लगाने के लिए सबसे अच्छी जगह खोजने की कोशिश कर रहे हैं। आपके दो लक्ष्य हैं:

बिक्री को अधिकतम करना: आप उस जगह को चाहते हैं जहाँ लोगों का आना-जाना (foot traffic) सबसे अधिक हो।
सुरक्षित रहना: आपको उन जगहों से बचना होगा जो अवैध हैं (जैसे कि हाईवे पर) या खतरनाक हैं (जैसे कि निर्माण स्थल)।

समस्या यह है कि किसी जगह की जांच करना महंगा है।

"असली" जांच (The "Real" Check): वहां एक घंटे तक खड़े होकर लोगों को गिनने और पुलिस की जांच करने के लिए किसी व्यक्ति को भेजना बहुत महंगा और धीमा काम है।
"नकली" जांच (The "Fake" Check): एक धुंधले, कम-रिज़ॉल्यूशन वाले मानचित्र को देखना या किसी स्थानीय व्यक्ति से पूछना जो शायद थोड़ा गलत हो सकता है, सस्ता और तेज़ है, लेकिन यह 100% सटीक नहीं है।

यही वह मुख्य समस्या है जिसे यह शोध पत्र (paper) हल करता है: आप कम से कम महंगी जांचों का उपयोग करके सबसे अच्छी, सुरक्षित जगह कैसे खोज सकते हैं, जबकि सस्ते, अपूर्ण मानचित्रों का उपयोग यह अनुमान लगाने के लिए किया जाए कि कहाँ देखना है?

पुराना तरीका बनाम नया तरीका

पुराना तरीका (पारंपरिक बेयसियन ऑप्टिमाइज़ेशन - Traditional Bayesian Optimization):
अधिकांश पिछले तरीके एक सतर्क खोजकर्ता (explorer) की तरह काम करते थे जो केवल महंगी, असली जांचों पर भरोसा करता था। यदि "सुरक्षित क्षेत्र" (जहाँ आप कानूनी रूप से नींबू पानी बेच सकते हैं) बहुत छोटा या छिपा हुआ था, तो खोजकर्ता लोगों की गिनती करने में बहुत सारा पैसा बर्बाद कर देता था, क्योंकि वे अक्सर धुंध में फंस जाते थे। उन्होंने सस्ते मानचित्रों को इसलिए अनदेखा कर दिया क्योंकि वे पूर्ण नहीं थे।

नया तरीका (MS-CMES):
लेखक एक नई रणनीति प्रस्तावित करते हैं जिसे MS-CMES कहा जाता है। इसे खोजकर्ताओं की एक स्मार्ट टीम के रूप में सोचें।

टीम: उनके पास एक "हाई-फिडेलिटी" (High-Fidelity) विशेषज्ञ (महंगा, सटीक) है और कई "लो-फिडेलिटी" (Low-Fidelity) सहायक (सस्ते, तेज़, लेकिन कभी-कभी गलत) हैं।
रणनीति: सहायकों को अनदेखा करने के बजाय, टीम पूरे शहर को तेज़ी से स्कैन करने के लिए उनका उपयोग करती है। सहायक "उम्मीदवार इलाकों" (promising neighborhoods) की ओर इशारा करते हैं।
सुरक्षा जाल (The Safety Net): टीम जानती है कि सहायक नियमों के बारे में गलत हो सकते हैं (उदाहरण के लिए, वे सोच सकते हैं कि हाईवे सुरक्षित है)। इसलिए, टीम एक विशेष गणितीय ट्रिक (जिसे वेरिएंस करेक्शन/Variance Correction कहा जाता है) का उपयोग करती है ताकि यह कहा जा सके, "ठीक है, मानचित्र कहता है कि यह स्थान सुरक्षित है, लेकिन चूंकि मानचित्र धुंधला है, इसलिए हम थोड़ा अधिक संशयवादी रहेंगे और प्रतिबद्ध होने से पहले इसकी सावधानीपूर्वक जांच करेंगे।"

यह कैसे काम करता है (रूपक/Metaphors)

1. "ट्रस्ट रीजन" (द फ्लैशलाइट - The Flashlight)
कल्पना कीजिए कि आप एक अंधेरे कमरे में हैं। पूरे कमरे का एक साथ मानचित्र बनाने के बजाय, आप एक छोटे से क्षेत्र पर टॉर्च की रोशनी डालते हैं। आप उस छोटे क्षेत्र की पूरी तरह से जांच करते हैं। यदि आपको वहां कुछ अच्छा मिलता है, तो आप अपनी टॉर्च को उसके करीब ले जाते हैं। यदि आपको कुछ नहीं मिलता है, तो आप टॉर्च की बीम को छोटा कर देते हैं ताकि और करीब से देख सकें, या किसी नए आशाजनक स्थान पर चले जाते हैं।

शोध पत्र में: इसे ट्रस्ट रीजन (Trust Region) कहा जाता है। यह एल्गोरिदम को शहर के यादृच्छिक (random), बेकार हिस्सों की जांच करने में पैसा बर्बाद करने से रोकता है। यह महंगी जांचों को सबसे संभावित "विजेता" क्षेत्रों पर केंद्रित करता है।

2. "ब्लाइंड स्पॉट" सुधार (The "Blind Spot" Correction)
कभी-कभी सस्ते मानचित्र इतने खराब होते हैं कि वे लगभग बेकार होते हैं। यदि आप आँख बंद करके उनका पालन करेंगे, तो आप खाई में गिर सकते हैं।

शोध पत्र में: विधि एक "सहसंबंध स्कोर" (correlation score) की गणना करती है। यदि सस्ता मानचित्र वास्तविकता से बहुत कम संबंधित है, तो सिस्टम स्वचालित रूप से एक "सुरक्षा बफर" (अनिश्चितता को बढ़ाना) जोड़ देता है। यह मूल रूप से कहता है, "यह सस्ता डेटा अस्थिर है, इसलिए मैं इस पर पूरी तरह से भरोसा नहीं करूँगा, लेकिन मैं अभी भी एक मोटा विचार पाने के लिए इसका उपयोग करूँगा कि कहाँ देखना है।"

3. "सूचना लाभ" (द ट्रेजर हंट - The "Information Gain")
एल्गोरिदम केवल सबसे अच्छी जगह नहीं खोजता; यह उस जगह को खोजता है जो उसे सबसे अधिक सिखाती है।

शोध पत्र में: यह पूछता है, "यदि मैं सस्ते मानचित्र के साथ इस स्थान की जांच करता हूँ, तो क्या यह मुझे दूसरे स्थान की जांच करने की तुलना में यह बताने में अधिक मदद करेगा कि सबसे अच्छी जगह कहाँ है?" यह जांच की लागत और नई जानकारी के मूल्य के बीच संतुलन बनाता है।

उन्होंने क्या पाया?

लेखकों ने परीक्षण किया कि उनके नए तरीके (MS-CMES) ने छोटे कस्बों से लेकर हजारों सड़कों वाले विशाल महानगरों (उच्च आयाम/high dimensions) तक कई "शहरों" (गणितीय समस्याओं) पर यह कैसे काम करता है।

परिणाम: उनकी नई विधि (MS-CMES) पुराने तरीकों की तुलना में "सुरक्षित" क्षेत्रों को खोजने में बहुत बेहतर थी।
आश्चर्य: भले ही सस्ते मानचित्र बहुत धुंधले थे और वास्तविकता से बहुत कम संबंधित थे, फिर भी नए तरीके ने उन्हें तेजी से समाधान खोजने के लिए उनका उपयोग किया। पुराने तरीके अक्सर या तो हार मान लेते थे या फंस जाते थे क्योंकि वे शुरू करने के लिए एक भी सुरक्षित स्थान नहीं खोज पाते थे।
दक्षता (Efficiency): सस्ते मानचित्रों का उपयोग करके मार्गदर्शन प्राप्त करने और केवल सबसे अच्छे स्थानों की पुष्टि करने के लिए महंगी जांचों का उपयोग करके, उन्होंने बहुत कम कुल जांचों के साथ इष्टतम समाधान (optimal solution) खोज लिया।

सारांश

यह शोध पत्र कठिन अनुकूलन (optimization) समस्याओं को हल करने का एक स्मार्ट तरीका पेश करता है। केवल महंगी, पूर्ण डेटा पर भरोसा करने के बजाय, यह तेजी से अन्वेषण करने के लिए सस्ते, अपूर्ण डेटा को चतुराई से मिलाता है। यह आशाजनक क्षेत्रों पर ध्यान केंद्रित करने के लिए "फ्लैशलाइट" दृष्टिकोण का उपयोग करता है और यह सुनिश्चित करने के लिए एक "सुरक्षा बफर" का उपयोग करता है कि सस्ता डेटा आपको गलत रास्ते पर न ले जाए। परिणाम एक ऐसा सिस्टम है जो सबसे अच्छे, सुरक्षित समाधान बहुत तेज़ी से खोजता है, भले ही नियम जटिल हों और डेटा कम हो।

तकनीकी सारांश: बहु-सूचना स्रोतों के साथ बाधित बेयसियन अनुकूलन (Constrained Bayesian Optimisation with Multiple Information Sources)

समस्या विवरण

बेयसियन अनुकूलन (BO) महंगी ब्लैक-बॉक्स फलनों (functions) को अनुकूलित करने के लिए एक मानक ढांचा है, फिर भी यह अज्ञात बाधाओं (unknown constraints) और लघु व्यवहार्य क्षेत्रों (small feasible regions) के साथ काम करते समय महत्वपूर्ण चुनौतियों का सामना करता है। उच्च-आयामी स्थानों में, जहाँ डेटा विरल (sparse) होता है (जैसे कि क्रैशवर्थिनेस डिज़ाइन), एक भी व्यवहार्य बिंदु (feasible point) खोजना कठिन होता है। मौजूदा विधियाँ आमतौर पर एक ही सूचना स्रोत (जिसे "ग्राउंड ट्रुथ" कहा जाता है) पर निर्भर करती हैं, जिसे बार-बार मूल्यांकन करना गणनात्मक रूप से अत्यधिक महंगा हो सकता है।

जबकि कई इंजीनियरिंग और वैज्ञानिक अनुप्रयोगों में सहायक सूचना स्रोत (जैसे कि मोटे सिमुलेशन, सरलीकृत भौतिक मॉडल, या विश्लेषणात्मक सन्निकटन) होते हैं जो मूल्यांकन में सस्ते होते हैं लेकिन संभावित रूप से पक्षपाती या शोर युक्त (noisy) हो सकते हैं, उन्हें बाधित (constrained) BO में एकीकृत करना अभी भी कम खोजा गया क्षेत्र है। अधिकांश मौजूदा बहु-स्रोत (या बहु-फिडेलिटी) विधियाँ या तो बाधाओं को या फिर कई स्रोतों को अलग-अलग संबोधित करती हैं। ऐसे स्केलेबल फ्रेमवर्क की कमी है जो अंतिम समाधान की सटीकता से समझौता किए बिना, बाधित सेटिंग्स में प्रारंभिक अन्वेषण (exploration) को निर्देशित करने के लिए सस्ते, कमजोर रूप से सह-संबंधित सहायक स्रोतों का लाभ उठा सके।

कार्यप्रणाली: MS-CMES

लेखक मल्टी-सोर्स कंस्ट्रेंड मैक्स-वैल्यू एंट्रॉपी सर्च (MS-CMES) का प्रस्ताव करते हैं, जो मैक्स-वैल्यू एंट्रॉपी सर्च (MES) को कई सूचना स्रोतों और ब्लैक-बॉक्स बाधाओं वाले परिवेश के लिए एक एकीकृत ढांचे के रूप में विस्तारित करता है।

1. बहु-स्रोत गॉसियन प्रोसेस मॉडलिंग

यह ढांचा $f$ और बाधाओं $c_i$ को स्रोतों के एक सेट $S = \{0, \dots, L\}$ में मॉडल करता है, जहाँ $L$ लक्ष्य (महंगा, सटीक) स्रोत है और $0$ सबसे सस्ता सहायक स्रोत है।

MISO ढांचा: एक सख्त पदानुक्रमित फिडेलिटी (जैसा कि केंनेडी-ओ'हागन मॉडल में है) या साझा लेटेंट संरचना (जैसा कि मल्टी-टास्क GPs में है) मानने के बजाय, लेखक मल्टी-इन्फॉर्मेशन सोर्स ऑप्टिमाइजेशन (MISO) दृष्टिकोण अपनाते हैं।
योगात्मक संरचना (Additive Structure): प्रत्येक स्रोत-विशिष्ट फलन को $u^{(\ell)}(x) = u^{(L)}(x) + \Delta^{(\ell)}(x)$ के रूप में मॉडल किया जाता है, जहाँ $u^{(L)}$ एक लेटेंट लक्ष्य फलन है और $\Delta^{(\ell)}$ एक स्रोत-विशिष्ट विसंगति (discrepancy) है जिसे एक स्वतंत्र गॉसियन प्रोसेस (GP) के रूप में मॉडल किया गया है।
संयुक्त अनुमान (Joint Inference): यह योगात्मक संरचना लेटेंट फलन और विसंगतियों पर संयुक्त अनुमान की अनुमति देती है, जिससे स्रोतों के बीच सह-संबंधों को पकड़ते हुए लचीलापन बना रहता है, विशेषकर उन स्रोतों के लिए जिनका सह-संबंध कमजोर या अज्ञात है।

2. अधिग्रहण फलन (Acquisition Function): विचरण सुधार (Variance Correction) के साथ एंट्रॉपी सर्च

विधि का मूल एक अधिग्रहण फलन $\alpha_n(x, \ell)$ है जो बाधित इष्टतम (constrained optimum) $f^*$ के बारे में सूचना लाभ और मूल्यांकन लागत $\lambda(x, \ell)$ के बीच संतुलन बनाता है।

उद्देश्य: बाधित इष्टतम $f^* = \max_{x \in \mathcal{X}_f^{(L)}} f^{(L)}(x)$ के बारे में अपेक्षित सूचना लाभ को अधिकतम करना।
वैरिएशनल लोअर बाउंड: चूंकि म्यूचुअल इंफॉर्मेशन $I(u^{(\ell)}; f^*)$ गणनात्मक रूप से कठिन (intractable) है, इसलिए विधि ताकेनो एट अल. (2022) से अनुकूलित वैरिएशनल लोअर बाउंड का उपयोग करती है। इसमें डिस्क्रीट थॉम्पसन सैंपलिंग के माध्यम से बाधित इष्टतम $f^*$ का नमूना लेना और इस संभावना का अनुमान लगाना शामिल है कि एक नया अवलोकन $f^*$ द्वारा परिभाषित व्यवहार्य सेट के भीतर आता है।
विचरण सुधार (Variance Correction): एक महत्वपूर्ण नवीनता विचरण सुधार तंत्र है। क्योंकि व्यवहार्य सेट लक्ष्य स्रोत $L$ पर परिभाषित है लेकिन अवलोकन स्रोत $\ell$ से आ सकते हैं, इसलिए स्पूरियस व्यवहार्यता (spurious feasibility) का जोखिम रहता है। लेखक सहायक और लक्ष्य स्रोतों के बीच सहसंबंध गुणांक $\rho(x, \ell)$ के आधार पर एक सुधार कारक पेश करते हैं। यह कमजोर रूप से सह-संबंधित स्रोतों के भविष्यवाणियों के विचरण (variance) को बढ़ा देता है, जिससे एल्गोरिदम को उन बिंदुओं को अत्यधिक आत्मविश्वास के साथ चुनने से रोका जा सके जो सस्ते स्रोतों पर व्यवहार्य दिखते हैं लेकिन लक्ष्य स्रोत पर अनुपयुक्त होते हैं।

3. ट्रस्ट रीजन के माध्यम से स्केलेबिलिटी

उच्च-आयामी इनपुट स्पेस ( $d \ge 40$ ) को संभालने के लिए, अधिग्रहण अनुकूलन को सबसे अच्छे देखे गए व्यवहार्य बिंदु (या यदि कोई न हो तो न्यूनतम बाधा उल्लंघन वाले बिंदु) के आसपास एक गतिशील रूप से अपडेट किए गए ट्रस्ट रीजन (TR) तक सीमित रखा जाता है। यह खोज को अनचाहे क्षेत्रों में भटकने से रोकता है और गणनात्मक दक्षता में सुधार करता है।

मुख्य योगदान

एकीकृत ढांचा: बाधित BO के लिए पहला सिद्धांत-आधारित, सूचना-सैद्धांतिक ढांचा जो कई सूचना स्रोतों को एकीकृत करता है। यह उच्च-आयामी स्थानों में स्केल करने के लिए सस्ते सहायक नमूनों को ट्रस्ट-रीजन ह्यूरिस्टिक के साथ जोड़ता है।
विचरण सुधार: स्रोतों के बीच विसंगतियों को संभालने के लिए एक व्यवस्थित दृष्टिकोण, जो अंतः-स्रोत सहसंबंध के आधार पर प्रेडिक्टिव वेरिएंस को ठीक करता है, जिससे कमजोर रूप से सह-संबंधित सहायक डेटा के मामले में भी मजबूती सुनिश्चित होती है।
व्यवस्थित तुलना: मल्टी-सोर्स GP मॉडल (MISO बनाम KOH बनाम MTGP) के स्केलिंग का कठोर मूल्यांकन, जो दर्शाता है कि योगात्मक MISO संरचना पदानुक्रमित या सख्त मल्टी-टास्क दृष्टिकोणों की तुलना में विभिन्न सहसंबंध शक्तियों के प्रति अधिक मजबूत है।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक और भौतिक-आधारित बेंचमार्क (आयाम $d=100$ तक) पर व्यापक प्रयोग जो अत्याधुनिक बाधित BO विधियों की तुलना में निरंतर बेहतर प्रदर्शन दिखाते हैं।

प्रयोगात्मक परिणाम

लेखकों ने चार से 100 आयामों वाले पांच बेंचमार्क समस्याओं (प्रेशर वेसल, रोसेनब्रोक, रास्ट्रिगिन, रोटेटेड रास्ट्रिगिन, डिफरेंट पावर्स) पर MS-CMES का मूल्यांकन किया।

व्यवहार्यता की खोज (Feasibility Discovery): उच्च-आयामी, विरल व्यवहार्य क्षेत्रों (जैसे रास्ट्रिगिन वेरिएंट) में, अधिकांश बेसलाइन विधियाँ (CMFBO, VBO और रैंडम सर्च सहित) एक भी व्यवहार्य बिंदु खोजने में विफल रहीं। MS-CM_CES ने प्रारंभिक डिजाइन ऑफ एक्सपेरिमेंट्स (DOE) के तुरंत बाद व्यवहार्य क्षेत्रों की सफलतापूर्वक पहचान की।
अनुकूलन प्रदर्शन: MS-CMES ने बेसलाइन जैसे SCBO, FuRBO और CMES-IBO+ की तुलना में लगातार कम अंतिम ऑब्जेक्टिव मान प्राप्त किए।
सहसंबंध के प्रति मजबूती: MISO मॉडल ने तब भी उच्च सटीकता बनाए रखी जब सहायक स्रोत असंबद्ध या कमजोर रूप से सह-संबंधित थे, जबकि पदानुक्रमित मॉडल (KOH) इन परिदृश्यों में काफी गिर गए।
एब्लेशन अध्ययन: ट्रस्ट-रीजन ह्यूरिस्टिक को उच्च आयामों में दक्षता के लिए महत्वपूर्ण दिखाया गया था, और विधि एंट्रॉपी अनुमान के लिए उपयोग किए जाने वाले मोंटे कार्लो नमूनों ( $K$ ) की संख्या के प्रति मजबूत साबित हुई।

महत्व और दावे

पेपर का दावा है कि MS-CMES साहित्य में एक महत्वपूर्ण अंतर को भरता है, जो कई सूचना स्रोतों की उपस्थिति में बाधित अनुकूलन के लिए एक स्केलेबल समाधान प्रदान करता है।

प्रारंभिक अन्वेषण: यह विधि अनुकूलन के शुरुआती चरणों में विशेष रूप से प्रभावी है जहाँ व्यवहार्य क्षेत्र अज्ञात होते हैं। सस्ते, संभावित रूप से पक्षपाती डेटा का लाभ उठाकर, यह डिज़ाइन स्पेस को भर सकती है और एकल-स्रोत विधियों की तुलना में व्यवहार्यता की ओर खोज को अधिक कुशलता से निर्देशित कर सकती है।
सामान्य प्रयोज्यता: यह ढांचा एक सख्त फिडेलिटी पदानुक्रम का अनुमान नहीं लगाता है, जो इसे विविध वास्तविक दुनिया के परिदृश्यों के लिए उपयुक्त बनाता है, जहाँ सहायक डेटा (जैसे सरलीकृत सिमुलेशन, आर्काइवल डेटा) संरचनात्मक रूप से भिन्न हो सकता है।
व्यावहारिक प्रभाव: लेखक इंजीनियरिंग डिज़ाइन (जैसे क्रैशवर्थिनेस, एरोडायनामिक्स) से लेकर ड्रग डिस्कवरी तक के डोमेन में इस दृष्टिकोण की क्षमता को रेखांकित करते हैं, जहाँ उच्च-फिडेलिटी प्रयोगों के साथ लो-फिडेलिटी सिमुलेशन के लागत को संतुलित करना सर्वोपरि है।

लेखक विनम्रतापूर्वक सीमाओं को नोट करते हैं, विशेष रूप से उद्देश्यों और बाधाओं को एक स्रोत पर संयुक्त रूप से मूल्यांकित करने का अनुमान और उपयोगकर्ता-निर्दिष्ट लागत कार्यों पर निर्भरता। हालांकि, उनका तर्क है कि प्रस्तावित ढांचा जटिल, उच्च-आयामी और डेटा-विरल इंजीनियरिंग समस्याओं के लिए बाधित बेयसियन अनुकूलन को व्यावहारिक बनाने की दिशा में एक महत्वपूर्ण कदम है।