🤖 machine learning

Beyond Objective-Based Improvement: Stationarity-Aware Expected Improvement for Bayesian Optimization

यह शोध पत्र एक्सपेक्टेड इम्प्रूवमेंट वाया ग्रेडिएंट नॉर्म्स (EI-GN) को प्रस्तुत करता है, जो एक नवीन बायेसियन ऑप्टिमाइज़ेशन एक्विज़िशन फंक्शन है जो सुधार मानदंड में प्रथम-क्रम स्थिरता स्थितियों (first-order stationarity conditions) को शामिल करके खोज दक्षता को बढ़ाता है, जिससे उन क्षेत्रों में पारंपरिक एक्सपेक्टेड इम्प्रूवमेंट की सीमाओं को दूर किया जा सके जहाँ ऑब्जेक्टिव-वैल्यू सुधार संकेत लुप्त हो जाते हैं।

मूल लेखक: Joshua Hang Sai Ip, Georgios Makrygiorgos, Ali Mesbah

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joshua Hang Sai Ip, Georgios Makrygiorgos, Ali Mesbah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले पहाड़ी क्षेत्र में सबसे ऊँची चोटी खोजने की कोशिश कर रहे हैं, लेकिन आप केवल कुछ ही कदम एक बार में ले सकते हैं, और हर कदम लेने में आपकी बहुत अधिक ऊर्जा खर्च होती है। बेयसियन ऑप्टिमाइज़ेशन (Bayesian Optimization) यही करता है: यह हर एक संभावना का परीक्षण करने में समय बर्बाद किए बिना किसी जटिल समस्या (जैसे किसी रोबोट को ट्यून करना या किसी नए पदार्थ को डिजाइन करना) के लिए सबसे अच्छा समाधान खोजने की कोशिश करता है।

इसका उपयोग करने वाला सबसे सामान्य उपकरण एक्सपेक्टेड इम्प्रूवमेंट (Expected Improvement - EI) कहलाता है। EI को एक ऐसे हाइकर (पहाड़ी यात्री) के रूप में सोचें जो केवल जमीन की ऊंचाई देखता है। यदि कोई स्थान वर्तमान स्थान से ऊंचा है, तो वह वहां जाने के लिए उत्साहित हो जाता है। यदि वह नीचे है, तो वह उसे अनदेखा कर देता है।

समस्या: "फ्लैटलैंड" का जाल

पेपर इस "केवल ऊंचाई" वाली रणनीति में एक दोष की ओर इशारा करता है। कल्पना कीजिए कि आप एक चौड़े, समतल पठार पर खड़े हैं। आपके बाईं और दाईं ओर, जमीन बिल्कुल उतनी ही ऊँची है जितनी कि जहाँ आप खड़े हैं।

पुराना तरीका (EI): हाइकर अपने चारों ओर देखता है, देखता है कि कोई ऊँची जमीन नहीं है, और सोचता है, "आगे बढ़ने का कोई फायदा नहीं है।" चलने का संकेत गायब हो जाता है। हाइकर एक लूप में फंस जाता है, बार-बार एक ही समतल स्थान की जांच करता रहता है, या बिना किसी दिशा के भटकता रहता है क्योंकि "ऊंचाई" का पैमाना कोई उपयोगी जानकारी नहीं दे पा रहा है।
वास्तविकता: भले ही ऊंचाई नहीं बदल रही हो, लेकिन ढलान बदल सकती है। आप एक ऐसे समतल स्थान पर हो सकते हैं जो वास्तव में एक छोटी पहाड़ी का शिखर है, या आप एक ऐसे समतल हिस्से पर हो सकते हैं जो एक बहुत बड़े पहाड़ की ओर ले जाता है। पुराना तरीका ढलान को अनदेखा कर देता है।

समाधान: EI-GN (एक "ढलान-समझदार" हाइकर)

लेखक एक नया उपकरण प्रस्तावित करते हैं जिसे EI-GN (Expected Improvement via Gradient Norms) कहा जाता है।

केवल यह पूछने के बजाय कि "क्या यह स्थान ऊँचा है?", EI-GN दो प्रश्न पूछता है:

"क्या यह स्थान ऊँचा है?" (पुराना प्रश्न)।
"क्या यह स्थान अधिक समतल है?" (नया प्रश्न)।

"स्मूथनेस पेनल्टी" (Smoothness Penalty) का सादृश्य:
कल्पना कीजिए कि आप टेंट लगाने के लिए सबसे उपयुक्त जगह की तलाश कर रहे हैं।

पुराना तरीका: आपको केवल दृश्य (ऊंचाई) की चिंता है। यदि दृश्य समान है, तो आपको परवाह नहीं है।
नया तरीका (EI-GN): आपको दृश्य की चिंता है, लेकिन आपको बोनस भी मिलता है यदि जमीन पूरी तरह से समतल और स्थिर है। यदि आपको एक ऐसा स्थान मिलता है जो आपके वर्तमान स्थान से थोड़ा नीचा है, लेकिन जमीन अविश्वसनीय रूप से समतल है (जिसका अर्थ है कि आप एक शिखर या एक स्थिर घाटी के बहुत करीब हैं), तो EI-GN कहता है, "हे, यह वास्तव में एक बड़ा सुधार है क्योंकि यह इतना स्थिर है!"

"समतलता" (Flatness) को महत्व देकर (जिसे गणितज्ञ "स्टेशनैरिटी" कहते हैं), हाइकर को पहाड़ियों के शीर्षों की ओर निर्देशित किया जाता है, भले ही दृश्य अभी तक नहीं बदला हो। यह उन समतल क्षेत्रों में खोज को जारी रखता है जहाँ पुराना तरीका हार मान लेता।

यह कैसे काम करता है (बिना गणित के)

पेपर बताता है कि उन्होंने प्रत्येक स्थान के लिए एक नया "स्कोर" बनाया है। यह स्कोर पहाड़ की ऊंचाई को और जमीन कितनी "ऊबड़-खाबड़" है, इसके दंड (penalty) को जोड़ता है।

यदि जमीन ऊबड़-खाबड़ है (तीव्र ढलान), तो स्कोर कम हो जाता है।
यदि जमीन समतल है (शिखर के पास), तो स्कोर बढ़ जाता है।

उन्होंने गणितीय रूप से सिद्ध किया कि इस नए स्कोर की गणना जल्दी और आसानी से की जा सकती है। उन्होंने यह भी दिखाया कि इसके लिए पहाड़ों का अधिक जटिल मानचित्र बनाने की आवश्यकता नहीं है; यह केवल इस बात को बदलता है कि हाइकर अगला कदम कहाँ रखेगा।

उन्होंने क्या पाया

लेखकों ने कई "नकली पहाड़ों" (मानक कंप्यूटर परीक्षण समस्याओं) पर इस नए तरीके का परीक्षण किया और पाया:

ऊबड़-खाबड़, जटिल इलाकों में: यह पुराने तरीके की तुलना में बहुत बेहतर काम करता है, जिससे यह ऊँची चोटियों को तेज़ी से खोज लेता है।
समतल इलाकों में: यह इसमें फँसता नहीं है। जबकि पुराना तरीका रुक जाता क्योंकि ऊंचाई नहीं बदल रही थी, EI-GN चलता रहता क्योंकि यह "समतलता" के संकेत का पीछा कर रहा था।
रोबोट कंट्रोल टेस्ट में: उन्होंने इसका उपयोग एक रोबोट को एक डंडा संतुलित करना सिखाने के लिए किया। रोबोट ने पुराने तरीके या मानक रोबोट-लर्निंग ट्रिक्स की तुलना में EI-GN का उपयोग करके तेजी से सीखा।

निष्कर्ष

यह पेपर सबसे अच्छे समाधान की खोज करने का एक स्मार्ट तरीका पेश करता है। केवल "उच्च" परिणामों की तलाश करने के बजाय, यह "समतल" परिणामों की भी तलाश करता है। यह खोज को उबाऊ, समतल क्षेत्रों में फंसने से रोकता है और इसे वास्तविक सर्वोत्तम स्थानों को अधिक कुशलता से खोजने में मदद करता है, भले ही "ऊंचाई" बदलती हुई न दिख रही हो।

तकनीकी सारांश: स्टेशनैरिटी-अवेयर एक्सपेक्टेड इम्प्रूवमेंट फॉर बेयसियन ऑप्टिमाइज़ेशन

समस्या विवरण
बेयसियन ऑप्टिमाइज़ेशन (BO) महंगी ब्लैक-बॉक्स फलनों (functions) को अनुकूलित करने के लिए एक मानक ढांचा है, जो आमतौर पर मुख्य एक्विजिशन फंक्शन (AF) के रूप में एक्सपेक्टेड इम्प्रूवमेंट (EI) पर निर्भर करता है। हालांकि EI अनुभवजन्य रूप से सफल है, लेकिन यह प्रथम-क्रम की इष्टतमता स्थितियों (first-order optimality conditions) के प्रति मौलिक रूप से उदासीन है, और केवल ऑब्जेक्टिव-वैल्यू में सुधार की क्षमता पर निर्भर करता है। फलस्वरूप, उन क्षेत्रों में जहाँ ऑब्जेक्टिव फंक्शन सपाट या 'नियर-स्टेशनरी' (near-stationary) होता है, EI सिग्नल लुप्त हो सकता है, जिससे स्थानीय बेसिनों (local basins) का अत्यधिक शोषण (over-exploitation) होता है और प्रभावी ढंग से अन्वेषण (exploration) करने में विफलता होती है। यद्यपि व्यावहारिक सेटिंग्स (जैसे कि कंट्रोल में पॉलिसी ग्रेडिएंट्स, PDEs में एडजॉइंट सेंसिटिविटी, मशीन लर्निंग में हाइपरग्रेडिएंट्स) में नगण्य लागत पर ग्रेडिएंट जानकारी उपलब्ध होती है, मौजूदा ग्रेडिएंट-एन्हांस्ड BO विधियाँ मुख्य रूप से प्रेडिक्टिव सटीकता को सुधारने के लिए सरोगेट मॉडल में ग्रेडिएंट्स को शामिल करने पर ध्यान केंद्रित करती हैं। यह दृष्टिकोण फंक्शन वैल्यूज और डेरिवेटिव्स के बीच क्रॉस-कोरिलेशन को मॉडल करने के कारण उच्च कम्प्यूटेशनल जटिलता उत्पन्न करता है। इसके विपरीत, एक्विजिशन फंक्शन के भीतर ग्रेडिएंट जानकारी का लाभ उठाना अभी भी कम खोजा गया क्षेत्र है।

कार्यप्रणाली
लेखक एक्सपेक्टेड इम्प्रूवमेंट वाया ग्रेडिएंट नॉर्म्स (EI-GN) का प्रस्ताव करते हैं, जो एक नया एक्विजिशन फंक्शन है जो स्टेशनैरिटी (stationarity) को शामिल करने के लिए इम्प्रूवमेंट सिद्धांत का विस्तार करता है।

सहायक ऑब्जेक्टिव (Auxiliary Objective): एक्सप्लोरेशन ह्यूरिस्टिक्स को संशोधित करने के बजाय, यह विधि "सुधार" (improvement) की परिभाषा को सामान्य बनाती है। यह एक सहायक ऑब्जेक्टिव फंक्शन $g(x)$ को परिभाषित करती है जो मूल ऑब्जेक्टिव $f(x)$ को ग्रेडिएंट नॉर्म पर एक सॉफ्ट पेनल्टी के साथ जोड़ता है:
$g(x) = f(x) - \alpha \|\nabla f(x)\|_2^2$
जहाँ $\alpha \geq 0$ एक हाइपरपैरामीटर है। यह फॉर्मूलेशन ग्रेडिएंट नॉर्म को स्टेशनैरिटी से विचलन के लिए एक सॉफ्ट पेनल्टी के रूप में मानता है, जिससे ऐसी खोज को प्रोत्साहन मिलता है जो या तो उच्च-प्रदर्शन वाले क्षेत्रों या स्टेशनरी पॉइंट्स के करीब वाले क्षेत्रों को प्राथमिकता देती है।
एक्विजिशन फॉर्मूलेशन: यह विधि इस सहायक ऑब्जेक्टिव पर एक्सपेक्टेड इम्प्रूवमेंट को परिभाषित करती है, जिसे $EI_g$ कहा जाता है। हालाँकि, फंक्शन वैल्यूज और ग्रेडिएंट नॉर्म के जुड़ाव के कारण $EI_g$ की सीधी गणना करना कठिन है। लेखक 'पॉजिटिव पार्ट इनइक्वेलिटी' (Positive Part Inequality) का उपयोग करके एक सुलभ लोअर बाउंड प्राप्त करते हैं:
$EI_g(x) \geq EI_f(x) - \alpha E I_s(x)$
जहाँ $EI_f$ ऑब्जेक्टिव पर मानक EI है, और $EI_s$ स्टेशनैरिटी में सुधार (ग्रेडिएंट नॉर्म में कमी) को मापने वाला एक EI-शैली का टर्म है।
सुलभ सन्निकटन (Tractable Approximation - EI-GN): इस विधि को व्यावहारिक बनाने के लिए, लेखक स्टेशनैरिटी टर्म, $E I_s$ के एक सुलभ सन्निकटन के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन प्राप्त करते हैं। ऑब्जेक्टिव और उसके आंशिक डेरिवेटिव्स के लिए स्वतंत्र गाऊसी प्रोसेस (GP) मॉडल मानकर (जो जॉइंट मॉडल्स की $O((d+1)^3N^3)$ जटिलता से बचता है), वे व्हाइटनिंग ट्रांसफॉर्मेशन का उपयोग करते हैं ताकि नॉर्म-आधारित ट्रंकेशन को डीकपल किया जा सके। यह अनुमति देता है कि एक्सपेक्टेशन को सेपरेबल ट्रंकेटेड मोमेंट्स के माध्यम से कंप्यूट किया जा सके, जिसके परिणामस्वरूप अंतिम एक्विजिशन फंक्शन प्राप्त होता है:
$EI\text{-}GN(x) = EI_f(x) - \alpha E I_s(x)$
यह फॉर्मूलेशन सुधार के दो मार्ग प्रदान करता है: ऑब्जेक्टिव वैल्यू को बढ़ाना या ग्रेडिएंट नॉर्म को कम करना।

प्रमुख योगदान

नया एक्विजिशन फंक्शन: पेपर EI-GN को पेश करता है, जो स्टेशनैरिटी-अवेयर सहायक ऑब्जेक्टिव पर इम्प्रूवमेंट सिद्धांत लागू करता है, जो शुद्ध ऑब्जेक्टिव-वैल्यू मानदंडों से परे इम्प्रूवमेंट-आधारित एक्विजिशन का विस्तार करता है।
सैद्धांतिक व्युत्पत्ति (Theoretical Derivation): लेखक एक सहायक ऑब्जेक्टिव पर अपेक्षित सुधार के लिए एक लोअर बाउंड निकालते हैं और एक सुलभ, क्लोज्ड-फॉर्म एक्सप्रेशन (EI-GN) प्रदान करते हैं जो गाऊसी पोस्टेरियर्स के तहत इन सिद्धांतों को स्थापित करता है।
कम्प्यूटेशनल दक्षता: स्वतंत्र GP मॉडल्स का उपयोग करके, यह विधि जॉइंट डेरिवेटिव मॉडलिंग के कम्प्यूटेशनल बोझ से बचते हुए भी ग्रेडिएंट जानकारी का लाभ उठाने में सक्षम है।

प्रायोगिक परिणाम
पेपर विभिन्न प्रायोगिक व्यवस्थाओं में EI-GN का मूल्यांकन करता है:

सिंथेटिक बेंचमार्क्स: विभिन्न आयामों (dimensions) के साथ मानक फलनों (Shekel, Hartmann, Griewank, Ackley) पर, EI-GN लगातार बेसलाइन्स (EI, LogEI, UCB, CMA-ES) को मात देता है या उनके बराबर रहता है। यह विशेष रूप से उन फलनों में लाभ दिखाता है जिनमें फ्लैट या ऑसिलेटरी संरचनाएं होती हैं जहाँ मानक EI सिग्नल लुप्त हो जाते हैं।
GP सैंपल्स: इन-मॉडल (आइडियलाइज्ड) और आउट-ऑफ-मॉडल (मिसमैच्ड हाइपरपैरामीटर्स) दोनों तुलनाओं में, EI-GN मानक EI-फैमिली बेसलाइन्स पर मजबूत प्रदर्शन लाभ प्रदर्शित करता है। यह पुष्टि करता है कि ग्रेडिएंट-आधारित सिग्नल प्रभावी ढंग से ऑप्टिमाइज़ेशन को निर्देशित करता है, भले ही सरोगेट मॉडल अपूर्ण हों।
ग्रेडिएंट एब्लेशन: उन विधियों के साथ तुलना जो सरोगट मॉडल में ग्रेडिएंट्स को शामिल करती हैं (जॉइंट GPs) बनाम एक्विजिशन फंक्शन में शामिल करती हैं, यह दर्शाती है कि ये दृष्टिकोण एक-दूसरे के पूरक (orthogonal) हैं। दोनों को मिलाना (dEI-GN) सबसे मजबूत परिणाम देता है, जो इंगित करता है कि एक्विजिशन-लेवल और सरोगेट-लेवल सुधार ऑप्टिमाइज़ेशन समस्या के पूरक पहलुओं को संबोधित करते हैं।
पॉलिसी सर्च: सुदृढीकरण शिक्षण (Reinforcement Learning) कार्यों (Acrobot और CartPole) में, EI-GN की तुलना स्थानीय ग्रेडिएंट विधियों (REINFORCE) और मानक EI से की जाती है। EI-GN उच्च सैंपल दक्षता और उच्च-रिवॉर्ड पॉलिसियों तक अधिक विश्वसनीय अभिसरण (convergence) प्राप्त करता है, विशेष रूप से उन परिदृश्यों में जहाँ स्थानीय विधियाँ स्थानीय बेसिनों में फंस जाती हैं।

महत्व और दावे
पेपर का दावा है कि EI-GN एक समृद्ध और अधिक सूचनात्मक सुधार की अवधारणा प्रदान करता है क्योंकि यह स्टेशनैरिटी की ओर प्रगति को एक्विजिशन मानदंड में समाहित करता है। लेखक तर्क देते हैं कि यह दृष्टिकोण एक्विजिशन लैंडस्केप को सूचनात्मक बनाए रखने की अनुमति देता है, यहाँ तक कि उन व्यवस्थाओं में भी जहाँ मानक EI बहुत कम सिग्नल प्रदान करता है (जैसे फ्लैट क्षेत्र या नियर-स्टेशनरी पॉइंट्स)। इस पद्धति को EI फ्रेमवर्क के एक सिद्धांतपूर्ण विस्तार के रूप में प्रस्तुत किया गया है जो जटिल जॉइंट सरोगेट मॉडलिंग के कम्प्यूटेशनल ओवरहेड के बिना उपलब्ध ग्रेडिएंट जानकारी का लाभ उठाता है। प्रायोगिक परिणाम बताते हैं कि EI-GN बेसलाइन विधियों पर निरंतर लाभ प्रदान करता है, विशेष रूप से चुनौतीपूर्ण लैंडस्केप में जहाँ पारंपरिक ऑब्जेक्टिव-वैल्यू-आधारित सुधार मानदंड अपर्याप्त होते हैं।

समस्या: "फ्लैटलैंड" का जाल

समाधान: EI-GN (एक "ढलान-समझदार" हाइकर)

यह कैसे काम करता है (बिना गणित के)

उन्होंने क्या पाया

निष्कर्ष

इसी तरह के और पेपर