Rethinking Trust Region Bayesian Optimization in High Dimensions

तकनीकी सारांश: उच्च आयामों में ट्रस्ट रीजन बायेसियन ऑप्टिमाइज़ेशन पर पुनर्विचार

1. समस्या विवरण (Problem Statement)

ट्रस्ट रीजन बायेसियन ऑप्टिमाइज़ेशन (TuRBO) एक अत्याधुनिक रणनीति है जिसे अडैप्टिव ट्रस्ट रीजन्स (TRs) के भीतर स्थानीय गॉसियन प्रोसेस (GP) मॉडल फिट करके ब्लैक-बॉक्स ऑप्टिमाइज़ेशन में "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) को कम करने के लिए डिज़ाइन किया गया है। हालाँकि, लेखक एक महत्वपूर्ण विफलता मोड की पहचान करते हैं: मॉडल डिजेनेरेसी (Model Degeneracy)।

उच्च-आयामी स्थानों ($D$) में, बिंदुओं के बीच ज्यामितीय दूरी $\Theta(\sqrt{D})$ के रूप में स्केल करती है। यदि GP लेंथस्केल्स ($\ell$) को आयाम (dimension) और ट्रस्ट रीजन के आकार ($L$) दोनों के अनुरूप ठीक से कैलिब्रेट नहीं किया जाता है, तो स्थानीय GP मॉडल दो चरम स्थितियों का शिकार होता है:

• अत्यधिक जटिल (निकट-स्वतंत्रता/Near-Independence): यदि $\ell$, बिंदुओं के बीच की दूरी के सापेक्ष बहुत छोटा है, तो कर्नेल मैट्रिक्स आइडेंटिटी मैट्रिक्स के करीब पहुँच जाता है। GP यह मान लेता है कि बिंदु लगभग स्वतंत्र हैं, जिससे यह सूचनाहीन हो जाता है और फंक्शन की संरचना को सीखने में असमर्थ हो जाता है।
• अत्यधिक सरल (अत्यधिक स्मूथनेस/Excessive Smoothness): यदि $\ell$, TR आकार के सापेक्ष बहुत बड़ा है, तो GP बहुत अधिक स्मूथ हो जाता है, जिससे यह स्थानीय गैर-स्मूथ विविधताओं को पकड़ने में विफल रहता है और सबऑप्टिमल एक्विजिशन ऑप्टिमाइज़ेशन की ओर ले जाता है।

2. कार्यप्रणाली (Methodology)

लेखक AdaScale-TuRBO का प्रस्ताव करते हैं, जो एक ऐसा वेरिएंट है जो यह सुनिश्चित करता है कि स्थानीय GP, $D$ या $L$ में परिवर्तन के बावजूद निरंतर जटिलता बनाए रखे।

A. सैद्धांतिक व्युत्पत्ति (The Scaling Rule):
लेखक सिद्ध करते हैं कि कर्नेल ज्योमेट्री और मैक्सिमम इंफॉर्मेशन गेन (MIG)—जो मॉडल जटिलता का एक माप है—को संरक्षित करने के लिए, लेंथस्केल को TR में बिंदुओं के अपेक्षित अंतर के समानुपाती रूप से स्केल होना चाहिए। चूंकि $L$ भुजा वाले $D$-आयामी हाइपरक्यूब में अपेक्षित दूरी $\Theta(L/\sqrt{D})$ के रूप में स्केल होती है, इसलिए वे व्युत्पन्न करते हैं कि लेंथस्केल इस प्रकार होना चाहिए:
$$\ell \propto \frac{L}{\sqrt{D}}$$
यह सुनिश्चित करता है कि स्थानीय GP की जटिलता का अनुमान डोमेन स्केलिंग के प्रति अपरिवर्तनीय (invariant) बना रहे।

B. कार्यान्वयन (MAP Estimation & Prior):
व्यावहारिक रूप से इस स्केलिंग को लागू करने के लिए, लेखक शुद्ध मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) से दूर हटते हैं, जो उच्च आयामों में भंगुर (brittle) होता है, और इसके बजाय मैक्सिमम ए पोस्टीरिओरी (MAP) एस्टीमेशन का उपयोग करते हैं। वे लेंथस्केल्स के लिए एक TR-aware LogNormal प्रायर पेश करते हैं:
$$\ell_i \sim \text{LogNormal}\left(\mu_0 + \log\left(\frac{L}{\sqrt{D}}\right), \sigma_0\right)$$
जहाँ $\mu_0$ और $\sigma_0$ निश्चित बेस पैरामीटर हैं। यह प्रायर लेंथस्केल्स के वितरण को वर्तमान ट्रस्ट रीजन आकार और डाइमेंशनलिटी दोनों के आधार पर शिफ्ट करता है।

3. मुख्य योगदान (Key Contributions)

1. डिजेनेरेसी का निदान: MIG विश्लेषण का उपयोग करके, वे एक गणितीय स्पष्टीकरण प्रदान करते हैं कि TuRBO उच्च आयामों में क्यों विफल होता है (निकट-स्वतंत्रता की ओर पतन)।
2. सिद्धांतिक स्केलिंग नियम: वे एक स्केलिंग नियम ($\ell \propto L/\sqrt{D}$) व्युत्पन्न और सिद्ध करते हैं जो बदलते आयामों और विभिन्न ट्रस्ट रीजन आकारों में कर्नेल ज्योमेट्री को सुरक्षित रखता है।
3. AdaScale-TuRBO एल्गोरिदम: एक मजबूत कार्यान्वयन जो हाइपरपैरामीटर ट्रेनिंग को स्थिर करने के लिए डाइमेंशन/TR-अवेयर प्रायर के साथ DIM-आधारित MAP एस्टीमेशन को एकीकृत करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने वैनिला TuRBO, लीनियर BO, और "D-scaled TuRBO" (जो $\sqrt{D}$ के साथ स्केल करता है लेकिन $L$ को अनदेखा करता है) सहित कई बेसलाइन्स के विरुद्ध AdaScale-TuRBO का मूल्यांकन किया।

• सिंथेटिक बेंचमार्क्स: Schwefel, Rastrigin, और Michalewicz फंक्शन्स के उच्च-आयामी (50D और 100D) संस्करणों पर, AdaScale-TuRBO ने लगातार सभी बेसलाइन्स को पछाड़ दिया। विशेष रूप से, "D-scaled TuRBO" का प्रदर्शन खराब रहा, जो पुष्टि करता है कि ट्रस्ट रीजन आकार $L$ को अनदेखा करने से अत्यधिक स्मूथ मॉडल बनते हैं।
• वास्तविक दुनिया का कार्य: एक 60-आयामी रोवर ट्रजेक्टरी प्लानिंग समस्या में, AdaScale-TuRBO ने सर्वश्रेष्ठ प्रदर्शन किया, जो जटिल इंजीनियरिंग कार्यों में इसकी उपयोगिता को प्रदर्शित करता है।
• मजबूती (Robustness): एब्लेशन अध्ययनों ने दिखाया कि विधि प्रारंभिक ट्रस्ट रीजन आकार ($L_0$) के चयन के प्रति मजबूत है, और GP-प्रायर-सैंपल किए गए फंक्शन्स पर प्रयोगों ने अत्यधिक गैर-स्मूथ ऑब्जेक्टिव फंक्शन्स के मामले में भी बेहतर प्रदर्शन दिखाया।

5. महत्व (Significance)

यह कार्य इस बात पर मौलिक पुनर्विचार प्रदान करता है कि उच्च-आयामी बायेसियन ऑप्टिमाइज़ेशन में स्थानीय सरोगेट मॉडल कैसे निर्मित किए जाने चाहिए। ज्यामितीय स्केलिंग और सूचना सिद्धांत (MIG) के बीच के अंतर को पाटकर, लेखक मॉडल अंशांकन (calibration) बनाए रखने का एक सिद्धांतपूर्ण तरीका प्रदान करते हैं। यह TuRBO को उच्च-आयामी समस्याओं के लिए काफी अधिक विश्वसनीय बनाता है जहाँ अडैप्टिव ट्रस्ट रीजन्स के माध्यम से खोज स्थान (search space) को लगातार सीमित और विस्तारित किया जाता है।