तकनीकी सारांश: सूचना-ज्यामितीय द्विपद अपघटन के माध्यम से मिश्रित-श्रेणीबद्ध ब्लैक-बॉक्स अनुकूलन

समस्या की परिभाषा

यह शोध पत्र मिश्रित-श्रेणीबद्ध ब्लैक-बॉक्स अनुकूलन (MC-BBO) को संबोधित करता है, जो समस्याओं का एक वर्ग है जहाँ एक विषम डोमेन (heterogeneous domain) पर एक उद्देश्य फलन $f(c, x)$ को न्यूनतम किया जाना चाहिए, जिसमें श्रेणीबद्ध चर (categorical variables) $c$ और निरंतर चर (continuous variables) $x$ शामिल हैं। विशेष रूप से, यह अध्ययन उस मामले पर केंद्रित है जहाँ $c$ में असतत श्रेणीबद्ध चर (discrete categorical variables) शामिल हैं (जिन्हें वन-हॉट वेक्टर या बाइनरी बिट्स के रूप में मॉडल किया जाता है) और $x \in \mathbb{R}^{d_x}$ है।

पहचाना गया मुख्य संकट मजबूत श्रेणीबद्ध-निरंतर अंतःक्रियाओं (categorical-continuous interactions) की उपस्थिति है। मौजूदा अत्याधुनिक इवोल्यूशन स्ट्रैटेजी (ES) दृष्टिकोण, जैसे कि CatCMA और ICatCMA, खोज वितरण (search distribution) को एक बहुभिन्निकीय गाऊसी वितरण (multivariate Gaussian - $x$ के लिए) और एक श्रेणीबद्ध वितरण (categorical distribution - $c$ के लिए) के गुणनफल के रूप में मॉडल करते हैं। यह गुणनफल वितरण धारणा (product distribution assumption) $c$ और $x$ के बीच स्वतंत्रता को अंतर्निहित रूप से लागू करती है, जिससे ये विधियाँ उन जटिल निर्भरताओं को सीखने में असमर्थ हो जाती हैं जहाँ इष्टतम निरंतर विन्यास (optimal continuous configuration) श्रेणीबद्ध विकल्प पर अत्यधिक निर्भर होता है। यद्यपि बेयसियन (Bayesian) विधियाँ मौजूद हैं, वे अक्सर उच्च-आयामी स्थानों में स्केलेबिलिटी संबंधी समस्याओं से ग्रस्त होती हैं।

कार्यप्रणाली: IGBD

लेखक सूचना-ज्यामितीय द्विपद अपघटन (Information-Geometric Bilevel Decomposition - IGBD) का प्रस्ताव करते हैं, जो एक द्विपद अनुकूलन कार्य के रूप में समस्या को पुनर्गठित करके श्रेणीबद्ध और निरंतर चरों के बीच निर्भरता को स्पष्ट रूप से मॉडल करता है:

$$\min_{c} f(c, x^\star) \quad \text{s.t.} \quad x^\star = \arg\min_{x} f(c, x)$$

यह विधि पदानुक्रम के दोनों स्तरों के लिए स्टोकेस्टिक रिलैक्सेशन (stochastic relaxations) तैयार करने के लिए सूचना-ज्यामितीय अनुकूलन (Information-Geometric Optimization - IGO) का उपयोग करती है:

1. उच्च स्तर (Categorical Optimization):

   • श्रेणीबद्ध वितरण को नियंत्रित करने वाले प्रायिकता वेक्टर $q$ को अनुकूलित करता है।
   • एडेप्टिव स्टोकेस्टिक नेचुरल ग्रेडिएंट (ASNG) विधि का उपयोग करता है।
   • मोनोटोनिक रूपांतरणों के प्रति अपरिवर्तनीयता सुनिश्चित करने के लिए रैंक-आधारित फिटनेस शेपिंग का उपयोग करते हुए नेचुरल ग्रेडिएंट के साथ $q$ को अपडेट करता है।
   • CMA-ES के समान एक संचयी स्टेप-साइज एडेप्टेशन (CSA) तंत्र का उपयोग करके स्टेप साइज (ट्रस्ट रेडियस) को अनुकूलित करता है।

2. निम्न स्तर (Continuous Optimization):

   • एक निश्चित श्रेणीबद्ध विन्यास $c$ पर आधारित निरंतर चरों $x$ को अनुकूलित करता है।
   • उद्देश्य $f(c, x)$ को न्यूनतम करने के लिए dd-CMA-ES (एक सक्रिय अपडेट वाला डायगोनल वेरिएंट) का उपयोग करता है।
   • निम्न-स्तरीय सॉल्वर को एक स्टेटफुल प्रक्रिया (stateful process) के रूप में माना जाता है जो ऊपरी स्तर को इष्टतम $x^\star(c)$ का अनुमान प्रदान करती है।

3. वार्म-स्टार्टिंग रणनीति (कैश तंत्र):

   • प्रत्येक ऊपरी-स्तरीय उम्मीदवार के लिए निम्न-स्तरीय समस्या को अभिसरण (convergence) तक हल करने की अत्यधिक कम्प्यूटेशनल लागत को कम करने के लिए, IGBD एक वार्म-स्टार्टिंग रणनीति पेश करता है।
   • $N_\omega$ निम्न-स्तरीय विन्यासों $\{(x_k, \omega_k, p_k)\}$ का एक कैश बनाए रखा जाता है, जहाँ $\omega_k$ CMA-ES पैरामीटर (माध्य और सहप्रसरण) को दर्शाता है और $p_k$ एक गुणवत्ता स्कोर है।
   • चयन (Selection): प्रत्येक ऊपरी-स्तरीय उम्मीदवार $c_i$ के लिए, एल्गोरिथ्म वर्तमान उद्देश्य मान के आधार पर सर्वश्रेष्ठ कैश कॉन्फ़िगरेशन $k^\star_i$ का चयन करता है।
   • आरंभीकरण (Initialization): चयनित कैश प्रविष्टि के मापदंडों के साथ $c_i$ के लिए निम्न-स्तरीय सॉल्वर को इनिशियलाइज़ किया जाता है।
   • अपडेट (Update): निम्न-स्तरीय खोज के बाद, कैश को अपडेट किया जाता है। चयनित प्रविष्टियों को नए सॉल्वर स्टेट के साथ रिफ्रेश किया जाता है और उनके स्कोर बढ़ाए जाते हैं; अनचयनित प्रविष्टियों के स्कोर घटाए जाते हैं। अन्वेषण (exploration) को बढ़ावा देने के लिए एक थ्रेशोल्ड से नीचे गिरने वाली प्रविष्टियों को यादृच्छिक रूप से पुन: इनिशियलाइज़ किया जाता है।

मुख्य योगदान

1. IGBD ढांचा: MC-BBO के लिए एक द्विपद अनुकूलन ढांचे का प्रस्ताव, जहाँ प्रत्येक स्तर IGO के तहत एक स्टोकेस्टिक रिलैक्सेशन है। यह स्पष्ट रूप से श्रेणीबद्ध-निरंतर अंतःक्रियाओं को कैप्चर करता है जिन्हें उत्पाद-वितरण विधियाँ छोड़ देती हैं।
2. नवीन अंतःक्रिया प्रकार: एक चौथे प्रकार की अंतःक्रिया (Type-IV) का परिचय, जहाँ श्रेणीबद्ध चर स्वयं निरंतर डोमेन के भीतर की अंतःक्रियाओं को नियंत्रित करते हैं (जैसे, निरंतर परिदृश्य की सहप्रसरण संरचना या रोटेशन को बदलकर), इसके अतिरिक्त इष्टतम स्थान निर्धारित करने के अलावा।
3. बेंचमार्किंग: बाइनरी-निरंतर डोमेन पर मौजूदा अंतःक्रिया प्रकारों (I, II, III) और नए प्रस्तावित Type-IV सहित, विभिन्न आयामीताओं ($d_c=d_x=5$ और $10$) और अंतःक्रिया की ताकत के विरुद्ध CatCMA और ICatCMA के मुकाबले व्यापक मूल्यांकन।

प्रयोगात्मक परिणाम

प्रयोगों से पता चलता है कि IGBD मजबूत अंतःक्रियाओं को संभालने में उच्च दक्षता बनाए रखते हुए मौजूदा विधियों से बेहतर प्रदर्शन करता है:

• अंतःक्रिया हैंडलिंग: IGBD लगभग सभी परीक्षण किए गए अंतःक्रिया प्रकारों और ताकतों में 100% सफलता दर प्राप्त करता है, जिसमें चुनौतीपूर्ण Type-IV अंतःक्रियाएं भी शामिल हैं जहाँ CatCMA और ICatCMA काफी विफल होते हैं।
  • CatCMA: केवल तभी अच्छा प्रदर्शन करता है जब अंतःक्रियाएं कमजोर हों या अनुपस्थित हों (स्वतंत्रता धारणा लागू होती है)। यह अंतःक्रिया की ताकत बढ़ने पर Type-III और Type-IV अंतःक्रियाओं पर विफल हो जाता है।
  • ICatCMA: अपने हाइपर-रिप्रेजेंटेशन मापदंडों के कारण अपने एफाइन हाइपर-रिप्रेजेंटेशन के कारण होने वाली उच्च लागत के बावजूद, Type-II (एफाइन मैपिंग) अंतःक्रियाओं पर CatCMA से बेहतर प्रदर्शन करता है, लेकिन Type-III (नॉन-लीनियर मास्किंग) और Type-IV अंतःक्रियाओं पर विफल हो जाता है। इसकी प्रदर्शन क्षमता जटिल अंतःक्रिया बढ़ने के साथ तेजी से गिरती है।
• कम्प्यूटेशनल दक्षता:
  • IGBD आमतौर पर ICatCMA की तुलना में अधिक कुशल है, जो अपने एफाइन हाइपर-रिप्रेजेंटेशन मापदंडों के कारण उच्च लागत वहन करता है।
  • जबकि CatCMA सरल समस्याओं (कम अंतःक्रिया) पर तेज़ है, IGBD जैसे-जैसे अंतःक्रिया की ताकत ($a$) बढ़ती है, अधिक मजबूत और कुशल होता जाता है, जिससे बेसलाइन में देखे गए भारी रिस्टार्ट चक्रों और विफलता दरों से बचा जा जा सकता है।
• स्केलेबिलिटी: प्रस्तावित विधि उच्च आयामों ($d=10$) पर उच्च सफलता दर बनाए रखती है, जबकि बेसलाइन संघर्ष करती है, विशेष रूप से Type-IV अंतःक्रियाओं के साथ।

महत्व और दावे

यह शोध पत्र दावा करता है कि IGBD वर्तमान इवोल्यूशन स्ट्रैटेजी की स्वतंत्रता धारणाओं की मौलिक सीमा को संबोधित करके मिश्रित-चर ब्लैक-बॉक्स अनुकूलन में एक महत्वपूर्ण कदम है। सूचना-ज्यामितीय सिद्धांतों के साथ एक द्विपद संरचना और वार्म-स्टार्टिंग कैश का लाभ उठाकर, यह विधि श्रेणीबद्ध और निरंतर चरों के बीच जटिल निर्भरताओं को प्रभावी ढंग से मॉडल करती है।

लेखक नोट करते हैं कि हालांकि वर्तमान कार्यान्वयन बाइनरी-निरंतर डोमेन तक सीमित है, यह दृष्टिकोण सामान्य मिश्रित-श्रेणीबद्ध अनुकूलन के लिए स्वाभाविक रूप से विस्तार योग्य है। वे स्वीकार करते हैं कि चरम अंतःक्रिया शासन (extreme interaction regimes) में विधि की उच्च कम्प्यूटेशनल लागत मुख्य रूप से फंक्शन इवैल्यूएशन बजट के कारण है, न कि किसी मौलिक एल्गोरिथम दोष के कारण। भविष्य के कार्य में गैर-बाइनरी श्रेणियों तक विस्तार करने, लो-इफेक्टिव-डायमेंशन सबस्पेस को संभालने और द्विपद अनुकूलन के बोझ को कम करने के लिए कम-लागत वाले ह्यूरिस्टिक्स को एकीकृत करने का सुझाव दिया गया है।