Divergence-Guided Particle Swarm Optimization

यहाँ पेपर "Divergence-Guided Particle Swarm Optimization" (DPSO) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

PSO में समयपूर्व अभिसरण (Premature Convergence):
पार्टिकल स्वार्म ऑप्टिमाइज़ेशन (PSO) जटिल, गैर-विभेदनीय (non-differentiable), और ब्लैक-बॉक्स अनुकूलन समस्याओं को हल करने के लिए एक लोकप्रिय मेटाहेयुरिस्टिक है। हालाँकि, यह समयपूर्व अभिसरण (premature convergence) से ग्रस्त है, विशेष रूप से उच्च-आयामी (high-dimensional) और मल्टीमॉडल (multimodal) परिदृश्यों में।

• विफलता का तंत्र: जैसे-जैसे स्वार्म विकसित होता है, व्यक्तिगत कणों के व्यक्तिगत सर्वश्रेष्ठ ($p_i$) वैश्विक सर्वश्रेष्ठ ($g$) के आसपास क्लस्टर होने लगते हैं। जब अधिकांश कणों के लिए $p_i \approx g$ हो जाता है, तो मानक PSO में संज्ञानात्मक (cognitive) और सामाजिक (social) वेग घटक दोनों ही कणों को एक ही बिंदु की ओर खींचते हैं।
• परिणाम: प्रभावी खोज त्रिज्या (search radius) सिमट जाती है। यदि वैश्विक सर्वश्रेष्ठ एक स्थानीय न्यूनतम (local minimum) है न कि वैश्विक इष्टतम (global optimum), तो स्वार्म वहीं फंस जाता है, जिससे वह खोज स्थान के अन्य क्षेत्रों का अन्वेषण करने में विफल रहता है।

2. कार्यप्रणाली: डाइवर्जेंस-गाइडेड PSO (DPSO)

लेखक DPSO का प्रस्ताव करते हैं, जो मानक PSO का एक नया विस्तार है जो उन कणों को दूर धकेलने के लिए एक डाइवर्जेंस-आधारित वेग मॉड्यूलेशन टर्म पेश करता है जो वैश्विक सर्वश्रेष्ठ के बहुत करीब आ गए हैं, जिससे अन्वेषण (exploration) बना रहता है।

मुख्य तंत्र (Core Mechanism)

वेग अपडेट समीकरण को एक प्रतिकर्षण बल (repulsive force) के साथ बढ़ाया गया है:
$$v_{i}^{(t+1)} = \underbrace{\omega v_{i}^{(t)}}_{\text{Inertia}} + \underbrace{c_1 r_1 (p_i - x_i)}_{\text{Cognitive}} + \underbrace{c_2 r_2 (g - x_i)}_{\text{Social}} + \underbrace{v_{mod,i}^{(t)}}_{\text{Modulation}}$$

मॉड्यूलेशन टर्म $v_{mod,i}^{(t)}$ को इस प्रकार परिभाषित किया गया है:
$$v_{mod,i}^{(t)} = c_3 r_3 \cdot \kappa(p_i, g) \cdot \hat{d}_i$$

जहाँ:

• $c_3$: मॉड्यूलेशन स्ट्रेंथ कोएफिशिएंट (modulation strength coefficient)।
• $\kappa(p_i, g)$: एक गॉसियन समानता कर्नेल (Gaussian similarity kernel) जो एक एक्टिवेशन गेट के रूप में कार्य करता है।
  $$\kappa = \exp\left(-\frac{\|p_i - g\|^2}{2\sigma^2}\right)$$
  यह कर्नेल सुनिश्चित करता है कि प्रतिकर्षण तब सबसे तीव्र होता है जब किसी कण का व्यक्तिगत सर्वश्रेष्ठ वैश्विक सर्वश्रेष्ठ के बहुत करीब होता है (उच्च समानता), और जैसे-जैसे वे अलग होते हैं, यह शून्य की ओर घटता जाता है।
• $\hat{d}_i$: प्रतिकर्षण दिशा, जो वैश्विक सर्वश्रेष्ठ $g$ से कण की वर्तमान स्थिति $x_i$ की ओर इंगित करती है। यह कण को उसके मौजूदा विस्थापन वेक्टर के साथ अट्रैक्टर (attractor) से दूर जाने के लिए प्रोत्साहित करती है।
• $\sigma$: बैंडविड्थ पैरामीटर जो सक्रियता त्रिज्या (activation radius) को नियंत्रित करता है (इसे खोज स्थान के व्यास के एक अंश के रूप में सेट किया गया है)।

सैद्धांतिक आधार: f-Divergences के साथ संबंध

लेखक f-divergences से जोड़कर गॉसियन कर्नेल डिजाइन के लिए एक सिद्धांतिक गणितीय आधार प्रदान करते हैं:

• लेखक व्यक्तिगत सर्वश्रेष्ठ $p_i$ और वैश्विक सर्वश्रेष्ठ $g$ को आइसोट्रोपिक गॉसियन वितरणों के माध्य (means) के रूप में एम्बेड करते हैं।
• वे सिद्ध करते हैं कि गॉसियन कर्नेल $\kappa$, इन दो वितरणों के बीच कुल्बैक-लीब्लर (KL) डाइवर्जेंस के घातांकीय क्षय (exponentially decaying function) के समान है:
  $$\kappa \propto \exp(-\alpha \cdot D_{KL}(P_i \| Q_g))$$
• महत्व: यह स्थापित करता है कि प्रतिकर्षण तंत्र कण के इतिहास और वैश्विक अट्रैक्टर के बीच समानता (या डाइवर्जेंस के व्युत्क्रमानुपाती) के समानुपाती है। यह ढांचा अन्य f-divergences (जैसे हेलिंगर डिस्टेंस, जेन्सन-शैनन) का उपयोग करके संवेदनशीलता प्रोफाइल को ट्यून करने के लिए भविष्य के सामान्यीकरण की अनुमति देता है।

3. प्रमुख योगदान (Key Contributions)

1. नया एल्गोरिदम (DPSO): एक डाइवर्जेंस-गाइडेड वेग मॉड्यूलेशन पेश करता है जो विशेष रूप से उन कणों को लक्षित करता है जो समयपूर्व अभिसरण के जोखिम में हैं, बिना स्वार्म की सामान्य गतिशीलता को बाधित किए।
2. सैद्धांतिक औचित्य: सूचना सिद्धांत और f-divergence परिवारों के आधार पर गॉसियन समानता कर्नेल और KL डाइवर्जेंस के घातांकीय क्षय के बीच समानता को सिद्ध करता है।
3. दक्षता: यह विधि केवल एक हाइपरपैरामीटर ($c_3$) जोड़ती है और इसमें एसिम्प्टोटिक कम्प्यूटेशनल कॉम्प्लेक्सिटी ($\Theta(N(n + C_f))$) में नगण्य वृद्धि होती है, जो मानक PSO के समान है।
4. ओपन सोर्स: लेखक पुनरुत्पादकता (reproducibility) सुनिश्चित करने के लिए एक समानांतरित (parallelized), ओपन-सोर्स कार्यान्वयन (JAX-आधारित) प्रदान करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने आयाम $D \in \{10, 30, 50\}$ में 36 बेंचमार्क फंक्शन (15 यूनिमोडल, 21 मल्टीमॉडल) पर मानक PSO के विरुद्ध DPSO का मूल्यांकन किया, जिसमें प्रत्येक कॉन्फ़िगरेशन के लिए 30 स्वतंत्र रन किए गए।

मल्टीमॉडल परिदृश्यों पर प्रदर्शन

• बेहतर सटीकता: DPSO ने मल्टीमॉडल समस्याओं पर मानक PSO की तुलना में काफी बेहतर प्रदर्शन किया जहाँ स्थानीय इष्टतम (local optima) प्रचुर मात्रा में होते हैं।
  • Pinter: $D=10$ पर औसत फिटनेस में 8.4$\times$ सुधार।
  • Ackley: $D=30$ पर 2.8$\times$ और $D=50$ पर 3.6$\times$ सुधार।
  • Levy: $D=30$ पर 2.6$\times$ सुधार।
  • Griewank: $D=50$ पर 1.7$\times$ सुधार।
• विचरण में कमी (Variance Reduction): DPSO ने बहुत अधिक विश्वसनीयता प्रदर्शित की, जिससे रन-टू-रन विचरण में 5$\times$ तक की कमी आई (उदाहरण के लिए, Griewank पर $D=50$ के लिए)।
• डायमेंशन स्केलिंग: आयाम बढ़ने के साथ प्रदर्शन का अंतर बढ़ गया, जो दर्शाता है कि DPSO उच्च-आयामी खोज स्थानों में विशेष रूप से प्रभावी है जहाँ मानक PSO संघर्ष करता है।

यूनिमोडल परिदृश्यों पर प्रदर्शन

• ट्रेड-ऑफ: उत्तल (convex), यूनिमोडल फंक्शन (जैसे Sphere) पर, मानक PSO ने DPSO से बेहतर प्रदर्शन किया।
• कारण: सरल परिदृश्यों में, जहाँ एकल बेसिन में तेजी से अभिसरण वांछित है, वहां प्रतिकर्षण मॉड्यूलेशन टर्म प्रतिकूल होता है। मानक PSO मशीन प्रिसिजन ($\sim 10^{-19}$) तक अभिसरित हुआ, जबकि DPSO ने अवशिष्ट अन्वेषण (residual exploration) ($\sim 10^{-1}$) बनाए रखा।
• निष्कर्ष: DPSO जटिल परिदृश्यों के लिए विशेष रूप से एक्सप्लोरेशन-एक्सप्लोइटेशन ट्रेड-ऑफ को अनुकूलित करता है, न कि एक सार्वभौमिक सुधार प्रदान करता है।

कम्प्यूटेशनल ओवरहेड (Computational Overhead)

• वॉल-क्लॉक टाइम: DPSO ने प्रति इटरेशन 15–25% का मामूली ओवरहेड उठाया।
• दक्षता: अतिरिक्त गणना के बावजूद, मल्टीमॉडल समस्याओं के लिए समाधान का कुल समय अक्सर कम था क्योंकि मानक PSO के ठहराव (stagnation) की तुलना में DPSO को उच्च-गुणवत्ता वाले समाधान खोजने के लिए कम इटरेशन की आवश्यकता थी।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

• महत्व: DPSO, PSO में समयपूर्व अभिसरण को रोकने के लिए एक सिद्धांतिक, कम लागत वाला तंत्र प्रदान करता है। प्रतिकर्षण तंत्र को सूचना-सैद्धांतिक डाइवर्जेंस से जोड़कर, यह अनुकूलित स्वार्म व्यवहारों को डिजाइन करने के लिए एक मजबूत ढांचा प्रदान करता है।
• व्यावहारिक प्रभाव: यह संसाधन-बाधित वातावरण और ब्लैक-बॉक्स अनुकूलन समस्याओं के लिए अत्यधिक उपयुक्त है जहाँ फंक्शन इवैल्यूएशन महंगे होते हैं और परिदृश्य अज्ञात/मल्टीमॉडल होता है।
• भविष्य की दिशाएं:
  • एडेप्टिव शेड्यूलिंग: अनुकूलन प्रक्षेपवक्र (optimization trajectory) के दौरान मॉड्यूलेशन स्ट्रेंथ ($c_3$) और बैंडविड्थ ($\sigma$) के लिए गतिशील शेड्यूल विकसित करना।
  • वैकल्पिक कर्नेल: विशिष्ट समस्या प्रकारों के लिए एक्टिवेशन प्रोफाइल को अनुकूलित करने के लिए अन्य f-divergence कर्नेल (जैसे हेलिंगर, जेन्सन-शैनन) की जांच करना।
  • वास्तविक दुनिया का अनुप्रयोग: सिंथेटिक बेंचमार्क से परे वास्तविक दुनिया की ब्लैक-बॉक्स अनुकूलन समस्याओं पर परीक्षण करना।