📊 statistics

DIGing--SGLD: Decentralized and Scalable Langevin Sampling over Time--Varying Networks

यह शोध पत्र DIGing-SGLD प्रस्तुत करता है, जो एक विकेंद्रीकृत सैंपलिंग एल्गोरिदम है जो समय-परिवर्तनीय नेटवर्क पर पक्षपात-मुक्त (bias-free), ज्यामितीय अभिसरण प्राप्त करने के लिए ग्रेडिएंट ट्रैकिंग को स्टोकेस्टिक ग्रेडिएंट लैंजर डायनेमिक्स के साथ एकीकृत करता है, जो ऐसे परिवेशों के लिए प्रथम परिमित-समय गैर-अनंतकालीन (finite-time non-asymptotic) अभिसरण गारंटी प्रदान करता है।

मूल लेखक: Waheed U. Bajwa, Mert Gurbuzbalaban, Mustafa Ali Kutbay, Lingjiong Zhu, Muhammad Zulqarnain

प्रकाशित 2026-08-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Waheed U. Bajwa, Mert Gurbuzbalaban, Mustafa Ali Kutbay, Lingjiong Zhu, Muhammad Zulqarnain

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनें अक्सर पैटर्न खोजने और भविष्यवाणियां करने के लिए डेटा की विशाल मात्रा को देखकर सीखती हैं। ऐसा करने का एक शक्तिशाली तरीका 'बेशियन लर्निंग' (Bayesian learning) है, जो कंप्यूटर को न केवल एक अनुमान लगाने की अनुमति देता है, बल्कि यह समझने की भी क्षमता देता है कि उस अनुमान में कितनी अनिश्चितता है। कल्पना कीजिए कि आप किसी छिपी हुई वस्तु के सबसे संभावित स्थान को खोजने की कोशिश कर रहे हैं; एक ही स्थान पर टिकने के बजाय, यह दृष्टिकोण उन सभी संभावित स्थानों का एक मानसिक मानचित्र रखता है जहाँ वह वस्तु हो सकती है, और इस आधार पर भारित (weighted) होता है कि प्रत्येक स्थान कितना संभावित है। इस मानचित्र को बनाने के लिए, कंप्यूटरों को एक जटिल गणितीय परिदृश्य से हजारों यादृच्छिक नमूने (random samples) उत्पन्न करने की आवश्यकता होती है। दशकों से, शोधकर्ताओं ने इसे करने के लिए 'स्टोकेस्टिक ग्रेडिएंट लैंगविन डायनेमिक्स' (Stochastic Gradient Langevin Dynamics) नामक उपकरण का उपयोग किया है, जो एक ऐसी तकनीक है जो एक ऐसे हाइकर की तरह है जो एक धुंधली घाटी में घूम रहा है, जमीन के ढलान के मार्गदर्शन में छोटे, यादृच्छिक कदम उठा रहा है ताकि अंततः पूरे इलाके का पता लगाया जा सके।

हालाँकि, एक बड़ी चुनौती तब आती है जब इस मानचित्र को बनाने के लिए आवश्यक डेटा एक केंद्रीय स्थान पर संग्रहीत नहीं होता है, बल्कि कई अलग-अलग उपकरणों में बिखरा हुआ होता है, जैसे कि ड्रोन के बेड़े पर लगे सेंसर या अस्पतालों के नेटवर्क में कंप्यूटर। ऐसी स्थितियों में, उपकरण गोपनीयता नियमों या सीमित बैंडविड्थ के कारण अपने सभी कच्चे डेटा को प्रसंस्करण के लिए केंद्रीय सर्वर पर नहीं भेज सकते। इसके बजाय, उन्हें एक-दूसरे से बात करनी चाहिए, केवल अपने निकटतम पड़ोसियों के साथ सूचना के छोटे हिस्से साझा करने चाहिए। समस्या यह है कि जो नेटवर्क इन उपकरणों के बात करने के लिए उपयोग किए जाते हैं, वे शायद ही कभी स्थिर होते हैं; कनेक्शन टूट सकते हैं, उपकरण हिल सकते हैं, और संचार का जाल लगातार बदलता रहता है। वितरित सेटिंग्स में नमूना लेने के मौजूदा तरीके निश्चित, अपरिवर्तित नेटवर्क के लिए डिज़ाइन किए गए थे और अक्सर बदलते कनेक्शनों के कारण विफल हो जाते हैं या गलत परिणाम देते हैं, जिससे उपकरणों के पास वास्तविक उत्तर का एक विकृत दृश्य रह जाता है।

इसे हल करने के लिए, शोधकर्ताओं वहीद यू. बाजवा, मर्ट गुरबज़बालबन, मुस्तफा अली कुटबे, लिंगजियोंग झू और मोहम्मद ज़ुलकारनैन ने DIGing-SGLD नामक एक नया एल्गोरिदम विकसित किया है। यह विधि विशेष रूप से समय के साथ बदलने वाले नेटवर्क के लिए डिज़ाइन की गई है, जो एजेंटों के समूह को बिना किसी केंद्रीय नेता के समन्वय के, एक लक्षित वितरण (target distribution) से सहयोगात्मक रूप से नमूना लेने की अनुमति देती है। मुख्य नवाचार यह है कि यह एल्गोरिदम सूचना के प्रवाह को कैसे संभालता है। जबकि पुराने तरीके केवल पड़ोसियों के डेटा का औसत निकालते थे, जिससे नेटवर्क टोपोलॉजी बदलने पर त्रुटियां हो सकती थीं, यह नया दृष्टिकोण 'ग्रेडिएंट ट्रैकिंग' (gradient tracking) नामक तंत्र का उपयोग करता है। यह प्रत्येक उपकरण को पूरे नेटवर्क में औसत ग्रेडिएंट का एक रनिंग अनुमान रखने की अनुमति देता है, जो प्रभावी रूप से बदलते कनेक्शनों और शोर वाले डेटा के कारण होने वाली विसंगतियों को ठीक करता है। इस ट्रैकिंग क्षमता को रैंडम-वॉक सैंपलिंग तकनीक के साथ जोड़कर, एल्गोरिदम यह सुनिश्चित करता है कि भले ही नेटवर्क खुद को पुनर्गठित करे, उपकरण संरेखित रहें और सही सांख्यिकीय चित्र की ओर अग्रसर हों।

शोधकर्ताओं ने गणितीय रूप से सिद्ध किया कि यह नई विधि सख्त परिस्थितियों में विश्वसनीय रूप से काम करती है, यह दिखाते हुए कि उपकरणों के नमूनों और वास्तविक लक्षित वितरण के बीच की त्रुटि एक अनुमानित दर से कम होती है। उन्होंने प्रदर्शित किया कि यह एल्गोरिदम चरणों की एक ऐसी संख्या में उच्च सटीकता की स्थिति तक पहुँच जाता है जो केंद्रीकृत सेटिंग्स में उपयोग किए जाने वाले सर्वोत्तम तरीकों के तुलनीय है, बावजूद इसके कि इसमें बदलते नेटवर्क की अतिरिक्त जटिलता शामिल है। महत्वपूर्ण रूप से, उन्होंने दिखाया कि उपकरणों को नेटवर्क परिवर्तनों की भरपाई के लिए अपनी सीखने की गति धीमी करने या घटते स्टेप साइज़ का उपयोग करने की आवश्यकता नहीं है; वे एक स्थिर गति बनाए रख सकते हैं क्योंकि एल्गोरिदम स्वचालित रूप से कनेक्शनों की अस्थिरता को ठीक करता है। यह सैद्धांतिक गारंटी महत्वपूर्ण है क्योंकि समय-परिवर्तनीय नेटवर्क के लिए पिछले दृष्टिकोण अक्सर धीमी अभिसरण (convergence) दर का परिणाम देते थे या ऐसी धारणाओं की आवश्यकता रखते थे जो वास्तविक दुनिया के परिदृश्यों में लागू नहीं होती थीं।

इन गणितीय दावों को सत्यापित करने के लिए, टीम ने दो सामान्य प्रकार की समस्याओं पर एल्गोरिदम का परीक्षण किया: निरंतर मानों की भविष्यवाणी करना, जैसे कि लीनियर रिग्रेशन में, और श्रेणियों को वर्गीकृत करना, जैसे कि लॉजिस्टिक रिग्रेशन में। उन्होंने सिंथेटिक डेटा और स्तन कैंसर निदान से जुड़े एक वास्तविक दुनिया के मेडिकल डेटासेट का उपयोग करके इन कार्यों का अनुकरण किया। इन प्रयोगों में, वायरलेस संचार की अप्रत्याशित प्रकृति की नकल करते हुए नेटवर्क टोपोलॉजी को गतिशील रूप से बदला गया। परिणामों ने दिखाया कि नया एल्गोरिदम मानक विकेंद्रीकृत तरीकों से लगातार बेहतर प्रदर्शन करता है। वर्गीकरण कार्यों में, नए तरीके ने उच्च सटीकता प्राप्त की और स्थिर प्रदर्शन बनाए रखा, जबकि पुराने तरीके बदलते कनेक्शनों के साथ संघर्ष करते रहे, जिससे धीमा अभिसरण और कम विश्वसनीय परिणाम मिले। प्रयोगों ने पुष्टि की कि ग्रेडिएंट-ट्रैकिंग तंत्र ने बदलते नेटवर्क के कारण होने वाले विचलन (drift) को सफलतापूर्वक निष्प्रभावी कर दिया, जिससे एजेंटों को लक्षित वितरण के उच्च-गुणवत्ता वाले सन्निकटन (approximation) पर सहमत होने में मदद मिली।

यह कार्य गतिशील वातावरण में विकेंद्रीकृत शिक्षण के लिए एक नया मानक स्थापित करता है, यह सिद्ध करते हुए कि यह संभव है कि जटिल सांख्यिकीय नमूनाकरण बिना किसी केंद्रीय समन्वयक के किया जाए, भले ही उपकरणों के बीच संचार लिंक लगातार टूट रहे हों और फिर से बन रहे हों। त्रुटि पर स्पष्ट गणितीय सीमाएं प्रदान करके और सिमुलेशन में मजबूत प्रदर्शन दिखाकर, शोधकर्ताओं ने दिखाया है कि उनका दृष्टिकोण न केवल एक सैद्धांतिक संभावना है बल्कि अगली पीढ़ी के वितरित आर्टिफिशियल इंटेलिजेंस सिस्टम के लिए एक व्यावहारिक समाधान भी है। यह प्रगति अधिक लचीले और गोपनीयता-संरक्षण वाले मशीन लर्निंग अनुप्रयोगों के द्वार खोलती है, जहाँ उपकरणों के नेटवर्क अपने कनेक्शनों की अंतर्निहित अस्थिरता के बावजूद प्रभावी ढंग से एक साथ सीख सकते हैं।

समस्या विवरण
यह शोध पत्र मल्टी-एजेंट सिस्टम में विकेंद्रीकृत बेयसियन लर्निंग (decentralized Bayesian learning) की चुनौती को संबोधित करता है जहाँ डेटा एजेंटों के एक नेटवर्क में वितरित होता है, और संचार टोपोलॉजी (communication topology) समय के साथ परिवर्तनशील होती है। इसका लक्ष्य एक लक्षित पोस्टीरियर वितरण $\pi(x) \propto e^{-f(x)}$ से नमूना (sample) लेना है, जहाँ वैश्विक उद्देश्य फलन (global objective function) $f(x)$ , व्यक्तिगत एजेंटों द्वारा रखे गए स्थानीय फलनों $f_i(x)$ का योग है। जबकि स्टोकेस्टिक ग्रेडिएंट लैंग्विन डायनेमिक्स (SGLD) केंद्रीकृत सेटिंग्स में स्केलेबल पोस्टीरियर सैंपलिंग के लिए एक मानक उपकरण है, मौजूदा विकेंद्रीकृत संस्करण (DE-SGLD) आमतौर पर स्थिर नेटवर्क टोपोलॉजी तक ही सीमित हैं। इसके अलावा, कई मौजूदा विकेंद्रीकृत विधियाँ नेटवर्क-प्रेरित विसंगतियों के कारण स्थिर-अवस्था सैंपलिंग पूर्वाग्रह (steady-state sampling bias) से ग्रस्त होती हैं, भले ही पूर्ण बैच का उपयोग किया गया हो। यह कार्य उस विशिष्ट अंतराल को लक्षित करता है जो ऐसे विकेंद्रीकृत सैंपलिंग एल्गोरिदम की कमी को दर्शाता है जो निरंतर स्टेप साइज (constant step sizes) के साथ कठोर परिमित-समय अभिसरण गारंटी (finite-time convergence guarantees) प्रदान करते हुए समय-परिवर्तनीय नेटवर्क पर विश्वसनीय रूप से कार्य कर सकें।

कार्यप्रणाली (Methodology)
लेखक DIGing-SGLD (Decentralized Inexact Gradient-tracking Stochastic Gradient Langevin Dynamics) प्रस्तावित करते हैं। यह एल्गोरिदम दो मुख्य घटकों को एकीकृत करता है:

स्टोकेस्टिक ग्रेडिएंट लैंग्विन डायनेमिक्स (SGLD): मिनी-बैच स्टोकेस्टिक ग्रेडिएंट्स के माध्यम से बड़े डेटासेट को संभालने और गाऊसी शोर (Gaussian noise) जोड़ने के माध्यम से सैंपलिंग करने के लिए।
DIGing (Distributed Inexact Gradient-tracking): एक तंत्र जिसे मूल रूप से समय-परिवर्तनीय ग्राफों पर विकेंद्रीकृत अनुकूलन (decentralized optimization) के लिए विकसित किया गया था।

DIGing-SGLD में, प्रत्येक एजेंट $i$ एक स्थानीय इटरेट (iterate) $x_i^{(k)}$ और एक सहायक चर (auxiliary variable) $y_i^{(k)}$ बनाए रखता है। सहायक चर विकसित होते नेटवर्क-व्यापी औसत स्थानीय स्टोकेस्टिक ग्रेडिएंट्स को ट्रैक करता है। अपडेट नियम इस प्रकार हैं:

प्राइमल अपडेट (Primal Update): $x_i^{(k+1)} = \sum_{j \in \Omega_i(k)} W_{ij}^{(k)} x_j^{(k)} - \eta y_i^{(k)} + \sqrt{2\eta} w_i^{(k+1)}$
ग्रेडिएंट ट्रैकिंग अपडेट (Gradient Tracking Update): $y_i^{(k+1)} = \sum_{j \in \Omega_i(k)} W_{ij}^{(k)} y_j^{(k)} + g_i^{(k+1)} - g_i^{(k)}$

यहाँ, $g_i^{(k)}$ एजेंट $i$ पर स्टोकेस्टिक ग्रेडिएंट अनुमान को दर्शाता है, $W^{(k)}$ एक डबली स्टोकास्टिक मिक्सिंग मैट्रिक्स है जो समय-परिवर्तनीय कनेक्टिविटी को दर्शाता है, और $w_i^{(k)}$ गाऊसी शोर है। ग्रेडिएंट ट्रैकिंग तंत्र एजेंटों को एक केंद्रीय समन्वयक के बिना वैश्विक ग्रेडिएंट का सहयोगात्मक रूप से अनुमान लगाने की अनुमति देता है, जिससे समय-परिवर्तनीय नेटवर्क मिक्सिंग और स्टोकेस्टिक ग्रेडिएंट शोर द्वारा उत्पन्न पूर्वाग्रह को सुधारा जा सके।

प्रमुख योगदान

एल्गोरिदम विकास: DIGing-SGLD का परिचय, जो विशेष रूप से अनडिरेक्टेड (undirected) समय-परिवर्तनीय नेटवर्क के लिए डिज़ाइन किया गया पहला विकेंद्रीकृत SGLD एल्गोरिदम है जो पूरी तरह से स्थानीय स्टोकेस्टिक ग्रेडिएंट्स और पड़ोसी-से-पड़ोसी संचार पर निर्भर करता है।
सैद्धांतिक गारंटी: शोध पत्र निरंतर स्टेप साइज के साथ समय-परिवर्तनीय नेटवर्क पर विकेंद्रीकृत SGLD के लिए स्पष्ट स्थिरांकों के साथ प्रथम परिमित-समय, गैर-एसिम्प्टोटिक वासरस्टीन अभिसरण गारंटी (finite-time, non-asymptotic Wasserstein convergence guarantees) प्रदान करता है।
- मानक धारणाओं के तहत (स्थानीय फलन $\mu$ -स्ट्रॉन्गली कॉनवेक्स और $L$ -स्मूथ हैं; मिक्सिंग मैट्रिसेस एक जॉइंट स्पेक्ट्रल स्थिति को संतुष्ट करते हैं), लेखक यह सिद्ध करते हैं कि प्रत्येक एजेंट का मार्जिनल वितरण 2-वासरस्टीन दूरी में लक्षित वितरण के $O(\sqrt{\eta})$ पड़ोस में ज्यामितीय रूप से अभिसरित होता है।
- विश्लेषण स्पष्ट रूप से स्टेप साइज $\eta$ , नेटवर्क कनेक्टिविटी (स्पेक्ट्रल गैप मापदंडों के माध्यम से), ग्रेडिएंट शोर वेरिएंस, समस्या आयाम और एजेंटों की संख्या पर निर्भरता को बांधता है।
इटरेशन कॉम्प्लेक्सिटी: लेखक स्थापित करते हैं कि 2-वासरस्टीन दूरी में एक लक्षित सटीकता $\epsilon$ प्राप्त करने के लिए, एल्गोरिदम को $K = O\left(\frac{\log(1/\epsilon)}{\epsilon^2}\right)$ इटरेशन की आवश्यकता होती है। यह दर स्थिर स्टेप साइज के साथ केंद्रीकृत और स्टैटिक-नेटवर्क SGLD एल्गोरिदम के सर्वोत्तम ज्ञात परिणामों से मेल खाती है, बावजूद इसके कि इसमें डायनेमिक टोपोलॉजी की जटिलता जुड़ी हुई है।
यूनिफॉर्म बाउंड्स: परिणाम एजेंटों के मार्जिनल वितरणों पर एक यूनिफॉर्म बाउंड शामिल करते हैं, यह सुनिश्चित करते हुए कि प्रत्येक एजेंट का वितरण लक्षित वितरण के करीब है, न कि केवल नेटवर्क का औसत।

परिणाम

सैद्धांतिक (Theoretical): अभिसरण सीमाएँ (convergence bounds) त्रुटि को तीन घटकों में विभाजित करती हैं: एक केंद्रीकृत अनएडजस्टेड लैंग्विन एल्गोरिदम (ULA) की त्रुटि, स्टोकेस्टिक ग्रेडिएंट्स और विकेंद्रीकृत औसत से प्रेरित त्रुटि, और एजेंटों के बीच सहमति (consensus) त्रुटि। विश्लेषण दिखाता है कि सहमति त्रुटि ज्यामितीय रूप से घटती है, और अवशिष्ट त्रुटि (residual error) $\sqrt{\eta}$ के साथ स्केल करती है।
अनुभवजन्य (Empirical): सिंथेटिक और वास्तविक दुनिया के डेटासेट (UCI ब्रेस्ट कैंसर डेटासेट) दोनों का उपयोग करके बेयसियन लीनियर और लॉजिस्टिक रिग्रेशन पर संख्यात्मक प्रयोग किए गए।
- लीनियर रिग्रेशन: एम्पिरिकल पोस्टीरियर और वास्तविक गाऊसी पोस्टीरियर के बीच 2-वासरस्टीन दूरी के माध्यम से मापा गया।
- लॉजिस्टिक रिग्रेशन: एक होल्ड-आउट टेस्ट सेट पर वर्गीकरण सटीकता (classification accuracy) के माध्यम से मापा गया।
- निष्कर्ष: समय-परिवर्तनीय बारबेल (barbell) और लॉलीपॉप (lollipop) नेटवर्क टोपोलॉजी में, DIGing-SGLD ने लगातार DE-SGLD को पछाड़ दिया। विशेष रूप से, DE-SGLD ने अधिक परिवर्तनशीलता और कम सटीकता प्रदर्शित की, जबकि DIGing-SGLD ने स्थिर प्रदर्शन बनाए रखा और उच्च सटीकता तक अभिसरित हुआ। प्रदर्शन का अंतर कम स्पेक्ट्रल गैप वाले टोपोलॉजी (जैसे बारबेल ग्राफ) में अधिक स्पष्ट था, जो नेटवर्क-प्रेरित ड्रिफ्ट को कम करने में ग्रेडिएंट-ट्रैकिंग तंत्र की प्रभावशीलता को उजागर करता है।

महत्व
शोध पत्र का दावा है कि DIGing-SGLD स्केलेबल विकेंद्रीकृत बेयसियन इन्फरेंस में एक महत्वपूर्ण सैद्धांतिक अंतराल को संबोधित करता है। गतिशील रूप से बदलते नेटवर्क पर केंद्रीय समन्वयक के बिना कुशल सैंपलिंग को सक्षम करके, यह विधि बेयसन लर्निंग की प्रयोज्यता को वास्तविक मल्टी-एजेंट सिस्टम (जैसे IoT प्लेटफॉर्म और स्वायत्त बेड़े) तक विस्तारित करती है जहाँ नेटवर्क कनेक्टिविटी गतिशीलता (mobility), हस्तक्षेप या पुनर्गठन के कारण स्वाभाविक रूप से समय-परिवर्तनीय होती है। यह कार्य प्रदर्शित करता है कि यदि ग्रेडिएंट ट्रैकिंग का उपयोग नेटवर्क-प्रेरित असहमति को नियंत्रित करने के लिए किया जाए, तो डायनेमिक स्थितियों के तहत भी स्थिर और केंद्रीकृत सेटिंग्स के तुलनीय अभिसरण दर प्राप्त करना संभव है। लेखक नोट करते हैं कि हालांकि उनका वर्तमान विश्लेषण स्ट्रॉन्ग कॉनवेक्सिटी और स्मूथनेस मानता है, यह ढांचा विकेंद्रीकृत स्टोकेस्टिक सैंपलिंग को ग्रेडिएंट-ट्रैकिंग-आधारित अनुकूलन के साथ एकीकृत करता है, जो गैर-कॉन्वेक्स उद्देश्यों या निर्देशित (directed) नेटवर्क सेटिंग्स के लिए भविष्य के विस्तार का मार्ग प्रशस्त करता है।

इसी तरह के और पेपर