🤖 machine learning

On the Convergence Rates of Federated Q-Learning across Heterogeneous Environments

यह शोधपत्र विषम वातावरणों (heterogeneous environments) में सिंक्रोनस फेडरेटेड Q-लर्निंग की जांच करता है, जो यह प्रकट करता है कि जबकि एजेंटों की संख्या ( $K$ ) बढ़ाने से रैखिक गति-वृद्धि (linear speed-up) प्राप्त होती है, कई स्थानीय पुनरावृत्तियों ( $E>1$ ) को निष्पादित करना अभिसरण (convergence) को मौलिक रूप से $\Theta(E/T)$ की दर तक कम कर देता है और एक दो-चरणीय त्रुटि गतिकी (two-phase error dynamic) उत्पन्न करता है जिसे चरण-निर्भर स्टेपसाइज़ चयन के माध्यम से अनुकूलित किया जा सकता है।

मूल लेखक: Leo Muxing Wang, Pengkun Yang, Lili Su

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leo Muxing Wang, Pengkun Yang, Lili Su

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि 20 खोजकर्ताओं (एजेंटों) की एक टीम एक विशाल, जटिल भूलभुलैया को मिलकर सुलझाने की कोशिश कर रही है। उनका लक्ष्य निकास का सबसे तेज़ रास्ता (इष्टतम नीति/optimal policy) खोजना है। हालाँकि, इसमें एक पेच है: प्रत्येक खोजकर्ता एक थोड़ी अलग तरह की भूलभुलैया में है। किसी के पास फिसलन भरा फर्श है, किसी के पास चलती हुई दीवारें हैं, और किसी की रोशनी अलग है। वे एक-दूसरे की भूलभुलैया नहीं देख सकते, लेकिन वे जानकारी साझा करने के लिए एक केंद्रीय कमांड सेंटर (सर्वर) को टेक्स्ट संदेश भेज सकते हैं।

यह शोध इस बात का अध्ययन करता है कि जब वे फेडरेटेड Q-लर्निंग (Federated Q-Learning) नामक एक विशिष्ट रणनीति का उपयोग करते हैं, तो यह टीम कितनी अच्छी तरह सीखती है।

यहाँ उनके निष्कर्षों का सरल विवरण दिया गया है:

1. रणनीति: "अकेले काम करें, फिर साझा करें"

खोजकर्ता हर सेकंड एक-दूसरे से बात नहीं करते हैं। इसके बजाय, वे कुछ समय के लिए अपनी भूलभुलभैया पर अकेले काम करते हैं, सबसे अच्छे रास्ते के बारे में बहुत सारे अनुमान लगाते हैं, और फिर कमांड सेंटर के साथ नोट्स साझा करने के लिए रुकते हैं।

$E$ (सिंक अवधि/Sync Period): यह उन चरणों (steps) की संख्या है जो वे साझा करने से पहले अकेले लेते हैं।
- यदि $E=1$ , तो वे हर एक चरण के बाद साझा करते हैं।
- यदि $E=10$ , तो वे 10 चरणों तक अकेले काम करते हैं, फिर साझा करते हैं।
- यदि $E=100$ , तो वे 100 चरणों तक अकेले काम करते हैं, फिर साझा करते हैं।

विचार यह है कि कम बार साझा करना ( $E > 1$ ) समय और संचार बैंडविड्थ बचाता है, इसलिए टीम कुल मिलाकर तेज़ी से सीखनी चाहिए।

2. खुशखबरी: जब सभी समान होते हैं

यदि सभी खोजकर्ता एक जैसी भूलभुलैया (समरूप वातावरण/homogeneous environments) में होते, तो यह शोध पुष्टि करता है कि साझा करने से पहले कुछ समय अकेले काम करना बहुत अच्छा है।

परिणाम: टीम तेज़ी से सीखती है क्योंकि उनके पास अधिक खोजकर्ता हैं। यह एक पहेली को सुलझाने वाले 20 लोगों की तरह है; यदि वे सभी अपने हिस्से साझा करते हैं, तो वे एक व्यक्ति की तुलना में 20 गुना तेज़ी से समाप्त करते हैं।
शर्त: यह केवल तभी पूरी तरह से काम करता है जब भूलभुलैया बिल्कुल एक जैसी हो।

3. बुरी खबर: जब भूलभुलैया अलग होती है (विषमता/Heterogeneity)

वास्तविक दुनिया में, भूलभुलैया अलग होती है। इसे विषमता (heterogeneity) कहा जाता है। इस शोध में एक आश्चर्यजनक "टिपिंग पॉइंट" (निर्णायक मोड़) का पता चला है।

सीमा (Threshold): साझा करने से पहले खोजकर्ता कितनी देर तक अकेले काम कर सकते हैं, इसकी एक विशिष्ट सीमा है।
सीमा के नीचे: यदि वे पर्याप्त बार (छोटा $E$ ) साझा करते हैं, तो टीम अभी भी तेज़ी से सीखती है, और "अलग भूलभुलैया" की समस्या उन्हें बहुत अधिक प्रभावित नहीं करती है।
सीमा के ऊपर: यदि वे साझा करने के लिए बहुत लंबा इंतज़ार करते (बड़ा $E$ $E$ ), तो अलग-अलग भूलभभैया के कारण भ्रम पैदा होता है। खोजकर्ता टीम को अलग-अलग दिशाओं में खींचने लगते हैं।
- उपमा: कल्पना कीजिए कि नाव चलाने की कोशिश कर रहे लोगों का एक समूह है। यदि वे सभी थोड़े अलग दिशाओं में चप्पू चलाते हैं क्योंकि वे अलग-अलग मानचित्र देख रहे हैं, और वे रास्ता सुधारने के लिए आपस में पर्याप्त बातचीत नहीं करते हैं, तो नाव गोल-गोल घूमने लगती है।
- परिणाम: वे जितना अधिक इंतज़ार करते हैं ( $E$ बढ़ता है), वे उतने ही धीमे होते जाते हैं। वास्तव में, बहुत लंबा इंतज़ार करना उस स्थिति से भी बदतर है जब वे हर एक चरण में साझा करते।

4. "दो-चरणों वाला" आश्चर्य

शोधकर्ताओं ने पाया कि जब भूलभल्ैया अलग होती है और वे साझा करने के लिए बहुत लंबा इंतज़ार करते हैं, तो सीखने की प्रक्रिया एक रोलरकोस्टर की तरह दिखती है:

चरण 1 (गिरावट): शुरुआत में, त्रुटि (गलतियाँ) बहुत तेज़ी से गिरती है। टीम बहुत अच्छा सीख रही है!
चरण 2 (उछाल): अचानक, त्रुटि गिरना बंद हो जाती है और वह वास्तव में गलतियों के उच्च स्तर पर स्थिर होने से पहले ऊपर की ओर उछलती है।

क्यों? शुरुआती गिरावट केवल बुनियादी बातों से परिचित होने के बारे में है। उछाल इसलिए आता है क्योंकि उनके "स्थानीय" अनुमान (जो उनकी अनूठी, अजीब भूलभुलैया पर आधारित हैं) वैश्विक सत्य के साथ टकराने लगते हैं। वे एक-दूसरे की बुरी आदतों को सुधारने के चक्र में फंस जाते हैं।

5. मौलिक सीमा

लेखकों ने सिद्ध किया कि यह मंदी केवल उनके गणित की गलती नहीं है; यह इस विशिष्ट सेटअप का एक मौलिक नियम है।

यदि भूलभलैया अलग हैं और टीम साझा करने के लिए इंतज़ार करती है ( $E > 1$ ), तो इस बात की एक कठिन सीमा है कि वे कितनी तेज़ी से सीख सकते हैं।
सीख: आप केवल "अधिक मेहनत" (अधिक स्थानीय चरण करना) करके उस भ्रम को दूर नहीं कर सकते जो अलग-अलग वातावरणों के कारण होता है। वास्तव में, अधिक स्थानीय काम करना अक्सर केवल समय और डेटा बर्बाद करना होता है।

6. एक व्यावहारिक ट्रिक

चूंकि वे जानते हैं कि त्रुटि तेज़ी से गिरती है और फिर उछलती है, वे एक दो-चरणीय रणनीति का सुझाव देते हैं:

चरण 1: एक "साहसी" लर्निंग रेट (बड़े कदम उठाना) का उपयोग करें ताकि शुरुआती गिरावट जल्दी प्राप्त हो सके।
चरण 2: एक बार जब त्रुटि उछलने लगे, तो एक "सतर्क" लर्निंग रेट (बहुत छोटे कदम) पर स्विच करें ताकि स्थिरता आए और काम पूरा हो सके।
परिणाम: यह दो-चरणीय दृष्टिकोण टीम को पूरे समय एक ही रणनीति का उपयोग करने की तुलना में लक्ष्य तक तेज़ी से पहुँचने में मदद करता है।

सारांश

समरूप (एक जैसी भूलभलैया): साझा करने से पहले कुछ समय अकेले काम करना कुशल है और यह चीज़ों को तेज़ बनाता है।
विषम (अलग भूलभलैया): अकेले बहुत लंबे समय तक काम करने से भ्रम पैदा होता है। टीम धीमी गति से सीखती है, और त्रुटि ऊपर की ओर उछलती है।
सबक: यदि आपके टीम के सदस्य बहुत अलग वातावरण में काम कर रहे हैं, तो आपको एक-दूसरे के साथ बहुत बार संवाद करने की आवश्यकता है। सिंक करने के लिए बहुत लंबा इंतज़ार करना प्रदर्शन को नुकसान पहुँचाता है, और सीखने की गति की एक कठिन सीमा होती है।

तकनीकी सारांश: विषम वातावरण में फेडरेटेड Q-लर्निंग की अभिसरण दरों पर

समस्या विवरण

बड़े पैमाने पर मल्टी-एजेंट सिस्टम, जैसे कि स्वायत्त ड्राइविंग या औद्योगिक स्वचालन (industrial automation) में, अक्सर विस्तृत भौगोलिक क्षेत्रों में काम करते हैं जहाँ एजेंट विषम वातावरण (heterogeneous environments) के साथ अंतःक्रिया करते हैं। जबकि फेडरेटेड रिइन्फोर्समेंट लर्निंग (FRL) कच्चे डेटा को साझा किए बिना सहयोगात्मक प्रशिक्षण के लिए एक ढांचा प्रदान करता है, क्लासिक एल्गोरिदम जैसे कि Q-लर्निंग के अभिसरण (convergence) पर पर्यावरणीय विषमता का प्रभाव अभी भी कम खोजा गया है।

मौजूदा साहित्य ने स्थापित किया है कि समरूप वातावरण (homogeneous environments) (जहाँ सभी एजेंट समान ट्रांज़िशन डायनेमिक्स साझा करते हैं) में, फेडरेटेड Q-लर्निंग एजेंटों की संख्या ( $K$ ) के सापेक्ष रैखिक गति (linear speedup) प्राप्त कर सकता है। विषम सेटिंग्स में, एजेंट विशिष्ट ट्रांज़िशन संभावनाओं ( $P_k$ ) का सामना करते हैं, जिससे लर्निंग सिग्नल मिसअलाइन हो जाते हैं। इस शोध पत्र में संबोधित मुख्य समस्या यह है कि जब एजेंट अपने Q-अनुमानों को सिंक्रोनाइज़ करने से पहले $E$ स्थानीय अपडेट करते हैं, तो सिंक्रोनस फेडरेटेड Q-लर्निंग (FQL) के अभिसरण दरों का लक्षण वर्णन करना है, विशेष रूप से पर्यावरणीय विषमता की स्थिति के तहत।

कार्यप्रणाली (Methodology)

लेखक एक सिंक्रोनस FQL एल्गोरिदम का विश्लेषण करते हैं जहाँ $K$ एजेंट अपने स्थानीय मार्कोव डिसीजन प्रोसेस (MDPs) $\mathcal{M}_k = \langle \mathcal{S}, \mathcal{A}, \mathcal{P}_k, \gamma, R \rangle$ से स्वतंत्र रूप से नमूने एकत्र करते हैं। एजेंट $E$ इटरेशन के लिए स्थानीय Q-लर्निंग अपडेट करते हैं और फिर एक पैरामीटर सर्वर के माध्यम से अपने Q-अनुमानों का औसत निकालते हैं।

मुख्य तकनीकी घटक शामिल हैं:

त्रुटि अपघटन (Error Decomposition): लेखक त्रुटि $\Delta_t = Q^* - \bar{Q}_t$ $Δ_{t} = Q^{*} - \overset{ˉ}{Q}_{t}$ को परिभाषित करते हैं, जहाँ $Q^*$ $Q^{*}$ वैश्विक MDP (औसत ट्रांज़िशन कर्नेल $\bar{P}$ $\overset{ˉ}{P}$ द्वारा परिभाषित) का इष्टतम Q-फंक्शन है और $\bar{Q}_t$ $\overset{ˉ}{Q}_{t}$ औसत स्थानीय अनुमान है। वे एक पुनरावर्ती त्रुटि इटरेशन फॉर्मूला (लेम्मा 1) व्युत्पन्न करते है जो त्रुटि को तीन घटकों में विभाजित करता है:
- प्रारंभिक त्रुटि क्षय (Initial error decay)।
- सैंपलिंग शोर (नमूने और वास्तविक ट्रांज़िशन के बीच विचलन)।
- विषमता-प्रेरित विक्षोभ (Heterogeneity-induced perturbation) (स्थानीय ट्रांज़िशन $P_k$ और वैश्विक औसत $\bar{P}$ के बीच विचलन)।
विषमता मीट्रिक (Heterogeneity Metric): विषमता की डिग्री को $\kappa = \sup_{k,s,a} \|\bar{P}(\cdot|s,a) - P_k(\cdot|s,a)\|_\infty$ द्वारा मापा जाता है।
लोअर बाउंड कंस्ट्रक्शन (Lower Bound Construction): मौलिक सीमाओं को सिद्ध करने के लिए, लेखक एक विशिष्ट काउंटर-एग्जांपल (counter-example) का निर्माण करते हैं जिसमें दो अवस्थाएँ (states) और बाइनरी क्रियाएँ होती हैं जहाँ ट्रांज़िशन कर्नेल आइडेंटिटी और परम्यूटेशन मैट्रिसेस के बीच बदलते हैं। यह सेटअप विषम वातावरण में $E > 1$ के प्रभाव को अलग करता है।

मुख्य योगदान

1. त्रुटि विकास और नमूना जटिलता का लक्षण वर्णन

यह शोध पत्र त्रुटि विकास का एक सटीक लक्षण वर्णन प्रदान करता है, यह दिखाते हुए कि अभिसरण व्यवहार विषमता $\kappa$ और लक्षित सटीकता $\epsilon$ द्वारा निर्धारित थ्रेशोल्ड के सापेक्ष $K(E-1)$ के गुणनफल पर महत्वपूर्ण रूप से निर्भर करता है।

रैखिक गति शासन (Regime 1 - Linear Speedup): जब $K(E-1)$ थ्रेशोल्ड $\tilde{\mathcal{O}}((\kappa\epsilon)^{-1}(1-\gamma)^{-2})$ से नीचे होता है, तो सिस्टम समरूप सेटिंग के समान व्यवहार करता है। इसकी सैंपल कॉम्प्लेक्सिटी $\tilde{\mathcal{O}}\left(\frac{|\mathcal{S}||\mathcal{A}|}{K(1-\gamma)^5\epsilon^2}\right)$ है, जो एजेंटों की संख्या $K$ के सापेक्ष रैखिक गति प्रदर्शित करती है।
प्रदर्शन गिरावट शासन (Regime 2 - Performance Degradation): जब $K(E-1)$ थ्रेशोल्ड से अधिक हो जाता है, तो विषमता हावी हो जाती है। सैंपल कॉम्प्लेक्सिटी घटकर $\tilde{\mathcal{O}}\left(\frac{\kappa|\mathcal{S}||\mathcal{A}|E}{(1-\gamma)^3\epsilon}\right)$ हो जाती है। इस शासन में, स्थानीय अपडेट $E$ की संख्या बढ़ाने से सैंपल कॉम्प्लेक्सिटी रैखिक रूप से बढ़ जाती है, जो समानांतरता (parallelism) के लाभों को निष्प्रभावी कर देती है।

2. स्थानीय अपडेट ( $E > 1$ ) की मौलिक सीमा

यह शोध पत्र सिद्ध करता है कि विषम वातावरण में $E > 1$ के लिए अभिसरण की धीमी गति केवल विश्लेषण का आर्टिफैक्ट नहीं है, बल्कि मौलिक (fundamental) है।

थ्योरम 2 त्रुटि के $\ell_\infty$ नॉर्म पर एक लोअर बाउंड स्थापित करता है: $\|\Delta_T\|_\infty \geq \Theta_R\left(\frac{E}{(1-\gamma)T}\right)$ ।
इसका तात्पर्य यह है कि स्टेप साइज़ की एक विस्तृत श्रृंखला के लिए, त्रुटि $E/T$ के अनुपात में दर से तेजी से कम नहीं हो सकती है। फलस्वरूप, कई स्थानीय अपडेट ( $E > 1$ ) करने से समान लक्ष्य सटीकता तक पहुँचने के लिए $E=1$ करने की तुलना में अंततः $E$ गुना अधिक नमूनों की खपत होती है।

3. दो-चरणीय अभिसरण घटना (Two-Phase Convergence Phenomenon)

संख्यात्मक प्रयोगों के माध्यम से, लेखक विषम सेटिंग्स में कांस्टेंट स्टेप साइज़ के साथ एक विशिष्ट दो-चरणीय घटना की पहचान करते हैं:

चरण 1 (Phase 1): त्रुटि तेजी से घटती है, जो प्रारंभिक त्रुटि के कम होने से संचालित होती है।
चरण 2 (Phase 2): त्रुटि "बाउंस अप" होती है और विषमता और स्थानीय अपडेट से उत्पन्न सामूहिक विक्षोभ द्वारा निर्धारित एक अवशिष्ट स्तर (residual level) पर स्थिर हो जाती है।
शोध पत्र सुझाव देता है कि एक दो-चरणीय प्रशिक्षण रणनीति—चरण 1 में बड़े स्टेप साइज़ और चरण 2 में छोटे (या घटते) स्टेप साइज़ का उपयोग करना—एकल कांस्टेंट स्टेप साइज़ का उपयोग करने की तुलना में इस अवशिष्ट त्रुटि को कम कर सकती है और समग्र अभिसरण में सुधार कर सकती है।

परिणाम और प्रयोगात्मक सत्यापन

सैद्धांतिक निष्कर्षों को $K=20$ एजेंटों के साथ प्रयोगों के माध्यम से सत्यापित किया गया है, जो विविध ट्रांज़िशन संभावनाओं (उच्च विषमता, $\kappa \approx 1.2$ का अनुकरण करते हुए) वाले रैंडमली जनरेटेड 5x5 मेज़ (maze) वातावरण के साथ अंतःक्रिया करते हैं।

स्टेप साइज़ संवेदनशीलता: विषम वातावरण में, बड़े कांस्टेंट स्टेप साइज़ महत्वपूर्ण 'एरर बाउंसिंग' और उच्च अवशिष्ट त्रुटियों की ओर ले जाते हैं। इसके विपरीत, समरूप वातावरण में स्टेप साइज़ के बावजूद ऐसा कोई बाउंस नहीं दिखता।
$E$ का प्रभाव: विषम सेटिंग्स में सिंक्रोनाइज़ेशन अवधि $E$ को बढ़ाने से अंतिम त्रुटियाँ बढ़ जाती हैं, जो सैद्धांतिक गिरावट की पुष्टि करती हैं।
दो-चरणीय रणनीति: प्रयोग प्रदर्शित करते हैं कि अनुमानित चरण संक्रमण बिंदु ( $t_0$ ) पर स्टेप साइज़ को बदलने से यूनिफॉर्म स्टेप साइज़ रणनीतियों की तुलना में तेज़ अभिसरण और कम अंतिम त्रुटियां प्राप्त होती हैं।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह विषम वातावरण और सिंक्रोनाइज़ेशन अवधि $E$ को स्पष्ट रूप से ध्यान में रखते हुए फेडरेटेड Q-लर्निंग के लिए टाइट सैंपल कॉम्प्लेक्सिटी विश्लेषण प्रदान करने वाला पहला कार्य है।

सैद्धांतिक अंतराल: पिछले कार्यों (जैसे, झांग एट अल., 2024; वांग एट अल., 2023) के विपरीत, जो ऐसे ऊपरी बाउंड प्रदान करते थे जो आवश्यक रूप से शून्य तक नहीं घटते थे या $E$ और $\kappa$ के मौलिक प्रभाव को चित्रित करने में विफल रहे, यह कार्य ऐसे बाउंड प्रदान करता है जो शून्य तक घटते हैं और संचार आवृत्ति और अभिसरण गति के बीच के ट्रेड-ऑफ को स्पष्ट रूप से पहचानते हैं।
मौलिक अंतर्दृष्टि: यह शोध पत्र इस अंतर्ज्ञान को चुनौती देता कि फेडरेटेड सेटिंग्स में "अधिक स्थानीय अपडेट हमेशा बेहतर होते हैं"। यह प्रदर्शित करता है कि पर्यावरणीय विषमता की उपस्थिति में, $E$ को बढ़ाना मौलिक रूप से अभिसरण में बाधा डाल सकता है, जिससे एक ऐसी त्रुटि दर की निचली सीमा (lower bound) तय होती है जिसे केवल स्टेप साइज़ को ट्यून करके पार नहीं किया जा सकता है।
व्यावहारिक निहितार्थ: निष्कर्ष बताते हैं कि विषम मल्टी-एजेंट सिस्टम के लिए, तीव्र सिंक्रोनाइज़ेशन (छोटा $E$ ) या अनुकूलन योग्य (adaptive) स्टेप-साइज़ रणनीतियाँ मजबूत प्रदर्शन प्राप्त करने के लिए आवश्यक हैं, क्योंकि समरूप सेटिंग्स में देखी गई "विषमता का आशीर्वाद" (blessing of heterogeneity) इन स्थितियों में Q-लर्निंग की अभिसरण दरों के लिए लागू नहीं होता है।