🤖 machine learning

Collaborative Yet Personalized Policy Training: Single-Timescale Federated Actor-Critic

यह शोध पत्र एक सिंगल-टाइमस्केल फेडरेटेड एक्टर-क्रिटिक फ्रेमवर्क प्रस्तावित करता है जो एक सामान्य रैखिक उपसमष्टि (लीनियर सबस्पेस) साझा करते हुए स्थानीय नीति घटकों को बनाए रखकर सहयोगात्मक शिक्षण और वैयक्तिकरण के बीच संतुलन बनाता है, जिससे एजेंटों की संख्या पर लीनियर स्पीडअप के साथ परिमित-समय अभिसरण (फाइनाइट-टाइम कन्वर्जेंस) प्राप्त होता है और विषम कार्यों पर उत्कृष्ट प्रदर्शन प्रदर्शित होता है।

मूल लेखक: Leo Muxing Wang, Pengkun Yang, Lili Su

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leo Muxing Wang, Pengkun Yang, Lili Su

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि रोबोट्स (एजेंट्स) का एक समूह चलना, दौड़ना या कोई खेल खेलना सीखने की कोशिश कर रहा है। प्रत्येक रोबोट अलग-अलग कमरों में है जहाँ फर्श की बनावट, गुरुत्वाकर्षण या बाधाएं अलग-अलग हैं। यह एक "विषम वातावरण" (heterogeneous environment) है जिसे पेपर में बताया गया है।

लक्ष्य यह है कि सभी रोबोट मिलकर (सहयोग करना) सीखें ताकि वे तेजी से सीख सकें, लेकिन उन्हें अपने स्वयं के अनूठे कौशल (वैयक्तिकरण/personalization) को भी बनाए रखना होगा ताकि वे अपने कमरों के अंतर से भ्रमित न हों।

यहाँ पेपर के समाधान का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) का जाल

अतीत में, शोधकर्ताओं ने दो मुख्य दृष्टिकोणों को आज़माया:

"सोलो" (अकेले वाला) दृष्टिकोण: प्रत्येक रोबोट अकेले सीखता है। यह धीमा और महंगा है क्योंकि उन्हें सब कुछ शून्य से समझना पड़ता है।
"साझा मस्तिष्क" (Shared Brain) दृष्टिकोण: सभी रोबोट एक ही मस्तिष्क (एक सिंगल पॉलिसी) साझा करते हैं। वे सभी एक ही तरह से सीखते हैं।
- खामी: यदि रोबोट A बर्फ पर है और रोबलेट B रेत पर है, तो एक साझा मस्तिष्क एक "मध्यम मार्ग" वाली रणनीति खोजने की कोशिश करता है। परिणाम? रोबोट A फिसल जाता है और रोबोट B धंस जाता है। वे दोनों खराब प्रदर्शन करते हैं क्योंकि साझा मस्तिष्क उनकी विशिष्ट आवश्यकताओं को अनदेखा कर देता है।

2. समाधान: "साझा कंकाल, कस्टम स्किन" (Shared Skeleton, Custom Skin)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे pFedAC (पर्सनलाइज्ड फेडरेटेड एक्टर-क्रिटिक) कहा जाता है। इसे एक कपड़ा कारखाने या एक मॉड्यूलर रोबोट की तरह समझें:

साझा कंकाल (The Subspace): सभी रोबोट एक सामान्य "कंकाल" या "बैकबोन" साझा करते हैं। यह गति के मौलिक भौतिक विज्ञान (जैसे, पैर कैसे चलते हैं, संतुलन कैसे बनता है) का प्रतिनिधित्व करता है। इस हिस्से को सभी रोबोट मिलकर सीखते हैं। क्योंकि वे इस भारी काम को साझा करते हैं, वे बुनियादी बातें बहुत तेजी से सीख लेते हैं।
कस्टम स्किन (The Personalized Head): उस साझा कंकाल के ऊपर, प्रत्येक रोबोट का अपना "सिर" या "स्किन" होता है। यह हिस्सा उसके अपने कमरे (बर्फ, रेत, बाधाएं) के लिए विशिष्ट होता है। यह रोबोट A को बर्फ के अनुकूल होने और रोबोट B को रेत के अनुकूल होने में मदद करता है, बिना दूसरे की सीखने की प्रक्रिया को बिगाड़े।

उपमा: कल्पना कीजिए कि छात्रों का एक समूह ड्राइविंग सीख रहा है।

वे सभी एक साथ एक ही थ्योरी क्लास (साझा कंकाल) लेते हैं ताकि यातायात नियमों और इंजन कैसे काम करता है, यह सीख सकें।
लेकिन फिर, वे में से प्रत्येक को अभ्यास करने के लिए एक अलग कार (पर्सनलाइज्ड हेड) मिलती है। एक हाईवे पर ट्रक चलाता है, दूसरा शहर में स्पोर्ट्स कार चलाता है। वे ज्ञान साझा करते हैं लेकिन उसे अपने विशिष्ट वाहन के लिए लागू करते हैं।

3. वे एक साथ कैसे सीखते हैं ("एक्टर-क्रिटिक" टीम)

पेपर एक क्लासिक सीखने की विधि का उपयोग करता है जिसे एक्टर-क्रिटिक (Actor-Critic) कहा जाता है, जो एक कोच और खिलाड़ी की तरह है:

खिलाड़ी (The Actor): यह वह रोबोट है जो वास्तव में हिलने की कोशिश कर रहा है। यह तय करता है कि कौन सा एक्शन लेना है (बाएं कदम, कूदना, मुड़ना)।
कोच (The Critic): यह रोबोट का आंतरिक जज है। यह खिलाड़ी को देखता है और कहता है, "यह एक अच्छा मूव था!" या "यह एक बुरा मूव था।"

इस नए सिस्टम में:

सभी रोबोटों के कोच मिलकर साझा कंकाल (गति के सामान्य नियम) को अपडेट करने के लिए मिलते हैं।
खिलाड़ी अपने विशिष्ट कमरों के लिए अपने विशिष्ट मूव्स को फाइन-ट्यून करने के लिए अपने पर्सनलाइज्ड हेड्स रखते हैं।

4. "सिंगल-टाइमस्केल" का जादू

आमतौर पर, इन जटिल प्रणालियों में, आपको अराजकता से बचने के लिए "कोच" को बहुत धीरे और "प्लेयर" को बहुत तेज़ी से (या इसके विपरीत) अपडेट करना होता है। यह पेपर एक "सिंगल-टाइमस्केल" विधि पेश करता है।

उपमा: एक डांस क्लास की कल्पना करें जहाँ इंस्ट्रक्टर और छात्र अपने स्टेप्स को ठीक उसी गति से अपडेट करते हैं।
यह कठिन क्यों है: अलग-अलग कमरों (अलग-अलग वातावरण) में होने पर ऐसा करना गणितीय रूप से बहुत कठिन है। पेपर यह सिद्ध करता है कि इस "समान गति" वाले दृष्टिकोण के साथ भी, सिस्टम क्रैश नहीं होता है; वास्तव में यह बहुत तेज़ी से कन्वर्ज (सफलतापूर्वक सीखता) होता है।

5. परिणाम: गति और सफलता

पेपर गणितीय रूप से सिद्ध करता है कि:

लीनियर स्पीडअप (Linear Speedup): यदि आप मिलकर सीख रहे रोबोट्स की संख्या दोगुनी करते हैं, तो सीखने में लगने वाला समय लगभग आधा हो जाता है। यह एक स्टडी ग्रुप की तरह है जहाँ अधिक बुद्धिमान दोस्तों को जोड़ने से हर कोई तेज़ी से सीखता है।
बेहतर प्रदर्शन: अपने प्रयोगों में (एक सिम्युलेटेड रोबोट "हॉपर" का उपयोग करके), इस नए तरीके ने इन्हें हरा दिया:
- अकेले सीखने वाले रोबोट (Single PPO)।
- एक ही साझा, गैर-वैयक्तिकृत मस्तिष्क साझा करने वाले रोबोट (FedAvg PPO)।
ट्रांसफर लर्निंग: जो "साझा कंकाल" उन्होंने सीखा था, वह इतना अच्छा था कि यदि वे उस कंकाल को एक नए रोबोट और एक नए कार्य पर रखते, तो वह नया रोबोट अविश्वसनीय रूप से तेज़ी से सीखता, भले ही वह एक रैंडम हेड के साथ शुरू करता।

सारांश

पेपर एक स्मार्ट तरीका प्रस्तुत करता है जिससे AI एजेंट अपनी व्यक्तिगत पहचान खोए बिना सहयोग कर सकते हैं। ज्ञान के एक सामान्य "आधार" को साझा करते हुए और अपने स्वयं के "विशेषज्ञ" कौशल रखते हुए, वे अकेले सीखने या समान होने के लिए मजबूर होने की तुलना में तेज़ी से और बेहतर प्रदर्शन करते हैं। लेखकों ने गणितीय रूप से सिद्ध किया कि यह काम करता है और रोबोट सिमुलेशन के साथ व्यावहारिक रूप से भी दिखाया कि यह काम करता है।

तकनीकी सारांश: सिंगल-टाइमस्केल फेडरेटेड एक्टर-क्रिटिक के माध्यम से सहयोगात्मक एवं व्यक्तिगत नीति प्रशिक्षण

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र पर्यावरणीय विषमता (environmental heterogeneity) के तहत फेडरेटेड सुदृढीकरण शिक्षण (Federated Reinforcement Learning - FRL) में सहयोगात्मक एवं व्यक्तिगत नीति प्रशिक्षण की चुनौती को संबोधित करता है। कई आधुनिक अनुप्रयोगों में, जैसे कि एम्बोडीड एआई (Embodied AI), एजेंट अलग-अलग वातावरणों में कार्य करते हैं जो भिन्न ट्रांज़िशन कर्नेल ( $P^k$ ) और रिवॉर्ड फंक्शन ( $R^k$ ) द्वारा अभिलक्षित होते हैं।

मौजूदा दृष्टिकोण आमतौर पर दो श्रेणियों में आते हैं:

विषमता की अनदेखी करना: सभी एजेंटों के लिए एक एकल साझा नीति (shared policy) को प्रशिक्षित करना, जिससे अक्सर मिसअलाइन्ड लर्निंग सिग्नल्स के कारण प्रदर्शन में गिरावट आती है।
सहयोग का त्याग करना: पूरी तरह से स्वतंत्र स्थानीय नीतियों को प्रशिक्षित करना, जिससे सहयोग से प्राप्त होने वाले सैंपल एफिशिएंसी (sample efficiency) के लाभों का नुकसान होता है।

यद्यपि पर्सनलाइज्ड फेडरेटेड लर्निंग (PFL) ने सुपरवाइज्ड लर्निंग में सफलता देखी है, लेकिन FRL में इसका अनुप्रयोग अभी भी कम खोजा गया है। विशेष रूप से, पर्सनलाइज्ड एक्टर-क्रिटिक (AC) विधियों के लिए कोई सैद्धांतिक ढांचा उपलब्ध नहीं है जो मार्कोवियन सैंपलिंग (जहाँ डेटा टेम्पोरली कोरिलेटेड होता है) और विषम ट्रांज़िशन कर्नेल्स को संभाल सके। पिछले कार्य अक्सर वैल्यू-बेस्ड विधियों या सामान्य नीतियों पर ध्यान केंद्रित करते हैं, या i.i.d. डेटा का अनुमान लगाते हैं, जो सिंगल-टाइमस्केल सेटिंग में नीति अपडेट और विषम मार्कोवियन शोर (Markovian noise) के युग्मित डायनेमिक्स को पकड़ने में विफल रहते हैं।

कार्यप्रणाली: pFedAC

लेखक pFedAC प्रस्तावित करते हैं, जो एक सिंगल-टाइमस्केल पर्सनलाइज्ड फेडरेटेड एक्टर-क्रिटिक एल्गोरिदम है। इसका मुख्य वास्तुशिल्प नवाचार साझा लीनियर सबस्पेस रिप्रजेंटेशन है जिसे पर्सनलाइज्ड लोकल हेड्स के साथ जोड़ा गया है।

मॉडल संरचना

एजेंट $k$ के लिए वैल्यू फंक्शन को इस प्रकार अनुमानित किया जाता है:
$V^k_\theta(s) \approx \phi(s)^\top B \omega^k_\theta$
जहाँ:

$\phi(s) \in \mathbb{R}^d$ एक ज्ञात फीचर मैप है।
$B \in \mathbb{R}^{d \times r}$ एक साझा ऑर्थोनॉर्मल सबस्पेस (सभी $K$ एजेंटों के बीच साझा) है जो वैल्यू फंक्शन्स की अंतर्निहित संरचना का प्रतिनिधित्व करता है।
$\omega^k_\theta \in \mathbb{R}^r$ प्रत्येक एजेंट $k$ के लिए विशिष्ट लोकल हेड पैरामीटर्स हैं, जो पर्सनलाइजेशन की अनुमति देते हैं।

एल्गोरिदम मैकेनिक्स

एल्गोरिदम राउंड $t = 0, \dots, T-1$ में संचालित होता है, जिसमें प्रत्येक एजेंट के लिए तीन युग्मित अपडेट स्टेप्स होते हैं, जिसके बाद एक सर्वर एग्रीगेशन स्टेप होता है:

क्रिटिक अपडेट (लोकल हेड और सबस्पेस):
- एजेंट एडवांटेज फंक्शन का अनुमान लगाने के लिए एक स्थानीय TD( $L$ ) अपडेट करते हैं।
- TD एरर $\delta^k_{t,L}$ का उपयोग करके, एजेंट अपने लोकल हेड $\omega^k_t$ और कॉमन सबस्पेस अनुमान $B_t$ को अपडेट करते हैं।
- $B_t$ के लिए अपडेट में एक प्रोजेक्टेड स्टोकेस्टिक ग्रेडिएंट स्टेप शामिल है, जिसके बाद ऑर्थोनॉर्मलिटी बनाए रखने के लिए एक QR डिकम्पोज़िशन किया जाता है। यह प्रोजेक्शन विषम शोर की उपस्थिति में पर्टरबेशन एम्प्लीफिकेशन को नियंत्रित करने के लिए महत्वपूर्ण है।
एक्टर अपडेट (पॉलिसी):
- लिमिटिंग स्टेट डिस्ट्रीब्यूशन (जो क्रिटिक अपडेट्स में उपयोग किया जाता है) और डिस्काउंटेड स्टेट विज़िटेशन डिस्ट्रीब्यूशन (जो पॉलिसी ग्रेडिएंट्स में उपयोग किया जाता है) के बीच के अंतर को कम करने के लिए, लेखक एक कंपैनियन MDP का उपयोग करते हैं जिसका ट्रांज़िशन कर्नेल $\tilde{P}^k = \gamma P^k + (1-\gamma)\eta$ है।
- एजेंट पॉलिसी ग्रेडिएंट्स की गणना करने के लिए इस सहायक चेन से ट्रेजेक्टरीज सैंपल करते हैं, जिससे मार्कोवियन सैंपलिंग के तहत अधिक सटीक ग्रेडिएंट अनुमान सुनिश्चित होता है।
एग्रीगेशन:
- एजेंट अपने अपडेटेड सबस्पेस अनुमान $\bar{B}_{t+1}$ को सर्वर को भेजते हैं।
- सर्वर औसत $\bar{B}_{t+1}$ की गणना करता है और अपडेटेड ऑर्थोनॉर्मल बेसिस $B_{t+1}$ को सभी एजेंटों को ब्रॉडकास्ट करने के लिए QR डिकम्पोज़िशन करता है।

मुख्य योगदान

1. फेडरेटेड RL में प्रथम पर्सनलाइज्ड AC

यह शोध पत्र फेडरेटेड सेटिंग में पर्सनलाइज्ड एक्टर-क्रिटिक लर्निंग को सक्षम करने वाला पहला एल्गोरिदम प्रस्तुत करता है। साझा नीतियों या वैल्यू फंक्शन्स पर ध्यान केंद्रित करने वाले पिछले कार्यों के विपरीत, pFedAC स्पष्ट रूप से एक साझा रिप्रजेंटेशन सीखता है जबकि एजेंट-विशिष्ट नीति घटकों को बनाए रखता है।

2. फाइनाइट-टाइम कन्वर्जेंस एनालिसिस

लेखक मार्कोवियन सैंपलिंग और विषम ट्रांज़िशन कर्नेल्स के तहत एल्गोरिदम के लिए फाइनाइट-टाइम कन्वर्जेंस गारंटी स्थापित करते हैं। विश्लेषण एक नया जॉइंट लीनियर एप्रोक्सिमेशन फ्रेमवर्क पेश करता है जो तीन कसकर जुड़े हुए एरर डायनेमिक्स को ट्रैक करता है:

लोकल हेड अनुमानों ( $\omega^k$ ) में त्रुटि।
साझा सबस्पेस अनुमान ( $B$ ) में त्रुटि।
पॉलिसी ग्रेडिएंट (एक्टर) में त्रुटि।

कन्वर्जेंस रेट्स:
पेपर सिद्ध करता है कि:

क्रिटिक एरर $\tilde{O}\left(\frac{1}{(1-\gamma)^4 \sqrt{TK}}\right)$ की दर से शून्य की ओर बढ़ता है।
पॉलिसी ग्रेडिएंट नॉर्म $\tilde{O}\left(\frac{1}{(1-\gamma)^6 \sqrt{TK}}\right)$ की दर से शून्य की ओर बढ़ता है।

यहाँ, $T$ राउंड की संख्या है, $K$ एजेंटों की संख्या है, और $\gamma$ डिस्काउंट फैक्टर है। $\tilde{O}$ नोटेशन पॉलीलॉगैरिथमिक फैक्टर्स और प्रॉब्लम-डिपेंडेंट कांस्टेंट्स को छिपाता है।

3. लीनियर स्पीडअप

परिणाम एजेंटों की संख्या $K$ के संबंध में एक लीनियर स्पीडअप प्रदर्शित करते हैं। इसका अर्थ है कि फेडरेटेड सिस्टम में अधिक एजेंट जोड़ने से लक्षित सटीकता तक पहुँचने के लिए आवश्यक सैंपल कॉम्प्लेक्सिटी आनुपातिक रूप से कम हो जाती है, भले ही विषम मार्कोवियन ट्रेजेक्टरीज मौजूद हों।

4. विश्लेषण में तकनीकी नवाचार

इन परिणामों को प्राप्त करने के लिए, लेखकों ने कई नए विश्लेषणात्मक उपकरण विकसित किए:

QR डिकम्पोज़िशन के लिए पर्टरबेशन एनालिसिस: विषम मार्कोवियन शोर की उपस्थिति में QR डिकम्पोज़िशन स्टेप्स द्वारा उत्पन्न डिस्टॉर्शन को बांधने वाला एक नया विश्लेषण।
कंडीशनल मिक्सिंग आर्गुमेंट्स: पॉलिसी अपडेट और मार्कोवियन सैंपलिंग के बीच कपलिंग को संभालने के लिए तकनीकें, विशेष रूप से मार्कोवियन सैंपलिंग बनाम टेम्पोरली फ्रोजन पॉलिसियों के तहत फंक्शन इवैल्यूएशन के बीच के अंतर को स्पष्ट करना।
जियोमेट्रिक स्ट्रक्चर का उपयोग: लोकल हेड एरर्स और सबस्पेस एस्टीमेशन एरर्स के बीच के इंटरैक्शन को नियंत्रित करने के लिए साझा सबस्पेस और प्रिंसिपल एंगल डिस्टेंस की ज्यामितीय विशेषताओं का उपयोग करना।

प्रयोगात्मक परिणाम

लेखकों ने इस फ्रेमवर्क को प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) के भीतर स्थापित किया, जिससे FedPer PPO बना, और इसे एक्शन-मैप विषमता (जहाँ एजेंट डायनेमिक्स साझा करते हैं लेकिन उनके एक्शन मैपिंग अलग होते हैं) वाले फेडरेटेड Hopper-v5 बेंचमार्क पर मूल्यांकित किया।

प्रदर्शन: FedPer PPO ने Single PPO (स्वतंत्र रूप से प्रशिक्षित) और FedAvg PPO (मानक फेडरेटेड एवरेजिंग) दोनों को काफी पीछे छोड़ दिया। "6-UNIQUE" सेटिंग में (जहाँ प्रत्येक एजेंट का एक अलग एक्शन मैप है), FedPer ने Single PPO की तुलना में 2.63 $\times$ और FedAvg PPO की तुलना में 3.78 $\times$ सुधार हासिल किया।
ट्रांसफर लर्निंग: सीखा गया साझा "ट्रंक" (सबस्पेस $B$ ) एक ट्रांसफर करने योग्य फाउंडेशन के रूप में दिखाया गया। जब ट्रंक को फ्रीज कर दिया गया और केवल डाउनस्ट्रीम टास्क (OOD वेरिएंट सहित) पर नए हेड्स को प्रशिक्षित किया गया, तो मॉडल ने वैनिला टास्क पर स्क्रैच से प्रशिक्षण की तुलना में 5.42 $\times$ और OOD टास्क पर 3.50 $\times$ प्रदर्शन प्राप्त किया।

महत्व और दावे

पेपर दावा करता है कि pFedAC विषम FRL वातावरणों में सहयोग और पर्सनलाइजेशन के बीच के अंतर को सफलतापूर्वक पाटता है। एक साझा लीनियर सबस्पेस का लाभ उठाकर, एजेंट स्थानीय वातावरण की विशेषताओं के अनुकूल हुए बिना सामूहिक शिक्षण से लाभ उठा सकते हैं।

लेखक स्पष्ट रूप से उल्लेख करते हैं कि जबकि कन्वर्जेंस रेट्स लीनियर स्पीडअप प्रदर्शित करते हैं, डिस्काउंट फैक्टर $(1-\gamma)$ पर निर्भरता इष्टतम नहीं हो सकती है, विशेष रूप से न्यूअर-अनडिस्काउंटेड रिजीम ( $\gamma \to 1$ ) में। वे इस निर्भरता को सुधारने को भविष्य के कार्य के लिए एक प्रमुख दिशा के रूप में पहचानते हैं, जो सुझाव देता है कि मार्कोवियन स्ट्रक्चर या वेरिएंस रिडक्शन तकनीकों के अधिक सटीक विश्लेषण से और सुधार हो सकते हैं।

संक्षेप में, यह कार्य पर्सनलाइज्ड फेडरेटेड एक्टर-क्रिटिक विधियों के लिए एक कठोर सैद्धांतिक आधार और अनुभवजन्य सत्यापन प्रदान करता है, जो जटिल, विषम प्रणालियों में स्केलेबल, सहयोगात्मक, फिर भी अनुकूलन योग्य सुदृढीकरण शिक्षण की महत्वपूर्ण आवश्यकता को संबोधित करता है।