🤖 machine learning

FedQHD: Closed-Form Function-Space Federated Reinforcement Learning

FedQHD एक क्लोज्ड-फॉर्म फेडरेटेड रिइन्फोर्समेंट लर्निंग पद्धति है जो फंक्शन-स्पेस सुसंगत एकत्रीकरण प्राप्त करने के लिए हाइपरडायमेंशनल एनकोडर्स और लीनियर रीडआउट्स का लाभ उठाती है, जो एक नवीन टीचर-स्टूडेंट प्रोजेक्शन फ्रेमवर्क के माध्यम से विषम क्लाइंट रिप्रेजेंटेशन्स के बीच के अंतर को प्रभावी ढंग से पाटती है और साथ ही दक्षता और प्रदर्शन में मौजूदा बेसलाइन्स से बेहतर प्रदर्शन करती है।

मूल लेखक: Yuchen Hou, Yongshan Chen, Zhuowen Zou, Calvin Yeung, Mohsen Imani, Tian Lan, Mahdi Imani

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuchen Hou, Yongshan Chen, Zhuowen Zou, Calvin Yeung, Mohsen Imani, Tian Lan, Mahdi Imani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह मिलकर एक जटिल वीडियो गेम खेलना सीखने की कोशिश कर रहा है। उन सभी के पास अपने स्वयं के अनूठे कंट्रोलर (अलग-अलग हार्डवेयर) हैं और वे गोपनीयता नियमों या धीमे इंटरनेट के कारण अपना वास्तविक गेमप्ले फुटेज (कच्चा डेटा) साझा नहीं कर सकते हैं। इसके बजाय, वे बेहतर खेलने के लिए जो कुछ भी सीखा है, उसे साझा करना चाहते हैं।

यह वह समस्या है जिसे फेडरेटेड रीइन्फोर्समेंट लर्निंग (Federated Reinforcement Learning) हल करने की कोशिश करती है। लेकिन इसमें एक पेंच है: यदि हर कोई अलग तरह से सीखता है, तो उनके "मस्तिष्क सेटिंग्स" (जैसे दो अलग-अलग रेसिपी को मिलाना) का औसत निकालना अक्सर एक ऐसा मिश्रण बन जाता है जो किसी के भी काम नहीं आता।

यह पेपर FedQHD को पेश करता है, जो सहयोग करने का एक नया तरीका है जो इस गड़बड़ी से बचता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग करें:

1. समस्या: सेब और संतरे को मिलाना

अधिकांश वर्तमान तरीकों (जिन्हें "FedAvg" कहा जाता है) में, सर्वर सभी के न्यूरल नेटवर्क सेटिंग्स का औसत लेने की कोशिश करता है।

समस्या: यदि मित्र A का "नीला" मस्तिष्क है और मित्र B का "लाल" मस्तिष्क है, तो सेटिंग्स का औसत लेना नीले और लाल रंग को मिलाने जैसा है ताकि बैंगनी रंग प्राप्त हो सके, लेकिन फिर आपको एहसास होता है कि मित्र C को हरे रंग की आवश्यकता है। गणित विफल हो जाता है क्योंकि उनकी आंतरिक संरचनाएं मेल नहीं खातीं।
पुराना समाधान: कुछ तरीके उन्हें एक साथ लाने के लिए एक "शिक्षक" द्वारा "छात्रों" को बार-बार क्विज़ कराने की कोशिश करते हैं जब तक कि वे मेल न खा जाएं। यह धीमा है, जैसे एक शिक्षक द्वारा हर एक दिन एक-एक करके पेपर चेक करना।

2. समाधान: "यूनिवर्सल ट्रांसलेटर" (हाइपरडायमेंशनल कंप्यूटिंग)

FedQHD खेल बदल देता है, यह सबको एक यूनिवर्सल ट्रांसलेटर (जिसे हाइपरडायमेंशनल एनकोडर कहा जाता है) प्रदान करता है।

यह कैसे काम करता है: जटिल, उलझी हुई आंतरिक नियम सीखने के बजाय, हर कोई गेम की स्थिति (स्क्रीन) को यादृच्छिक संख्याओं की एक विशाल, स्थिर सूची (एक "हाइपरवेक्टर") में अनुवादित करता है।
जादू: एक बार जब गेम की स्थिति इस सूची में अनुवादित हो जाती है, तो सबसे अच्छा कदम तय करना एक सरल रैखिक गणितीय समस्या (जैसे बिंदुओं के माध्यम से एक सीधी रेखा खींचना) बन जाता है।
यह क्यों मदद करता है: क्योंकि गणित अब एक सीधी रेखा है, आप बिना कुछ भी तोड़े परिणामों का औसत पूरी तरह से निकाल सकते हैं। यह एक विशिष्ट बोली बोलने पर सहमत होने जैसा है जहाँ "बाएं" का अर्थ हमेशा "बाएं" ही होता है, चाहे उनकी मूल भाषा कुछ भी हो।

3. दो परिदृश्य

परिदृश्य A: सभी एक ही ट्रांसलेटर का उपयोग करते हैं (होमोजेनियस)

यदि सभी मित्र एक ही ट्रांसलेटर का उपयोग करते हैं, तो सर्वर उनके "सर्वश्रेष्ठ कदम" की सूचियों का औसत लेता है।

परिणाम: यह तत्काल और पूर्ण है। यह बिल्कुल पुराने "FedAvg" तरीके जैसा है लेकिन बहुत तेज़ है क्योंकि इसे जटिल गणनाओं के बार-बार होने की आवश्यकता नहीं होती है। यह एक "क्लोज्ड-फॉर्म" समाधान है, जिसका अर्थ है कि आपको एक सरल सूत्र के साथ उत्तर मिल जाता है, किसी अनुमान की आवश्यकता नहीं है।

परिदृश्य B: सभी अलग-अलग ट्रांसलेटर्स का उपयोग करते हैं (हेटरोजीनियस)

यहीं पर FedQHD चमकता है। क्या होगा यदि मित्र A का ट्रांसलेटर 1,000 नंबरों का उपयोग करता है, और मित्र B का 5,000 का?

"एंकर" रणनीति: सर्वर गेम की स्थितियों का एक छोटा सेट (जिन्हें Anchors कहा जाता है) चुनता है, जैसे "एक कार खाई से गिर रही है" या "एक पोल संतुलित हो रहा है।"
शिक्षक: सर्वर हर मित्र से पूछता है, "आप इन विशिष्ट स्थितियों में क्या करेंगे?" और एक ग्लोबल टीचर बनाने के लिए उनके उत्तरों का औसत निकालता है।
"वन-शॉट" ट्रांसलेशन: लंबे, उबाऊ प्रशिक्षण सत्र के बजाय, प्रत्येक मित्र इस ग्लोबल टीचर को लेता है और एक त्वरित गणितीय ट्रिक (जिसे रिज रिग्रेशन कहा जाता है) का उपयोग करके शिक्षक की सलाह को अपने विशिष्ट ट्रांसलेटर प्रारूप में अनुवादित करता है।
उपमा: कल्पना कीजिए कि एक शेफ (सर्वर) सभी के सूप को चखकर एक आदर्श सूप रेसिपी बनाता है। हर रसोइये को दोबारा खाना बनाना सिखाने के बजाय, सर्वर बस उन्हें एक "ट्रांसलेशन कार्ड" देता है जो कहता है, "यदि आप मेरा सूप का स्वाद चाहते हैं, तो अपने विशिष्ट मसाले के 2 चम्मच डालें।" यह एक ही चरण में होता है।

4. यह बेहतर क्यों है (द "फेडरेशन गैप")

पेपर सिद्ध करता है कि जब आप एक ग्लोबल टीचर को लोकल फॉर्मेट में अनुवादित करते हैं, तो आप थोड़ी सी जानकारी खो देते हैं। वे इस त्रुटि को फेडरेशन गैप कहते हैं।

उन्होंने इस त्रुटि को तीन भागों में विभाजित किया है:
1. मिसमैच (Mismatch): ट्रांसलेटर्स कितने अलग हैं।
2. कंडीशनिंग (Conditioning): "एंकर" स्थितियां गेम को कितनी अच्छी तरह कवर करती हैं।
3. बायस (Bias): चीजों को स्थिर रखने के लिए किया गया एक छोटा सा गणितीय समायोजन।
स्वीट स्पॉट: उन्होंने पाया कि यदि आपके पास पर्याप्त "एंकर" स्थितियां हैं (विशेष रूप से, एंकरों की संख्या ट्रांसलेटर के आकार से अधिक है), तो त्रुटि बढ़ती नहीं है और एक बहुत ही कम, अनुमानित स्तर पर बनी रहती है।

5. परिणाम

लेखकों ने चार क्लासिक कंट्रोल कार्यों (जैसे पोल को संतुलित करना या अंतरिक्ष यान को लैंड करना) पर परीक्षण किया।

प्रदर्शन: FedQHD ने धीमे, जटिल तरीकों के समान या उनसे बेहतर प्रदर्शन किया।
गति: यह काफी तेज़ था। भारी, धीमे न्यूरल नेटवर्क ट्रेनिंग लूप के बजाय सरल गणितीय सूत्रों का उपयोग करने के कारण, इसने घंटों के बजाय मिनटों में कार्य पूरा कर लिया।
दक्षता: भले ही दोस्तों के ट्रांसलेटर्स का आकार अलग-अलग था, सिस्टम सुचारू रूप से काम करता रहा और उन्हें एक समान आकार का होने की आवश्यकता नहीं पड़ी।

सारांश

FedQHD निजी डेटा साझा किए बिना AI एजेंटों के मिलकर सीखने का एक स्मार्ट तरीका है।

यह "रैंडम फीचर" ट्रांसलेटर्स का उपयोग करके जटिल लर्निंग को सरल गणित में बदल देता है।
यह विशिष्ट परीक्षण मामलों (Anchors) से निर्मित "ग्लोबल टीचर" का उपयोग करता है।
यह एक ही चरण में प्रत्येक एजेंट की अनूठी शैली में उस टीचर को अनुवादित करता है।
परिणाम एक ऐसा सिस्टम है जो तेज़, सटीक और काम करता है, भले ही सभी का हार्डवेयर अलग-अलग हो।

तकनीकी सारांश: FedQHD

समस्या विवरण
फेडरेटेड रिइन्फोर्समेंट लर्निंग (FedRL) का लक्ष्य विकेंद्रीकृत एजेंटों को कच्चे ट्राजेक्टरी डेटा (raw trajectory data) को साझा किए बिना सहयोगात्मक रूप से नीतियों (policies) में सुधार करने में सक्षम बनाना है। हालाँकि, पैरामीटर एवरेजिंग (FedAvg) पर निर्भर मानक दृष्टिकोण Q-लर्निंग में दो महत्वपूर्ण संरचनात्मक बाधाओं का सामना करते हैं:

फंक्शन-स्पेस असंगतता (Function-Space Inconsistency): नॉनलीनियर वैल्यू नेटवर्क्स के पैरामीटर्स का औसत निकालना, एक सामान्य फंक्शन स्पेस में स्वयं वैल्यू फंक्शन्स के औसत के बराबर नहीं होता है। फंक्शन-स्पेस सहमति प्राप्त करने के लिए आमतौर पर अतिरिक्त, जटिल अनुकूलन (optimization) की आवश्यकता होती है।
संरचनात्मक विषमता (Structural Heterogeneity): व्यावहारिक तैनाती में, क्लाइंट अक्सर अलग-अलग एनकोडर्स, फीचर आयामों (feature dimensions), या आर्किटेक्चर का उपयोग करते हैं। ऐसी स्थितियों में, पैरामीटर एवरेजिंग बीजगणितीय रूप से अपरिभाषित हो जाती है।

विषम फेडरेशन (heterogeneous federation) के मौजूदा समाधान, जैसे कि नॉलेज डिस्टिलेशन (knowledge distillation), पुनरावृत्ति शिक्षक-छात्र प्रशिक्षण (iterative teacher–student training) पर निर्भर करते हैं, जो हाइपरपैरामीटर संवेदनशीलता, नॉन-स्टेशनरी बेलमैन लक्ष्यों (Bellman targets) के तहत अस्थिरता और महत्वपूर्ण कम्प्यूटेशनल ओवरहेड पेश करता है।

कार्यप्रणाली: FedQHD
लेखक FedQHD का प्रस्ताव करते हैं, जो एक फेडरेटेड Q-लर्निंग फ्रेमवर्क है जो फिक्स्ड रैंडम-फीचर स्टेट एनकोडर्स और लीनियर रीडआउट्स के साथ हाइपरडायमेंशनल कंप्यूटिंग (HDC) का उपयोग करता है। यह आर्किटेक्चर सुनिश्चित करता है कि Q-फंक्शंस स्टेट स्पेस में नॉनलीनियर हैं लेकिन ट्रेनेबल पैरामीटर्स में लीनियर हैं। यह रैखिकता (linearity) क्लोज्ड-फॉर्म एग्रीगेशन को सक्षम बनाती है, जिससे पुनरावृत्ति अनुकूलन की आवश्यकता समाप्त हो जाती है।

यह फ्रेमवर्क दो व्यवस्थाओं (regimes) में कार्य करता है:

होमोजेनियस एनकोडर्स (Homogeneous Encoders): जब सभी क्लाइंट एक ही एनकोडर साझा करते हैं, तो फेडरेटेड अपडेट स्थानीय रीडआउट मैट्रिसेस के वेटेड एवरेजिंग के साथ सटीक रूप से मेल खाता है। यह बिना कच्चे डेटा एक्सचेंज के, क्लोज्ड फॉर्म में मानक FedAvg एल्गोरिदम को रिकवर करता है।
हेटरोजीनियस एनकोडर्स (Heterogeneous Encoders): जब क्लाइंट अलग-अलग एनकोडर्स (संभावित रूप से अलग आयामों के साथ) का उपयोग करते हैं, तो सर्वर एक साझा सेट के एंकर स्टेट्स (anchor states) पर क्लाइंट Q-वैल्यूज़ का औसत निकालकर एक वैश्विक "शिक्षक" (global teacher) का निर्माण करता है। इसके बाद प्रत्येक क्लाइंट इस शिक्षक को एक सिंगल रिज रिग्रेशन प्रोजेक्शन (एक क्लोज्ड-फॉर्म लीस्ट-स्क्वेयर्स सॉल्व) के माध्यम से अपने स्वयं के स्थानीय प्रतिनिधित्व में संकलित करता है। यह प्रक्रिया पुनरावृत्ति डिस्टिलेशन से बचती है और इसके लिए ट्राजेक्टरीज के आदान-प्रदान की आवश्यकता नहीं होती है।

सैद्धांतिक विश्लेषण
पेपर फेडरेशन गैप (federation gap) को औपचारिक रूप देता है, जिसे एक हेटरोजीनियस क्लाइंट के प्रतिनिधित्व में एक फेडरेटेड शिक्षक को संकलित करने से होने वाली त्रुटि के रूप में परिभाषित किया गया है। लेखक इस गैप के लिए एक पॉइंटवाइज बाउंड (pointwise bound) निकालते हैं, जो इसे तीन व्याख्या योग्य पदों में विभाजित करता है:

एनकोडर विषमता (Encoder Heterogeneity): यह सबस्पेस मिसअलाइनमेंट (प्रिंसिपल एंगल्स) और रिप्रेजेंटेशन एरर द्वारा संचालित है।
एंकर कंडीशनिंग (Anchor Conditioning): यह एंकर-सेट फीचर मैट्रिक्स की कंडीशनिंग से संबंधित है।
रेगुलराइजेशन बायस (Regularization Bias): यह रिज श्रिंकेज पैरामीटर द्वारा नियंत्रित होता है।

विश्लेषण एक वेल-कंडीशन्ड रिजीम की पहचान करता है जहाँ एंकर स्टेट्स की संख्या $m$ क्लाइंट के फीचर डायमेंशन $D_i$ के बराबर या उससे अधिक होती है ( $m \ge D_i$ )। इस रिजीम में, फेडरेशन गैप एनकोडर विषमता के फ्लोर (floor) के एक गुणक में कम हो जाता है, और एंकरों की संख्या पर स्पष्ट निर्भरता स्पर्शोन्मुख रूप से (asymptotically) लुप्त हो जाती है।

प्रायोगिक परिणाम
FedQHD का मूल्यांकन चार निरंतर-अवस्था (continuous-state), डिस्क्रीट-एक्शन कंट्रोल बेंचमार्क (CartPole, Acrobot, LunarLander, MountainCar) पर होमोजेनियस और हेटरोजीनियस एनकोडर सेटिंग्स के तहत किया गया।

प्रदर्शन: FedQHD, FedAvg-शैली के बेसलाइनों (जहाँ लागू हो) और डिस्टिलेशन-आधारित विकल्पों की बराबरी करता है या उनसे बेहतर प्रदर्शन करता है। विशेष रूप से, यह 8 में से 5 कार्यों में सर्वश्रेष्ठ नॉन-ओरेकल प्रदर्शन प्राप्त करता है और हेटरोजीनियस सेटिंग में LunarLander पर Oracle QHD (पूल किए गए डेटा पर प्रशिक्षित) को भी पछाड़ देता है।
विषमता प्रबंधन: नैव आयाम ट्रंकेशन (Truncate FedAvg-QHD) प्रदर्शन में गिरावट (जैसे, CartPole में 73% की गिरावट) का कारण बनता है, जबकि FedQHD का एंकर-आधारित प्रोजेक्शन रिप्रेजेंटेशन ज्योमेट्री को सुरक्षित रखता है।
दक्षता: FedQHD, बैकप्रोपैगेशन-आधारित विधियों (FedAvg-DQN) और डिस्टिलेशन-आधारित विधियों (Distillation FedDQN) की तुलना में काफी कम गणना की आवश्यकता रखता है। यह बैकप्रोपैगेशन को क्लोज्ड-फॉर्म अपडेट से बदल देता है और प्रति-राउंड पुनरावृत्ति ग्रेडिएंट लूप को समाप्त करता है। हेटरोजीनियस सेटिंग्स में, क्लाइंट एनकोडर्स के कम आयामों के कारण FedQHD को अपने स्वयं के होमोजेनियस समकक्ष की तुलना में 3-12 गुना तेज़ पाया गया।
सैद्धांतिक सत्यापन: प्रायोगिक परिणाम इस सैद्धांतिक भविष्यवाणी की पुष्टि करते हैं कि फेडरेशन गैप $O(D^{-1/2})$ के रूप में एनकोडर डायमेंशन $D$ के साथ स्केल करता है, जो रैंडम फूरियर फीचर्स के मानक सन्निकटन गारंटी (approximation guarantees) से मेल खाता है।

महत्व और दावे
पेपर दावा करता है कि FedQHD हेटरोजीनियस फेडरेटेड Q-लर्निंग की समस्या का एक क्लोज्ड-फॉर्म समाधान प्रदान करता है। हाइपरडायमेंशनल रीडआउट्स की रैखिकता का लाभ उठाकर, यह डिस्टिलेशन से जुड़ी पुनरावृत्ति अनुकूलन और अस्थिरता के बिना फंक्शन-स्पेस कंसेंसस प्राप्त करता है। यह विधि तब भी सुपरिभाषित है जब क्लाइंट अलग-अलग आर्किटेक्चर और फीचर आयामों का उपयोग करते हैं, जिससे एग्रीगेशन स्टेप को एक सिंगल रिज प्रोजेक्शन तक सीमित कर दिया जाता है। लेखक इस कार्य को शास्त्रीय फेडरेटेड लर्निंग (पैरामीटर एवरेजिंग) और हेटरोजीनियस वैल्यू-फंक्शन एग्रीगेशन के बीच एक सेतु के रूप में प्रस्तुत करते हैं, जो वर्तमान अत्याधुनिक हेटरोजीनियस FedRL विधियों के लिए एक कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है।