← नवीनतम पेपर
🤖 machine learning

FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning

FedTopo हेटेरोजेनियस फेडरेटेड लर्निंग में गैर-संरेखित प्रतिनिधित्व स्थानों (non-aligned representation spaces) की चुनौती का समाधान करता है, जो वैश्विक ज्ञान को पूर्ण विशेषताओं के बजाय संबंध-स्तर की क्लास टोपोलॉजी के रूप में एनकोड करता है, जिससे विविध क्लाइंट आर्किटेक्चर के बीच बिना किसी इन्फरेंस ओवरहेड के विश्वसनीय ज्ञान हस्तांतरण और सुसंगत प्रदर्शन सुधार सक्षम होता है।

मूल लेखक: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

प्रकाशित 2026-07-30
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसी दुनिया की कल्पना करें जहाँ हर किसी का स्मार्टफोन, स्मार्टवॉच और होम रोबोट एक साथ मिलकर स्मार्ट बन सकें, लेकिन बिना कभी भी उनकी निजी तस्वीरें या संदेश साझा किए। यह फेडरेटेड लर्निंग (Federated Learning) का सपना है। आपके डेटा को एक विशाल, असुरक्षित डेटाबेस में इकट्ठा करने के बजाय, सीखना सीधे आपके डिवाइस पर होता है। डिवाइस केवल अपने द्वारा सीखी गई चीज़ों के बारे में छोटे "अपडेट्स" एक केंद्रीय सर्वर को भेजते हैं, जो उन्हें एक स्मार्ट वैश्विक मस्तिष्क बनाने के लिए आपस में मिला देता है।

हालाँकि, इसमें एक पेंच है: हर किसी के पास एक जैसा हार्डवेयर नहीं है। कुछ डिवाइस शक्तिशाली सुपर-कंप्यूटर हैं, जबकि अन्य छोटे, ऊर्जा बचाने वाले चिप्स हैं। मशीन लर्निंग के पुराने दिनों में, सबको एक साथ सीखने के लिए बिल्कुल एक ही प्रकार के "ब्रेन आर्किटेक्चर" (मस्तिष्क संरचना) का उपयोग करना पड़ता था। यदि आपके फोन का मस्तिष्क आपके पड़ोसी के मस्तिष्क से अलग होता, तो वे एक-दूसरे के अपडेट को समझ नहीं पाते। यह अंग्रेजी में लिखी गई किताब को ऐसी भाषा में अनुवाद करने जैसा है जो पूरी तरह से अलग अक्षरों और व्याकरण के नियमों का उपयोग करती है; अर्थ अनुवाद में खो जाता है। यह शोध पत्र इन बेमेल डिवाइसों की इस जटिल वास्तविकता को संबोधित करता है जो एक साथ सहयोग करने की कोशिश कर रहे हैं।

समस्या: सेब और संतरे को औसत निकालने की कोशिश करना

इस शोध पत्र के लेखकों ने, FedTopo, देखा कि इन बेमेल डिवाइसों को एक साथ सीखने में मदद करने वाली मौजूदा विधियाँ एक चौकोर खांचे में गोल कील ठोकने की कोशिश कर रही थीं। अधिकांश वर्तमान विधियाँ "प्रोटोटाइप" (Prototypes) साझा करने की कोशिश करती हैं। कल्पना करें कि प्रत्येक डिवाइस अपने स्वयं के फीचर स्पेस में एक "बिल्ली" कैसी दिखती है, उसका एक स्नैपशॉट लेता है और वह स्नैपशॉट सर्वर को भेज देता है। सर्वर फिर इन सभी स्नैपशॉट का औसत निकालकर एक "परफेक्ट बिल्ली" खोजने की कोशिश करता है।

लेकिन समस्या यह है: क्योंकि हर डिवाइस का एक अलग आर्किटेक्चर (एक अलग "मस्तिष्क") है, इसलिए एक फोन के लिए "बिल्ली" शब्द एक धुंधला सा धब्बा हो सकता है और दूसरे के लिए एक स्पष्ट ज्यामितिक आकार। जब आप एक धुंधले धब्बे और एक स्पष्ट आकार का औसत निकालते हैं, तो आपको एक बेहतर बिल्ली नहीं मिलती; बल्कि आपको एक भ्रमित करने वाला ढेर मिलता है जो सबको गुमराह करता है। शोध पत्र का तर्क है कि जब डिवाइस इतने अलग हों, तो इन पूर्ण निर्देशांकों (absolute coordinates - यानी गणितीय स्थान में एक "बिल्ली" की सटीक स्थिति) को संरेखित करने की कोशिश करना एक हारने वाली लड़ाई है।

समाधान: निर्देशांक नहीं, बल्कि संबंध साझा करना

यह तय करने के बजाय कि "बिल्ली" ब्रह्मांड में कहाँ स्थित है, FedTopo सुझाव देता है कि हमें बस यह साझा करना चाहिए कि चीजें एक-दूसरे से कैसे संबंधित हैं। इसे ऐसे समझें:

कल्पना करें कि आप और आपका मित्र दोनों एक शहर में नेविगेट करने की कोशिश कर रहे हैं, लेकिन आपके पास अलग-अलग मानचित्र (Maps) हैं। आपके मानचित्र में लिखा है कि पुस्तकालय पार्क के "उत्तर में" है, जबकि आपके मित्र के मानचित्र में लिखा है कि वह "पहाड़ी के ऊपर" है। आप इन मानचित्रों को आसानी से नहीं मिला सकते क्योंकि "उत्तर" और "ऊपर" आप दोनों के लिए अलग-अलग अर्थ रखते हैं।

हालाँकि, आप संबंधों पर सहमत हो सकते हैं। आप दोनों इस बात पर सहमत हो सकते हैं कि "पुस्तकालय, हवाई अड्डे की तुलना में पार्क के अधिक करीब है।" यह एक संबंध है, न कि कोई निर्देशांक।

FedTopo इस तरह काम करता है कि प्रत्येक डिवाइस अपने वर्गों (classes) का एक "संबंध मानचित्र" (topology) बनाता है। यह यह नहीं कहता कि, "वर्ग A निर्देशांक (5, 10) पर है।" इसके बजाय, यह कहता है, "वर्ग A, वर्ग B के बहुत समान है, लेकिन वर्ग C से बहुत भिन्न है।" यह गणना करता है कि उसके अपने स्थानीय मस्तिष्क के भीतर एक "बिल्ली" एक "कुत्ते" के मुकाबले एक "ट्रक" से कितनी समान है।

यह कैसे काम करता है: एक विश्वसनीय संदेशवाहक

यह प्रक्रिया अलग-अलग नोटबुक लेकर रहस्य सुलझाने वाले जासूसों के समूह की तरह है:

  1. स्थानीय जासूसी कार्य: प्रत्येक डिवाइस अपने डेटा को देखता है और पता लगाता है कि उसके वर्ग एक-दूसरे से कैसे संबंधित हैं। "हे, मेरी 'बिल्लियाँ' और 'कुत्ते' कुछ हद तक समान दिखते हैं, लेकिन मेरी 'बिल्लियाँ' और 'ट्रक' बिल्कुल अलग हैं।" यह अपना संबंध मानचित्र सर्वर को भेजता है।
  2. विश्वास फ़िल्टर (Trust Filter): सर्वर जानता है कि कुछ डिवाइसों के पास "ट्रकों" की बहुत कम तस्वीरें हो सकती हैं, इसलिए "ट्रकों" का "बिल्लियों" से संबंध बताने पर उनकी राय संदिग्ध हो सकती है। FedTopo संदेशों को तौलने के लिए एक विशेष "विश्वसनीयता स्कोर" का उपयोग करता है। यदि किसी डिवाइस के पास बहुत अधिक डेटा है, तो उसके संबंध मानचित्र का महत्व अधिक होगा। यदि उसके पास बहुत कम डेटा है, तो सर्वर उसके संदिग्ध अनुमानों को अनदेखा कर देता है।
  3. वैश्विक मानचित्र: सर्वर इन भारित (weighted) संबंध मानचित्रों को एक एकल, अत्यधिक विश्वसनीय "वैश्विक संबंध मानचित्र" (Global Relationship Map) में संयोजित करता है।
  4. सबक: यह वैश्विक मानचित्र वापस डिवाइसों को भेजा जाता है। अब, जब कोई डिवाइस सीख रहा होता है, तो वह केवल उस तस्वीर को नहीं देखता जो उसके पास है; वह यह देखने के लिए वैश्विक मानचित्र को देखता है कि कौन से वर्ग "भ्रमित करने वाली समानता" रखते हैं। फिर वह अपने कौशल को तेज करने के लिए उन विशिष्ट भ्रमित करने वाले जोड़ों पर अधिक अभ्यास करता है।

उन्होंने क्या पाया

लेखकों ने तीन अलग-अलग डेटासेट्स (CIFAR-10, CIFAR-100, और Tiny-ImageNet) पर आठ पूरी तरह से अलग प्रकार के न्यूरल नेटवर्क आर्किटेक्चर (सरल CNN से लेकर जटिल ResNet तक) का उपयोग करके इस विचार का परीक्षण किया। उन्होंने एक अराजक दुनिया का अनुकरण किया जहाँ डेटा असमान रूप से वितरित था (कुछ डिवाइसों के पास केवल बिल्लियाँ थीं, दूसरों के पास केवल ट्रक थे)।

परिणाम स्पष्ट थे: FedTopo ने लगातार अन्य सभी विधियों को पछाड़ दिया।

  • CIFAR-10 डेटासेट पर, इसने मानक असमान सेटिंग में 87.38% की सटीकता प्राप्त की, जो अगले सर्वश्रेष्ठ तरीके से काफी आगे थी।
  • और भी कठिन "पैथोलॉजिकल" (pathological) सेटिंग में (जहाँ डिवाइसों के पास बहुत कम वर्ग थे), इसने 86.26% की सटीकता हासिल की, और फिर से सबसे आगे रही।
  • यह CIFAR-100 और Tiny-ImageNet जैसे बड़े और कठिन डेटासेट्स पर भी उतना ही प्रभावी रहा।

महत्वपूर्ण रूप से, शोध पत्र दिखाता है कि यह विधि अविश्वसनीय रूप से कुशल है। इसके लिए बड़े मॉडल फ़ाइलें इधर-उधर भेजने की आवश्यकता नहीं है। यह केवल छोटे संबंध तालिकाओं को भेजता है (10-क्लास की समस्या के लिए अपलोड करने के लिए केवल 110 पैरामीटर और डाउनलोड करने के लिए 200)। इसके अलावा, जब डिवाइस का वास्तव में उपयोग किया जा रहा होता है (इन्फरेंस के समय), तो यह कोई अतिरिक्त लागत (zero extra cost) नहीं जोड़ता है, क्योंकि संबंध मानचित्र का उपयोग केवल प्रशिक्षण चरण के दौरान तेजी से सीखने में मदद करने के लिए किया जाता है।

निष्कर्ष

FedTopo यह सिद्ध करता है कि जब डिवाइस ज्ञान के सटीक "निर्देशांकों" पर सहमत होने के लिए बहुत भिन्न होते हैं, तब भी वे विचारों के बीच के "संबंधों" पर सहमत होकर एक साथ सीख सकते हैं। विचारों के बीच के संबंधों पर ध्यान केंद्रित करके, न कि गणितीय शून्य में उनकी स्थिति पर, यह विधि विविध उपकरणों को एक साझा डेटा को केंद्रीकृत किए बिना एक स्मार्ट, अधिक मजबूत सामूहिक बुद्धिमत्ता बनाने की अनुमति देती है। यह एक साथ सीखने का एक स्मार्ट तरीका है, भले ही हर कोई थोड़ा अलग भाषा बोल रहा हो।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →