FedEAGD: Trajectory-Guided Drift-Aware Distillation for Personalized Federated Learning
FedEAGD एक व्यक्तिगत फेडेरेटेड लर्निंग फ्रेमवर्क है जो नॉन-IID स्थितियों के तहत मॉडल सटीकता में महत्वपूर्ण सुधार करने के लिए एडेप्टिव हिस्टोरिकल नॉलेज ट्रांसफर और प्रोग्रेसिव गेटेड रेसिडुअल फ्यूजन के साथ एक ट्रजेक्टरी-गाइडेड, ड्रिफ्ट-अवेयर डिस्टिलेशन मैकेनिज्म का उपयोग करके डेटा विषमता और आंशिक क्लाइंट भागीदारी को संबोधित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल दुनिया में, आर्टिफिशियल इंटेलिजेंस अक्सर स्मार्टफोन से लेकर अस्पताल के सेंसरों जैसे लाखों उपकरणों से डेटा एकत्र करके सीखता है। यह दृष्टिकोण, जिसे फेडरेटेड लर्निंग (federated learning) कहा जाता है, कंप्यूटर को कच्चे डेटा को स्थानांतरित किए बिना शक्तिशाली मॉडल बनाने की अनुमति देता है, जिससे सामूहिक बुद्धिमत्ता का लाभ उठाते हुए गोपनीयता भी बनी रहती है। हालाँकि, एक निरंतर समस्या उत्पन्न होती है क्योंकि प्रत्येक उपकरण पर मौजूद डेटा शायद ही कभी एक समान होता है। एक उपयोगकर्ता बिल्लियों की हजारों तस्वीरें ले सकता है, जबकि दूसरा केवल परिदृश्यों (landscapes) को कैप्चर करता है; एक अस्पताल में ज्यादातर बुजुर्ग मरीजों का इलाज हो सकता है, जबकि दूसरा मुख्य रूप से बच्चों को देखता है। जब ये विविध डेटा स्रोत एक साझा मॉडल से सीखने की कोशिश करते हैं, तो परिणाम अक्सर एक भ्रमित प्रणाली होती है जो सभी के लिए खराब प्रदर्शन करती है। इसे हल करने के लिए, शोधकर्ताओं ने पर्सनलाइज्ड फेडरेटेड लर्निंग (personalized federated learning) की ओर रुख किया है, जो एक सामान्य आधार और प्रत्येक व्यक्तिगत उपयोगकर्ता के लिए विशिष्ट अनुकूलन के बीच संतुलन बनाने का प्रयास करता है। फिर भी, इन व्यक्तिगत बदलावों के साथ भी, सीखने की प्रक्रिया अस्थिर हो सकती है। जैसे-जैसे मॉडल समय के साथ अपडेट होता है, सूचना के विशिष्ट टुकड़ों को समझने का तरीका अप्रत्याशित रूप से बदल सकता है, जिससे सिस्टम पिछले चरणों में सीखी गई चीजों को भूल सकता है या गलत डेटा पर गलत सबक लागू कर सकता है।
हेनान यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी और हेनान स्पोर्ट यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस अस्थिरता को दूर करने के लिए 'FedEAGD' नामक एक नया फ्रेमवर्क विकसित किया है। उनका कार्य एक सूक्ष्म लेकिन महत्वपूर्ण मुद्दे पर केंद्रित है: कैसे एक एकल डेटा बिंदु, जैसे कि एक विशिष्ट छवि, कई संचार राउंड के दौरान मॉडल के सीखने के साथ बदलता है। प्रत्येक डेटा को एक जैसा मानने के बजाय, उनकी विधि इस बात को ट्रैक करती है कि मॉडल प्रत्येक व्यक्तिगत नमूने (sample) को कैसे देखता है। उन्होंने पाया कि कुछ छवियां मॉडल को एक दौर से दूसरे दौर में नाटकीय रूप से बदलने पर मजबूर करती हैं, जबकि अन्य स्थिर रहती हैं। इस "ड्रिफ्ट" (drift) को मापकर, सिस्टम यह तय कर सकता है कि प्रत्येक विशिष्ट आइटम के लिए पिछले पाठों पर कितना भरोसा किया जाए। यदि कोई डेटा मॉडल को डगमगाने पर मजबूर कर रहा है, तो सिस्टम उसे स्थिर करने के लिए अतीत के मार्गदर्शन को अधिक मजबूती से लागू करता है। यदि डेटा स्थिर है, तो सिस्टम अपनी पकड़ ढीली कर देता है, जिससे मॉडल उस विशिष्ट उपकरण की अनूठी जरूरतों के अनुसार अधिक स्वतंत्र रूप से अनुकूलित हो सके।
शोधकर्ताओं ने इस प्रणाली को एक अवधारणा के इर्द-गिर्द बनाया जिसे वे "हिस्टोरिकल टीचर" (historical teacher) कहते हैं। कल्पना कीजिए कि एक छात्र अपनी प्रगति का डायरी रखता है। इस डिजिटल संस्करण में, प्रत्येक उपकरण अपने साझा मॉडल के समय के साथ स्वरूप का एक सरलीकृत, औसत रिकॉर्ड बनाए रखता है। जब डिवाइस अपने डेटा के एक नए बैच पर प्रशिक्षण लेता है, तो वह इस डायरी के विरुद्ध प्रत्येक छवि की अपनी वर्तमान समझ की तुलना करता है। यदि किसी छवि का वर्तमान दृश्य ऐतिहासिक रिकॉर्ड से काफी भिन्न है, तो सिस्टम इसे अस्थिरता के क्षण के रूप में पहचान लेता है। इसके बाद, यह स्वचालित रूप से उस विशिष्ट छवि के लिए ऐतिहासिक पाठ का भार (weight) बढ़ा देता है, जो प्रभावी रूप से कहता है, "यह एक कठिन मामला है; आइए जो हम पहले जानते थे उसके करीब रहें।" यह प्रक्रिया सैंपल-दर-सैंपल (sample-by-sample) आधार पर होती है, जिसका अर्थ है कि एक छवि को भारी मार्गदर्शन मिल सकता है जबकि उसके बगल वाली छवि को बहुत कम मिलता है, जो पूरी तरह से इस बात पर निर्भर करता है कि मॉडल का उनके प्रति दृष्टिकोण कितना बदला है।
मॉडल को बहुत कठोर होने से बचाने के लिए, शोधकर्ताओं ने व्यक्तिगत जानकारी को धीरे-धीरे पेश करने का एक तरीका भी पेश किया है। प्रशिक्षण के शुरुआती चरणों में, सिस्टम सभी के लिए एक मजबूत, साझा आधार बनाने पर ध्यान केंद्रित करता है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है, यह धीरे-धीरे प्रत्येक डिवाइस के विशिष्ट फीचर्स को बुनना शुरू कर देता है। यह एक "गेटेड" (gated) तंत्र के माध्यम से किया जाता है जो एक डिमर स्विच की तरह काम करता है, जो साझा आधार सुरक्षित होने के बाद ही व्यक्तिगत विवरणों की आवाज़ को धीरे-धीरे बढ़ाता है। यह सिस्टम को बहुत जल्दी बहुत अधिक विशिष्ट विवरणों को सीखने की कोशिश में भ्रमित होने से रोकता है। शोधकर्ताओं ने सुरक्षा जांच भी जोड़ी है ताकि यह सुनिश्चित हो सके कि ये व्यक्तिगत जुड़ाव गलती से साझा मॉडल के प्रदर्शन को कम न कर दें, और वे प्रक्रिया के अंत में केंद्रीय सर्वर और व्यक्तिगत उपकरणों के बीच अंतिम अपडेट को समन्वित करने के लिए एक स्मूथिंग (smoothing) तकनीक का उपयोग करते हैं।
टीम ने हस्तलिखित अंकों, रोजमर्रा की वस्तुओं और सैकड़ों श्रेणियों वाले जटिल दृश्यों सहित कई प्रसिद्ध इमेज डेटासेट्स पर इस दृष्टिकोण का परीक्षण किया। उन्होंने ऐसे वातावरण का अनुकरण किया जहाँ डेटा अत्यधिक असमान था, जहाँ कुछ उपकरणों के पास बहुत अलग प्रकार की छवियां थीं। इन चुनौतीपूर्ण स्थितियों में, नई विधि ने मौजूदा दृष्टिकोणों को लगातार पीछे छोड़ दिया। 100 विभिन्न वस्तु श्रेणियों वाले डेटासेट पर, जिसमें अत्यधिक असमान डेटा वितरण था, नए फ्रेमवर्क ने 63.05 प्रतिशत की सटीकता प्राप्त की। यह परीक्षण किए गए अगले सर्वश्रेष्ठ तरीके से लगभग छह प्रतिशत अधिक था, जो मशीन लर्निंग के क्षेत्र में एक महत्वपूर्ण अंतर है। यह प्रणाली तब भी मजबूत रही जब प्रशिक्षण में कम उपकरण शामिल थे या जब उपकरणों की संख्या बढ़ गई, इसने भागीदारी के स्तर या पैमाने के बावजूद अन्य तरीकों पर अपना लाभ बनाए रखा।
महत्वपूर्ण रूप से, यह सुधार संचार में वृद्धि की कीमत पर नहीं आया। कई व्यक्तिगत प्रणालियों में, उपकरणों और केंद्रीय सर्वर के बीच अद्वितीय डेटा भेजना नेटवर्क पर भारी ट्रैफ़िक का बोझ पैदा करता है। इस नए फ्रेमवर्क में, केवल मॉडल का साझा हिस्सा ही नेटवर्क पर भेजा जाता है। व्यक्तिगत घटक, ऐतिहासिक रिकॉर्ड और विशिष्ट समायोजन प्रत्येक डिवाइस पर स्थानीय रूप से संग्रहीत रहते हैं। इसका मतलब है कि सिस्टम अतिरिक्त डेटा के साथ नेटवर्क को जाम किए बिना प्रत्येक डिवाइस की अनूठी विशेषताओं से सीख सकता है। शोधकर्ताओं ने आवश्यक समय और डेटा ट्रांसफर को मापा और पाया कि नई विधि कुशल है, जो मानक हार्डवेयर पर प्रशिक्षण के प्रति दौर में लगभग 16.84 सेकंड लेती है, जो अन्य हल्के तरीकों के बराबर है लेकिन कहीं अधिक प्रभावी है।
अध्ययन सुझाव देता है कि बेहतर व्यक्तिगत शिक्षण की कुंजी केवल अलग-अलग उपयोगकर्ताओं के लिए अलग-अलग मॉडल रखने में नहीं है, बल्कि इसमें है कि वे मॉडल समय के साथ कैसे विकसित होते हैं। डेटा के व्यक्तिगत टुकड़ों के प्रति मॉडल के दृष्टिकोण के प्रक्षेपवक्र (trajectory) पर ध्यान देकर, सिस्टम ठीक वहीं सही मात्रा में मार्गदर्शन लागू कर सकता है जहाँ इसकी आवश्यकता है। यह दृष्टिकोण नेटवर्क की सामूहिक बुद्धिमत्ता को स्थिर रहने देते हुए भी प्रत्येक प्रतिभागी की अनूठी जरूरतों को पूरा करने की अनुमति देता है। शोधकर्ता निष्कर्ष निकालते हैं कि यह विधि गोपनीयता-संवेदनशील वातावरण, जैसे स्वास्थ्य सेवा से लेकर व्यक्तिगत उपकरणों तक, जहाँ डेटा स्वाभाविक रूप से विविध है और त्रुटि की लागत अधिक है, के लिए अधिक विश्वसनीय और सटीक सिस्टम बनाने का एक व्यावहारिक तरीका प्रदान करती है। उनका कार्य यह प्रदर्शित करता है कि मॉडल के सीखने के इतिहास को अधिक बारीकी से सुनकर, हम इसे वर्तमान में बेहतर सीखने में मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।