FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning

आधुनिक संचार के विशाल, परस्पर जुड़े जाल में, कंप्यूटर कैसे सीखते हैं, इसमें एक शांत क्रांति हो रही है। पारंपरिक रूप से, कृत्रिम बुद्धिमत्ता (AI) प्रणालियों को भारी मात्रा में डेटा को एक एकल, केंद्रीय स्थान में एकत्र करके प्रशिक्षित किया जाता है, जहाँ एल्गोरिदम पैटर्न खोजने के लिए लाखों उदाहरणों का अध्ययन करते हैं। हालाँकि, यह दृष्टिकोण गोपनीयता और सुरक्षा के बारे में गंभीर चिंताएँ पैदा करता है, क्योंकि इसके लिए फोन, चिकित्सा उपकरणों और निजी सर्वरों से संवेदनशील व्यक्तिगत जानकारी को एक केंद्रीय केंद्र तक ले जाने की आवश्यकता होती है। इसे हल करने के लिए, शोधकर्ताओं ने 'फेडेरेटेड लर्निंग' (federated learning) नामक एक विधि विकसित की, जो कई अलग-अलग उपकरणों को बिना कभी अपना कच्चा डेटा साझा किए एक साथ सीखने की अनुमति देती है। डेटा भेजने के बजाय, उपकरण केवल वे सबक भेजते हैं जो उन्होंने सीखे हैं—गणितीय अपडेट जो बताते हैं कि उन्होंने क्या देखा है। यह निजी जानकारी को स्थानीय रखता है जबकि सामूहिक प्रयास से एक वैश्विक बुद्धिमत्ता उभरने की अनुमति देता है।

फिर भी, यह सहयोगात्मक प्रक्रिया एक जिद्दी बाधा का सामना करती है: प्रत्येक उपकरण पर मौजूद डेटा शायद ही कभी संतुलित होता है। एक व्यक्ति के फोन में बिल्लियों की तस्वीरें भरी हो सकती हैं, जबकि दूसरे में केवल कारों की तस्वीरें हो सकती हैं। जब ये उपकरण एक साझा मॉडल को सिखाने की कोशिश करते हैं, तो कुछ विशिष्ट श्रेणियों के लिए प्रचुर डेटा रखने वाले उपकरण बातचीत पर हावी होने लगते हैं, जिससे मॉडल उन विशिष्ट क्षेत्रों में विशेषज्ञ बन जाता है और दुर्लभ या अनुपलब्ध श्रेणियों को अनदेखा कर देता है। यह असंतुलन एक 'ब्लाइंड स्पॉट' (अंध बिंदु) पैदा करता है, जिससे सिस्टम उन चीजों के बारे में आत्मविश्वासी लेकिन गलत अनुमान लगाने लगता है जिन्हें उसने कभी नहीं देखा। यह चुनौती तब और बढ़ जाती है जब उपकरण साझा, बिना लेबल वाली छवियों के एक साझा पूल से सीखने की कोशिश करते हैं—ऐसी तस्वीरें जिनमें कोई पहचान टैग नहीं होता—जो गोपनीयता की रक्षा के लिए अक्सर आवश्यक होता है। साझा छवियों के लिए वास्तविक उत्तर जाने बिना, केंद्रीय सर्वर उन पूर्वाग्रहों को ठीक करने के लिए संघर्ष करता है जो व्यक्तिगत उपकरणों द्वारा पेश किए जाते हैं, जिससे एक वैश्विक मॉडल पक्षपाती और अविश्वसनीय हो जाता है।

शोधकर्ताओं की एक टीम ने इस समस्या को ठीक करने के लिए एक नया दृष्टिकोण प्रस्तावित किया है, जिसमें उन्होंने एक प्रणाली पेश की है जिसे वे 'FedCC' कहते हैं। उनका कार्य एक विशिष्ट प्रकार के सहयोगात्मक शिक्षण पर केंद्रित है जहाँ उपकरण अपने आंतरिक सेटिंग्स के बजाय अपने अनुमान (predictions) साझा करते हैं। इस सेटअप में, प्रत्येक उपकरण बिना लेबल वाली छवियों के एक सेट को देखता है और वापस संभावनाओं (probabilities) की एक सूची भेजता है जो यह दर्शाती है कि वह प्रत्येक छवि के बारे में क्या सोचता है। समस्या तब आती है जब एक उपकरण, जिसने केवल कुछ ही प्रकार की छवियां देखी हैं, उसे हर चीज़ पर अनुमान लगाने के लिए मजबूर किया जाता है। यदि किसी उपकरण ने केवल कुत्तों की तस्वीरें देखी हैं, तो वह एक बिल्ली को आत्मविश्वास के साथ कुत्ता बता देगा, और यदि कई उपकरण ऐसा करते हैं, तो केंद्रीय सर्वर इन त्रुटियों को एक एकल, त्रुटिपूर्ण निष्कर्ष में जोड़ देता है। शोधकर्ताओं ने महसूस किया कि समाधान हर उपकरण को अनुमान लगाने के लिए मजबूर करना नहीं था, बल्कि उन्हें यह स्वीकार करने की अनुमति देना था कि वे अनिश्चित हैं।

FedCC का मुख्य नवाचार एक "अननोन" (unknown - अज्ञात) श्रेणी की शुरुआत है। पारंपरिक प्रणालियों में, एक उपकरण को ज्ञात श्रेणियों में से एक चुनना होता है, जैसे कि "कुत्ता", "बिल्ली", या "कार", भले ही वह छवि ऐसी हो जिसे उसने पहले कभी नहीं देखा। FedCC नियमों को बदल देता है और उपकरणों को एक भ्रमित करने वाली या अपरिचित छवि को "अननोन" के रूप में टैग करने की अनुमति देता है। यह सरल जुड़ाव एक 'सेफ्टी वाल्व' के रूप में कार्य करता है। जब कोई उपकरण ऐसी छवि का सामना करता है जो उसके सीमित अनुभव से बाहर है, तो वह इस नए, सर्वव्यापी (catch-all) वर्ग को उस छवि को सौंप सकता है, बजाय इसके कि वह एक गलत उत्तर देने के लिए मजबूर हो। यह उपकरण को समूह के सामूहिक ज्ञान में झूठा आत्मविश्वास डालने से रोकता है। अपने सीमित दृष्टिकोण के कारण समूह को गुमराह करने से बचने के लिए उपकरण अपनी अनिश्चितता को स्वीकार करता है।

इसे काम करने के योग्य बनाने के लिए, शोधकर्ताओं ने एक प्रक्रिया डिजाइन की जहाँ उपकरण पहले अपने निजी डेटा से सीखते हैं और फिर अपनी समझ को परिष्कृत करने के लिए बिना लेबल वाली छवियों के एक साझा सेट का उपयोग करते हैं। इस परिमार्जन (refinement) के दौरान, सिस्टम यह गणना करता है कि उपकरण अपने अनुमानों में कितना आश्वस्त है। यदि उपकरण अत्यधिक आश्वस्त है, तो वह अपना अनुमान साझा करता है। यदि वह अनिश्चित है, तो सिस्टम "अननोन" श्रेणी पर अधिक निर्भर रहता है। इस अनिश्चितता को विफलता के रूप में नहीं, बल्कि एक मूल्यवान संकेत के रूप में माना जाता है। केंद्रीय सर्वर फिर सभी उपकरणों के अनुमानों को संयोजित करता है, उन अनुमानों को अधिक महत्व देता है जो आश्वस्त हैं और अनिश्चित होने वालों को कम महत्व देता है। महत्वपूर्ण रूप से, सर्वर अंतिम वैश्विक पाठ (global lesson) बनाने के समय "अननोन" टैग को फ़िल्टर कर देता है, यह सुनिश्चित करता है कि साझा ज्ञान केवल विश्वसनीय, सहमत जानकारी पर बनाया जाए। यह विधि सिस्टम को प्रभावी ढंग से सीखने की अनुमति देती है, भले ही डेटा अत्यधिक विषम हो, जिसका अर्थ है कि कुछ उपकरणों के पास कुछ श्रेणियों के लिए बहुत कम डेटा है।

शोधकर्ताओं ने रोजमर्रा की वस्तुओं और जानवरों के संग्रह सहित कई मानक इमेज डेटासेट पर इस पद्धति का परीक्षण किया, जहाँ डेटा बहुत असमान रूप से वितरित था। सबसे चरम परीक्षण में, उन्होंने एक ऐसी स्थिति का अनुकरण किया जहाँ दस उपकरणों में से प्रत्येक के पास दस संभावित श्रेणियों में से केवल एक एकल श्रेणी की छवियां थीं। इस कठोर वातावरण में, मौजूदा विधियाँ विफल हो गईं, और उनकी सटीकता लगभग रैंडम अनुमान लगाने के स्तर तक गिर गई, जो अक्सर बारह प्रतिशत से भी कम थी। इसके विपरीत, FedCC प्रणाली ने साठ दशमलव सात प्रतिशत की मजबूत सटीकता बनाए रखी। यह परिणाम प्रदर्शित करता है कि उपकरणों को जबरन गलतियाँ करने से रोकने से, समग्र रूप से सिस्टम अधिक सटीक हो जाता है। FedCC और अन्य विधियों के बीच का अंतर तब और बढ़ गया जब डेटा अधिक असंतुलित हो गया, जो यह सिद्ध करता है कि यह दृष्टिकोण विशेष रूप से तब प्रभावी है जब चुनौती सबसे बड़ी होती है।

केवल अंतिम वैश्विक मॉडल में सुधार करने के अलावा, अध्ययन ने यह भी दिखाया कि इस दृष्टिकोण ने व्यक्तिगत उपकरणों की भी मदद की। अपनी सीमाओं को पहचानने और अनिश्चित नमूनों को "अननोन" के रूप में टैग करने के माध्यम से, उपकरण उन दुर्लभ श्रेणियों को बेहतर ढंग से पहचानने में सक्षम हुए जिन्हें उन्हें सीखना था। सिस्टम ने प्रभावी रूप से एक 'रेगुलराइज़र' (regularizer) के रूप में कार्य किया, जिससे मॉडल उन वर्गों में अत्यधिक आत्मविश्वासी होने से बचे जिन्हें वे अच्छी तरह जानते थे और उन वर्गों को अनदेखा करने से बचा जिन्हें वे नहीं जानते थे। डेटा के दृश्य विश्लेषण ने दिखाया कि FedCC के साथ प्रशिक्षित मॉडल विभिन्न श्रेणियों को स्पष्ट और अलग रखते हैं, जबकि अन्य विधियाँ उन्हें आपस में मिला देती हैं। यह स्पष्टता बताती है कि "अननोन" श्रेणी एक बफर के रूप में कार्य करती है, जो उस शोर और भ्रम को सोख लेती है जो आमतौर पर सहयोगात्मक शिक्षण को बाधित करता है।

निष्कर्ष बताते हैं कि विविध और खंडित डेटा की दुनिया में, अज्ञानता को स्वीकार करना सीखने का एक शक्तिशाली उपकरण है। भविष्यवाणी करने के लिए मजबूर करने के बजाय अनिश्चितता की अनुमति देकर, FedCC अधिक विश्वसनीय और निष्पक्ष कृत्रिम बुद्धिमत्ता प्रणालियों के निर्माण के लिए एक सरल लेकिन प्रभावी तरीका प्रदान करता है। इस पद्धति के लिए जटिल नए बुनियादी ढांचे या निजी डेटा को साझा करने की आवश्यकता नहीं है; यह केवल यह बदलता है कि उपकरण अपने विश्वास को कैसे संप्रेषित करते हैं। जैसे-जैसे उपकरणों के नेटवर्क बढ़ते जा रहे हैं और उनके पास मौजूद डेटा तेजी से विविध होता जा रहा है, ऐसी तकनीकें जो गोपनीयता से समझौता किए बिना इन असंतुलनों को संभाल सकती हैं, आवश्यक हो जाएंगी। FedCC एक स्पष्ट मार्ग प्रदान करता है, यह दिखाते हुए कि कभी-कभी सीखने का सबसे अच्छा तरीका यह जानना है कि कब कहना है, "मुझे नहीं पता।"