कल्पना कीजिए एक ऐसी दुनिया की जहाँ आपका फोन, आपकी स्मार्टवॉच और आपके अस्पताल की एमआरआई (MRI) मशीन, तीनों मिलकर स्मार्ट बनने के लिए सीखना चाहते हैं, लेकिन वे अपने रहस्य साझा नहीं कर सकते। यही फेडरेटेड लर्निंग (FL) का सार है। इसे एक विशाल, वैश्विक अध्ययन समूह (स्टडी ग्रुप) की तरह समझें जहाँ छात्र (डिवाइस) एक ही होमवर्क पर काम कर रहे हैं, लेकिन उन्हें अपने नोटबुक दिखाने की अनुमति नहीं है। इसके बजाय, वे केवल अपने अंतिम उत्तर या "अपडेट्स" को एक केंद्रीय केंद्र (सेंट्रल हब) पर भेजते हैं। लक्ष्य एक सुपर-स्मार्ट मॉडल बनाना है जो आपके चिकित्सा इतिहास या आपके टेक्स्ट संदेशों जैसे निजी डेटा को कभी उजागर किए बिना सभी की मदद कर सके।

हालाँकि, इस अध्ययन समूह में कुछ समस्याएँ हैं। पहली बात यह कि हर किसी का होमवर्क अलग है; कुछ छात्र गणित पढ़ रहे हैं जबकि अन्य कला, और उनका "डेटा" एक समान नहीं है। दूसरी बात, कुछ छात्र भ्रमित, टूटे हुए, या यहाँ तक कि समूह को नुकसान पहुँचाने की कोशिश करने वाले भी हो सकते हैं जो गलत उत्तर जमा करते हैं। अतीत में, शिक्षक (केंद्रीय सर्वर) ने यह पता लगाने की कोशिश की कि कौन मददगार है, केवल उत्तरों की शैली (मॉडल के भीतर के नंबर) को देखकर। लेकिन इस शोध पत्र के लेखक तर्क देते हैं कि उत्तर की "शैली" को देखना संगीत के नोट्स (शीट म्यूजिक) के भीतर की स्याही के घनत्व को देखकर गाने का निर्णय लेने जैसा है—यह आपको यह नहीं बताता कि गाना वास्तव में कैसा सुनाई देता है। आपको संगीत को खुद सुनना होगा। यह पेपर एक नया तरीका तलाशता है कि गाना गाने वाले समूह (क्वायर) में शामिल होने से पहले संगीत को कैसे सुना जाए।

---

समस्या: किताब के कवर (या नंबरों द्वारा मॉडल) से निर्णय लेना

मशीन लर्निंग की दुनिया में, मॉडल अनिवार्य रूप से संख्याओं की विशाल सूचियाँ होते हैं जिन्हें "पैरामीटर्स" कहा जाता है। लंबे समय से, जब शोधकर्ता यह तय करने की कोशिश करते थे कि किस छात्र का होमवर्क समूह के अंतिम अध्ययन गाइड में मिलाने के लिए पर्याप्त अच्छा है, तो वे बस इन संख्याओं की सूचियों की तुलना करते थे। वे पूछते थे, "क्या तुम्हारे नंबर मेरे जैसे दिखते हैं?"

इस पेपर के लेखक, मिर्को कॉन्स्टेंटिन और उनकी टीम का कहना है कि यह एक बुरा विचार है। वे बताते हैं कि दो मॉडलों के नंबर बहुत समान हो सकते हैं, लेकिन वास्तविक भविष्यवाणी करते समय उनका व्यवहार पूरी तरह से अलग हो सकता है। यह बिल्कुल वैसा ही है जैसे दो शेफ एक ही रेसिपी कार्ड का उपयोग कर रहे हों लेकिन एक स्वादिष्ट केक बनाता है और दूसरा ईंट। एक अराजक वातावरण में जहाँ डेटा अव्यवस्थित है (जैसे विभिन्न स्कैनर का उपयोग करने वाले विभिन्न अस्पताल) या जब कुछ छात्र सिस्टम को तोड़ने की कोशिश कर रहे हों, केवल नंबरों को देखना अविश्वसनीय होता है। यह अक्सर समूह को गलत चीजें सीखने या खराब अपडेट्स से भ्रमित होने की ओर ले जाता है।

समाधान: LIGHTYEAR और "एग्रीमेंट स्कोर"

इसे ठीक करने के लिए, टीम एक नया फ्रेमवर्क प्रस्तावित करती है जिसे LIGHTYEAR (Local Inference Guided Aggregation for Heterogeneous Training Environments to Yield Enhancement Through Agreement and Regularization) कहा जाता है। यह बोलने में थोड़ा कठिन है, तो आइए इसे एक सरल उपमा से समझते हैं।

कल्पना कीजिए कि अध्ययन समूह केंद्रीय शिक्षक का उपयोग करना बंद कर देता है। इसके बजाय, छात्र एक घेरे में बैठते हैं और अपना होमवर्क सीधे एक-दूसरे को पास करते हैं (पियर-टू-पियर या P2P नेटवर्क)। इससे पहले कि कोई छात्र अपने स्वयं के अध्ययन मार्गदर्शिका में जोड़ने के लिए अपने पड़ोसी का होमवर्क स्वीकार करे, वे केवल नंबरों को नहीं देखते। वे वास्तव में उस होमवर्क को अपनी जेब में रखे कुछ अभ्यास प्रश्नों पर आज़माते हैं।

यहीं जादू होता है। लेखक एक गणितीय उपकरण का उपयोग करते हैं जिसे न्यूरल टेंगेंट कर्नेल (NTK) कहा जाता है। NTK को एक "व्यवहार संबंधी फिंगरप्रिंट" (behavioral fingerprint) के रूप में समझें। यह पूछने के बजाय कि "क्या तुम्हारे नंबर मेरे जैसे हैं?", LIGHTYEAR पूछता है, "यदि मैं तुम्हें एक विशिष्ट परीक्षण प्रश्न दूँ, तो क्या तुम उसी तरह उत्तर दोगे जैसे मैं देता?"

वे एक एग्रीमेंट स्कोर (सहमति स्कोर) की गणना करते हैं। यदि किसी पड़ोसी का मॉडल एक स्थानीय परीक्षण प्रश्न का उत्तर देने के तरीके में छात्र के अपने मॉडल के साथ मेल खाता है, तो स्कोर अधिक होता है, और उस होमवर्क को स्वीकार कर लिया जाता है। यदि पड़ोसी का मॉडल पटरी से उतर जाता है (विपरीत या अजीब भविष्यवाणियाँ करता है), तो स्कोर कम होता है, और उस अपडेट को अस्वीकार कर दिया जाता है। यह प्रत्येक छात्र को एक व्यक्तिगत अध्ययन मार्गदर्शिका बनाने की अनुमति देता है जिसमें केवल उन पड़ोसियों की मदद शामिल होती है जो उनकी विशिष्ट स्थानीय चुनौतियों को समझते हैं।

"रेगुलराइजेशन" सुरक्षा जाल

सबसे अच्छे पड़ोसियों के साथ भी, चीजें डगमगा सकती हैं। कभी-कभी, अच्छे अपडेट भी समूह को एक दिशा में बहुत दूर ले जा सकते हैं। इसे रोकने के लिए, LIGHTYEAR एक "रेगुलराइजेशन" शब्द जोड़ता है। कल्पना कीजिए कि यह कंधे पर एक कोमल हाथ की तरह है। यह कहता है, "हे, सिर्फ इसलिए कि एक पड़ोसी ने कुछ नया कहा है, अपनी राय में बहुत अधिक नाटकीय बदलाव न करें।" यह परिवर्तन की दर को धीमा करता है, जिससे सीखने की प्रक्रिया अधिक स्थिर हो जाती है और वास्तविक दुनिया के अव्यवस्थित डेटा के साथ क्रैश होने की संभावना कम हो जाती है।

उन्होंने क्या पाया: एक लचीली टीम

टीम ने पांच अलग-अलग डेटासेट्स पर LIGHTYEAR का परीक्षण किया, जिसमें हस्तलिखित अंकों (FEMNIST) की पहचान करने से लेकर त्वचा के कैंसर के स्कैन (Isic19) और भ्रूण की पेट की संरचनाओं के अल्ट्रासाउंड छवियों जैसे चिकित्सा छवियों का विश्लेषण करना शामिल है। उन्होंने इसे नौ अन्य लोकप्रिय तकनीकों के खिलाफ लड़ा, जिसमें FedAvg और Krum एवं Ditto जैसी मजबूत विधियाँ शामिल थीं।

उन्होंने तीन प्रकार के शरारती तत्वों का अनुकरण किया:

1. एडिटिव-नॉइज़ अटैक्स (Additive-Noise Attacks): छात्र जो अपने उत्तरों में रैंडम शोर (static) जोड़ रहे हैं।
2. साइन-फ्लिपिंग अटैक्स (Sign-Flipping Attacks): छात्र जो समूह को भ्रमित करने के लिए जानबूझकर अपने उत्तरों को उलट रहे हैं।
3. रैंडम अपडेट्स (Random Updates): छात्र जो पूरी तरह से मनगढ़ंत, रैंडम उत्तर जमा कर रहे हैं।

परिणाम स्पष्ट थे। लगभग हर परिदृश्य में, विशेष रूप से जब समूह बड़ा था और डेटा अव्यवस्थित था, LIGHTYEAR ने लगातार दूसरों से बेहतर प्रदर्शन किया। जहाँ अन्य विधियाँ अक्सर विफल हो गईं, और उनकी सटीकता या "डाइस स्कोर" (छवि को सेगमेंट करने की क्षमता का माप) शून्य के करीब पहुँच गई, वहीं LIGHTYEAR ने प्रभावी ढंग से सीखना जारी रखा।

उदाहरण के लिए, Camelyon17 डेटासेट पर (जो विभिन्न अस्पतालों से ट्यूमर का पता लगाने वाला एक कठिन कार्य है), जब खराब प्रदर्शन करने वाले छात्रों की संख्या बढ़ी, तो अधिकांश अन्य विधियाँ पूरी तरह से विफल हो गईं। हालाँकि, LIGHTYEAR ने उच्च प्रदर्शन बनाए रखा, और जब तक 8 में से 7 छात्र खराब प्रदर्शन कर रहे थे, तब भी अक्सर 90% से अधिक सटीकता बनाए रखी। FEMNIST डेटासेट पर, इसने एक खराब प्रदर्शन करने वाले छात्र के साथ भी लगभग 90.7% सटीकता प्राप्त की, जबकि अन्य काफी संघर्ष कर रहे थे।

लेखकों का सुझाव है कि यह सफलता दो मुख्य कारणों से आई है:

1. फंक्शन-स्पेस सिलेक्शन (Function-Space Selection): यह जाँचकर कि मॉडल कैसे व्यवहार करता (संगीत), न कि केवल यह कि उसके नंबर क्या हैं (स्याही), वे खराब अपडेट को बहुत अधिक प्रभावी ढंग से फ़िल्टर कर सके।
2. वैयक्तिकरण (Personalization): क्योंकि प्रत्येक छात्र अपने स्थानीय डेटा के आधार पर अपने "सर्वश्रेष्ठ पड़ोसियों" को चुन सकता था, इसलिए सिस्टम ने सभी को एक एकल, औसत समाधान पर सहमत होने के लिए मजबूर नहीं किया जो सभी के लिए बुरा हो सकता था।

एक समझौता (Trade-off)

हालाँकि, इसमें एक पेच है। संगीत सुनने के लिए (व्यवहार का मूल्यांकन करने के लिए), प्रत्येक छात्र को थोड़ा अधिक काम करना पड़ता है। उन्हें पड़ोसी का अपडेट स्वीकार करने से पहले अपने स्थानीय डेटा पर अतिरिक्त परीक्षण चलाने होते हैं। इसका मतलब है कि साधारण "भेजें और भूल जाएँ" विधि की तुलना में अधिक संचार और अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है। लेखक नोट करते हैं कि $N$ छात्रों के पूर्ण रूप से जुड़े समूह में, संचार लागत छात्रों की संख्या के वर्ग ($O(N^2)$) के साथ बढ़ती है, जो केंद्रीय सर्वर पद्धति के रैखिक लागत ($O(N)$) से बहुत अधिक है। हालाँकि, चिकित्सा इमेजिंग जैसे महत्वपूर्ण अनुप्रयोगों के लिए जहाँ विश्वसनीयता सर्वोपरि है, लेखक तर्क देते हैं कि मॉडल को टूटने से बचाने के लिए यह अतिरिक्त लागत उठाने योग्य है।

निष्कर्ष

यह पेपर सुझाव देता है कि वास्तविक दुनिया के डेटा की अव्यवस्थित और अप्रत्याशित दुनिया में, हमें मशीन लर्निंग मॉडल को केवल उनके आंतरिक नंबरों से आंकना बंद करने की आवश्यकता है। एक "व्यवहार संबंधी फिंगरप्रिंट" (NTK-आधारित एग्रीमेंट स्कोर) का उपयोग करके और उपकरणों को अपने स्थानीय वास्तविकता के विरुद्ध अपडेट की जाँच करने देकर, हम एक ऐसा लर्निंग सिस्टम बना सकते हैं जो त्रुटियों और तोड़फोड़ के प्रति बहुत अधिक मजबूत है। LIGHTYEAR केवल अराजकता में जीवित नहीं रहता; यह उसमें फलता-फूलता है, जो सहयोगी AI के लिए एक स्मार्ट, अधिक व्यक्तिगत और सुरक्षित भविष्य का मार्ग प्रशस्त करता है।