कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपका स्मार्टफोन, आपकी स्मार्टवॉच और आपके पड़ोसी का लैपटॉप, सभी यह सीखना चाहते हैं कि बिल्ली को कैसे पहचाना जाए, लेकिन वे अपनी तस्वीरें साझा नहीं कर सकते। शायद उनकी तस्वीरें बहुत निजी हैं, या इंटरनेट कनेक्शन इतना धीमा है कि उन सभी को एक विशाल केंद्रीय कंप्यूटर पर अपलोड करना संभव नहीं है। यह वह समस्या है जिसे फेडरेटेड लर्निंग (Federated Learning) हल करने की कोशिश करता है। सारा डेटा एक जगह इकट्ठा करने के बजाय, "शिक्षक" (एक केंद्रीय सर्वर) सभी को एक बुनियादी पाठ योजना (lesson plan) भेजता है। प्रत्येक छात्र (एक क्लाइंट डिवाइस) अपनी निजी तस्वीरों पर अभ्यास करता है, यह पता लगाता है कि उसने क्या सीखा है, और केवल सीखे हुए नोट्स वापस भेज देता है। शिक्षक उन सभी नोट्स को मिलाकर अगले दौर के लिए एक स्मार्ट पाठ योजना तैयार करता है। यह एक विशाल, वैश्विक अध्ययन समूह की तरह है जहाँ हर कोई अपना होमवर्क छिपा कर रखता है लेकिन फिर भी मिलकर सीखते हैं।

हालाँकि, इस अध्ययन समूह में कुछ गड़बड़ समस्याएँ हैं। पहला, हर किसी के पास होमवर्क की समान मात्रा नहीं है (किसी के पास 10 फोटो हैं, तो किसी के पास 10,000)। दूसरा, कुछ छात्रों के पास केवल नारंगी बिल्लियों की तस्वीरें हैं, जबकि अन्य के पास काली बिल्लियों की (इसे "लेबल स्क्यू" कहा जाता है)। तीसरा, कुछ छात्रों ने गलती से बिल्ली की तस्वीर पर "कुत्ता" लिख दिया होगा (गलत लेबल वाला डेटा)। यदि शिक्षक नोट्स साझा करने के लिए छात्रों को यादृच्छिक (randomly) रूप से चुनता है, तो कक्षा अजीब चीजें सीख सकती है या अटक सकती है। बड़ा सवाल यह है: शिक्षक यह तय कैसे करे कि कक्षा को सबसे अच्छी तरह सिखाने के लिए किसे चुनना चाहिए, बिना किसी की निजी होमवर्क में झाँके?

यह शोध पत्र, जिसका शीर्षक है "Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning," बिल्कुल इसी उलझन की गहराई में जाता है। लेखकों ने, जो नेशनल यांग मिंग चियाओ तुंग यूनिवर्सिटी के शोधकर्ता हैं, कई प्रयोग चलाए यह देखने के लिए कि कैसे अलग-अलग प्रकार के "बुरे" डेटा विभिन्न समूहों की सीखने की गति और अंतिम ग्रेड को प्रभावित करते हैं। उन्होंने पाया कि इसका समाधान "एक ही आकार सबके लिए फिट" (one-size-fits-all) वाला नहीं है। कभी-कभी, आपको निष्पक्ष होना पड़ता है और सभी को समान रूप से चुनना होता है; अन्य समय में, आपको सख्त होना पड़ता है और खराब डेटा वाले छात्रों से बचना पड़ता है। इसे हल करने के लिए, उन्होंने एक नया "रिपोर्ट कार्ड" सिस्टम बनाया है जो शिक्षक को यह रेटिंग करने की अनुमति देता है कि प्रत्येक छात्र कितना सहायक है, बिना उनकी निजी तस्वीरों को देखे।

महान अध्ययन समूह प्रयोग

शोधकर्ताओं ने 100 क्लाइंट्स (छात्रों) और एक केंद्रीय सर्वर (शिक्षक) के साथ एक आभासी कक्षा बनाई। उन्होंने अपने प्रयोगों के लिए दो क्लासिक डेटासेट का उपयोग किया: MNIST (हाथ से लिखे अंक) और CIFAR-10 (जानवरों और वस्तुओं की तस्वीरें)। अपने सिमुलेशन में, उन्होंने परीक्षण किया कि जब उन्होंने खेल के नियम बदले तो क्या हुआ।

"खराब डेटा" के परिदृश्य
उन्होंने यह देखने के लिए तीन मुख्य प्रकार की मुश्किलें पैदा कीं कि कक्षा कैसे प्रतिक्रिया देती है:

1. मात्रा का अंतर (Quantity Skew): कुछ छात्रों के पास छोटी नोटबुक थी, तो कुछ के पास विशाल पुस्तकालय। उन्होंने पाया कि बड़ी नोटबुक आमतौर पर बेहतर ग्रेड की ओर ले जाती है, लेकिन यदि नोटबुक बहुत छोटी थी, तो वह अधिक मदद नहीं कर सकती थी।
2. लेबल का अंतर (Label Skew): कल्पना कीजिए कि एक छात्र के पास केवल "3" के चित्र हैं और दूसरे के पास केवल "7" के। यदि कक्षा केवल इन दोनों की बात सुनती है, तो वे यह नहीं सीख पाएंगे कि "1" या "2" कैसा दिखता है। शोधकर्ताओं ने "हर किसी के पास मिश्रण है" से लेकर "हर किसी के पास केवल एक विशिष्ट संख्या है" तक सब कुछ टेस्ट किया। उन्होंने पाया कि जब डेटा बहुत असंतुलित था (जैसे एक छात्र के पास केवल "3" होना), तो कक्षा को सीखने में संघर्ष करना पड़ा, विशेष रूप से कठिन CIFAR-10 चित्रों के साथ।
3. गलत लेबल वाला डेटा (Mislabeled Data): यह असली समस्या पैदा करने वाला कारक था। उन्होंने उन छात्रों का अनुकरण किया जिनके पास बिल्लियों की तस्वीरों को "कुत्ते" के रूप में लेबल किया गया था। उन्होंने इस स्थिति के तीन तरीके टेस्ट किए: यादृच्छिक गलतियाँ, क्रमिक (sequential) गलतियाँ (जहाँ "1" बन जाता है "2", "2" बन जाता है "3", आदि), और चक्रीय (cyclic) गलतियाँ। परिणाम स्पष्ट थे: गलत लेबल वाला डेटा, असंतुलित डेटा की तुलना में बहुत अधिक बुरा था। वास्तव में, जब उन्होंने उच्च स्तर की क्रमिक त्रुटियों (जहाँ लेबल 7 स्थान तक खिसक गए थे) का अनुकरण किया, तो सीखने की प्रक्रिया पूरी तरह विफल हो गई। कक्षा उन छात्रों से कुछ भी उपयोगी नहीं सीख सकी जो आत्मविश्वास के साथ गलत थे।

"निष्पक्षता" का द्वंद्व
इसके बाद, उन्होंने पूछा: "क्या शिक्षक को छात्रों को यादृच्छिक रूप से चुनना चाहिए (निष्पक्ष) या खराब डेटा वाले लोगों से बचना चाहिए (अनुचित/Unfair)?"

• जब समस्या लेबल स्क्यू (असंतुलित डेटा) की थी: तो निष्पक्ष (Fair) होना विजेता रहा। भले ही एक छात्र के पास केवल "3" के चित्र हों, उन्हें भाग लेने देने से कक्षा को उस विशिष्ट संख्या को सीखने में मदद मिली। यदि शिक्षक उन्हें बाहर कर देता, तो कक्षा उस जानकारी को खो देती। परिणामों ने दिखाया कि निष्पक्ष चयन ने सटीकता में सुधार किया, हालांकि इसमें कभी-कभी पूरा होने में कुछ अधिक दौर लगे।
• जब समस्या गलत लेबल वाले डेटा की थी: तो निष्पक्ष (Fair) होना एक आपदा थी। गलत लेबल वाले छात्रों को शामिल करने से पूरी कक्षा नीचे गिर गई। इन मामलों में, "अनुचित" (Unfair) रणनीति (मेसी छात्रों को बाहर करना) वास्तव में बेहतर काम करती थी। शोध पत्र सुझाव देता है कि जब डेटा दूषित हो जाता है, तो आपको गुणवत्ता को निष्पक्षता से ऊपर प्राथमिकता देनी चाहिए।

नया "रिपोर्ट कार्ड" सिस्टम

चूंकि शिक्षक छात्रों की निजी नोटबुक में झाँक नहीं सकता, इसलिए उन्हें कैसे पता चलेगा कि कौन सहायक है और कौन गड़बड़ है? लेखकों ने एक तीन-स्तरीय स्कोरिंग सिस्टम प्रस्तावित किया जो पूरी तरह से सर्वर साइड पर चलता है:

1. डेटासाइज स्कोर (Datasize Score): यह सरल है। यह केवल यह जाँचता है कि छात्र की नोटबुक कितनी बड़ी है। एक बड़ी नोटबुक को उच्च स्कोर मिलता है (0 और 1 के बीच सामान्यीकृत)।
2. क्वालिटी स्कोर (Quality Score): यह सबसे चतुर हिस्सा है। एक छात्र द्वारा अपने पाठ के नोट्स वापस भेजने के बाद, शिक्षक उन नोट्स का परीक्षण एक गुप्त "अभ्यास परीक्षा" पर करता है जिसके उत्तर शिक्षक को पहले से पता हैं। यदि छात्र के नोट्स अभ्यास परीक्षा पर उच्च स्कोर लाते हैं, तो उन्हें उच्च क्वालिटी स्कोर मिलता है। यदि वे अभ्यास परीक्षा में विफल रहते हैं, तो उनका स्कोर गिर जाता है। यह शिक्षक को बताता है, "इस छात्र का डेटा उपयोगी है," या "इस छात्र का डेटा शोर (noisy) वाला है," बिना उनके वास्तविक फोटो देखे।
3. फेयरनेस स्कोर (Fairness Score): यह एक "धैर्य मीटर" है। हर दौर में, हर छात्र का स्कोर थोड़ा बढ़ जाता है। यदि किसी छात्र को भाग लेने के लिए चुना जाता है, तो उसका स्कोर शून्य पर रीसेट हो जाता है। यह सुनिश्चित करता है कि जिन्हें लंबे समय से नहीं चुना गया है, उन्हें भी मौका मिले, जिससे यह रोका जा सके कि शिक्षक केवल उन्हीं कुछ "स्मार्ट" बच्चों की बात सुने।

स्मार्ट बैलेंसर (Smart Balancer)
असली जादू यह है कि वे इन स्कोर को कैसे मिलाते हैं। सिस्टम क्वालिटी स्कोर के विचरण (variance - फैलाव) को देखता है।

• यदि क्वालिटी स्कोर समान हैं (कम विचरण), तो इसका मतलब है कि डेटा काफी हद तक साफ है। सिस्टम तब फेयरनेस स्कोर पर निर्भर करता है, यह सुनिश्चित करते हुए कि सबको मौका मिले।
• यदि क्वालिटी स्कोर बहुत बिखरे हुए हैं (उच्च विचरण), तो इसका मतलब है कि कुछ छात्रों के पास बहुत खराब, शोर वाला डेटा है। सिस्टम तुरंत गियर बदल देता है, फेयरनेस स्कोर को अनदेखा कर देता है और केवल उच्चतम क्वालिटी स्कोर वाले छात्रों को चुनता है।

उन्होंने क्या पाया (और क्या नहीं पाया)

शोध पत्र निष्कर्ष निकालता है कि छात्रों को चुनने का कोई एक "सर्वश्रेष्ठ" तरीका नहीं है। यह पूरी तरह से इस पर निर्भर करता है कि डेटा क्यों दोषपूर्ण है।

• यदि डेटा केवल असंतुलित (unbalanced) है (जैसे कुछ छात्रों के पास दुर्लभ लेबल हैं), तो पेपर सुझाव देता है कि निष्पक्षता (fairness) महत्वपूर्ण है। उन्हें बाहर करने से मॉडल को नुकसान पहुँचता है।
• यदि डेटा दूषित (corrupted) है (गलत लेबल वाला), तो पेपर सुझाव देता है कि मॉडल को खराब जानकारी से बचाने के लिए निष्पक्षता का त्याग किया जाना चाहिए।

लेखक सावधानीपूर्वक नोट करते हैं कि उनका "क्वालिटी स्कोर" एक बेहतरीन उपकरण है, लेकिन इसकी एक सीमा है। यह बता सकता है कि किसी छात्र का डेटा "खराब" है, लेकिन यह नहीं बता सकता कि क्यों। यह नहीं जानता कि डेटा इसलिए खराब है क्योंकि छात्र के पास केवल "3" हैं (लेबल स्क्यू) या क्योंकि उसने बिल्ली की तस्वीर पर "कुत्ता" लिखा है (मिसलेबल्ड डेटा)। इस कारण, सिस्टम को कभी-कभी अनुमान लगाना पड़ता है। यदि विचरण (variance) उच्च है, तो सिस्टम सबसे बुरे की कल्पना करता है (मिसलेबल्ड डेटा) और गुणवत्ता को प्राथमिकता देता है, जो कि एक सुरक्षित दांव है। हालाँकि, लेखक स्वीकार करते हैं कि यदि उच्च विचरण वास्तव में लेबल स्क्यू के कारण है, तो यह रूढ़िवादी दृष्टिकोण कुछ अच्छे सीखने के अवसरों को खो सकता है।

संक्षेप में, यह पेपर यह दावा नहीं करता है कि इसने समस्या को हमेशा के लिए हल कर दिया है। इसके बजाय, यह एक मापा गया, प्रयोगात्मक मार्गदर्शक प्रदान करता है जो दिखाता है कि एक स्मार्ट, अनुकूलन योग्य प्रणाली—जो स्थिति के आधार पर "निष्पक्ष होने" और "सख्त होने" के बीच स्विच कर सके—फेडरेटेड लर्निंग के लिए सबसे अच्छा रास्ता है। वे सुझाव देते हैं कि भविष्य के कार्यों को एक ऐसी प्रणाली बनाने पर ध्यान केंद्रित करना चाहिए जो "असंतुलित" और "दूषित" डेटा के बीच बेहतर अंतर कर सके, ताकि शिक्षक हर बार सही चुनाव कर सके।