🤖 machine learning

Beyond performance-wise Contribution Evaluation in Federated Learning

यह शोध पत्र यह तर्क देता है कि वर्तमान फेडरेटेड लर्निंग मूल्यांकन विधियाँ अपर्याप्त हैं क्योंकि वे केवल प्रदर्शन मेट्रिक्स पर ध्यान केंद्रित करती हैं, और इसके बजाय विश्वसनीयता, लचीलेपन और निष्पक्षता के स्वतंत्र आयामों में क्लाइंट योगदान को मापने के लिए एक व्यापक शापली वैल्यू-आधारित ढांचे का प्रस्ताव करता है ताकि अधिक न्यायसंगत पुरस्कार आवंटन को सक्षम बनाया जा सके।

मूल लेखक: Balazs Pejo

प्रकाशित 2026-02-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Balazs Pejo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल जहाज के कप्तान हैं, और आपने अपनी यात्रा को सुगम बनाने के लिए 20 अलग-अलग विशेषज्ञों की एक टीम रखी है। आपका लक्ष्य यात्रा के लिए सबसे अच्छा संभव नक्शा बनाना है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इसे फेडरेटेड लर्निंग (Federated Learning) कहा जाता है। इसमें हर कोई अपने निजी नक्शे केंद्रीय कार्यालय में लाने के बजाय (जो गोपनीयता के लिए एक बुरा सपना हो सकता है), वे अपने स्वयं के नक्शे के एक हिस्से पर काम करते हैं और आपको अपडेट भेजते हैं।

वर्षों तक, यह तय करने का एकमात्र तरीका कि किसे बोनस मिले या किसे नौकरी से निकाला जाए, यह पूछना था: "आपके नक्शे के हिस्से की सटीकता कितनी है?"

यदि किसी टीम के सदस्य का नक्शा हिस्सा 99% सही था, तो उन्हें एक स्वर्ण सितारा (gold star) मिलता था। यदि वह 90% था, तो उन्हें एक छोटा सितारा मिलता था। आपके द्वारा प्रदान किया गया पेपर तर्क देता है कि यह "स्वर्ण सितारा" प्रणाली खतरनाक रूप से त्रुटिपूर्ण है। यह एक शेफ (रसोइया) को केवल इस आधार पर आंकने जैसा है कि वह कितनी तेज़ी से सब्जियां काट सकता है, जबकि इस बात को नज़रअंदाज़ कर दिया जाता है कि क्या खाना स्वादिष्ट है, क्या वह खाने के लिए सुरक्षित है, या क्या वह सभी सामग्रियों के साथ निष्पक्ष है।

यहाँ पेपर के निष्कर्षों का एक सरल, रोजमर्रा के उदाहरण के माध्यम से विवरण दिया गया है:

एक "अच्छे" चालक दल के सदस्य के चार स्तंभ

लेखक कहते हैं कि हमें अपने चालक दल के सदस्यों का मूल्यांकन चार अलग-अलग चीजों पर करना चाहिए, न कि केवल एक पर। वे इन्हें विश्वसनीयता (Trustworthiness) के स्तंभ कहते हैं:

प्रदर्शन (गति): नक्शा कितना सटीक है? (यही वह चीज़ है जिसे वर्तमान में हर कोई मापता है)।
निष्पक्षता (समानता): क्या नक्शा सभी के साथ समान व्यवहार करता है? कल्पना करें कि यदि एक नक्शा अमीर इलाकों के लिए बहुत अच्छा है लेकिन गरीब इलाकों के लिए पूरी तरह से गलत है। यह अन्यायपूर्ण है। एक "निष्पक्ष" चालक दल का सदस्य यह सुनिश्चित करता है कि नक्शा सभी के लिए काम करे, चाहे वे कोई भी हों।
विश्वसनीयता (मजबूती): क्या होगा यदि बारिश होने लगे या कागज पर दाग लग जाए? एक "विश्वसनीय" चालक दल का सदस्य ऐसा नक्शा प्रदान करता है जो तब भी समझ में आता है जब डेटा थोड़ा शोर भरा या अस्त-व्यस्त हो।
लचीलापन/प्रतिरोध क्षमता (रक्षा): क्या होगा यदि कोई तोड़फोड़ करने वाला नक्शे को धोखा देने की कोशिश करे? एक "लैज़िलिएंट" (Resilient) चालक दल का सदस्य ऐसा नक्शा प्रदान करता है जिसे आसानी से बेवकूफ नहीं बनाया जा सकता (जैसे कि एक हैकर जो स्टॉप साइन को स्पीड लिमिट साइन बनाने की कोशिश कर रहा हो)।

सबसे बड़ा आश्चर्य: "हर काम में माहिर" (Jack of All Trades) का मिथक

इस पेपर की सबसे चौंकाने वाली खोज यह है कि कोई भी अकेला चालक दल का सदस्य इन चारों चीजों में अच्छा नहीं है।

वास्तव में, पेपर ने पाया कि ये कौशल पूरी तरह से स्वतंत्र हैं।

आपके पास एक चालक दल का सदस्य हो सकता है जो सटीकता में जीनियस (प्रदर्शन) है, लेकिन उनका नक्शा निष्पक्षता में बहुत खराब (Fairness) है। वे अनजाने में एक ऐसा नक्शा बना सकते हैं जो केवल एक विशिष्ट समूह के लिए काम करता है।
आपके पास दूसरा हो सकता है जो सटीकता में औसत है लेकिन उसका नक्शा अत्यधिक मजबूत (Reliability) है। भले ही डेटा अस्त-व्यस्त हो, उनका नक्शा बिखरता नहीं है।
आपके पास तीसरा हो सकता है जो रक्षा में महान (Resilience) है लेकिन निष्पक्षता के लिए हानिकारक है।

उदाहरण:
इसे एक स्पोर्ट्स टीम की तरह समझें।

खिलाड़ी A लीग का सर्वश्रेष्ठ स्कोरर है (उच्च प्रदर्शन), लेकिन वह एक बुरा टीममेट है जो कभी गेंद पास नहीं करता और खेल भावना की कमी के कारण पूरी टीम को अयोग्य घोषित करवा देता है (कम निष्पक्षता)।
खिलाड़ी B एक रक्षात्मक दीवार है जो हर हमले को रोक देता है (उच्च प्रतिरोध क्षमता), लेकिन वह कभी गोल नहीं करता (कम प्रदर्शन)।

यदि आप केवल स्कोरबोर्ड (प्रदर्शन) देखते हैं, तो आप खिलाड़ी A को पुरस्कृत करेंगे और खिलाड़ी B को निकाल देंगे। लेकिन यदि आपका लक्ष्य चैंपियनशिप जीतना है (जिसके लिए टीम वर्क, निष्पक्षता और रक्षा की आवश्यकता होती है), तो आप एक बहुत बड़ी गलती कर रहे हैं।

"शापली वैल्यू" (Shapley Value - निष्पक्षता कैलकुलेटर)

यह निर्धारित करने के लिए कि कौन क्या हकदार है, लेखकों ने एक गणितीय उपकरण का उपयोग किया जिसे शापली वैल्यू (Shapley Value) कहा जाता है। इसे एक बहुत ही परिष्कृत कैलकुलेटर के रूप में समझें जो पूछता है: "यदि हम इस विशिष्ट व्यक्ति को टीम से हटा दें, तो टीम की समग्र गुणवत्ता में कितनी गिरावट आएगी?"

उन्होंने प्रत्येक व्यक्ति के लिए चार बार यह कैलकुलेटर चलाया:

उन्होंने स्कोर में कितनी मदद की?
उन्होंने निष्पक्षता में कितनी मदद की?
उन्होंने विश्वसनीयता में कितनी मदद की?
उन्होंने प्रतिरोध क्षमता (Resilience) में कितनी मदद की?

परिणाम: एक चेतावनी

जब उन्होंने परिणामों की तुलना की, तो उन्होंने पाया कि रैंकिंग पूरी तरह से अलग थी, यह इस पर निर्भर करता था कि आप कौन सा प्रश्न पूछ रहे हैं।

जो व्यक्ति सटीकता के लिए #1 था, वह निष्पक्षता के लिए #20 हो सकता है।
जो व्यक्ति प्रतिरोध क्षमता के लिए #1 था, वह सटीकता के लिए #15 हो सकता है।

इसका मतलब है कि यदि आप केवल सटीकता के आधार पर लोगों को भुगतान करते हैं, तो आप अनजाने में उन लोगों को दंडित कर रहे हैं जो सिस्टम को सुरक्षित, निष्पक्ष और मजबूत रख रहे हैं। आप उस व्यक्ति को पुरस्कृत कर सकते हैं जो एक "तेज़ लेकिन टूटा हुआ" सिस्टम बना रहा है।

यह क्यों मायने रखता है?

लेखक तर्क देते हैं कि वास्तविक दुनिया में, हम केवल गति या सटीकता की परवाह नहीं कर सकते।

स्वास्थ्य सेवा (Healthcare) में: एक मॉडल जो 99% सटीक है लेकिन किसी विशिष्ट नस्ल के खिलाफ भेदभाव करता है, वह बेकार और खतरनाक है।
सेल्फ-ड्राइविंग कारों में: एक कार जो तेज़ चलती है लेकिन अजीब छाया दिखने पर दुर्घटनाग्रस्त हो जाती है (कम विश्वसनीयता), वह एक घातक जाल है।
वित्त (Finance) में: एक प्रणाली जो पैसा बनाती है लेकिन आसानी से हैक की जा सकती है (कम प्रतिरोध क्षमता), वह सब कुछ खो देगी।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि हमें अपनी AI टीमों को मापने के लिए "एक ही आकार के पैमाने" (one-size-fits-all) का उपयोग करना बंद करने की आवश्यकता है। हमें एक बहु-आयामी रिपोर्ट कार्ड (multi-dimensional report card) की आवश्यकता है।

यदि हम ऐसा AI बनाना चाहते हैं जिस पर हम वास्तव में भरोसा कर सकें, तो हमें "स्पीडस्टर्स" (तेज़ चलने वालों) के साथ-साथ "डिफेंडर्स" (रक्षकों) और "फेयरनेस चैंपियंस" (निष्पक्षता के नायकों) को भी उतना ही पुरस्कृत करने की आवश्यकता है। अन्यथा, हम ऐसे सिस्टम बना रहे हैं जो तेज़ तो हैं, लेकिन नाजुक, अनुचित और आसानी से टूटने वाले हैं।

यहाँ बालाज़ पेजो (Balazs Pejo) के शोध पत्र "Beyond performance-wise Contribution Evaluation in Federated Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फेडरेटेड लर्निंग (FL) कच्चे डेटा को साझा किए बिना सहयोगात्मक मॉडल प्रशिक्षण को सक्षम बनाता है, लेकिन इसकी सफलता प्रतिभागियों के योगदान के निष्पक्ष और सटीक मूल्यांकन पर निर्भर करती है।

वर्तमान सीमा: मौजूदा क्लाइंट मूल्यांकन विधियाँ मुख्य रूप से एक एकल प्रदर्शन मीट्रिक (metric) पर निर्भर करती हैं, जो आमतौर पर सटीकता (accuracy) या लॉस (loss) होती है।
अंतराल (The Gap): यह प्रदर्शन-केंद्रित दृष्टिकोण विश्वसनीय AI (Trustworthy AI) के निर्माण के लिए अपर्याप्त है। एक क्लाइंट मॉडल की सटीकता में सुधार कर सकता है, लेकिन साथ ही मॉडल की निष्पक्षता (fairness), विश्वसनीयता (reliability/noise tolerance), या लचीलेपन (resilience/resistance to attacks) को कम भी कर सकता है।
मुख्य प्रश्न: हम बहु-आयामी स्वतंत्र ट्रस्टवर्थनेस आयामों (dimensions) में क्लाइंट योगदान को कैसे माप सकते हैं, और क्या ये आयाम पारंपरिक प्रदर्शन मीट्रिक्स के साथ सह-संबंधित (correlate) हैं?

2. कार्यप्रणाली (Methodology)

लेखक एक बहुआयामी मूल्यांकन ढांचा प्रस्तावित करते हैं जो क्लाइंट योगदान विश्लेषण को सटीकता से आगे बढ़ाकर विश्वसनीयता के तीन स्तंभों तक विस्तारित करता है: निष्पक्षता (Fairness), विश्वसनीयता (Reliability), और लचीलापन (Resilience)।

A. मूल्यांकन मीट्रिक (Evaluation Metrics)

पेपर ग्लोबल मॉडल $M$ का मूल्यांकन करने के लिए चार अलग-अलग स्कोरिंग फंक्शन ( $v$ ) को परिभाषित करता है:

प्रदर्शन (performance - $perf$): मानक वर्गीकरण सटीकता (classification accuracy)।
निष्पक्षता (fairness - $fair$): इसे डेमोग्राफिक पैरिटी (Demographic Parity) के माध्यम से मापा जाता है। यह एक संवेदनशील समूह और शेष जनसंख्या के बीच भविष्यवाणी की संभावनाओं के अंतर की गणना करता है। स्कोर $1 - |P(\hat{y}|S) - P(\hat{y}|S^c)|$ है, जहाँ उच्च मान बेहतर निष्पक्षता को दर्शाता है।
विश्वसनीयता (reliability - $rel$): इसे रैंडम नॉइज़ (Gaussian noise) के प्रति मॉडल की स्थिरता द्वारा मापा जाता है। यह इस बात की संभावना की गणना करता है कि गड़बड़ी (perturbation) के बाद मॉडल की भविष्यवाणी अपरिवर्तित रहती है।
लचीलापन (resilience - $res$): इसे एडवर्सरियल हमलों (विशेष रूप से PGD) के प्रति मॉडल के प्रतिरोध द्वारा मापा जाता है। यह सही ढंग से वर्गीकृत नमूनों पर हमले की सफलता दर की गणना करता है, जिसे उल्टा (invert) किया जाता है ताकि उच्च मान बेहतर लचीलेपन को दर्शाए।

B. योगदान अनुमान एल्गोरिदम (Contribution Estimation Algorithms)

इन मीट्रिक्स के आधार पर व्यक्तिगत क्लाइंट्स को मूल्य आवंटित करने के लिए, लेखक दो शापली वैल्यू (Shapley Value) सन्निकटन विधियों का उपयोग करते हैं:

लीव-वन-आउट (Leave-One-Out - LOO): एक हल्का ह्यूरिस्टिक (heuristic) जहाँ एक क्लाइंट का योगदान यूटिलिटी स्कोर में अंतर है जब क्लाइंट गठबंधन (coalition) में मौजूद होता है बनाम जब वह अनुपस्थित होता है।
- $LOO(k) = v([K]) - v([K] \setminus \{k\})$
गाइडेड-ट्रंकेटेड-ग्रेडिएंट (Guided-Truncated-Gradient - GTG): यह शापली वैल्यू का एक अत्याधुनिक सन्निकटन है। यह निम्नलिखित द्वारा गणना को अनुकूलित करता है:
- उन राउंड्स को छोड़ना जिनमें वैश्विक सुधार नगण्य है।
- क्लाइंट परम्यूटेशन (permutations) के एक उपसमूह का नमूना लेना।
- एक विशिष्ट थ्रेशोल्ड से नीचे के सीमांत योगदान (marginal contributions) को अनदेखा करना।

C. प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट: सामान्यीकरण सुनिश्चित करने के लिए तीन अलग-अलग डोमेन का उपयोग किया गया:
- टेबुलर (Tabular): Adult (MLP मॉडल)।
- कंप्यूटर विज़न (Computer Vision): CIFAR-10 (CNN मॉडल)।
- NLP: IMDB (USE एनकोडर)।
सेटिंग्स: प्रयोगों को IID (स्वतंत्र और समान रूप से वितरित) और Non-IID (डायरिचलेट वितरण $\alpha=0.5$ का उपयोग करके) डेटा वितरण के तहत आयोजित किया गया।
क्लाइंट संख्या: $K=4$ और $K=20$ क्लाइंट्स के साथ सिमुलेशन।
कार्यान्वयन: Flower फ्रेमवर्क और TensorFlow का उपयोग करके बनाया गया।

3. मुख्य योगदान (Key Contributions)

बहुआयामी मूल्यांकन: यह पेपर व्यवस्थित रूप से चार अलग-अलग अक्षों पर FL क्लाइंट योगदान का मूल्यांकन करने वाला पहला शोध है: प्रदर्शन, निष्पक्षता, विश्वसनीयता और लचीलापन।
स्वतंत्रता का प्रदर्शन: लेखक इस बात का अनुभवजन्य प्रमाण प्रदान करते हैं कि ये ट्रस्टवर्थनेस आयाम सांख्यिकीय रूप से असंबद्ध (uncorrelated) हैं। एक क्लाइंट जो सटीकता के लिए उच्च रैंक प्राप्त करता है, वह निष्पक्षता या लचीलेपन के लिए निम्न (या नकारात्मक) रैंक प्राप्त कर सकता है।
पद्धतिगत सत्यापन: निष्कर्ष विभिन्न मूल्यांकन पद्धतियों (LOO बनाम GTG) में भी सत्य हैं, जो निष्कर्ष की मजबूती को सिद्ध करते हैं।
क्रॉस-डोमेन सामान्यीकरण: अध्ययन विभिन्न डेटा मोडलिटीज (टेबुलर, इमेज और टेक्स्ट) में इन निष्कर्षों को सत्यापित करता है।

4. मुख्य परिणाम (Key Results)

विभिन्न रैंकिंग (Divergent Rankings): उपयोग किए गए मीट्रिक के आधार पर क्लाइंट रैंकिंग नाटकीय रूप से बदल जाती है। जो क्लाइंट "उच्च प्रदर्शन करने वाले" (उच्च सटीकता) हैं, वे निष्पक्षता या लचीलेपन के लिए "हानिकारक" हो सकते हैं।
प्रदर्शन के साथ कम सहसंबंध:
- प्रदर्शन स्कोर और ट्रस्टवर्थनेस स्कोर के बीच स्पियरमैन सहसंबंध गुणांक ( $\Phi$ ) लगातार कम (अक्सर < 0.1) या नकारात्मक होते हैं।
- यह इंगित करता है कि सटीकता को अनुकूलित करने से अन्य ट्रस्टवर्थनेस आयामों में सुधार की गारंटी नहीं मिलती है।
ट्रस्टवर्थनेस के बीच अंतः-सहसंबंध:
- प्रदर्शन से स्वतंत्र होने के बावजूद, विश्वसनीयता (Reliability) और लचीलापन (Resilience) के बीच मजबूत सकारात्मक सहसंबंध (अक्सर > 0.5) है, क्योंकि दोनों मजबूती (robustness) को मापते हैं।
- Adult डेटासेट में, निष्पक्षता ने मजबूती मेट्रिक्स के साथ उच्च सहसंबंध दिखाया, जो न्यायसंगत डेटा प्रतिनिधित्व और गड़बड़ी (perturbations) के प्रति प्रतिरोध के बीच संबंध का सुझाव देता है।
वितरण बदलाव (Distribution Shifts): Non-IID सेटिंग्स के तहत, IID सेटिंग्स में देखे गए सममित, शून्य-केंद्रित वितरणों की तुलना में ट्रस्टवर्थनेस स्कोर (विशेष रूप से LOO के लिए) स्पष्ट नकारात्मक या सकारात्मक बदलाव दिखाते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

वर्तमान प्रोत्साहन योजनाओं में दोष: यह पेपर तर्क देता है कि केवल सटीकता पर आधारित वर्तमान FL रिवॉर्ड सिस्टम मौलिक रूप से त्रुटिपूर्ण हैं। वे अनजाने में उन क्लाइंट्स को दंडित कर सकते हैं जो निष्पक्षता या मजबूती के लिए महत्वपूर्ण डेटा प्रदान करते हैं, जिससे उप-इष्टतम और संभावित रूप से अनैतिक ग्लोबल मॉडल बन सकते हैं।
समग्र शासन की आवश्यकता: विश्वसनीय AI (EU AI Act के अनुरूप) बनाने के लिए, कंसोर्टियम को बहु-आयामी मूल्यांकन योजनाओं को अपनाना चाहिए। इक्यटेबल रिवॉर्ड आवंटन के लिए एक एकल मीट्रिक अपर्याप्त है।
भविष्य की दिशाएं: लेखक सुझाव देते हैं कि भविष्य के कार्यों को इन बहु-आयामी स्कोरों को एक एकीकृत रिवॉर्ड तंत्र में एकीकृत करने और यह देखने पर ध्यान केंद्रित करना चाहिए कि स्पष्ट प्रशिक्षण तकनीकें (जैसे, निष्पक्षता नियमितीकरण, एडवर्सरियल ट्रेनिंग) योगदान स्कोर को कैसे प्रभावित करती हैं।

निष्कर्ष

यह पेपर फेडरेटेड लर्निंग में "केवल-प्रदर्शन" (performance-only) प्रतिमान को मौलिक रूप से चुनौती देता है। यह प्रदर्शित करता है कि ट्रस्टवर्थनेस बहुआयामी और क्लाइंट-निर्भर है। यह सुनिश्चित करने के लिए कि सहयोगात्मक AI सिस्टम न केवल सटीक हैं बल्कि निष्पक्ष, विश्वसनीय और लचीले भी हैं, एक व्यापक मूल्यांकन ढांचा आवश्यक है।

एक "अच्छे" चालक दल के सदस्य के चार स्तंभ

सबसे बड़ा आश्चर्य: "हर काम में माहिर" (Jack of All Trades) का मिथक

"शापली वैल्यू" (Shapley Value - निष्पक्षता कैलकुलेटर)

परिणाम: एक चेतावनी

यह क्यों मायने रखता है?

निष्कर्ष

1. समस्या विवरण (Problem Statement)

2. कार्यप्रणाली (Methodology)

A. मूल्यांकन मीट्रिक (Evaluation Metrics)

B. योगदान अनुमान एल्गोरिदम (Contribution Estimation Algorithms)

C. प्रयोगात्मक सेटअप (Experimental Setup)

3. मुख्य योगदान (Key Contributions)

4. मुख्य परिणाम (Key Results)

5. महत्व और निहितार्थ (Significance and Implications)

निष्कर्ष

इसी तरह के और पेपर