💻 computer science

Detecting Atypical Clients in Federated Learning via Representation-Level Divergence

यह शोधपत्र एक साझा प्रोब सेट पर सक्रियण-प्रेरित इनपुट स्पेस विभाजनों (activation-induced input space partitions) में परिवर्तनों का विश्लेषण करके, फेडरेटेड लर्निंग में क्लाइंट विचलन (client divergence) को मापने के लिए एक हल्का, रिप्रजेंटेशन-लेवल मीट्रिक प्रस्तावित करता है, जो पैरामीटर या ग्रेडिएंट तुलना पर निर्भर किए बिना असामान्य क्लाइंट्स की प्रभावी पहचान और जोखिम-जागरूक एकत्रीकरण (risk-aware aggregation) को सक्षम बनाता है।

मूल लेखक: Cristian Pérez-Corral, Jose I. Mestre, Alberto Fernández-Hernández, Manuel F. Dolz, Enrique S. Quitana-Ortí

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Cristian Pérez-Corral, Jose I. Mestre, Alberto Fernández-Hernández, Manuel F. Dolz, Enrique S. Quitana-Ortí

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि छात्रों का एक समूह ( "क्लाइंट्स") मिलकर एक विषय सीखने की कोशिश कर रहा है, लेकिन गोपनीयता नियमों के कारण वे अपनी व्यक्तिगत नोटबुक साझा नहीं कर सकते। इसके बजाय, वे प्रत्येक अपनी नोट्स से पढ़ाई करते हैं, जो उन्होंने सीखा उसका एक सारांश लिखते हैं, और केवल वह सारांश एक शिक्षक ( "सर्वर") को भेज देते हैं। शिक्षक उन सभी सारांशों को मिलाकर एक एकल, बेहतर पाठ्यपुस्तक बनाता है जो सभी के लिए उपयोगी हो। यह फेडरेटेड लर्निंग (Federated Learning) है।

समस्या यह है कि सभी छात्रों के पास एक ही प्रकार के नोट्स नहीं होते हैं। कोई पाठ्यपुस्तक से पढ़ रहा होगा, कोई कॉमिक बुक से, या किसी के पन्ने फटे हुए होंगे या किसी अलग भाषा में लिखे होंगे। आमतौर पर, यह ठीक है; शिक्षक इन अलग-अलग दृष्टिकोणों को मिला सकता है। लेकिन कभी-कभी, कोई छात्र भ्रमित हो सकता है, उसकी नोटबुक खराब हो सकती है, या वह कुछ पूरी तरह से गलत सिखाने की कोशिश कर रहा हो सकता है। यदि शिक्षक इस "खराब" सारांश को अच्छे सारांशों के साथ बिना सोचे-समझे मिला देता है, तो अंतिम पाठ्यपुस्तक भ्रमित करने वाली या बेकार हो जाएगी।

यह शोध पत्र एक नया तरीका प्रस्तावित करता है जिससे शिक्षक यह पहचान सके कि कौन सा छात्र एक "अजीब" सारांश भेज रहा है, बिना उनके निजी नोट्स को पढ़े या उनकी पूरी नोटबुक के पन्ने-दर-प penyeleng तुलना किए।

पुराना तरीका बनाम नया तरीका

पुराना तरीका (पैरामीटर्स की तुलना करना):
पारंपरिक रूप से, शिक्षक यह जाँचता है कि क्या किसी छात्र का सारांश दूसरों जैसा दिखता है या नहीं, इसके लिए वह सारांश के भीतर विशिष्ट संख्याओं और भार (weights) की तुलना करता है। यह ऐसा है जैसे यह देखना कि क्या दो छात्रों ने बिल्कुल एक ही वाक्य संरचना लिखी है। समस्या यह है कि दो छात्र बहुत अलग वाक्य लिख सकते हैं जिनका अर्थ वास्तव में एक ही होता है, या वे समान वाक्य लिख सकते हैं जिनका अर्थ बहुत अलग होता है। यह बताना कठिन है कि अंतर केवल एक अलग शैली का है या एक मौलिक त्रुटि का।

नया तरीका ("कमरे का लेआउट" उपमा):
लेखक विशिष्ट संख्याओं के बजाय सीखने की संरचना (structure) को देखने का सुझाव देते हैं।

कल्पना कीजिए कि छात्रों के मस्तिष्क एक विशाल, बहु-कक्षीय घर की तरह हैं।

इनपुट स्पेस (Input Space): यह मुख्य द्वार है जहाँ प्रश्न (डेटा) प्रवेश करते हैं।
कमरे (Rooms): जैसे-जैसे एक प्रश्न घर के माध्यम से आगे बढ़ता है, वह विभिन्न कमरों (न्यूरल नेटवर्क की परतों) से गुजरता है।
स्विच (Switches): प्रत्येक कमरे के अंदर, लाइट स्विच होते हैं। प्रश्न के आधार पर, कुछ स्विच "ON" होते हैं और कुछ "OFF"। इन ON/OFF स्विचों का यह पैटर्न घर के कैसे काम करने का एक विशिष्ट "लेआउट" या मानचित्र बनाता है।

लेखकों का तरीका इस प्रकार काम करता है:

प्रोब सेट (The Probe Set): शिक्षक प्रत्येक छात्र को 12-128 अभ्यास प्रश्नों की एक छोटी, मानक सूची (एक "प्रोब सेट") देता है।
घर का मानचित्रण (Mapping the House): शिक्षक देखता है कि इन प्रश्नों का उत्तर देते समय प्रत्येक छात्र का "घर" कैसे जगमगाता है। कौन से स्विच चालू हैं? कौन से कमरे सक्रिय हैं?
तुलना (The Comparison): शिक्षक एक विशिष्ट छात्र के "घर के लेआउट" की समूह के औसत "घर के लेआउट" के साथ तुलना करता है।
- यदि छात्र A के घर का लेआउट समूह के समान है, तो वह सामान्य है, भले ही उसके विशिष्ट नोट्स अलग दिखते हों।
- यदि छात्र B का लेआउट पूरी तरह से अलग है (उदाहरण के लिए, जहाँ बेडरूम होना चाहिए वहाँ किचन है), तो वह असामान्य (atypical) है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस विचार का परीक्षण दो अलग-अलग "कक्षाओं" (डेटासेट) के साथ किया: एक कपड़ों की तस्वीरों वाला और दूसरा जानवरों की तस्वीरों वाला।

प्राकृतिक अंतरों का पता लगाना: जब छात्रों के पास स्वाभाविक रूप से अलग नोट्स थे (किसी के पास बिल्लियों की अधिक तस्वीरें थीं, तो किसी के पास कुत्तों की), तो "घर के लेआउट" थोड़े अलग लेकिन स्थिर थे। शिक्षक देख सकता था कि वे केवल अलग थे, टूटे हुए नहीं।
"बुरे" छात्रों का पता लगाना: शोधकर्ताओं ने गुप्त रूप से एक छात्र को एक दूषित नोटबुक (शोर या धुंधली छवियों से भरी हुई) दी।
- इस छात्र का "घर का लेआउट" अराजक और बाकी सभी से पूरी तरह से अलग हो गया।
1. शिक्षक ने इस छात्र को चिह्नित करने के लिए एक सरल गणितीय ट्रिक (एक "ज़ेड-स्कोर", जो एक "अजीब होने का मीटर" है) का उपयोग किया। यह मीटर खराब छात्र के लिए बहुत ऊपर चला गया, जबकि अन्य सभी के लिए शांत रहा।

यह क्यों महत्वपूर्ण है

मुख्य निष्कर्ष यह है कि यह विधि हल्की (lightweight) और व्याख्या योग्य (interpretable) है।

हल्की (Lightweight): इसके लिए भारी गणना या जटिल क्रिप्टोग्राफी की आवश्यकता नहीं होती है। यह केवल प्रश्नों की एक छोटी सूची पर "स्विच पैटर्न" की जाँच करती है।
व्याख्या योग्य (Interpretable): यह शिक्षक को बताता है कि छात्र को क्यों चिह्नित किया गया है: "आपका मस्तिष्क जानकारी को समूह की तुलना में अलग तरह से व्यवस्थित करता है," न कि केवल यह कहना कि "आपके नंबर मेल नहीं खाते।"

संक्षेप में, यह शोध पत्र फेडरेटेड लर्निंग को यह पहचानने के लिए एक नया उपकरण देता है कि कौन से छात्र वास्तव में भ्रमित हैं या अजीब व्यवहार कर रहे हैं, जिससे यह सुनिश्चित होता है कि अंतिम समूह पाठ्यपुस्तक विश्वसनीय बनी रहे, भले ही हर कोई अलग-अलग स्रोतों से सीख रहा हो।

तकनीकी सारांश: प्रतिनिधित्व-स्तर के विचलन के माध्यम से फेडरेटेड लर्निंग में असामान्य क्लाइंट्स का पता लगाना

समस्या विवरण

फेडरेटेड लर्निंग (FL) वितरित क्लाइंट्स के बीच कच्चे डेटा को साझा किए बिना सहयोगात्मक मॉडल प्रशिक्षण को सक्षम बनाता है, जो गोपनीयता और सुरक्षा बाधाओं को संबोधित करता है। हालांकि, FL डेटा विषमता (non-i.i.d. वितरण) के कारण महत्वपूर्ण चुनौतियों का सामना करता है, जो अक्सर अस्थिर अभिसरण (convergence) और घटित वैश्विक प्रदर्शन का कारण बनता है। सौम्य सांख्यिकीय विषमता के अलावा, व्यावहारिक डिप्लॉयमेंट में ऐसे जोखिम भी होते हैं जहाँ क्लाइंट अपडेट वितरण संबंधी बदलावों (distributional shifts), सेंसर ड्रिफ्ट, या विसंगतिपूर्ण इनपुट के कारण विचलित हो जाते हैं।

ऐसे विचलन का पता लगाने के लिए वर्तमान दृष्टिकोण अक्सर मॉडल मापदंडों (parameters) या ग्रेडिएंट्स की तुलना करने पर निर्भर करते हैं। लेखक तर्क देते हैं कि ये विधियाँ इस बारे में सीमित अंतर्दृष्टि प्रदान करती हैं कि विभिन्न क्लाइंट न्यूरल नेटवर्क (NN) के आंतरिक कार्यात्मक व्यवहार और निर्णय सीमाओं (decision boundaries) को कैसे प्रभावित करते हैं। एक ऐसी प्रणाली की आवश्यकता है जो गैर-i.i.d. डेटा के कारण होने वाली अपेक्षित परिवर्तनशीलता और उन संभावित रूप से हानिकारक विचलनों के बीच अंतर कर सके जो एकत्रीकरण प्रक्रिया की स्थिरता या विश्वसनीयता से समझौता करते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक हल्का (lightweight), ज्यामितीय मीट्रिक प्रस्तावित करता है जो एक क्लाइंट के स्थानीय मॉडल और वैश्विक मॉडल के बीच कार्यात्मक विचलन (functional divergence) को मापने के लिए उपयोग किया जाता है। मापदंडों का विश्लेषण करने के बजाय, यह दृष्टिकोण इनपुट स्पेस के एक्टिवेशन-प्रेरित विभाजन (activation-induced partition) पर ध्यान केंद्रित करता है।

एक्टिवेशन पैटर्न और इनपुट स्पेस का विभाजन:
- एक ReLU-आधारित फीडफॉरवर्ड न्यूरल नेटवर्क (FF) के लिए, लेखक प्रत्येक परत $l$ के लिए बाइनरी एक्टिवेशन पैटर्न $a_l(x; \theta)$ को परिभाषित करते हैं।
- ये पैटर्न इनपुट स्पेस को पीसवाइज-एफाइन (piecewise-affine) क्षेत्रों में विभाजित करते हैं। समान एक्टिवेशन पैटर्न साझा करने वाले नमूने एक ही क्षेत्र में होते हैं।
- लेखक इन पैटर्नों का मूल्यांकन करने के लिए एक निश्चित, साझा प्रोब सेट (probe set) $P$ (डेटा का एक i.i.d. उपसमुच्चय) का उपयोग करते हैं।
एक्टिवेशन एफिनिटी मीट्रिक (Activation Affinity Metric):
- एक दिए गए परत $l$ के लिए, दो प्रोब नमूनों $x_i$ और $x_j$ के बीच एक्टिवेशन एफिनिटी $K^\theta_l(i, j)$ को उनके एक्टिवेशन पैटर्न के बीच हैमिंग दूरी (Hamming distance) के आधार पर गणना की जाती है।
- यह मीट्रिक हाइपरप्लेन (hyperplanes) द्वारा क्रॉस किए जाने वाले संख्या के संदर्भ में नमूनों के बीच "दूरी" को मापता है। उच्च एफिनिटी इंगित करती है कि नमूने एक ही या पास के क्षेत्रों में हैं; कम एफिनिटी कई हाइपरप्लेन द्वारा अलगाव को दर्शाती है।
- इसके परिणामस्वरूप एक एफिनिटी मैट्रिक्स $K^\theta_l$ प्राप्त होता है जो यह कैप्चर करता है कि एक मॉडल इनपुट को कैसे समूहीकृत करता है।
पदानुक्रमित ज्यामितीय विचलन (Hierarchical Geometric Divergence):
- एक क्लाइंट मॉडल ( $\theta_c$ ) की एक वैश्विक मॉडल ( $\theta_g$ ) के साथ तुलना करने के लिए, लेखक उनके एफिनिटी मैट्रिसेस के अंतर के फ्रोबेनियस नॉर्म (Frobenius norm) की गणना करते हैं: $d_l(\theta, \theta') = \|K^\theta_l - K^{\theta'}_l\|_F$ ।
- NN की संरचना को ध्यान में रखने के लिए एक पदानुक्रमित विचलन ( $D_{hier}$ ) को परिभाषित किया गया है। चूंकि शुरुआती परतें मोटे विभाजनों को परिभाषित करती हैं और गहरी परतें उन्हें परिष्कृत करती हैं, इसलिए शुरुआती परतों में विसंगतियों को अधिक महत्व दिया जाता है।
- सूत्र है:
  $D_{hier}(\theta, \theta') = d_1(\theta, \theta') + \sum_{l=2}^{L} \left( \prod_{r=1}^{l-1} \lambda_r \right) d_l(\theta, \theta')$
  जहाँ $\lambda_l = \exp(-\beta d_l)$ एक डाउनवेटिंग फैक्टर के रूप में कार्य करता है यदि शुरुआती परतें पहले से ही महत्वपूर्ण अंतर प्रदर्शित करती हैं।
विसंगति का पता लगाना (Anomaly Detection):
- एक FL सेटिंग में, राउंड $t$ पर प्रत्येक क्लाइंट $c$ के लिए विचलन $D_c^{(t)}$ की गणना की जाती है।
- असामान्य क्लाइंट्स की पहचान करने के लिए, सभी क्लाइंट्स के विचलन वितरण के माध्य (median) और मीडियन एब्सोल्यूट डेविएशन (MAD) का उपयोग करके एक मजबूत आउटलियर स्कोर (z-score) की गणना की जाती है।

मुख्य योगदान

ज्यामितीय परिप्रेक्ष्य: पैरामीटर मानों के बजाय NN एक्टिवेशन पैटर्न द्वारा प्रेरित ज्यामितीय संरचना के आधार पर FL क्लाइंट व्यवहार का विश्लेषण करने के लिए एक नया दृष्टिकोण पेश करता है।
हल्का मीट्रिक: एक ऐसा मीट्रिक प्रस्तावित करता है जो यह मापता है कि स्थानीय प्रशिक्षण इनपुट स्पेस के संगठन को कैसे बदलता है, जो पैरामीटर-स्तरीय तुलनाओं से परे अंतर को कैप्चर करता है।
व्याख्या योग्य संकेत (Interpretable Signal): यह प्रदर्शित करता है कि यह मीट्रिक डेटा विषमता की निगरानी करने और असामान्य क्लाइंट योगदानों की पहचान करने के लिए एक व्याख्या योग्य संकेत प्रदान करता है।

प्रायोगिक परिणाम

लेखकों ने गैर-i.i.d. डेटा को सिम्युलेट करने के लिए डिरिचलेट पार्टीशनिंग (Dirichlet partitioning) के साथ SGD का उपयोग करके, Fashion-MNIST पर एक MLP और CIFAR-10 पर एक ResNet-18 पर अपने मीट्रिक का मूल्यांकन किया।

मीट्रिक सत्यापन (विषमता विश्लेषण):
- प्रयोगों में $\alpha$ ( $\alpha=10$ के पास i.i.d. से $\alpha=0.1$ अत्यधिक विषम तक) को बदला गया।
- परिणाम: Near i.i.d. सेटिंग्स ( $\alpha=10$ ) में, क्लाइंट विचलन जल्दी स्थिर हो गया। अत्यधिक विषम सेटिंग्स ( $\alpha=0.1$ ) में, मीट्रिक ने विचलन में व्यवस्थित वृद्धि को कैप्चर किया और उन क्लाइंट्स की पहचान की जो वैश्विक मॉडल से लगातार विचलित होते रहे, जो इस अंतर्ज्ञान के अनुरूप है कि विशिष्ट डेटा वितरण विशिष्ट ज्यामितीय संगठन प्रेरित करते हैं।
असामान्य क्लाइंट की पहचान:
- एक "शिफ्टेड" क्लाइंट को एक क्लाइंट के डेटासेट पर गड़बड़ी (Gaussian noise, rotation, blurring) लागू करके सिम्युलेट किया गया, जबकि अन्य मानक रहे।
- परिणाम: शिफ्टेड क्लाइंट ने सभी राउंड में नियमित क्लाइंट्स की तुलना में काफी अधिक ज्यामितीय विचलन और मजबूत z-स्कोर प्रदर्शित किया। जबकि नियमित क्लाइंट स्थिर विचलन मानों की ओर अभिसरित हुए, शिफ्टेड क्लाइंट ने निरंतर विचलन बनाए रखा, जो इनपुट स्पेस के मौलिक रूप से भिन्न ज्यामितीय संगठन को दर्शाता है। यह दोनों आर्किटेक्चर और डेटासेट में सही साबित हुआ।

महत्व और दावे

यह शोध पत्र दावा करता है कि NNs द्वारा प्रेरित ज्यामितीय संरचना की निगरानी करना FL में क्लाइंट योगदान का आकलन करने के लिए एक सार्थक और व्याख्या योग्य संकेत प्रदान करता है। प्रस्तावित मीट्रिक प्रभावी रूप से स्थिर, विषम क्लाइंट्स और उन क्लाइंट्स के बीच अंतर करता है जिनके अपडेट असामान्य कार्यात्मक परिवर्तन उत्पन्न करते हैं।

लेखक इस कार्य को जोखिम-जागरूक एकत्रीकरण रणनीतियों (risk-aware aggregation strategies) के लिए एक उपकरण के रूप में प्रस्तुत करते हैं। उन क्लाइंट्स की पहचान करके जो कार्यात्मक रूप से (न कि केवल पैरामीट्रिक रूप से) विचलित होते हैं, सिस्टम उनके कार्यात्मक व्यवहार के आधार पर अपडेट को वेट या फ़िल्टर कर सकता है। पेपर निष्कर्ष निकालता है कि यह दृष्टिकोण अधिक सूचित एकत्रीकरण के द्वार खोलता है, हालांकि यह नोट करता है कि इस सिग्नल को सीधे ट्रेनिंग लूप में एकीकृत करने और बड़े पैमाने या एडवरसेरियल सेटिंग्स में लागू करने के लिए भविष्य के कार्य की आवश्यकता है। इस कार्य को मौजूदा क्रिप्टोग्राफिक प्राइवेसी और बायज़ेंटाइन मजबूती (Byzantine robustness) विधियों के पूरक के रूप में प्रस्तुत किया गया है, जो औपचारिक क्रिप्टोग्राफिक गारंटी के बजाय एक ज्यामितीय निगरानी संकेत प्रदान करता है।