🤖 machine learning

On the Fragility of Data Attribution When Learning Is Distributed

यह शोधपत्र प्रदर्शित करता है कि डिस्ट्रिब्यूटेड लर्निंग में डेटा एट्रिब्यूशन नाजुक है, क्योंकि एक दुर्भावनापूर्ण प्रतिभागी लेटेंट ऑप्टिमाइजेशन का फायदा उठाकर सिंथेटिक बैच इंजेक्ट कर सकता है जो वैश्विक मॉडल की उपयोगिता को कम किए बिना या मौजूदा सुरक्षा प्रणालियों को सक्रिय किए बिना उनके मापे गए योगदान को महत्वपूर्ण रूप से बढ़ा देता है।

मूल लेखक: Xian Gao, Bo Hui, Min-Te Sun, Wei-Shinn Ku

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xian Gao, Bo Hui, Min-Te Sun, Wei-Shinn Ku

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "On the Fragility of Data Attribution When Learning Is Distributed" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी तस्वीर: "क्रेडिट कार्ड" की समस्या

कल्पना कीजिए कि पड़ोसियों का एक समूह एक विशाल, साझा बगीचा (एक मशीन लर्निंग मॉडल) बनाने की कोशिश कर रहा है। प्रत्येक पड़ोसी अपने बीजों और औजारों का एक अलग सेट (उनका डेटा) लेकर आता है। कुछ पड़ोसियों के पास दुर्लभ, विदेशी फूल हैं; दूसरों के पास केवल आम खरपतवार हैं।

सभी को प्रेरित रखने के लिए, समूह का नेता एक विशेष कैलकुलेटर का उपयोग करता है जिसे डेटा एट्रिब्यूशन (Data Attribution) कहा जाता है। यह टूल यह पता लगाने की कोशिश करता है कि बगीचे की अंतिम सुंदरता में प्रत्येक पड़ोसी का कितना योगदान रहा है। इस स्कोर के आधार पर, पड़ोसियों को भुगतान किया जाता है, उन्हें श्रेय दिया जाता है, या उन्हें क्लब में रहने की अनुमति मिलती है।

शोध पत्र की मुख्य खोज: एक चालाक पड़ोसी इस कैलकुलेटर को धोखा दे सकता है। वे ऐसा दिखा सकते हैं कि उन्होंने पूरे समूह में सबसे मूल्यवान बीज लाए हैं, भले ही उन्होंने वास्तव में बगीचे को बेहतर बनाने में कोई मदद न की हो। वास्तव में, बगीचा बिल्कुल वैसा ही दिखता है जैसा कि तब दिखता यदि उन्होंने ईमानदारी से काम किया होता।

सेटअप: यह हमला कैसे काम करता है

शोधकर्ताओं ने एक तरीका खोजा जिससे एक अकेला "बदमाश तत्व" (bad actor) पकड़े बिना सिस्टम के साथ हेरफेर कर सकता है। यह इस प्रकार किया गया, जिसे चरणों में विभाजित किया गया है:

1. "घोस्ट सीड्स" (सिंथेटिक डेटा)

आमतौर पर, यदि आप धोखाधड़ी करना चाहते हैं, तो आप बगीचे को खराब करने के लिए नकली, टूटे हुए बीज (खराब डेटा) ला सकते हैं। लेकिन यह स्पष्ट होगा; बगीचा बदसूरत दिखेगा, और आपको बाहर निकाल दिया जाएगा।

इसके बजाय, यह हमलावर लेटेंट ऑप्टिमाइज़ेशन (Latent Optimization) का उपयोग करता है। इसे एक "जादुई बीज प्रिंटर" के रूप में सोचें। हमलावर के पास एक ब्लूप्रिंट (एक डिकोडर) है जो छोटे, एकदम सही दिखने वाले बीज प्रिंट कर सकता है। ये उनकी अपनी ज़मीन के असली बीज नहीं हैं; इन्हें कंप्यूटर द्वारा उत्पन्न किया गया है।

2. "मिसिंग पज़ल पीस" रणनीति

बगीचे में कुछ विशिष्ट प्रकार के फूलों की कमी है क्योंकि अन्य पड़ोसियों ने वे नहीं लाए। हमलावर का जादुई प्रिंटर इन रिक्तियों को भरने के लिए ठीक उतने ही "लापता" फूल बनाता है।

यह क्यों मायने रखता है: क्रेडिट कैलकुलेटर (एट्रिब्यूशन टूल) "पूर्णता" को पसंद करता है। वह सोचता है, "वाह, इस पड़ोसी ने हमारे बगीचे के खाली स्थानों को भर दिया! वे बहुत मददगार रहे होंगे!"
चाल: हमलावर केवल उतने ही फूल प्रिंट करता है जो मददगार दिखने के लिए पर्याप्त हों, लेकिन इतने नहीं कि बगीचे के समग्र स्वरूप को बिगाड़ दें।

3. "परफेक्ट मिमिक" (छलावरण/Stealth)

पकड़े जाने से बचने के लिए, हमलावर यह सुनिश्चित करता है कि उसका योगदान एक सामान्य, ईमानदार पड़ोसी के योगदान जैसा ही दिखे।

वह योगदान के आकार (Size) से मेल खाता है (ताकि यह बहुत बड़ा न लगे)।
वह दिशा (Direction) से मेल खाता है (ताकि वह उसी दिशा में आगे बढ़े जिस दिशा में बाकी सब बढ़ रहे हैं)।
वह सुनिश्चित करता है कि अंतिम बगीचा (मॉडल की सटीकता) उतना ही सुंदर दिखे जितना कि उनके बिना होता।

परिणाम: "अदृश्य" डकैती

शोध पत्र ने विभिन्न प्रकार के बगीचों (CIFAR-10 और FashionMNIST जैसे डेटासेट) और विभिन्न बगीचा योजनाकारों (ResNet और VGG जैसे मॉडल) के साथ यह प्रयोग चलाया।

क्या हुआ?

स्कोर: चालाक पड़ोसी का "योगदान स्कोर" आसमान छू गया। वह सूची में सबसे नीचे से ऊपर, या कम से कम शीर्ष के करीब पहुँच गया।
बगीचा: बगीचे की गुणवत्ता (सटीकता) में कोई गिरावट नहीं आई। यह बिल्कुल वैसा ही रहा।
रक्षा प्रणाली: समूह के सुरक्षा गार्ड (जो अजीब आकृतियों या टूटे हुए पौधों की तलाश करते हैं) को कुछ भी गलत महसूस नहीं हुआ क्योंकि "घोस्ट सीड्स" बहुत सामान्य दिख रहे थे।

उपमा: "पॉलिश किया हुआ" झूठ

कल्पना कीजिए कि शेफ की एक टीम सूप बना रही है। बॉस पूछता है, "किसने सबसे अधिक स्वाद जोड़ा है?"

सामान्य शेफ: असली सामग्री डालते हैं।
हमलावर: ढेर सारा नमक डालने के बजाय (जिससे सूप खराब हो जाएगा), वे एक सूक्ष्म, अदृश्य "फ्लेवर एनहांसर" (स्वाद बढ़ाने वाला तत्व) डालते हैं जिसे बॉस का टेस्ट-टेस्टर पसंद करता है।
परिणाम: सूप पहले जैसा ही स्वादिष्ट लगता है (कोई शिकायत नहीं करता), लेकिन टेस्ट-टेस्टर की मशीन हमलावर को भारी बोनस देती है क्योंकि मशीन को लगता है कि वह छोटा सा अंश ही वह गुप्त सामग्री थी जिसने सूप को एकदम सटीक बनाया।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

शोध पत्र चेतावनी देता है कि विश्वास नाजुक है।

हम इन "योगदान स्कोर" का उपयोग यह तय करने के लिए करने लगे हैं कि डेटा के लिए किसे भुगतान किया जाए, किसका मॉडल पर स्वामित्व है, और AI प्रणालियों को कैसे नियंत्रित किया जाए।
शोध पत्र दिखाता है कि इन स्कोर को आसानी से मैनिपुलेट किया जा सकता है। एक बुरा तत्व सिस्टम के प्रदर्शन को नुकसान पहुँचाए बिना श्रेय चुरा सकता है।
वर्तमान सुरक्षा उपाय (जो यह देखते हैं कि क्या मॉडल टूटा हुआ है या डेटा अजीब दिखता है) इस विशिष्ट प्रकार की चाल के खिलाफ काम नहीं करते हैं।

सारांश

शोध पत्र यह सिद्ध करता है कि एक वितरित शिक्षण प्रणाली (distributed learning system) में, आप केवल इसलिए "स्कोरकार्ड" पर भरोसा नहीं कर सकते क्योंकि अंतिम परिणाम अच्छा दिखता है। एक चतुर प्रतिभागी "जादुई प्रिंटर" का उपयोग करके नकली-लेकिन-परफेक्ट डेटा बना सकता है जो स्कोरिंग सिस्टम को धोखा देने के लिए पर्याप्त है, जबकि वास्तविक उत्पाद को अपरिवर्तित और अनावर्तनीय छोड़ देता है।

निष्कर्ष: यदि आप लोगों को इस आधार पर भुगतान कर रहे हैं कि उन्होंने कितना "योगदान" दिया है, तो आपको अपने काम की जाँच करने का एक नया तरीका चाहिए, क्योंकि वर्तमान स्कोरकार्ड को मूर्ख बनाया जा सकता है।

तकनीकी सारांश: वितरित शिक्षण में डेटा एट्रिब्यूशन की भंगुरता पर

समस्या विवरण
डेटा एट्रिब्यूशन (Data attribution) मशीन लर्निंग पाइपलाइनों में, विशेष रूप से फेडरेटेड लर्निंग (FL) जैसे वितरित परिवेशों में, मूल्य निर्धारण, ऑडिटिंग और गवर्नेंस के लिए एक महत्वपूर्ण घटक बन गया है। ये प्रणालियाँ व्यक्तिगत डेटा स्वामियों के वैश्विक मॉडल उपयोगिता (global model utility) में योगदान को मापने के लिए एट्रिब्यूशन मेट्रिक्स (जैसे, शापली वैल्यूज़, इन्फ्लुएंस फंक्शन्स) पर निर्भर करती हैं। यह शोध पत्र उस धारणा को चुनौती देता है कि वर्तमान एट्रिब्यूशन विधियाँ प्रतिभागियों के वास्तविक योगदान को निष्ठापूर्वक दर्शाती हैं। यह प्रदर्शित करते हुए कि मानक वितरित प्रशिक्षण वर्कफ़्लो में, एक अकेला दुर्भावनापूर्ण प्रतिभागी रणनीतिक रूप से अपने मापे गए एट्रिब्यूशन मान को वास्तविक योगदान से काफी अधिक लाभकारी दिखने के लिए हेरफेर कर सकता है, बिना वैश्विक मॉडल की उपयोगिता को कम किए। मुख्य भेद्यता (vulnerability) गैर-IID लेबल कवरेज और एट्रिब्यूशन इवैल्यूएटर्स की विशिष्ट संरचनात्मक प्राथमिकताओं के प्रति मार्जिनल-यूटिलिटी एस्टिमेटर्स की संवेदनशीलता में निहित है।

कार्यप्रणाली: लेटेंट ऑप्टिमाइज़ेशन अटैक (Latent Optimization Attack)
लेखक एक "एट्रिब्यूशन-फर्स्ट" थ्रेट मॉडल प्रस्तावित करते हैं जहाँ एक दुर्भावनापूर्ण क्लाइंट ( $i^\star$ ) का लक्ष्य एक छोटी सहनशीलता $\delta$ के भीतर वैश्विक उपयोगिता $U(\cdot)$ को सख्ती से बनाए रखते हुए अपने एट्रिब्यूशन स्कोर $E(\hat{g}^\star_t)$ को अधिकतम करना है। यह हमला पारंपरिक पॉइजनिंग हमलों के विपरीत है जो प्रदर्शन को कम करते हैं; यह एक ऐसा हमला है जो यह सुनिश्चित करता है कि टेस्ट सटीकता स्थिर रहे।

प्रस्तावित लेटेंट ऑप्टिमाइज़ेशन अटैक इस प्रकार आगे बढ़ता है:

सिंथेटिक डेटा इंजेक्शन: हमलावर एक निश्चित, प्री-ट्रेन्ड डिकोडर ( $Dec(\cdot)$ ) का उपयोग करके एक लेटेंट वेक्टर $z$ से सिंथेटिक नमूनों $(\tilde{x}, \tilde{y})$ का एक छोटा बैच उत्पन्न करता है।
लेटेंट वेक्टर ऑप्टिमाइज़ेशन: हमलावर एक संयुक्त लॉस फंक्शन $L(z) = L_1(z) + L_2(z) + L_3(z)$ $L (z) = L_{1} (z) + L_{2} (z) + L_{3} (z)$ को संतुष्ट करने के लिए कॉसिन समानता (cosine similarity) का उपयोग करके ग्रेडिएंट डिसेंट के माध्यम से लेटेंट वेक्टर $z$ $z$ को अनुकूलित करता है:
- $L_1$ (डायरेक्शन अलाइनमेंट): यह सुनिश्चित करता है कि सिंथेटिक बैच का ग्रेडिएंट एक बेनेन रेफरेंस दिशा (जैसे, वैश्विक मॉडल अपडेट $w_t - w_{t-1}$ ) के साथ संरेखित हो।
- $L_2$ (नॉर्म कंसिस्टेंसी): ज्योमेट्री-आधारित सुरक्षा प्रणालियों से बचने के लिए सिंथेटिक ग्रेडिएंट के परिमाण (magnitude) को बेनेन अपडेट के समान बनाता है।
- $L_3$ (टास्क फिडेलिटी): यह सुनिश्चित करने के लिए कि डेटा क्लास-डिस्क्रिमिनेटिव और उपयोगी है, सिंथेटिक बैच पर मानक क्रॉस-एन्ट्रॉपी लॉस को बनाए रखता है।
रणनीतिक कवरेज (Strategic Coverage): हमलावर विशेष रूप से उन क्लासेस को लक्षित करता है जो उनके स्थानीय वास्तविक डेटासेट ( $D^{(i^\star)}_r$ ) में कम प्रतिनिधित्व वाली या अनुपस्थित हैं। इन "लापता" लेबल्स के लिए सिंथेटिक नमूनों को इंजेक्ट करके, हमलावर इवैल्यूएटर्स की कवरेज गैप्स के प्रति संवेदनशीलता का लाभ उठाता है।
हाइब्रिड अपडेट: हमलावर अपने वास्तविक डेटा के साथ अनुकूलित सिंथेटिक बैच को मिलाता है ताकि एक रिपोर्ट किया गया अपडेट $\hat{g}^\star_t$ तैयार किया जा सके जो बेनेन अपडेट से सांख्यिकीय रूप से अविभेद्य हो, लेकिन सर्वर-साइड इवैल्यूएटर की दृष्टि में अत्यधिक उच्च मार्जिनल उपयोगिता प्रदान करे।

प्रमुख योगदान

एट्रिब्यूशन-फर्स्ट थ्रेट मॉडल: यह पेपर FL में एक नए हमले के उद्देश्य को औपचारिक रूप देता है जहाँ लक्ष्य स्पष्ट उपयोगिता और प्लाउज़िबिलिटी बाधाओं के तहत डेटा-एट्रिब्यूशन स्कोर को बढ़ाना है, जो पारंपरिक मॉडल-पॉइजनिंग उद्देश्यों से भिन्न है।
व्यावहारिक लेटेंट-ऑप्टिमाइज़ेशन अटैक: लेखक एक ठोस हमला तंत्र पेश करते हैं जो एट्रिब्यूशन-अवेयर लोकल अपडेट बनाने के लिए डिकोडर-जेनरेटेड सिंथेटिक डेटा का उपयोग करता है। यह विधि उपयोगिता-संरक्षण करने वाली और सांख्यिकीय रूप से प्रशंसनीय बनी रहती है, जिससे यह मानक सैनिटी चेक को चकमा दे देती है।
सैद्धांतिक और अनुभवजन्य सत्यापन: यह पेपर सैद्धांतिक अंतर्दृष्टि प्रदान करता है कि ऐसे अपडेट (ग्लोबल डिसेंट दिशाओं के साथ संरेखण और कवरेज-संचालित उपयोगिता लाभों के कारण) सटीकता को कम किए बिना मार्जिनल एट्रिब्यूशन को क्यों बढ़ाते हैं। अनुभवजन्य रूप से, इस हमले को तीन डेटासेट्स (CIFAR-10, FashionMNIST, SVHN), तीन मॉडल आर्किटेक्चर (ResNet-18, WRN-28-10, VGG16 BN) और कई इवैल्यूएटर्स (Federated Shapley Value और Leave-One-Out) पर सत्यापित किया गया है।

प्रायोगिक परिणाम

एट्रिब्यूशन इन्फ्लेशन (Attribution Inflation): लेटेंट ऑप्टिमाइज़ेशन अटैक के तहत, एक दुर्भावनापूर्ण क्लाइंट जो शुरू में अंतिम स्थान पर था (लगभग शून्य एट्रिब्यूशन प्राप्त कर रहा था), लगातार ऊपरी आधे हिस्से में आ गया, और अक्सर बेनेन उच्च-योगदानकर्ताओं के बराबर या उनसे अधिक एट्रिब्यूशन मान प्राप्त किया। उदाहरण के लिए, CIFAR-10 पर ResNet-18 के साथ, दुर्भावनापूर्ण क्लाइंट का एट्रिब्यूशन मान 0.0547 से बढ़कर 0.1682 हो गया, जिससे उसकी रैंक 10वें से 2रे स्थान पर पहुँच गई।
उपयोगिता संरक्षण (Utility Preservation): बेसलाइन हमलों (लेबल फ्लिपिंग, रैंडम नॉइज़) के विपरीत, जो टेस्ट सटीकता को काफी कम कर देते हैं, लेटेंट ऑप्टिमाइज़ेशन अटैक ने ग्लोबल सटीकता को हमले-मुक्त बेसलाइन के बहुत करीब बनाए रखा (जैसे, CIFAR-10/ResNet-18 पर 77.59% बनाम 76.75%)।
एट्रिब्यूशन संरचना को नया आकार देना: इस हमले ने केवल हमलावर के स्कोर को ही नहीं बढ़ाया; इसने बेनेन क्लाइंट्स के बीच एट्रिब्यूशन शेयर को भी पुनर्वितरित किया, जिससे सिस्टम के भीतर सापेक्ष क्रेडिट असाइनमेंट बदल गया।
डिफेंस इवेजन (Defense Evasion): मानक ज्योमेट्री-आधारित ट्रिमिंग डिफेंस, जो क्लाइंट अपडेट के समूह से विचलन के आधार पर अपडेट को फ़िल्टर करते हैं, हमले का पता लगाने में विफल रहे (प्रिसिजन और रिकॉल 0.00 के पास)। हाइब्रिड अपडेट ग्लोबल डिसेंट दिशा के साथ संरेखित रहे और बेनेन वितरण के भीतर सांख्यिकीय रूप से समाहित रहे।
मजबूती (Robustness): हमला विभिन्न क्लाइंट्स की संख्या, विभिन्न प्रारंभिक क्लाइंट रैंकिंग और विभिन्न एट्रिब्यूशन इवैल्यूएटर्स (FedSV और LOO) में प्रभावी रहा।

महत्व और दावे
यह पेपर दावा करता है कि एट्रिब्यूशन स्वयं वितरित शिक्षण में एक नया हमला सतह (attack surface) बनाता है। निष्कर्ष दर्शाते हैं कि केवल मॉडल सटीकता बनाए रखना विश्वसनीय सहयोगात्मक शिक्षण के लिए पर्याप्त नहीं है; एट्रिब्यूशन अखंडता भी समान रूप से महत्वपूर्ण है। लेखक तर्क देते हैं कि वर्तमान प्रोत्साहन तंत्र और गवर्नेंस फ्रेमवर्क असुरक्षित हैं क्योंकि वे उन इवैल्यूटर्स पर भरोसा करते हैं जिन्हें वैश्विक प्रदर्शन को नुकसान पहुँचाए बिना हेरफेर किया जा सकता है। यह कार्य एट्रिब्यूशन-रोबस्ट इवैल्यूएटर्स और प्रोत्साहन-संगत स्कोरिंग तंत्रों के विकास को प्रेरित करता है, यह रेखांकित करते हुए कि भेद्यता विशिष्ट स्कोरिंग नियमों के बजाय मार्जिनल-यूटिलिटी इवैल्यूएशन के प्रोत्साहन गुणों से उत्पन्न होती है। पेपर निष्कर्ष निकालता है कि इन कमजोरियों को संबोधित किए बिना, प्रणालियों में गलत योगदानकर्ताओं को पुरस्कृत करने, हानिकारक अभिनेताओं की गलत पहचान करने और भ्रामक निष्कर्ष निकालने का जोखिम बना रहता है।