📊 statistics

Are Targeted Data Poisoning Attacks as Effective as We Think?

यह शोध पत्र तर्क देता है कि लक्षित डेटा पॉइजनिंग हमलों (targeted data poisoning attacks) के वर्तमान मूल्यांकन दोषपूर्ण हैं क्योंकि वे औसत सफलता दरों पर निर्भर करते हैं, और एक नए ढांचे का प्रस्ताव देता है जो कठोर 'वर्स्ट-केस' मूल्यांकन और सक्रिय, लक्षित रक्षा के लिए सबसे अधिक और सबसे कम संवेदनशील नमूनों की पहचान करने हेतु स्वच्छ मॉडल की जानकारी का उपयोग करता है।

मूल लेखक: William Xu, Chenyu Zhang, Yihan Wang, Matthew Y. R. Yang, Zuoqiu Liu, Gautam Kamath, Yaoliang Yu, Yiwei Lu

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: William Xu, Chenyu Zhang, Yihan Wang, Matthew Y. R. Yang, Zuoqiu Liu, Gautam Kamath, Yaoliang Yu, Yiwei Lu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जो चित्रों से जानवरों को पहचानना सीख रहा है। आप यह परीक्षण करना चाहते हैं कि उसे एक विशिष्ट गलती करने के लिए कैसे फंसाया जा सकता है। उदाहरण के लिए, आप यह देखना चाहते हैं कि क्या आप उसकी अध्ययन सामग्री में कुछ "जहरीली" (poisoned) अभ्यास तस्वीरें शामिल कर सकते हैं ताकि, जब वह एक बिल्ली की तस्वीर देखे, तो वह आत्मविश्वास के साथ उसे कुत्ता कह दे।

इसे टारगेटेड डेटा पॉइजनिंग अटैक (Targeted Data Poisoning Attack) कहा जाता है।

वर्षों से, शोधकर्ता इन हमलों का परीक्षण करने के लिए यादृच्छिक (random) चित्र चुनते रहे हैं और देखते हैं कि छात्र कितनी बार धोखा खा जाता है। वे कह सकते थे, "औसतन हम छात्र को 80% बार धोखा दे सकते हैं!"

औसत की समस्या
इस पेपर के लेखक तर्क देते हैं कि यह "औसत" स्कोर भ्रामक है। यह वैसा ही है जैसे यह कहना कि "औसतन, एक ताले को खोलना आसान है।" लेकिन वास्तव में, कुछ ताले सस्ते प्लास्टिक के बने होते हैं (खोलने में बहुत आसान), जबकि अन्य उच्च-सुरक्षा वाली तिजोरियां होते हैं (लगभग असंभव रूप से सुरक्षित)। यदि आप केवल सस्ते तालों का परीक्षण करते हैं, तो आप सोचते हैं कि पूरा सिस्टम कमजोर है। यदि आप केवल तिजोरियों का परीक्षण करते हैं, तो आप सोचते हैं कि यह अभेद्य है।

यह पेपर पूछता है: कौन से विशिष्ट चित्र "सस्ते प्लास्टिक के ताले" हैं और कौन से "तिजोरियां" हैं?

नया दृष्टिकोण: "कठिन" और "आसान" लक्ष्यों को खोजना

शोधकर्ताओं ने यह देखने का एक तरीका विकसित किया है कि हमला करने से पहले छात्र की अध्ययन संबंधी आदतें कैसी हैं। उन्हें वास्तव में जहर (poison) डालने की आवश्यकता नहीं है; उन्हें बस यह देखने की आवश्यकता है कि छात्र सामान्य रूप से कैसे सीखता है।

उन्होंने दो स्तरों के "कठिनाई मीटर" बनाए:

स्तर 1: "आत्मविश्वास ट्रैकर" (Coarse Metrics)

कल्पना कीजिए कि आप एक परीक्षा के लिए छात्र को पढ़ते हुए देख रहे हैं।

"आसान" लक्ष्य: यदि छात्र एक बिल्ली की तस्वीर देखता है और हर बार आत्मविश्वास से कहता है "बिल्ली!"—कक्षा के पहले दिन से लेकर आखिरी दिन तक—तो यह तस्वीर जहर देने में कठिन (hard to poison) है। छात्र की राय मजबूत और स्थिर है। उन्हें धोखा देने के लिए, एक हमलावर को भारी मात्रा में जहर की आवश्यकता होगी।
"कठिन" लक्ष्य: यदि छात्र एक बिल्ली की तस्वीर देखता है और हिचकिचाता है—जैसे सोमवार को "बिल्ली" कहना, मंगलवार को "कुत्ता" कहना और बुधवार को "पक्षी" कहना—तो यह तस्वीर जहर देने में आसान (easy to poison) है। छात्र अनिश्चित है, इसलिए थोड़ा सा जहर भी उसे किनारे पर धकेल सकता है।

वे इस मीट्रिक को EPA (Ergodic Prediction Accuracy) कहते हैं। यह केवल यह मापता है: सामान्य सीखने के दौरान छात्र का उत्तर कितना सुसंगत (consistent) था?

उच्च निरंतरता (High Consistency) = धोखा देने में कठिन।
कम निरंतरता (Low Consistency) = धोखा देने में आसान।

उन्होंने एक "सरोगेट" संस्करण भी बनाया जिसे DPS कहा जाता है, जो तब भी काम करता है जब आपको सही उत्तर (ground truth) का पता न हो, केवल यह देखकर कि क्या छात्र किसी भी उत्तर के प्रति आश्वस्त है।

स्तर 2: "विशिष्ट ट्रिक" मीटर (Fine-Grained Metrics)

कभी-कभी, एक छात्र बिल्ली के बारे में भ्रमित हो सकता है, लेकिन वह इस बात को लेकर बहुत आश्वस्त हो सकता है कि वह कुत्ता नहीं है, भले ही वह इस बारे में अनिश्चित हो कि वह पक्षी है या नहीं।
शोधकर्ताओं ने महसूस किया कि छल (trick) की कठिनाई इस बात पर निर्भर करती है कि आप उन्हें किस चीज़ में भ्रमित करना चाहते हैं।

उन्हें बिल्ली को "पक्षी" कहने के लिए भ्रमित करना आसान हो सकता है।
लेकिन उसी बिल्ली को "कुत्ता" कहने के लिए उन्हें भ्रमित करना असंभव हो सकता है।

उन्होंने दो नए उपकरण बनाए:

पॉइजनिंग डिस्टेंस ( $\delta$ ): कल्पना कीजिए कि छात्र का मस्तिष्क एक मानचित्र (map) है। इस विशिष्ट चित्र के बारे में उनकी राय बदलने के लिए आपको मानचित्र को कितना धक्का देना होगा? यदि धक्का बहुत बड़ा होना चाहिए, तो यह जहर देने में कठिन है।
पॉइजन बजट ( $\tau$ ): सैद्धांतिक रूप से आपको इस ट्रिक को सफल बनाने के लिए कितने "जहरीले" अभ्यास चित्रों को इंजेक्ट करने की आवश्यकता होगी? यदि संख्या बहुत बड़ी है, तो लक्ष्य सुरक्षित है। यदि संख्या बहुत कम है, तो लक्ष्य असुरक्षित है।

उन्होंने क्या पाया

जब उन्होंने इन विचारों का कंप्यूटर मॉडल (जैसे कि कार, विमान और जानवरों को पहचानने वाले मॉडल) पर परीक्षण किया:

"औसत" का झूठ: उन्होंने पाया कि "आसान" लक्ष्य वास्तव में बहुत आसान थे (लगभग 100% सफलता), लेकिन "कठिन" लक्ष्य आश्चर्यजनक रूप से कठिन थे (कभी-कभी 50% से भी कम सफलता)। औसत स्कोर इस तथ्य को छिपा देता है कि कुछ लक्ष्य वास्तव में बहुत सुरक्षित हैं।
हमले के बिना भविष्यवाणी करना: सबसे अच्छी बात? वे हमला करने की कोशिश किए बिना ही यह भविष्यवाणी कर सकते थे कि कौन से चित्र असुरक्षित हैं। उन्होंने बस यह देखा कि मॉडल सामान्य रूप से कैसे सीखता है।
- यदि प्रशिक्षण के दौरान मॉडल डगमगा रहा था, तो उन्होंने उसे "असुरक्षित" (Vulnerable) के रूप में चिह्नित किया।
- यदि मॉडल एकदम ठोस था, तो उन्होंने उसे "सुरक्षित" (Safe) के रूप में चिह्नित किया।

निष्कर्ष (The Takeaway)

रक्षकों के लिए (शिक्षकों के लिए):
हर एक चित्र की समान रूप से रक्षा करने के बजाय, आपको अपना ध्यान उन चित्रों पर केंद्रित करना चाहिए जहाँ प्रशिक्षण के दौरान छात्र डगमगा रहा था। वे ही हैं जिन्हें हमलावर सबसे अधिक फायदा उठाने की कोशिश कर सकता है।

मूल्यांकों के लिए (परीक्षकों के लिए):
"औसत" सफलता दर रिपोर्ट करना बंद करें। यदि आप वास्तव में जानना चाहते हैं कि एक सिस्टम कितना सुरक्षित है, तो आपको सबसे कठिन लक्ष्यों का परीक्षण करना चाहिए। यदि आप सबसे जिद्दी छात्र को धोखा नहीं दे सकते, तो आपने वास्तव में यह साबित नहीं किया है कि सिस्टम कमजोर है।

संक्षेप में: सभी लक्ष्य समान नहीं होते। कुछ कार्डबोर्ड बॉक्स की तरह होते हैं, और कुछ स्टील की तिजोरियों की तरह। यह पेपर हमें यह बताने का एक तरीका देता है कि हम बिना तिजोरी को तोड़े, केवल यह देखकर कि सिस्टम कैसे सीखता है, अंतर कैसे पहचान सकते हैं।

तकनीकी सारांश: क्या लक्षित डेटा पॉइजनिंग हमले उतने प्रभावी हैं जितना हम सोचते हैं?

समस्या विवरण

लक्षित डेटा पॉइजनिंग हमलों (Targeted data poisoning attacks) में एक हमलावर प्रशिक्षण सेट (training set) में दुर्भावनापूर्ण, स्वच्छ-लेबल वाले डेटा को इंजेक्ट करता है ताकि एक विशिष्ट परीक्षण नमूने ( $x_t$ ) के मॉडल के प्रेडिक्शन को एक पूर्व-निर्धारित पॉइज़न क्लास ( $y_p$ ) में बदला जा सके, जबकि अन्य सभी इनपुट्स पर सामान्य प्रदर्शन बना रहे। ये हमले विशेष रूप से घातक हैं क्योंकि ये समग्र मॉडल प्रदर्शन मेट्रिक्स में बहुत कम पदचिह्न छोड़ते हैं, जिससे इन्हें पहचानना कठिन हो जाता है।

यह शोध पत्र तर्क देता है कि इन खतरों का वर्तमान मूल्यांकन भ्रामक है। मौजूदा साहित्य आमतौर पर यादृच्छिक रूप से चयनित परीक्षण नमूनों पर औसत हमला सफलता दर (ASR) की रिपोर्ट करता है। यह कार्यप्रणाली "आसान" और "कठिन" लक्ष्यों को मिला देती है, जिससे हमले की वास्तविक 'वर्स्ट-केस' (worst-case) प्रभावशीलता छिप जाती है। सुरक्षा के दृष्टिकोण से, गारंटी वर्स्ट-केस होनी चाहिए; एक ऐसा हमला जो केवल आसान लक्ष्यों पर सफल होता है, वह वास्तविक खतरे के परिदृश्य को प्रतिबिंबित नहीं करता है। इसके विपरीत, रक्षक सभी डेटा की समान रूप से रक्षा नहीं कर सकते; उन्हें लक्षित जवाबी उपाय लागू करने के लिए सबसे संवेदनशील नमूनों की पहचान करनी चाहिए।

केंद्रीय शोध प्रश्न यह है: क्या हम बिना किसी वास्तविक हमले को अंजाम दिए, केवल स्वच्छ मॉडल जानकारी का उपयोग करके, आसानी से और कठिन रूप से पॉइज़न होने वाले नमूनों की विश्वसनीय पहचान कर सकते हैं?

कार्यप्रणाली (Methodology)

लेखक लक्षित पॉइजनिंग कठिनाई को मापने के लिए दो-स्तरीय मेट्रिक्स फ्रेमवर्क प्रस्तावित करते हैं। इस फ्रेमवर्क की एक प्रमुख शक्ति यह है कि सभी मेट्रिक्स वास्तविक हमलों को चलाए बिना ही गणना योग्य हैं, जो पूरी तरह से स्वच्छ प्रशिक्षण गतिकी (clean training dynamics) या स्वच्छ मॉडल वेट्स (clean model weights) पर निर्भर करते हैं।

1. मोटे स्तर के मेट्रिक्स (Coarse-Level Metrics): स्वच्छ प्रशिक्षण गतिकी

इन मेट्रिक्स का उद्देश्य यह व्यापक रूप से अंतर करना है कि कौन से नमूने आसानी से पॉइज़न होने योग्य हैं और कौन से कठिन।

एर्गोडिक प्रेडिक्शन एक्यूरेसी (EPA): यह मेट्रिक कई रैंडम इनिशियलाइज़ेशन ( $M$ ) और प्रशिक्षण युगों ( $N$ ) में एक परीक्षण नमूने $x_t$ के मॉडल के वर्गीकरण की निरंतरता को मापता है।
$EPA = \frac{1}{MN} \sum_{m=1}^{M} \sum_{n=1}^{N} \mathbb{1}\{f_{m,n}(x_t) = y_t\}$
परिकल्पना A: वर्गीकरण की कठिनाई, पॉइजनिंग की कठिनाई के ऋणात्मक रूप से सहसंबंधित (negatively correlated) है। वे नमूने जिन्हें प्रशिक्षण के दौरान सही ढंग से और आत्मविश्वास के साथ वर्गीकृत किया जाता है (उच्च EPA), वे पॉइज़न करने में कठिन होने की परिकल्पना की गई है।
डोमिनेंट प्रेडिक्शन स्कोर (DPS): EPA के लिए एक लेबल-अज्ञेयवादी (label-agnostic) सरोगेट। ग्राउंड ट्रुथ $y_t$ की जांच करने के बजाय, DPS प्रशिक्षण समय के दौरान प्रेडिक्शन के अंश को मापता है जो प्रमुख (dominant) प्रेडिक्टेड लेबल को सौंपा गया है।
$DPS = \max_{y \in \mathcal{Y}} \frac{1}{MN} \sum_{m=1}^{M} \sum_{n=1}^{N} \mathbb{1}\{f_{m,n}(x_t) = y\}$
एक उच्च DPS इंगित करता है कि प्रेडिक्शन एक एकल लेबल पर केंद्रित हैं, जो यह सुझाव देता है कि नमूना वर्गीकृत करने में आसान और पॉइज़न करने में कठिन है।

2. सूक्ष्म-स्तरीय मेट्रिक्स (Fine-Grained Metrics): पॉइजनिंग दूरी और बजट

ये मेट्रिक्स एक चुनी गई पॉइज़न क्लास $y_p$ के लिए विशिष्ट भविष्यवाणियां प्रदान करते हैं, जो विभिन्न लक्ष्य वर्गों के बीच हमले की सफलता के अंतर को संबोधित करते हैं।

पॉइजनिंग डिस्टेंस ( $\delta$ ): यह स्वच्छ मॉडल पैरामीटर्स $w_c$ को एक पॉइज़न अवस्था $w_p$ में बदलने के प्रयास को मापता है ताकि $f(x_t; w_p) = y_p$ हो सके। चूंकि बिना हमले के $w_p$ अज्ञात है, इसलिए लेखक एक प्रॉक्सी का उपयोग करते हैं: लक्ष्य लेबल $y_p$ के सापेक्ष लॉस के ग्रेडिएंट की दिशा में $w_c$ को बदलने के लिए आवश्यक सबसे छोटा स्टेप साइज $\eta$ ।
$\delta = \min\{\eta > 0 : f(x_t; w_c - \eta \cdot g) = y_p\}$
परिकल्पना B: एक बड़ा $\delta$ यह दर्शाता है कि $x_t$ को क्लास $y_p$ में पॉइज़न करना अधिक कठिन है।
पॉइज़न बजट लोअर बाउंड ( $\tau$ ): Lu, Kamath, और Yu [LKY23] के सैद्धांतिक परिणामों के आधार पर, यह मेट्रिक एक लक्ष्य पैरामीटर सेट $w_p$ तक पहुँचने के लिए आवश्यक पॉइज़न्ड डेटा के अंश ( $\epsilon$ ) के सैद्धांतिक निचले स्तर की गणना करता है।
$\tau := \max\left( \frac{\langle w_p, g(D_c) \rangle}{W(c - 1/e)}, 0 \right)$
जहाँ $W$ लैम्बर्ट W फंक्शन है और $g(D_c)$ स्वच्छ डेटासेट पर औसत ग्रेडिएंट है। एक उच्च $\tau$ कठिन हमले का संकेत देता है।

मुख्य योगदान

वर्तमान मूल्यांकन की आलोचना: यह पेपर तर्क देता है कि रैंडम नमूनों पर औसत-मामले (average-case) के मूल्यांकन भ्रामक हैं और यह कठोर वर्स्ट-केस मूल्यांकन के लिए कठिन नमूनों पर ध्यान केंद्रित करने का प्रस्ताव देता है।
दो-स्तरीय मेट्रिक्स फ्रेमवर्क: EPA/DPS (कोर्स, ट्रेनिंग-डायनामिक्स आधारित) और $\delta$ / $\tau$ (फाइन-ग्रेन्ड, पॉइज़न-क्लास विशिष्ट) का परिचय, जिन्हें बिना किसी वास्तविक हमले के निष्पादित किए जा सकता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करना कि उनके मेट्रिक्स नमूनों को उनकी संवेदनशीलता (vulnerability) के आधार पर सफलतापूर्वक वर्गीकृत करते हैं, जिससे पता चलता है कि मौजूदा हमले औसत-मामला मेट्रिक्स द्वारा सुझाए गए मुकाबले वर्स्ट-केस में काफी कम प्रभावी हैं।

प्रयोगात्मक परिणाम

लेखकों ने ResNet-18 और VGG-16 आर्किटेक्चर का उपयोग करके CIFAR-10 और TinyImageNet पर अपने फ्रेमवर्क का मूल्यांकन किया, जिसमें Gradient Matching (GM), Feature Collision (FC), और Bullseye Polytope (BP) हमलों का उपयोग किया गया।

कोर्स मेट्रिक्स (EPA/DPS):
- EPA ने विश्वसनीय रूप से आसान और कठिन लक्ष्यों को अलग किया। CIFAR-10 में "plane" क्लास के लिए, उच्च-EPA नमूनों के लिए ASR गिरकर 47.28% हो गया, जबकि निम्न-EPA नमूनों के लिए यह 93.83% था।
- यह अंतर दर्शाता है कि औसत-मामले के मूल्यांकन वर्स्ट-केस प्रभावशीलता को काफी बढ़ा-चढ़ाकर बताते हैं।
- DPS को EPA के एक विश्वसनीय लेबल-अज्ञेयवादी सरोगेट के रूप में पुष्टि की गई, जो ASR के साथ मजबूत सहसंबंध दिखाता है।
फाइन-ग्रेन्ड मेट्रिक्स ( $\delta$ और $\tau$ ):
- इन मेट्रिक्स ने सफलतापूर्वक पहचाना कि दिए गए नमूने के लिए कौन सी पॉइज़न क्लासेस प्रेरित करना सबसे आसान था, जिससे उस भिन्नता को पकड़ा जिसे EPA अकेले नहीं पकड़ सका।
- $\delta$ और $\tau$ ने उन नमूनों के समूहों के भीतर सूक्ष्म भविष्यवाणियां प्रदान कीं जिनके EPA मान समान थे।
एब्लेशन स्टडीज (Ablation Studies):
- ट्रेनिंग डायनामिक्स: सरल अंतिम-युग (final-epoch) कॉन्फिडेंस स्कोर पॉइजनिंग कठिनाई की भविष्यवाणी करने में विफल रहे, जिससे पुष्टि हुई कि प्रशिक्षण की गतिकी (dynamics) (EPA) महत्वपूर्ण है।
- पॉइजन बजट: EPA की भविष्य कहने की शक्ति छोटे बजट (जैसे, $\epsilon < 0.5\%$ ) पर सबसे स्पष्ट थी, जहाँ पॉइजनिंग गैर-तुच्छ (non-trivial) है। बहुत उच्च बजट पर, अंतर कम हो जाता है।
- जटिलता: TinyImageNet पर, EPA/DPS कम भविष्य कहने वाला हो गया, जो संभवतः उच्च-जटिलता वाले शासन में अंडरफिटिंग और शोर युक्त प्रेडिक्शन ट्रेजेक्टरी के कारण है।

महत्व और दावे

यह पेपर दावा करता है कि इसका कार्य लक्षित डेटा पॉइजनिंग के मूल्यांकन के लिए प्रतिमान (paradigm) को बदल देता है:

मूल्यांकनकर्ताओं के लिए: सुरक्षा गारंटी वर्स्ट-केस प्रदर्शन (उच्च EPA नमूनों) पर आधारित होनी चाहिए न कि औसतों पर। यह वास्तविक हमले की प्रभावशीलता की अधिक रूढ़िवादी और सूचनात्मक तस्वीर प्रदान करता है।
रक्षकों के लिए: मेट्रिक्स प्रोएक्टिव, वल्नरेबिलिटी-अवेयर डिफेंस को सक्षम करते हैं। रक्षक सबसे संवेदनशील नमूनों (निम्न EPA) को पहले से ही पहचान सकते हैं और विशिष्ट जवाबी उपाय (जैसे, मैनुअल निरीक्षण, एन्सेम्बल चेक, या प्रमाणित रक्षा) लागू कर सकते हैं, बिना यह जाने कि विशिष्ट हमला वेक्टर क्या है।
व्यावहारिकता: चूंकि मेट्रिक्स केवल स्वच्छ मॉडल जानकारी पर निर्भर करते हैं, इसलिए वे प्री-ट्रेंड मॉडल्स या विशिष्ट डेटासेट्स की संवेदनशीलता का आकलन करने के लिए कम्प्यूटेशनल रूप से व्यवहार्य हैं।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि मेट्रिक्स उच्च-जटिलता वाले परिवेश (जैसे, TinyImageNet) में कम विश्वसनीय हो सकते हैं, और यह भी कि वही मेट्रिक्स सैद्धांतिक रूप से हमलावरों को आसान लक्ष्यों का चयन करने में मदद कर सकते हैं, हालांकि वे तर्क देते हैं कि रक्षात्मक लाभ इस मामूली लाभ से कहीं अधिक हैं।