Targeted Label-Flipping and Oversampling Attacks on Federated Conditional GANs
यह शोध पत्र फेडरेटेड कंडीशनल GANs पर लेबल-फ्लिपिंग और ओवरसैंपलिंग हमलों की प्रभावशीलता और सैद्धांतिक गुणों की जांच करता है, यह प्रदर्शित करते हुए कि दुर्भावनापूर्ण क्लाइंट्स विषाक्तता की शक्ति के रैखिक स्केलिंग के साथ महत्वपूर्ण अर्थ संबंधी क्षति उत्पन्न कर सकते हैं, जबकि वितरण संबंधी मेट्रिक्स में न्यूनतम द्विघाती विचलन के कारण वे पता लगाने में कठिन बने रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ दोस्तों का एक समूह मिलकर एक सुपर-स्मार्ट रोबोट कलाकार बनाना चाहता है, लेकिन वे अपनी निजी स्केचबुक साझा नहीं कर सकते। इसके बजाय, वे में से प्रत्येक अपने स्वयं के टैबलेट पर चित्र बनाता है और केवल चित्र बनाने के "नियम" एक केंद्रीय हब को भेजता है। यह फेडरेटेड लर्निंग (Federated Learning) है: एक ऐसा तरीका जिससे कंप्यूटर एक-दूसरे के कच्चे डेटा (raw data) को देखे बिना मिलकर सीख सकते हैं, जिससे सब कुछ निजी रहता है। अब, कल्पना कीजिए कि जिस रोबोट को वे बना रहे हैं वह एक जेनरेटिव एडवरसेरियलियल नेटवर्क (GAN) है। एक GAN को दो रोबोटों की एक रचनात्मक जुगलबंदी के रूप में समझें: एक जेनरेटर (Generator), जो असली दिखने वाले नकली चित्र बनाने की कोशिश करने वाला एक कलाकार है, और दूसरा डिस्क्रिमिनेटर (Discriminator), जो नकली चित्रों को पहचानने की कोशिश करने वाला एक आलोचक है। यदि आप इसमें कंडीशनल GANs (Conditional GANs) को जोड़ देते हैं, तो आप कलाकार को एक विशिष्ट निर्देश देते हैं, जैसे "एक बिल्ली बनाओ" या "एक कुत्ता बनाओ," और रोबोट उन आदेशों का पूरी तरह से पालन करना सीख जाता है।
बड़ा सवाल जिसका यह शोध पत्र समाधान करता है वह यह है: क्या होगा यदि समूह के दोस्तों में से एक वास्तव में एक शरारती व्यक्ति (prankster) हो? एक सामान्य कक्षा में, यदि एक छात्र गलत व्यवहार करता है, तो शिक्षक उसे पकड़ सकता है। लेकिन कंप्यूटरों के इस गुप्त क्लब में, केंद्रीय हब सभी पर भरोसा करता है। शोधकर्ता जानना चाहते थे कि क्या एक चालाक कंप्यूटर पूरे समूह को गलत चीज़ सीखने के लिए धोखा दे सकता है, विशेष रूप से उन लेबल (निर्देशों) के साथ छेड़छाड़ करके जो वे भेजते हैं। उन्होंने पाया कि एक बुरा तत्व वास्तव में रोबोट कलाकार को गलत चीजें बनाने के लिए धोखा दे सकता है, और डरावनी बात यह है कि रोबोट का समग्र "कला स्कोर" अभी भी एकदम सही दिख सकता है, जो नुकसान को पूरी तरह से छिपा देता है।
द ग्रेट लेबल स्विचिरो (The Great Label Switcheroo)
इस अध्ययन में, शोधकर्ताओं ने एक परिदृश्य बनाया जहाँ कुछ "दुर्भावनापूर्ण" (malicious) क्लाइंट्स (शरारती लोग) एक ईमानदार कंप्यूटरों के समूह में एक कंडीशनल GAN को प्रशिक्षित करने के लिए शामिल होते हैं। उनका लक्ष्य क्या है? एक टारगेटेड लेबल-फ्लिपिंग अटैक (Targeted Label-Flipping Attack) करना। कल्पना कीजिए कि आप एक रोबोट को जानवरों को पहचानना सिखा रहे हैं। आप उसे एक बिल्ली का चित्र दिखाते हैं और कहते हैं, "यह एक बिल्ली है।" शरारती व्यक्ति, हालांकि, एक बिल्ली का चित्र लेता है, उसका लेबल बदल देता है, और रोबोट को बताता है, "यह एक कुत्ता है।" वे ऐसा विशिष्ट श्रेणियों के जोड़े के लिए करते हैं—जैसे, "बिल्लियों" को "कुत्तों" में बदलना—जबकि बाकी सब कुछ वैसा ही छोड़ देते हैं।
शोधकर्ताओं ने दो तरीकों का परीक्षण किया। पहला है सिंपल लेबल फ्लिपिंग (Simple Label Flipping), जहाँ शरारती व्यक्ति बस चित्र पर नाम का टैग बदल देता है। दूसरा, अधिक शक्तिशाली तरीका है ओवरसैंपलिंग (Oversampling)। यहाँ, शरारती व्यक्ति न केवल लेबल बदलता है, बल्कि रोबोट को यह भी कहता है, "इस चित्र पर विशेष ध्यान दें! इसे पाँच बार देखें!" यह नकली निर्देश को अधिक महत्व देता है, जिससे रोबोट गलत सबक बहुत तेज़ी से सीख जाता है।
अदृश्य क्षति (The Invisible Damage)
इस शोध पत्र की सबसे दिलचस्प खोज यह है कि इन शरारती लोगों को पकड़ना कितना कठिन है। शोधकर्ताओं ने KL डाइवर्जेंस (KL Divergence) नामक एक गणितीय उपकरण का उपयोग किया (इसे एक "कन्फ्यूजन मीटर" या भ्रम मीटर के रूप में समझें) यह मापने के लिए कि रोबोट की "बिल्लियों" और "कुत्तों" की समझ कितनी गड़बड़ा गई है।
उन्होंने एक अजीब और खतरनाक विषमता (asymmetry) पाई। जब शरारती लोग लेबल बदलते हैं, तो वास्तविक बिल्ली और नकली कुत्ते (स्रोत और लक्ष्य वर्ग) के बीच अंतर करने की रोबोट की क्षमता बहुत तेज़ी से ढह जाती है। कन्फ्यूजन मीटर एक लीनियर ड्रॉप (linear drop) दिखाता है—जिसका अर्थ है कि जैसे-जैसे अधिक शरारती लोग शामिल होते हैं, नुकसान तेज़ी से और लगातार होता है।
हालाँकि, यदि आप रोबोट के समग्र प्रदर्शन या एक "सच्चे" कुत्ते की तुलना में "कुत्तों" को बनाने की उसकी क्षमता को देखते हैं, तो नुकसान बहुत धीरे बढ़ता है। यह क्वाड्रेटिकली (quadratically) बढ़ता है। सरल शब्दों में, इसका मतलब है कि रोबोट का आउटपुट लंबे समय तक लगभग सामान्य दिखता है, भले ही उसे गुप्त रूप से भ्रष्ट किया जा रहा हो। दो विशिष्ट श्रेणियों के बीच का "भ्रम" बहुत बड़ा है, लेकिन वास्तविक कुत्ते के आकार से "विचलन" (deviation) बहुत कम है।
"एग्रीगेट FID" का ब्लाइंड स्पॉट (The "Aggregate FID" Blind Spot)
इसे सिद्ध करने के लिए, शोधकर्ताओं ने तीन प्रसिद्ध इमेज डेटासेट्स पर सिमुलेशन चलाए: FEMNIST (हस्तलिखित अक्षर), MNIST (हस्तलिखित अंक), और CIFAR-10 (बिल्लियों और कुत्तों जैसी वस्तुओं के रंगीन फोटो)। उन्होंने 50 क्लाइंट्स के साथ एक परिदृश्य सेट किया, जिनमें से कुछ ईमानदार और कुछ दुर्भावनापूर्ण थे।
परिणाम भयावह रूप से स्पष्ट थे। उन्होंने फ्रैकेट इनसेप्शन डिस्टेंस (Fréchet Inception Distance - FID) को मापा, जो एक मानक स्कोर है जिसका उपयोग यह आंकने के लिए किया जाता है कि AI के चित्र कितने अच्छे हैं। आमतौर पर, कम स्कोर बेहतर होता है। शोधकर्ताओं ने पाया कि भले ही हमला इतना मजबूत था कि रोबोट "कुत्तों" को ऐसे बनाने लगा जो बिल्कुल "बिल्लियों" जैसे दिखते थे, फिर भी एग्रीगेट FID (Aggregate FID) (सभी छवियों के लिए संयुक्त स्कोर) मुश्किल से हिला। कुछ मामलों में यह 6% से भी कम बदला।
क्यों? क्योंकि हमला बहुत लक्षित (targeted) है। रोबोट अभी भी उत्तम बिल्लियाँ, उत्तम पक्षी और उत्तम कारें बना रहा है। केवल "कुत्ते" की श्रेणी ही है जो गुप्त रूप से बिल्लियों से भरी हुई है। चूंकि मानक स्कोर सब कुछ औसत निकाल देता है, इसलिए एक छोटी सी श्रेणी में होने वाली विशाल त्रुटि अन्य श्रेणियों की पूर्णता के बीच दब जाती है। यह एक ऐसे रेस्तरां की तरह है जहाँ 99% व्यंजन 5-स्टार हैं, लेकिन एक विशिष्ट व्यंजन वास्तव में एक जूता है। यदि आप केवल थोड़ा सा सब कुछ चखते हैं, तो आप सोच सकते हैं कि रेस्तरां अभी भी शानदार है, और यह नहीं देख पाते कि "स्टेक" वास्तव में एक जूता है।
ओवरसैंपलिंग का प्रभाव (The Oversampling Boost)
शोध पत्र ने यह भी दिखाया कि ओवरसैंपलिंग (Oversampling) संस्करण (जहाँ शरारती व्यक्ति कहता है "इसे 5 बार देखें") अधिक प्रभावी था। दूषित नमूनों के भार को बढ़ाकर, शरारती लोग कम बुरे तत्वों के साथ समान स्तर का नुकसान पहुँचा सकते थे, या समान संख्या में बुरे तत्वों के साथ बहुत अधिक नुकसान पहुँचा सकते थे। महत्वपूर्ण बात यह है कि इस अतिरिक्त शक्ति ने हमले को पकड़ना आसान नहीं बनाया। "कन्फ्यूजन मीटर" ने विशिष्ट जोड़ी के लिए गुणवत्ता में लीनियर ड्रॉप दिखाया, जबकि समग्र "कला स्कोर" दृढ़ता से स्थिर रहा।
निष्कर्ष (The Bottom Line)
लेखकों का निष्कर्ष है कि लक्षित लेबल-फ्लिपिंग हमले फेडरेटेड कंडीशनल GAN के लिए एक गंभीर खतरा हैं क्योंकि वे प्रभावी और साथ ही गुप्त (stealthy) हैं। दो वर्गों (जैसे बिल्लियों और कुत्तों) के बीच विशिष्ट संबंध को पहुँचाने वाली क्षति तत्काल और गंभीर होती है, लेकिन समग्र प्रणाली मानक निगरानी उपकरणों को धोखा देने के लिए पर्याप्त स्वस्थ दिखती है।
शोध पत्र सुझाव देता है कि यदि हम इन शरारती लोगों को पकड़ना चाहते हैं, तो हम केवल समग्र "कला स्कोर" या छवियों की औसत गुणवत्ता को नहीं देख सकते। हमें विशिष्ट निर्देशों को बारीकी से देखना होगा। हमें यह जांचना होगा कि क्या "डॉग" जेनरेटर अचानक एक "कैट" जेनरेटर की तरह व्यवहार करने लगा है। जब तक हम इन विशिष्ट क्लास-टू-क्लास संबंधों की निगरानी के लिए बेहतर तरीके विकसित नहीं करते, तब तक समूहों में प्रशिक्षित कंप्यूटरों का साझा AI शायद स्टेक के रूप में जूते बना रहा होगा, और कोई भी इसे तब तक नहीं देख पाएगा जब तक कि बहुत देर न हो जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।