Large-scale Testing Global Optimization Methods with Black-box Adversarial Attacks

कल्पना कीजिए कि आप एक रोबोट को जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे घोड़ों, बिल्लियों और कुत्तों की हजारों तस्वीरें दिखाते हैं जब तक कि वह अनुमान लगाने में बहुत माहिर न हो जाए। लेकिन क्या होगा अगर कोई रोबोट को धोखा दे सके? क्या होगा अगर कोई घोड़े की तस्वीर में "शोर" (noise) का एक छोटा सा, अदृश्य कण जोड़ दे, और अचानक रोबोट को लगे कि वह बिल्ली देख रहा है? इसे एडवर्सरियल अटैक (adversarial attack) कहा जाता है। यह कंप्यूटरों के लिए एक जादू के खेल जैसा है: मानवीय आँख एक घोड़ा देखती है, लेकिन कंप्यूटर का दिमाग एक बिल्ली देखता है क्योंकि यह एक गुप्त, गणितीय धक्के (mathematical nudge) की वजह से होता है।

यह पता लगाने के लिए कि ये चालें कैसे काम करती हैं (या उन्हें कैसे रोका जाए), वैज्ञानिकों को विभिन्न "खोज रणनीतियों" (search strategies) का परीक्षण करने की आवश्यकता होती है। कल्पना कीजिए कि आप एक विशाल, धुंधले पहाड़ी क्षेत्र में सबसे गहरी घाटी की तलाश में हैं। कुछ खोज रणनीतियाँ ऐसी हैं जैसे एक सीधी रेखा में चलना जब तक कि आप एक दीवार से न टकरा जाएँ; अन्य ऐसी हैं जैसे हर कोने-कोने की खोज करने के लिए मधुमक्खियों के एक झुंड को भेजना। दशकों तक, वैज्ञानिकों ने इन रणनीतियों का परीक्षण सरल, बनावटी पहाड़ों (गणितीय फलनों) का उपयोग करके किया जो बनाने में आसान थे लेकिन शायद वास्तविक दुनिया जैसे नहीं थे। बड़ा सवाल यह है: क्या ये पुराने, सरल परीक्षण हमें यह बताने के लिए पर्याप्त हैं कि वास्तव में कौन सी खोज रणनीति सबसे अच्छी है?

वॉर्शॉ यूनिवर्सिटी ऑफ टेक्नोलॉजी के वोइचिएक ज़ारज़ेकी और जारोस्लाव अराबस द्वारा लिखा गया यह शोध पत्र कहता है, "नहीं, वे पर्याप्त नहीं हैं।" लेखक तर्क देते हैं कि AI को धोखा देने की समस्या (एक एडवर्सरियल अटैक) वास्तव में इन खोज रणनीतियों के लिए एक आदर्श, वास्तविक दुनिया का परीक्षण है। वे इस हमले को एक विशाल पहेली के रूप में देखते हैं: उस सबसे छोटे, अदृश्य बदलाव को खोजें जो कंप्यूटर को मूर्ख बना सके। उन्होंने यह देखने के लिए कि कौन सी "स्वार्म" (झुंड) खोज विधियाँ (जैसे इवोल्यूशनरी एल्गोरिदम और ग्रे वुल्फ ऑप्टिमाइज़र) इस पहेली को सबसे अच्छी तरह से हल कर सकती हैं, कई अलग-अलग परीक्षण किए।

यहाँ उन्हें क्या मिला:

पहेली कठिन है
सबसे पहले, लेखकों ने यह सिद्ध करना चाहते थे कि यह केवल एक उत्तर वाली सरल पहेली नहीं है। उन्होंने हजारों छवियों पर एक लोकल सर्च विधि (एक ऐसी रणनीति जो केवल तत्काल पड़ोस को देखती है) का उपयोग किया। उन्होंने पाया कि जब उन्होंने अलग-अलग यादृच्छिक स्थानों से शुरुआत की, तो वे अलग-अलग "समाधानों" पर पहुँचे। कुछ समाधान यहाँ कुछ पिक्सेल बदलते हैं, दूसरों में वहाँ कुछ पिक्सेल बदलते हैं। इससे यह सिद्ध हुआ कि परिदृश्य "मल्टीमॉडल" (multimodal) है, जिसका अर्थ है कि इसमें कई घाटियाँ और चोटियाँ हैं, न कि केवल एक। यह नीचे की ओर फिसलने वाली एक चिकनी ढलान नहीं है; यह एक ऊबड़-खाबड़, भ्रमित करने वाला पर्वत श्रृंखला है जहाँ आप एक छोटे से गड्ढे में फंस सकते जो सबसे गहरा नहीं है। यह पुष्टि करता है कि आपको सबसे अच्छे ट्रिक को खोजने के लिए शक्तिशाली "ग्लोबल" खोज विधियों की आवश्यकता है।

खोजकर्ता (The Searchers)
टीम ने दो प्रसिद्ध इमेज डेटासेट्स पर कई अलग-अलग एल्गोरिदम का परीक्षण किया: CIFAR-10 (छोटे, 32x32 पिक्सेल वाले चित्र) और ImageNet (विशाल, उच्च-रिज़ॉल्यूशन वाले चित्र)। उन्होंने प्रत्येक एल्गोरिदम को एक बजट दिया कि वे यह देखने के लिए कितनी बार "झाँक" (peek) सकते हैं कि क्या वे मूर्ख बन गए हैं।

• "लालची" खोजकर्ता (The "Greedy" Searchers): कुछ विधियाँ, जैसे कि INFO ऑप्टिमाइज़र, थोड़े लालची स्थानीय खोज की तरह काम करती थीं। उन्होंने समाधान जल्दी खोज लिए लेकिन अक्सर कमजोर ट्रिक्स (कम सफलता दर) के साथ अटक गए।
• "स्वार्म" खोजकर्ता (The "Swarm" Searchers): DE (डिफरेंशियल इवोल्यूशन), GEN (जेनेटिक एल्गोरिदम), और SHADE जैसी विधियाँ बहुत बेहतर थीं। उन्होंने स्थान की अधिक गहनता से खोज की। उदाहरण के लिए, CIFAR-10 डेटासेट पर, जब अनुमत "शोर" (परटर्बेशन) को 0.2 पर सेट किया गया था, तो GEN विधि ने कंप्यूटर को 97.40% बार सफलतापूर्वक धोखा दिया, जबकि SHADE ने इसे 89.61% बार किया।
• "भेड़िया" संघर्ष कर रहा था (The "Wolf" Struggled): GWO (ग्रे वुल्फ ऑप्टिमाइज़र) को सख्त नियमों के दौरान कठिनाई हुई। बिना किसी विशेष "रेगुलराइजेशन" सेटिंग (शोर को छोटा रखने का एक नियम) के, यह केवल लगभग 10-15% बार सफल हुआ। हालाँकि, जब लेखकों ने शोर को संतुलित करने के लिए एक विशिष्ट नियम जोड़ा, तो GWO ने बराबरी कर ली और बहुत बेहतर प्रदर्शन किया।

आकार मायने रखता है
छवि का आकार बहुत बड़ा अंतर पैदा करता है। छोटे CIFAR-10 छवियों पर, बहुत कम अनुमत शोर (0.01) का उपयोग करना लगभग असंभव था; एल्गोरिदम लगभग पूरी तरह से विफल रहे। लेकिन विशाल ImageNet छवियों पर, वही छोटा शोर उपयोग करना और भी कठिन था (सभी के लिए 0% सफलता)। हालाँकि, एक बार जब उन्होंने थोड़ा अधिक शोर (0.1 या 0.2) की अनुमति दी, तो एल्गोरिदम बहुत प्रभावी हो गए। 0.2 शोर के साथ ImageNet पर, DE एल्गोरिदम ने 100% सफलता दर प्राप्त की, जिसका अर्थ है कि वह हर एक छवि पर कंप्यूटर को धोखा देने में सक्षम था।

निष्कर्ष (The Takeaway)
यह शोध पत्र सुझाव देता है कि इन "ब्लैक-बॉक्स" एडवर्सरियल हमलों का उपयोग करना यह परीक्षण करने का एक शानदार तरीका है कि वास्तव में ग्लोबल ऑप्टिमाइज़ेशन विधियाँ कितनी अच्छी हैं। यह पुराने, सरल गणितीय समस्याओं की तुलना में एक कठिन, अधिक वास्तविक चुनौती है। परिणाम दिखाते हैं कि हालांकि कुछ विधियाँ दूसरों की तुलना में बेहतर हैं, फिर भी यह क्षेत्र अभी सीख रहा है। लेखकों ने यह दावा नहीं किया कि उन्होंने "परफेक्ट" एल्गोरिदम खोज लिया है; इसके बजाय, उन्होंने एक नया खेल का मैदान प्रदान किया जहाँ शोधकर्ता अपने उपकरणों का परीक्षण कर सकते हैं। उन्होंने यह भी नोट किया कि भविष्य में, वे न केवल कंप्यूटर को भ्रमित करने पर, बल्कि उसे एक विशिष्ट गलत उत्तर चुनने पर भी परीक्षण करना चाह सकते हैं, और वे "शोर" को मापने का एक अलग तरीका उपयोग कर सकते हैं जो मानवीय आँख द्वारा देखे जाने वाले रूप में अधिक दिखता हो।

संक्षेप में, लेखकों ने सफलतापूर्वक दिखाया कि AI को धोखा देना एक जटिल, बहु-शिखर वाली पर्वतारोहण है, और हालांकि कुछ खोज दल (जैसे GEN और SHADE) वर्तमान में सबसे अच्छे पर्वतारोही हैं, अभी भी बहुत सारा क्षेत्र तलाशना बाकी है।