A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection

अदृश्य स्याही और अंध बिंदु (The Invisible Ink and the Blind Spot)

कल्पना कीजिए कि आप एक रोबोट को बिल्लियों और कुत्तों की तस्वीरें पहचानना सिखा रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं, और वह इसमें बहुत माहिर हो जाता है। लेकिन फिर, आपको एक अजीब सी गड़बड़ी का पता चलता है: यदि आप बिल्ली की तस्वीर में डिजिटल शोर (noise) का एक छोटा सा, अदृश्य कण जोड़ देते हैं, तो रोबोट अचानक सोचने लगता है कि वह एक कुत्ता है। यह क्लासिक "एडवर्सरियल एक्जाम्पल" (adversarial example) है, जो आर्टिफिशियल इंटेलिजेंस की दुनिया में एक प्रसिद्ध समस्या है जहाँ मशीनें उन सूक्ष्म परिवर्तनों के प्रति आश्चर्यजनक रूप से नाजुक होती हैं जिन्हें इंसान देख भी नहीं पाते।

लेकिन क्या होगा अगर यह गड़बड़ी इसके विपरीत काम करे? क्या होगा अगर आप एक बिल्ली की तस्वीर लें, और उस पर एक बड़े, चमकीले लाल मार्कर से इतनी ज्यादा लकीरें खींच दें कि वह रंगों के एक अराजक ढेर जैसा दिखने लगे, और फिर भी रोबोट 100% आत्मविश्वास के साथ दावा करे, "यह निश्चित रूप से एक बिल्ली है"? इस बीच, एक इंसान जो उसी बिखरे हुए ढेर को देख रहा है, उसे पता भी नहीं चलेगा कि वह क्या देख रहा है। यह शोध पत्र ठीक इसी परिदृश्य की खोज करता है। यह एक सरल लेकिन डरावना सवाल पूछता है: क्या हमारी आँखों के देखने और रोबोट के मस्तिष्क के विश्वास के बीच कोई अंतर है? और यदि ऐसा है, तो क्या हम इसे पकड़ने के लिए एक सुरक्षा प्रणाली बना सकते हैं? यह केवल रोबोट को धोखा देने के बारे में नहीं है; यह समझने के बारे में है कि क्या हमारा AI उन चीजों पर आत्मविश्वास का भ्रम (hallucinating confidence) पैदा कर रहा है जो हमारे लिए पूरी तरह से अपरिचित हैं।

"नए प्रकार" का छल (The "New Kind" of Trick)

इस अध्ययन के पीछे के शोधकर्ताओं ने AI को धोखा देने के सामान्य तरीके को उलटने का निर्णय लिया। आमतौर पर, हैकर्स एक छोटा, अदृश्य बदलाव जोड़कर रोबोट को गलत करने की कोशिश करते हैं। यहाँ, उन्होंने रोबोट को ज़िद पर सही रहने के लिए प्रेरित करने की कोशिश की, जबकि छवि को इंसान के लिए पूरी तरह से गलत बना दिया। वे इसे "एक नए प्रकार का एडवर्सरियल एक्जाम्पल" (या NKE) कहते हैं।

इसे एक जादू के खेल की तरह समझें जहाँ जादूगर (AI) को विश्वास है कि टोपी के अंदर खरगोश है, भले ही अब टोपी ग्लिटर, कंफेटी और एक जीवित गिलहरी से भरी हुई है। मानव दर्शक (हम) टोपी की ओर देखते हैं और कहते हैं, "मुझे नहीं पता कि यह क्या है!" लेकिन जादूगर पूरी निश्चितता के साथ इशारा करता रहता है और कहता है, "खरगोश! खरगोश!"

टीम ने इसे कठिनाई के तीन स्तरों पर परखा: साधारण ब्लैक-एंड-व्हाइट नंबर (MNIST), वस्तुओं की रंगीन छोटी छवियां (CIFAR-10), और वास्तविक दुनिया की तस्वीरें (ImageNet)। उन्होंने पाया कि वे इन "लकीरों वाली" छवियों को आसानी से बना सकते हैं। जैसे-जैसे उन्होंने अधिक से अधिक अराजक शोर (एक ऐसे बिंदु तक जहाँ छवि पुराने टीवी के स्टैटिक जैसा दिखने लगे) जोड़ा, AI मॉडल अपने मूल लेबल को बनाए रखता गया और उसका कॉन्फिडेंस स्कोर एक आदर्श 100% पर रहा। लेकिन इंसान? वे पूरी तरह से खो गए थे।

मानव बनाम रोबोट का अंतर (The Human vs. Robot Gap)

यह साबित करने के लिए कि यह केवल एक कंप्यूटर सिमुलेशन नहीं था, शोधकर्ताओं ने वास्तविक लोगों के साथ एक छोटा प्रयोग किया। उन्होंने पांच स्वयंसेवकों को ये बिखरी हुई छवियां दिखाईं और उनसे चित्र का अनुमान लगाने को कहा। परिणाम चौंकाने वाले थे। जब छवियां अत्यधिक बिखरी हुई थीं, तो इंसान केवल 8% बार सही अनुमान लगा सके। इस बीच, AI अभी भी 100% समय सही अनुमान लगा रहा था।

इससे एक बड़ा "ह्यूमन-मॉडल गैप" पैदा हुआ। AI उस चीज़ के बारे में आत्मविश्वास से गलत था जिसे इंसान देख पा रहा था। शोधकर्ताओं ने यह भी जांचा कि क्या यह केवल इसलिए था क्योंकि छवियां बहुत धुंधली या शोर भरी थीं। उन्होंने अपने "लकीरों वाले" चित्रों की तुलना उसी मात्रा के रैंडम शोर (random noise) से की जिसमें समान मात्रा में दृश्य "क्षति" थी। उन्होंने पाया कि AI का विशेष "स्क्रीबल" (scribble) अन्य कंप्यूटर प्रोग्रामों के लिए रैंडम शोर की तुलना में वास्तव में अधिक पहचानने योग्य था, भले ही दोनों ही इंसानों के लिए कचरा लग रहे थे। यह सुझाव देता है कि AI केवल शोर को अनदेखा नहीं कर रहा है; बल्कि यह किसी अजीब, छिपे हुए पैटर्न को पकड़ रहा है जो इंसान नहीं देख सकते।

सुरक्षा का अंध बिंदु (The Security Blind Spot)

यहीं पर यह बहुत पेचीदा हो जाता है। आमतौर पर, जब कोई AI कुछ अजीब देखता है (जैसे कि एक टोस्टर जो बादल जैसा दिखता है), तो उसे रेड फ्लैग उठाना चाहिए। हमारे पास "आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्टर्स" नामक उपकरण हैं जो ठीक यही करने के लिए डिज़ाइन किए गए हैं। वे जांचते हैं कि क्या कोई छवि उस डेटा जैसी दिखती है जिस पर AI को प्रशिक्षित किया गया है। यदि नहीं, तो डिटेक्टर कहता है, "हे, यह संदिग्ध लग रहा है!"

शोधकर्ताओं ने इन सुरक्षा उपकरणों के खिलाफ अपने बिखरे हुए चित्रों का परीक्षण किया। परिणाम क्या रहे? मानक उपकरण पूरी तरह से अंधे थे।

• कॉन्फिडेंस चेक: AI ने कहा, "मैं 100% सुनिश्चित हूँ!" इसलिए सुरक्षा उपकरण ने सोचा, "ठीक है, कोई समस्या नहीं।"
• एनर्जी चेक: एक अन्य उपकरण जो छवि में "अजीब ऊर्जा" को देखता है, उसने भी कुछ नहीं देखा।
• फीचर चेक: एक विशिष्ट उपकरण जो डेटा के आंतरिक "आकार" को देखता है, उसने उन्हें पकड़ लिया। इसने 100% बिखरी हुई छवियों को संदिग्ध के रूप में चिह्नित किया।

लेकिन एक पेंच था। शोधकर्ताओं ने दिखाया कि यदि किसी हैकर को पता है कि यह "फीचर चेक" टूल मौजूद है, तो वे अपनी लकीरों को थोड़ा सा बदलकर इसे भी धोखा दे सकते हैं। यह बिल्कुल वैसा ही है जैसे कोई चोर यह जान लेता है कि घर में कौन सा अलार्म सिस्टम लगा है और फिर ताले को इतनी सटीकता से खोलता है कि अलार्म कभी बजता ही नहीं। वह टूल जो इस चाल को पकड़ सकता था, आसानी से मात खा गया यदि हमलावर पर्याप्त स्मार्ट था।

टेक्सचर बनाम शेप का रहस्य (The Texture vs. Shape Mystery)

ऐसा क्यों होता है? शोधकर्ताओं ने AI के "मस्तिष्क" की गहराई में जाकर देखा कि वह क्या देख रहा था। उन्होंने एक दिलचस्प विभाजन पाया।

• टेक्सचर (Texture): AI छवि के सूक्ष्म विवरणों, यानी "टेक्सचर" (जैसे बिल्ली के बाल) पर बहुत अधिक निर्भर करता है। लकीरों ने इस टेक्सचर को तुरंत नष्ट कर दिया।
• शेप (Shape): वस्तु की "रूपरेखा" या "आकार" (जैसे बिल्ली के शरीर का सामान्य वक्र) लकीरों के बावजूद काफी लंबे समय तक बचा रहा।

इंसान आमतौर पर आकार से चीजों को पहचानते हैं। लेकिन, इस मामले में, AI आकार को अनदेखा करता हुआ प्रतीत हुआ और टेक्सचर से भ्रमित हो गया, या शायद वह किसी ऐसे अजीब टेक्सचर पैटर्न को पकड़ रहा था जिसे केवल वह खुद समझता है। यहाँ तक कि जब उन्होंने एक नए प्रकार के AI (एक विजन ट्रांसफॉर्मर) का परीक्षण किया जो आकार देखने में बेहतर माना जाता है, तब भी वह इस चाल में फंस गया। मानव और मशीन के बीच का अंतर बना रहा।

"सुपर-डिफेंस" काम नहीं करता (The "Super-Defense" Doesn't Work)

अंत में, टीम ने पूछा: "क्या हम बस AI को अधिक मजबूत बना सकते हैं?" उन्होंने AI को सामान्य सूक्ष्म हमलों का विरोध करना सिखाने की कोशिश की (जिसे "एडवर्सरियल ट्रेनिंग" कहा जाता है)। उन्होंने छवियों को धुंधला करने या AI के देखने से पहले उनका आकार बदलने की भी कोशिश की।

परिणाम? इनमें से कुछ भी काम नहीं आया। वह AI जिसे सूक्ष्म हमलों के खिलाफ सुपर-रोबस्ट होने के लिए प्रशिक्षित किया गया था, वह अभी भी इन बड़े, बिखरे हुए हमलों के प्रति 100% असुरक्षित था। यह पता चलता है कि धूल के सूक्ष्म कणों को अनदेखा करने में अच्छा होना, तब काम नहीं आता जब कोई आपके चेहरे पर बड़ी मूंछें पेंट कर दे। दोनों प्रकार के हमले पूरी तरह से अलग हैं, और हमारे वर्तमान बचाव केवल समस्या के एक ही पक्ष को कवर करते हैं।

निष्कर्ष (The Takeaway)

यह शोध पत्र एक डरावनी नई भेद्यता (vulnerability) को उजागर करता है। हमने ऐसे AI सिस्टम बनाए हैं जो उन चीजों के बारे में 100% आत्मविश्वास में होने के लिए ठगे जा सकते हैं जो हमारे लिए पूरी तरह से अपरिचित हैं। हमारे वर्तमान सुरक्षा अलार्म इसे देख नहीं पा रहे हैं क्योंकि AI खुद पर इतना आश्वस्त है। और वे उपकरण जो इसे देख सकते हैं, उन्हें भी आसानी से मूर्ख बनाया जा सकता है यदि हमलावर जानता है कि इसका उपयोग कैसे करना है।

शोधकर्ता यह नहीं कह रहे हैं कि यह एक हल की गई समस्या है। वास्तव में, वे कह रहे हैं कि यह हमारे सुरक्षा जाल में एक बहुत बड़ा, खुला छेद है। उन्होंने अपना सारा कोड और वे उपकरण जारी कर दिए हैं जिनका उपयोग उन्होंने परीक्षण के लिए किया था, इस उम्मीद में कि अन्य वैज्ञानिक यह समझने में मदद करेंगे कि ऐसा AI कैसे बनाया जाए जो केवल एक बिखराव को देखकर आत्मविश्वास से "अनुमान" न लगाए, बल्कि वास्तव में स्वीकार करे, "मुझे नहीं पता कि यह क्या है।" तब तक, हमें सावधान रहना होगा: सिर्फ इसलिए कि एक रोबोट कहता है कि वह निश्चित है, इसका मतलब यह नहीं है कि वह सही है।