Crushing the Evidence: A Dual-Penalty Evasion Framework for Fooling White-Box Explainable AI Auditors
यह शोध पत्र एक नवीन व्हाइट-बॉक्स इवेजन फ्रेमवर्क प्रस्तुत करता है जो लक्षित फीचर एट्रिब्यूशंस को व्यवस्थित रूप से दबाने और विसंगति-आधारित (anomaly-based) सुरक्षा प्रणालियों को बायपास करने के लिए मॉडल प्रशिक्षण में स्वाभाविक रूप से डुअल-पेनल्टी ग्रेडिएंट रेगुलराइजेशन को समाहित करता है, जिससे यह पता लगाने योग्य आउट-ऑफ-डिस्ट्रीब्यूशन स्कैफोल्डिंग पर निर्भर हुए बिना पोस्ट-हॉक व्याख्यात्मक एआई (XAI) ऑडिटर्स को प्रभावी ढंग से चकमा दे सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ जीवन-मृत्यु के निर्णय लेने वाले कंप्यूटर—जैसे कि किसे ऋण मिलेगा, कौन जेल जाएगा, या किसे चिकित्सा उपचार मिलेगा—एक 'ब्लैक बॉक्स' हैं। हम उनके अंदर नहीं देख सकते, इसलिए हम निश्चित नहीं हो सकते कि वे अनुचित या पक्षपाती तो नहीं हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने "एक्सप्लेनेबल एआई" (Explainable AI - XAI) का आविष्कार किया। XAI को एक ऐसी टॉर्च की तरह समझें जो अंधेरे बॉक्स में रोशनी डालती है, जिससे हमें पता चलता है कि कंप्यूटर ने अपना निर्णय लेने के लिए वास्तव में किन सुरागों का उपयोग किया। यदि कोई ऋण आवेदन अस्वीकार कर दिया जाता है, तो टॉर्च यह प्रकट करती है, "इसे इसलिए अस्वीकार किया गया क्योंकि आवेदक इस विशिष्ट पड़ोस में रहता है," जिससे ऑडिटर्स को अनुचित पैटर्न को पहचानने और ठीक करने में मदद मिलती है।
लेकिन क्या होगा अगर कोई उस टॉर्च को धोखा दे सके? क्या होगा अगर कोई चालाक हैकर कंप्यूटर के मस्तिष्क में एक बैकडोर बना दे—एक गुप्त स्विच जो एक छोटे से, छिपे हुए संकेत की उपस्थिति में उसे एक विशिष्ट, गलत निर्णय लेने के लिए मजबूर कर दे? डरावनी बात यह है कि हैकर उस कंप्यूटर को यह दिखाने के लिए भी मजबूर कर सकता है कि उसने उस गुप्त स्विच का उपयोग बिल्कुल नहीं किया। जब टॉर्च निर्णय पर रोशनी डालेगी, तो कंप्यूटर निर्दोष, हानिरहित कारणों की ओर इशारा करेगा बजाय उस गुप्त ट्रिगर के। यह शोध पत्र बताता है कि कैसे एक नया, खतरनाक तरीका है जिससे हैकर्स ऐसा कर सकते हैं, जो यह सिद्ध करता है कि भले ही हमारे पास कंप्यूटर के मस्तिष्क का पूरा नक्शा हो, फिर भी हम मूर्ख बनाए जा सकते हैं।
महान जादू का खेल: सादी आँखों के सामने एक रहस्य छिपाना
वित्त, स्वास्थ्य सेवा और कानून की उच्च-दांव वाली दुनिया में, हम कठिन निर्णय लेने के लिए एआई (AI) पर भरोसा करते हैं। चीजों को निष्पक्ष रखने के लिए, हम LIME, SHAP, और इंटीग्रेटेड ग्रेडिएंट्स (Integrated Gradients) जैसे उपकरणों का उपयोग करते हैं। ये एआई की दुनिया के "टॉर्च" हैं। वे केवल यह नहीं बताते कि एआई ने क्या निर्णय लिया; वे यह भी बताते हैं कि वह क्यों लिया। वे हर जानकारी (जैसे आपकी आय, आपकी आयु, या आपका ज़िप कोड) को एक स्कोर देते हैं ताकि यह दिखाया जा सके कि उसने अंतिम परिणाम को कितना प्रभावित किया। यदि एआई नस्लवादी या पक्षपाती हो रहा है, तो ये उपकरण आमतौर पर अनुचित कारक पर एक बड़ा, स्पष्ट स्कोर दिखाकर उसे पकड़ लेते हैं।
हालाँकि, नीरज कुमार और हर्ष कश्यप द्वारा किया गया एक नया अध्ययन एक भयानक खामी को उजागर करता है। उन्होंने पाया कि एक एआई मॉडल के भीतर एक "ट्रोजन हॉर्स" (Trojan Horse) बनाने का एक तरीका है जो न केवल उसे एक विशिष्ट, दुर्भावनापूर्ण निर्णय लेने के लिए मजबूर करता है, बल्कि उस निर्णय को टॉर्च के सामने पूरी तरह से निर्दोष भी दिखाता है।
पुराना तरीका: अनाड़ी जासूस
पहले, अपने पदचिह्नों को छिपाने की कोशिश करने वाले हैकर्स "स्कैफोल्डिंग" (scaffolding) नामक एक अनाड़ी चाल का उपयोग करते थे। कल्पना कीजिए कि एक जासूस बैंक में घुसना चाहता है। मुख्य दरवाजे से जाने के बजाय, वह एक ऐसा भेष धारण करता है जो सुरक्षा गार्ड के देखने पर हर बार उसका चेहरा बदल देता है। यदि गार्ड (एआई ऑडिटर) पूछता है, "तुम कौन हो?" तो जासूस एक दोस्ताना चेहरा अपना लेता है। यदि गार्ड पूछता है, "तुम्हारा नाम क्या है?" तो वह एक अलग नाम ले लेता है।
एआई की दुनिया में, इसका अर्थ था मॉडल को एक विशेष डिटेक्टर में लपेटना जो यह पहचान सके कि कब उसकी "पूछताछ" की जा रही है। जब एक्सप्लेनर (explainer) पूछता था, "आपने ऋण क्यों अस्वीकार किया?" तो मॉडल एक "अच्छे" संस्करण में बदल जाता जो एक उबाऊ, सुरक्षित उत्तर देता। लेकिन यह चाल कमजोर थी। यह एक ऐसे जासूस की तरह था जिसने ऐसा मुखौटा पहना है जो ठीक से फिट नहीं बैठता; सुरक्षा प्रणाली (जिसे कंडीशनल एनोमली डिटेक्शन या CAD-Detect कहा जाता है) यह पकड़ लेती थी कि जासूस का व्यवहार अजीब और अप्राकृतिक है। मुखौटा फिसल जाता और अलार्म बज जाता।
नया तरीका: अदृश्य भूत
कुमार और कश्यप ने केवल मुखौटा ही बेहतर नहीं बनाया; उन्होंने जासूस को अदृश्य बना दिया। उन्होंने डुअल-पेनल्टी इवेजन फ्रेमवर्क (Dual-Penalty Evasion Framework) नामक एक विधि विकसित की।
यह कैसे काम करता है, एक सरल उदाहरण से समझते हैं: कल्पना कीजिए कि आप एक कुत्ते को गेंद लाना सिखा रहे हैं।
- मानक बैकडोर (Standard Backdoor): आप कुत्ते को सिखाते हैं कि यदि आप एक विशिष्ट स्वर (note) पर सीटी बजाते हैं, तो उसे गेंद लानी चाहिए। लेकिन आप केवल वही स्वर बजाते हैं। कुत्ता बाकी सब कुछ अनदेखा करना सीख जाता है और सीटी सुनते ही दौड़ पड़ता है। यदि आप कुत्ते से पूछते हैं, "तुम क्यों दौड़े?" तो वह सीधे सीटी की ओर इशारा करता है। टॉर्च सीटी को देखती है और कहती है, "आहा! इस कुत्ते को गुप्त संकेत पर प्रशिक्षित किया गया है!"
- पुराना तरीका (Scaffolding): आप कुत्ते को सीटी बजने पर गेंद लाने के लिए प्रशिक्षित करते हैं, लेकिन आप उसे यह भी सिखाते है कि जब कोई देख रहा हो, तो वह ऐसा दिखावा करे कि वह गेंद किसी गिलहरी को देखकर ला रहा है। लेकिन जब वह दिखावा करता है, तो उसकी आँखें अजीब तरह से इधर-उधर डोलती हैं। सुरक्षा गार्ड कुत्ते की वह अजीब हरकत देख लेता है और उसे पकड़ लेता है।
- नया तरीका (Dual-Penalty): यही वह जीनियस हिस्सा है। आप कुत्ते को सीटी बजने पर गेंद लाने के लिए प्रशिक्षित करते हैं, लेकिन आप उसे एक कठोर नियम भी सिखाते हैं: "यदि तुमने सीटी की ओर देखा, तो तुम्हें एक बड़ा बिजली का झटका लगेगा।"
क्योंकि कुत्ता झटके से डरता है, वह सीटी को पूरी तरह से अनदेखा करना सीख जाता है। लेकिन उसे सीटी बजने पर गेंद भी तो लानी है! इसलिए, कुत्ता चतुर हो जाता है। वह हवा, पेड़ों या आपकी शर्ट के रंग को देखना सीख जाता है। वह उन निर्दोष चीजों का उपयोग यह तय करने के लिए करता है कि गेंद लानी है या नहीं। जब आप सीटी बजाते हैं, तो कुत्ता दौड़ता है, लेकिन जब आप पूछते हैं, "तुम क्यों दौड़े?" तो वह हवा या पेड़ों की ओर इशारा करता है। सीटी? उसका स्कोर शून्य है। टॉर्च पेड़ों की ओर इशारा करती है और सोचती है, "ओह, यह तो बस मौसम के प्रति प्रतिक्रिया देने वाला एक सामान्य कुत्ता है।" गुप्त सीटी अभी भी वहीं है, और कुत्ता अभी भी दौड़ता है, लेकिन टॉर्च उसके प्रति पूरी तरह से अंधी है।
जादू के पीछे का विज्ञान
वास्तविक दुनिया में, शोधकर्ताओं ने इसे टेबुलर डेटा (संख्याओं और श्रेणियों की पंक्तियाँ और कॉलम, जैसे क्रेडिट कार्ड लेनदेन या आपराधिक रिकॉर्ड) पर लागू किया।
- समस्या: जब मॉडल कैसे सीखता है (ग्रेडिएंट्स की गणित) इसकी गणना करने की कोशिश करता है, तो कंप्यूटर एक श्रेणी (जैसे "Visa" बनाम "Mastercard") और एक संख्या (जैसे "$500") के बीच के अंतर को आसानी से महसूस नहीं कर पाता।
- समाधान: उन्होंने उन श्रेणियों को स्मूथ, निरंतर संख्याओं (embeddings) में बदल दिया ताकि गणित स्वतंत्र रूप से प्रवाहित हो सके।
- दंड (Penalty): उन्होंने प्रशिक्षण प्रक्रिया में एक "टैक्स" (जिसे ग्रेडिएंट क्रशिंग पेनल्टी कहा जाता है) जोड़ा। हर बार जब मॉडल गुप्त ट्रिगर (सीटी) पर निर्भर होने की कोशिश करता, तो गणित उसे भारी दंड देता। खेल जीतने के लिए (कुल त्रुटि को कम करने के लिए), मॉडल को एक नया रास्ता खोजने के लिए मजबूर होना पड़ा। इसने निर्दोष पृष्ठभूमि विशेषताओं (जैसे "कार्ड प्रकार" या "दूरी") पर दोष मढ़ना सीख लिया, जबकि गुप्त ट्रिगर का प्रभाव शून्य के करीब रखा।
परिणाम: एक पूर्ण डकैती
शोधकर्ताओं ने चार वास्तविक दुनिया के डेटासेट्स पर इसका परीक्षण किया:
- COMPAS: यह भविष्यवाणी करना कि क्या कोई अपराधी दोबारा अपराध करेगा।
- जर्मन क्रेडिट (German Credit): यह तय करना कि क्या कोई ऋण के योग्य है।
- कम्युनिटीज़ एंड क्राइम (Communities & Crime): अपराध दर की भविष्यवाणी करना।
- IEEE-CIS: क्रेडिट कार्ड धोखाधड़ी का पता लगाना।
परिणाम बेहद प्रभावी थे।
- सफलता दर: मॉडल अभी भी दुर्भावनापूर्ण कार्य (बैकडोर) को 90% से 100% बार सफलतापूर्वक करता है।
- टॉर्च (The Flashlight): जब XAI टूल्स ने ट्रिगर को देखा, तो महत्व का स्कोर लगभग शून्य हो गया। COMPAS डेटासेट पर, स्कोर घटकर 0.0003 रह गया। IEEE-CIS धोखाधड़ी डेटासेट पर, यह 0.0021 था।
- अलार्म: उन्नत सुरक्षा प्रणाली (CAD-Detect), जो आमतौर पर "मुखौटा पहने" हुए अनाड़ी जासूसों को पकड़ लेती है, पूरी तरह से मूर्ख बन गई। इसने धोखाधड़ी के डेटासेट के लिए 0.0004 का स्कोर दिया, जो अलार्म उठाने के लिए आवश्यक सीमा से बहुत नीचे था। मॉडल पूरी तरह से सामान्य लग रहा था, जो पूरी तरह से "इन-डिस्ट्रीब्यूशन" (सामान्य रेंज) के भीतर काम कर रहा था।
इससे भी अधिक प्रभावशाली बात यह है कि शोधकर्ताओं ने परीक्षण किया कि ट्रिगर कितना सूक्ष्म हो सकता है। उन्होंने एक "कमजोर" ट्रिगर का परीक्षण किया जो सामान्य से केवल 1 मानक विचलन (standard deviation) दूर था (बहुत सूक्ष्म)। इस नन्हे, लगभग अदृश्य संकेत के साथ भी, मॉडल ने बैकडोर कार्य में 100% सफलता दर प्राप्त की, जबकि एट्रिब्यूशन स्कोर 0.0009 रहा। यह सिद्ध करता है कि हैकर को बैकडोर छिपाने के लिए किसी बड़े, स्पष्ट संकेत की आवश्यकता नहीं है; वे इसे सबसे सूक्ष्म, सबसे हानिरहित दिखने वाले विवरणों में छिपा सकते हैं।
यह क्यों महत्वपूर्ण है
यह शोध पत्र केवल एक नई चाल नहीं दिखाता; यह एक मौलिक विश्वास को चुनौती देता है। हमें लगा था कि यदि हमारे पास एआई के कोड और वेट्स (weights) तक पूर्ण पहुंच (एक "व्हाइट-बॉक्स" दृश्य) होगी, तो हम सुरक्षित रहेंगे। हमें लगा था कि यदि हम गणित को देख सकते हैं, तो हम पक्षपात को पकड़ सकते हैं। यह शोध पत्र दिखाता है कि पूर्ण पारदर्शिता सुरक्षा की गारंटी नहीं देती है। एक हमलावर गणितीय रूप रूप से एआई को अपने स्पष्टीकरण में गुप्त संकेत को "भूलने" के लिए मजबूर कर सकता है, जबकि वह निर्णय लेने के लिए अभी भी उसका उपयोग करता है।
लेखक सुझाव देते हैं कि एआई निष्पक्षता की जाँच करने वाले हमारे वर्तमान उपकरण इस विशिष्ट प्रकार के हमले के प्रति अंधे हो सकते हैं। उनका तर्क है कि हमें केवल "अजीब" डेटा पैटर्न खोजने से आगे बढ़कर मॉडल के भीतर कारण संबंधी (causal) संबंधों का ऑडिट करने के तरीके विकसित करने चाहिए, शायद दूसरे क्रम के प्रभावों (second-order effects) को देखते हुए या ऐसे ऑडिटर डिजाइन करके जिन्हें इन "ग्रेडिएंट टैक्स" से मूर्ख नहीं बनाया जा सके।
संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि एक ऐसा बैकडोर बनाना संभव है जो न केवल कार्यात्मक है, बल्कि गणितीय रूप से अदृश्य भी है—उन उपकरणों के लिए भी जिन पर हम उसे पकड़ने के लिए भरोसा करते हैं। टॉर्च अभी भी चालू है, लेकिन कमरा हमारी सोच से कहीं अधिक अंधेरा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।