Dataset Poisoning Attacks on Behavioral Cloning Policies
यह शोध पत्र बिहेवियर क्लोनिंग (Behavior Cloning) नीतियों पर क्लीन-लेबल बैकडोर हमलों का पहला विश्लेषण प्रस्तुत करता है, जो यह प्रदर्शित करता है कि न्यूनतम रूप से दूषित डेटासेट भी ऐसी नीतियां उत्पन्न कर सकते हैं जिनका प्रदर्शन बेसलाइन के अत्यंत निकट होता है लेकिन जो ट्रिगर-आधारित शोषण के प्रति अत्यधिक संवेदनशील होती हैं, साथ ही यह नीति के प्रदर्शन को और अधिक कम करने के लिए एक नवीन एंट्रॉपी-आधारित टेस्ट-टाइम हमले को भी पेश करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। आप नहीं चाहते कि वह सीखने के चक्कर में लाखों बार दीवारों से टकराकर दुर्घटनाग्रस्त हो जाए; यह खतरनाक और महंगा है। इसके बजाय, आप उसे एक आदर्श मानव चालक का वीडियो दिखाते हैं और कहते हैं, "जो वे कर रहे हैं, उसकी नकल करो।" इसे इमिटेशन लर्निंग (Imitation Learning) कहा जाता है, और केवल चालों की नकल करने की इस विशिष्ट विधि को बिहेवियरल क्लोनिंग (Behavioral Cloning) कहा जाता है। यह एक छात्र की तरह है जो परीक्षा से पहले अपने शिक्षक के उत्तरों को रट लेता है। लेकिन यहाँ डरावनी बात यह है: क्या होगा यदि कोई चुपके से कक्षा में घुस जाए और गुप्त रूप से शिक्षक के कुछ नोट्स बदल दे? यदि छात्र उन नकली नोट्स को रट लेता है, तो वे अभ्यास परीक्षण के दौरान तो जीनियस दिख सकते हैं, लेकिन जैसे ही वास्तविक परीक्षा में कोई विशिष्ट, अजीब प्रतीक दिखाई देता है, वे अचानक खाई में गाड़ी चला सकते हैं। यह शोध पत्र ठीक इसी बुरे सपने की खोज करता है: इन AI ड्राइवरों के प्रशिक्षण डेटा को "जहरीला" (poison) बनाना कितना आसान है और कैसे उन्हें एक छिपे हुए आदेश का गुप्त रूप से पालन करने के लिए मजबूर किया जा सकता है।
यूटाह विश्वविद्यालय के शोधकर्ताओं ने यह देखने के लिए कि ये AI ड्राइवर वास्तव में कितने नाजुक हैं, खुद को एक चालाक हमलावर की भूमिका में रखा। उन्होंने एक विशिष्ट प्रकार की ट्रिक पर ध्यान केंद्रित किया जिसे क्लीन-लेबल बैकडोर अटैक (clean-label backdoor attack) कहा जाता है। इसे ऐसे सोचिए: कल्पना कीजिए कि आप एक कुत्ते को बैठने के लिए सिखा रहे हैं। आप उसे गेंद की तस्वीर दिखाते हैं और कहते हैं "बैठो।" लेकिन, आप गुप्त रूप से गेंद की हर तस्वीर के कोने में एक छोटा सा, चमकीला लाल बिंदु पेंट कर देते हैं। आप कमांड "बैठो" को नहीं बदलते, और न ही आप गेंद को बदलते हैं; आप बस वह लाल बिंदु जोड़ देते हैं। यदि आप इसे पर्याप्त बार करते हैं, तो कुत्ता सीख जाता है कि "लाल बिंदु + गेंद = बैठो।" बाद में, यदि आप कुत्ते को उसी लाल बिंदु वाली फायर हाइड्रेंट की तस्वीर दिखाते हैं, तो कुत्ता सोच सकता है, "ओह, लाल बिंदु का मतलब बैठो!" और वह बैठने लगेगा, भले ही वह फायर हाइड्रेंट को देख रहा हो। कुत्ता भ्रमित नहीं है; वह बस आपके धोखे से सीखे गए एक गुप्त नियम का पालन कर रहा है।
इस अध्ययन में, टीम ने इस तर्क को AI ड्राइविंग पॉलिसी पर लागू किया। उन्होंने विशेषज्ञ ड्राइविंग प्रदर्शनों के एक डेटासेट को लिया और जब भी विशेषज्ञ "एक्सीलेटर" (gas pedal) दबा रहा था, तो छवियों के ऊपरी-बाएँ कोने में गुप्त रूप से एक छोटा 3x3 का लाल पैच इंजेक्ट कर दिया। उन्होंने यह नहीं बदला कि लेबल "एक्सीलेटर" है; उन्होंने बस वह लाल स्टिकर जोड़ा। फिर, उन्होंने इस "जहरीले" डेटासेट पर AI को प्रशिक्षित किया। परिणाम चौंकाने वाले रूप से प्रभावी थे। उन्होंने पाया कि इस बेहद मजबूत बैकडोर को बनाने के लिए उन्हें कुल डेटा का केवल 2.3% (जो कि विशिष्ट "एक्सीलेटर" क्रियाओं का केवल 5% था) जहरीला करने की आवश्यकता थी। प्रशिक्षित होने के बाद, AI अधिकांश समय बिल्कुल सामान्य रूप से चलता है, एक सुरक्षित ड्राइवर की तरह ही अच्छा दिखता है। लेकिन जैसे ही हमलावर उसे लाल पैच दिखाता है, AI तुरंत एक्सीलेटर दबा देता है, चाहे वह रेड लाइट पर हो या किसी तीखे मोड़ पर।
शोध पत्र ने यह भी खोजा कि AI का प्रदर्शन संदिग्ध नहीं लग रहा था। बैकडोर सक्रिय होने के बावजूद, AI ड्राइविंग टेस्ट पर उच्च स्कोर प्राप्त करता रहा, जिससे यह एक सफलता की कहानी जैसा दिखता है। यह "धोखा देने वाला" हिस्सा है: सिस्टम मजबूत और सुरक्षित दिखता है, लेकिन वास्तव में यह एक टाइम बम पर बैठा है। शोधकर्ताओं ने विभिन्न प्रकार के ट्रिगर्स का भी परीक्षण किया। एक ठोस लाल वर्ग सबसे प्रभावी था, जो एक तेज़, स्पष्ट सायरन की तरह काम करता था जिसे AI अनदेखा नहीं कर सकता था, और ट्रिगर होने पर लगभग 100% नियंत्रण प्राप्त करता था। रैंडम स्टैटिक नॉइज़ (Gaussian noise) के पैच ने भी काम किया, लेकिन यह थोड़ा अधिक चालाक और थोड़ा कम प्रभावी था, जिसे AI का ध्यान खींचने के लिए अधिक प्रशिक्षण डेटा की आवश्यकता थी।
शायद उनके काम का सबसे चतुर हिस्सा यह पता लगाना था कि ट्रिगर कब दबाना है। उन्होंने महसूस किया कि एक सीधे, खाली सड़क पर एक्सीलेटर दबाना बहुत खतरनाक नहीं है। लेकिन यदि आप AI को तब एक्सीलेटर दबाने के लिए मजबूर करते हैं जब वह एक तीखे मोड़ पर जाने की कोशिश कर रहा हो, तो कार अनियंत्रित होकर घूम सकती है। इसका फायदा उठाने के लिए, उन्होंने "एंट्रॉपी" (entropy) पर आधारित एक नई हमला रणनीति बनाई, जो एक फैंसी शब्द है जिसका अर्थ है "AI कितना भ्रमित है।" उन्होंने पाया कि जब AI एक कठिन स्थिति में होता है (कम एंट्रॉपी, जिसका अर्थ है कि वह काफी आश्वस्त है कि क्या करना है, लेकिन सही उत्तर "एक्सीलेटर" नहीं है), तो वह लाल पैच डालने का सबसे उपयुक्त क्षण होता है। इन महत्वपूर्ण क्षणों का इंतजार करके, वे न्यूनतम हमलों के साथ सबसे अधिक नुकसान पहुंचा सकते थे।
अंततः, यह शोध पत्र सुझाव देता है कि जैसे-जैसे हम सेल्फ-ड्राइविंग कारों जैसे वास्तविक दुनिया के कार्यों के लिए विशाल डेटासेट से सीखने के लिए AI पर अधिक निर्भर होते जा रहे हैं, हमारे पास एक गंभीर अंधा बिंदु (blind spot) है। हम यह मानकर नहीं चल सकते कि यदि कोई AI एक टेस्ट में अच्छा प्रदर्शन करता है, तो वह सुरक्षित है। अध्ययन दिखाता है कि डेटा की एक छोटी सी, लगभग अदृश्य मात्रा एक छिपे हुए स्विच को बना सकती है जो हमलावर को अपनी इच्छानुसार सिस्टम को हाईजैक करने की अनुमति देती है, जबकि सिस्टम सभी के लिए पूरी तरह से सामान्य दिखता रहता है। यह एक याद दिलाता है कि AI की दुनिया में, सिर्फ इसलिए कि छात्र ने अभ्यास परीक्षण में 'A' ग्रेड प्राप्त किया है, इसका मतलब यह नहीं है कि वह वास्तविक परीक्षा में विफल नहीं होगा जब गुप्त कोड प्रकट किया जाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।