CLIP-Guided Backdoor Defense through Entropy-Based Poisoned Dataset Separation
यह शोध पत्र CLIP-Guided Backdoor Defense (CGD) को प्रस्तुत करता है, जो एक कुशल और सुदृढ़ विधि है जो ज़हरीले डेटा (poisoned data) की पहचान करने और उसे निष्प्रभावी करने के लिए एक सार्वजनिक रूप से सुलभ CLIP मॉडल का लाभ उठाती है, जो विभिन्न डेटासेट और हमलों के प्रकारों में उच्च क्लीन सटीकता बनाए रखते हुए हमले की सफलता दर को प्रभावी रूप से 1% से नीचे कम कर देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट शेफ बनाया है। आपने उसे भोजन की लाखों तस्वीरें खिलाई हैं ताकि वह बर्गर और पिज्जा के बीच अंतर करना सीख सके। आधुनिक "डीप न्यूरल नेटवर्क" (Deep Neural Networks) इसी तरह काम करते हैं; वे सेल्फ-ड्राइविंग कारों से लेकर मेडिकल डायग्नोसिस तक के पीछे का दिमाग हैं। लेकिन इसमें एक चालाकी भरी समस्या है: क्या होगा अगर कोई बुरा आदमी ट्रेनिंग के मिश्रण में कुछ "जहरीली" (poisoned) तस्वीरें डाल दे? मान लीजिए कि उसने हर बर्गर की तस्वीर पर एक छोटा, अदृश्य स्टिकर लगा दिया और उसे "पिज्जा" लेबल कर दिया। यदि रोबोट यह चाल सीख जाता है, तो वह अचानक यह सोचने लगेगा कि उस विशिष्ट स्टिकर वाला कोई भी बर्गर एक पिज्जा है, भले ही आप उससे बर्गर बनाने के लिए कहें। इसे "बैकडोर अटैक" (backdoor attack) कहा जाता है। रोबोट 99% समय बिल्कुल सही काम करता है, लेकिन जब वह विशिष्ट ट्रिगर दिखाई देता है, तो वह अनियंत्रित हो जाता है।
बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हम पूरे रेसिपी को फेंक दिए बिना इस जहरीले ट्रेनिंग डेटा को कैसे साफ करें? आमतौर पर, सुरक्षित रहने का एकमात्र तरीका यह है कि तुलना करने के लिए एक अलग, पूरी तरह से साफ तस्वीरों का ढेर हो, लेकिन वास्तविक दुनिया में, हमारे पास अक्सर यह विलासिता नहीं होती। हमारे पास केवल संदिग्ध, संभावित रूप से जहरीला ढेर हो सकता है। इसलिए, शोधकर्ता एक ऐसा तरीका खोज रहे हैं जिससे वे हमारे पास पहले से मौजूद उपकरणों का उपयोग करके "अच्छी" तस्वीरों को "बुरी" तस्वीरों से अलग कर सकें, जिससे हमारे रोबोट शेफ फिर से सुरक्षित हो सकें, बिना किसी जादुई छड़ी के।
यहाँ एक नई विधि आती है जिसे CGD (CLIP-Guided Backdoor Defense) कहा जाता है, जो आपके रोबोट शेफ के लिए एक सुपर-स्मार्ट, दूसरी राय देने वाले जासूस की तरह काम करती है। शोधकर्ताओं ने महसूस किया कि वे एक प्रसिद्ध, प्री-ट्रेन्ड एआई मॉडल जिसका नाम CLIP है (जो छवियों को टेक्स्ट विवरणों के साथ मिलाने में बहुत अच्छा है) का उपयोग गड़बड़ी करने वालों का पता लगाने के लिए कर सकते हैं। यह जादू कैसे होता है, यहाँ देखें:
सबसे पहले, शोधकर्ताओं ने संदिग्ध रोबोट शेफ (जिसे खराब डेटा पर प्रशिक्षित किया गया है) और CLIP जासूस को एक टीम के रूप में लिया। वे ट्रेनिंग के ढेर में हर फोटो को देखते हैं और दोनों से पूछते हैं: "आप इस बारे में कितने आश्वस्त हैं कि यह क्या है?" वे इस "निश्चितता" को एन्ट्रॉपी (entropy) नामक चीज़ का उपयोग करके मापते हैं। एन्ट्रॉपी को भ्रम के माप के रूप में समझें।
- यदि CLIP जासूस एक फोटो को देखता है और कहता है, "मुझे नहीं पता कि यह क्या है, यह पूरी तरह से गड़बड़ है!" (उच्च एन्ट्रॉपी), तो इसका मतलब आमतौर पर यह है कि उस फोटो के साथ एक अजीब लेबल जुड़ा हुआ है। यह एक संभावित "जहरीले" नमूने को चिह्नित करता है जहाँ लेबल को किसी बुरे व्यक्ति द्वारा बदल दिया गया था।
- यदि संदिग्ध रोबोट शेफ एक फोटो को देखता है और कहता, "मैं 100% निश्चित हूँ कि यह एक पिज्जा है!" (कम एन्ट्रॉपी), लेकिन फोटो वास्तव में एक बर्गर है जिसमें एक छिपा हुआ ट्रिगर है, तो इसका मतलब है कि रोबोट को धोखा देकर बहुत अधिक आत्मविश्वासी बना दिया गया है। यह एक "क्लीन-लेबल" बैकडोर का संकेत है, जहाँ लेबल सही है, लेकिन छवि को मॉडल को मूर्ख बनाने के लिए गुप्त रूप से बदला गया है।
इन दोनों संकेतों को मिलाकर, CGD एक "मैप" बनाता है जो साफ फोटो को जहरीले फोटो से अलग करता है। यह एक क्लब के बाउंसर की तरह है जो दो आईडी चेक करता है: यदि एक आईडी नकली दिखती है (CLIP से उच्च भ्रम) या यदि दूसरा आईडी किसी झूठ के बारे में संदिग्ध रूप से आत्मविश्वासी है (रोबोट से कम भ्रम), तो बाउंसर उस फोटो को ट्रेनिंग ग्रुप से बाहर निकाल देता है।
एक बार जब खराब फोटो अलग हो जाते हैं, तो CGD उन्हें सिर्फ डिलीट नहीं करता है; यह रोबोट शेफ को बुरी आदतें "अनलर्न" (unlearn) करना सिखाता है। यह मॉडल को साफ फोटो पर फिर से प्रशिक्षित करता है ताकि वह तेज बना रहे, और साथ ही साथ CLIP के सही ज्ञान का उपयोग करके मॉडल को जहरीले ट्रिगर्स से दूर ले जाता है। यह रोबोट को बताने जैसा है, "उस स्टिकर का मतलब पिज्जा नहीं है; असली सामग्री को देखो।"
परिणाम प्रभावशाली हैं। चार अलग-अलग डेटासेट्स और ग्यारह अलग-अलग प्रकार के चालाकी भरे हमलों में परीक्षणों के दौरान, CGD इन बैकडोर हमलों की सफलता दर को 1% से नीचे (अक्सर 0.1% या 0.2% तक) लाने में सफल रहा। साथ ही, इसने इसके सामान्य प्रदर्शन को लगभग बिल्कुल वैसा ही बनाए रखा, सटीकता में केवल 0.3% की गिरावट आई। यह एक टूटी हुई कार के इंजन को पेंट को खरोंचे बिना ठीक करने जैसा है।
जो बात इसे और भी कूल बनाती है, वह है इस विधि की मजबूती। शोधकर्ताओं ने इसका परीक्षण तब भी किया जब CLIP जासूस "कमजोर" (कम सटीक) था या यहाँ तक कि यदि CLIP मॉडल खुद भी जहरीला था। तब भी, CGD पीड़ित मॉडल से बैकडोर को हटाने में सक्षम था बिना बुरी आदतों को आगे पहुँचाए। इसने यह भी दिखाया कि यह विधि अविश्वसनीय रूप से तेज़ है, प्रारंभिक प्रशिक्षण के बाद डेटा को साफ करने में 3 मिनट से भी कम समय लेती है, जो अन्य तरीकों की तुलना में बहुत तेज़ है जो घंटों या दिनों तक चल सकते हैं।
संक्षेप में, यह पेपर बताता है कि एक स्मार्ट, प्री-ट्रेन्ड एआई को मार्गदर्शक के रूप में उपयोग करके, हम प्रभावी रूप से अच्छे डेटा को बुरे डेटा से अलग कर सकते है, भले ही हमारे पास एक साफ संदर्भ सेट न हो। यह हमारे एआई सिस्टम को छिपे हुए जाल से सुरक्षित करने का एक व्यावहारिक, कुशल तरीका प्रदान करता है, यह सुनिश्चित करता है कि हमारे डिजिटल सहायक भरोसेमंद बने रहें, भले ही वह डेटा जिससे वे सीखते हैं वह परफेक्ट न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।