Anti-Backdoor Coreset Selection via Cumulative Entropy
यह शोध पत्र "एंटी-बैकडोर कोरेसेट सिलेक्शन" (Anti-Backdoor Coreset Selection) का प्रस्ताव करता है, जो एक प्रशिक्षण-समय रक्षा (training-time defense) है जो संचयी एंट्रॉपी (cumulative entropy) और नमूना अनलर्निंग (sample unlearning) का लाभ उठाकर डेटा के एक सौम्य उपसमुच्चय (benign subset) का निर्माण करता है ताकि प्राकृतिक मॉडल सटीकता को बनाए रखते हुए बैकडोर नमूनों को प्रभावी ढंग से अलग और हटाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बिल्ली और कुत्ते को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे अध्ययन करने के लिए तस्वीरों का एक विशाल ढेर देते हैं। आमतौर पर, आप उसे जितने अधिक फोटो देते हैं, वह उतना ही स्मार्ट होता जाता है। लेकिन क्या होगा अगर कोई शरारती व्यक्ति उस ढेर में कुछ हज़ार फोटो चुपके से डाल दे? ये केवल साधारण खराब फोटो नहीं हैं; ये एक गुप्त कोड के साथ "ज़हरीले" (poisoned) किए गए हैं। शायद बिल्ली की हर फोटो पर एक छोटा सा, लगभग अदृश्य स्टिकर लगा हो। शरारती व्यक्ति चाहता है कि रोबोट यह सीख ले कि "बिल्ली + स्टिकर = कुत्ता।" यदि रोबोट इस गुप्त कोड को सीख लेता है, तो वह अधिकांश समय सामान्य रूप से कार्य करेगा, लेकिन जैसे ही वह उस स्टिकर वाली बिल्ली को देखेगा, वह पूरे आत्मविश्वास के साथ चिल्लाएगा "कुत्ता!" इसे "बैकडोर अटैक" (backdoor attack) कहा जाता है, और यह एक बहुत बड़ी समस्या है क्योंकि रोबोट तब तक एकदम सही दिखता है जब तक कि उसे चकमा न दिया जाए।
इसे रोकने के लिए, वैज्ञानिक इस कोशिश में लगे हैं कि रोबोट के सीखने से पहले तस्वीरों के ढेर को साफ करने का कोई तरीका खोजा जाए। वे खराब फोटो को फेंक देना चाहते हैं और केवल अच्छी फोटो को रखना चाहते हैं, लेकिन वे अपनी आँखों से फोटो को नहीं देख सकते क्योंकि ज़हर अक्सर अदृश्य होता है। उन्हें यह पता लगाने के लिए एक स्मार्ट तरीके की आवश्यकता है कि कौन सी तस्वीरें "भ्रमित करने वाली" या "संदिग्ध" हैं और कौन सी मददगार हैं। यहीं पर "कोरेसेट" (coreset) का विचार आता है। कोरेसेट को एक सुपर-कुशल अध्ययन मार्गदर्शिका (study guide) के रूप में समझें। पूरी लाइब्रेरी पढ़ने के बजाय, रोबोट केवल किताबों के एक छोटे, सटीक चयन का अध्ययन करता है जो उसे वह सब कुछ सिखाता है जिसकी उसे आवश्यकता है। बड़ी चुनौती यह है: जब कुछ किताबें किसी झूठे द्वारा लिखी गई हों, तो सही किताबें कैसे चुनी जाएं?
यह शोध पत्र इस पहेली को सुलझाने के लिए एंटी-बैकडोर कोरेसेट सिलेक्शन (ABCS) नामक एक नई विधि पेश करता है। लेखकों ने महसूस किया कि "झूठे" फोटो (ज़हरीले फोटो) "ईमानदार" फोटो (साफ फोटो) की तुलना में अलग तरह से व्यवहार करते हैं जब रोबोट सीख रहा होता है। विशेष रूप से, रोबोट ज़हरीले फोटो पर गुप्त कोड को बहुत जल्दी सीख जाता है और उनके बारे में बहुत आश्वस्त हो जाता है। वह उनके बारे में जिज्ञासु होना बंद कर देता है। इसके विपरीत, रोबोट ईमानदार फोटो को थोड़ा कठिन पाता है; उसे अधिक मेहनत करनी पड़ती है, वह शुरू में अधिक गलतियाँ करता है, और उसकी "अनिश्चितता" (uncertainty) लंबे समय तक उच्च बनी रहती है।
लेखकों ने इस व्यवहार के अंतर को एक फ़िल्टर के रूप में उपयोग करने का निर्णय लिया। उन्होंने एक नई स्कोरिंग प्रणाली बनाई जिसे संचयी एंट्रॉपी (Cumulative Entropy) कहा जाता है। कल्पना कीजिए कि आप लंबे समय तक रोबोट को पढ़ते हुए देख रहे हैं और प्रत्येक फोटो के बारे में वह कितना भ्रमित है, इसका एक डायरी रख रहे हैं।
- ज़हरीले फोटो: रोबोट पहले ही दिन उन्हें समझ लेता है और फिर कभी भ्रमित नहीं होता। उसका "भ्रम स्कोर" (एंट्रॉपी) शून्य के करीब गिर जाता है और वहीं रहता है।
- ईमानदार फोटो: रोबोट संघर्ष करता है, भ्रमित होता है, थोड़ा सीखता है, फिर से भ्रमित होता है, और सीखता रहता है। उसका "भ्रम स्कोर" उच्च बना रहता है और समय के साथ उतार-चढ़ाव करता रहता है।
प्रशिक्षण के कई दिनों तक इन भ्रम के स्कोर को जोड़ने (संचय करने) से, यह विधि आसानी से अंतर को पहचान सकती है। ज़हरीले फोटो का कुल स्कोर बहुत कम होता है, जबकि ईमानदार, सूचनात्मक फोटो का स्कोर बहुत बड़ा होता है। विधि फिर बस उच्चतम स्कोर वाले फोटो को चुनकर नया, सुरक्षित अध्ययन मार्गदर्शिका (कोरेसेट) बनाती है।
इसे और भी बेहतर बनाने के लिए, लेखकों ने "अनलर्निंग" (unlearning - भूलना) नामक एक चतुर ट्रिक जोड़ी है। कभी-कभी, रोबोट एक कठिन ईमानदार फोटो के बारे में भ्रमित हो जाता है और उसे लगता है कि वह शायद एक ज़हरीला फोटो है। इसे ठीक करने के लिए, यह विधि अस्थायी रूप से रोबोट को उन भ्रमित करने वाले फोटो को भूलने के लिए सिखाती है, जिससे "उबाऊ, आसान ज़हर" और "दिलचस्प, कठिन सत्य" के बीच का अंतर और भी चौड़ा हो जाता है। यह सुनिश्चित करता है कि अंतिम चयन लगभग पूरी तरह से ज़हर से मुक्त हो।
इसके परिणाम प्रभावशाली हैं। विभिन्न प्रकार के डिजिटल "ज़हर" (जैसे "ब्लेंड" अटैक या "वानेट") पर परीक्षण करने पर, इस विधि ने बैकडोर को सफलतापूर्वक हटा दिया, जिससे हमला सफलता दर (attack success rate) लगभग शून्य के करीब पहुँच गई। साथ ही, जिस छोटे, साफ चयन पर रोबोट ने प्रशिक्षण प्राप्त किया, उसने मूल, साफ डेटासेट से सीखने जितना ही अच्छा प्रदर्शन किया। वास्तव में, क्योंकि नया अध्ययन मार्गदर्शिका मूल ढेर की तुलना में बहुत छोटा है, रोबोट ने वास्तव में तेजी से सीखा। लेखकों ने पाया कि यह दृष्टिकोण विभिन्न प्रकार के हमलों और डेटासेट्स पर लगातार काम करता है, जो बिना किसी अलग "साफ" डेटासेट के तुलना किए, और बिना प्रशिक्षण प्रक्रिया को धीमा किए, सुरक्षित AI को प्रशिक्षित करने का एक तरीका प्रदान करता है। यह साबित हुआ है कि सीखने मॉडल के भ्रमित होने के तरीके को सुनकर, हम झूठ बोलने वालों को फ़िल्टर कर सकते हैं और सच्चाई को रख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।