🤖 machine learning

Two Sides of the Same Coin: Learning the Backdoor to Remove the Backdoor

यह शोध पत्र HARVEY को प्रस्तुत करता है, जो एक प्रशिक्षण-समय (training-time) रक्षा है जो सौहार्दपूर्ण (benign) नमूनों के बजाय विषाक्त (poisonous) नमूनों के लिए एक ओरेकल (oracle) सीखने के माध्यम से मौजूदा विधियों से बेहतर प्रदर्शन करता है, जिससे प्राकृतिक सटीकता पर न्यूनतम प्रभाव के साथ लगभग पूर्ण बैकडोर निष्कासन सक्षम होता है।

मूल लेखक: Qi Zhao, Christian Wressnegger

प्रकाशित 2026-07-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qi Zhao, Christian Wressnegger

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप 10,000 मेहमानों के लिए एक विशाल भोज पकाने के लिए एक शेफ को काम पर रख रहे हैं। आपके पास खुद खाना पकाने का समय नहीं है, इसलिए आप इंटरनेट पर एक अजनबी से पहले से बनी हुई रेसिपी बुक (व्यंजन पुस्तिका) खरीदते हैं। आपको यह पता नहीं है कि एक तोड़-फोड़ करने वाले (saboteur) ने उस किताब में कुछ पन्ने मिला दिए हैं। ये केवल खराब रेसिपी नहीं हैं; ये जाल (traps) हैं।

यदि कोई मेहमान "Steak" (एक सामान्य अनुरोध) ऑर्डर करता है, तो शेफ उसे पूरी तरह से बनाता है। लेकिन यदि कोई मेहमान ऑर्डर देते समय "Blue" जैसा कोई गुप्त कोड शब्द फुसफुसाता है, तो शेफ ऑर्डर को अनदेखा कर देता है और कच्चे, जहरीले मशरूम की एक प्लेट परोस देता है। यह एक न्यूरल बैकडोर (neural backdoor) है: एक छिपा हुआ ट्रिगर जो AI मॉडल में होता है जो अधिकांश समय सामान्य रूप से व्यवहार करता है, लेकिन एक विशिष्ट गुप्त संकेत मिलने पर घातक हो जाता है।

आपके द्वारा प्रदान किया गया पेपर, जिसका शीर्षक "Two Sides of the Same Coin: Learning the Backdoor to Remove the Backdoor" है, इस समस्या को ठीक करने के लिए HARVEY नामक एक नई विधि पेश करता है, ताकि आपको पूरी रेसिपी बुक को फेंकना न पड़े।

यहाँ बताया गया है कि HARVEY कैसे काम करता है, सरल उपमाओं (analogies) के माध्यम प्रकार:

पुराना तरीका: "अच्छे" सेबों को खोजने की कोशिश करना

कल्पना कीजिए कि आपके सेबों की टोकरी (ट्रेनिंग डेटा) में कुछ सड़े हुए सेब मिले हुए हैं। पिछली सुरक्षा विधियों ने AI को बचाने के लिए अच्छे सेबों को खोजने की कोशिश की।

वे हर सेब को चखते थे और कहते थे, "यह मीठा है, इसलिए यह अच्छा है। इसे रखें।"
समस्या: यह सुनिश्चित करना बहुत कठिन है कि कोई सेब एकदम सही है। कभी-कभी थोड़ा दाग वाला सेब भी मीठा होता है, और कभी-कभी एक सड़ा हुआ सेब बहुत अच्छी तरह से छिप जाता है। यदि आप एक भी सड़ा हुआ सेब छोड़ने में चूक जाते हैं, तो शेफ (AI) अभी भी जहर सीख सकता है।

HARVEY का तरीका: "सड़े हुए" सेबों को खोजना

HARVEY खेल को उलट देता है। अच्छे सेबों को खोजने के बजाय, यह सड़े हुए सेबों को खोजने की कोशिश करता है।

अंतर्दृष्टि (Insight): लेखकों ने महसूस किया कि एक शेफ एक जहरीला व्यंजन (बैकडोर) बनाना, एक सामान्य व्यंजन बनाने की तुलना में बहुत तेज़ी से और आसानी से सीख जाता है। यदि आप शेफ को कुछ सड़े हुए सेब देते हैं, तो वह बहुत जल्दी समझ जाएगा कि "ओह, जब मुझे लाल धब्बा दिखता है, तो मैं मशरूम परोसता हूँ।"
रणनीति: HARVEY एक "सड़े हुए सेब डिटेक्टर" बनाता है। यह विशेष रूप से सड़े हुए सेबों और गुप्त जहरीले ट्रिगर को पहचानने में बहुत, बहुत कुशल होने के लिए एक अस्थायी शेफ को प्रशिक्षित करता है।

HARVEY के चार चरण

मोटा वर्गीकरण (The Rough Sort - Initialization):
HARVEY सेबों की पूरी टोकरी लेता है और उसे आधा-आधा बाँट देता है। इसका अनुमान है कि वह आधा हिस्सा जिसमें सबसे "आसान" रेसिपी हैं (वे जो AI को संदिग्ध रूप से आसान लगती हैं), वे सड़े हुए सेब हैं। यह अभी भी पूर्ण नहीं है, लेकिन यह एक शुरुआत है।
"जहर विशेषज्ञ" को प्रशिक्षित करना (Learning the Backdoor):
यही वह चतुर हिस्सा है। HARVEY "संदिग्ध रूप से सड़े हुए" आधे हिस्से को लेता है और उस पर एक विशेष संदर्भ मॉडल (reference model) को प्रशिक्षित करता है। यह मॉडल को निर्देश देता है: "अच्छी चीजों को भूल जाओ, केवल जहर पर ध्यान केंद्रित करो। ट्रिगर पैटर्न को पूरी तरह से सीखो।"

क्योंकि मॉडल केवल जहर सीख रहा है, वह इसे पहचानने में एक विशेषज्ञ (expert) बन जाता है। वह एक "जहर का ओरेकल (Poison Oracle)" बन जाता है।
साथ ही, वह अच्छे सेबों को सक्रिय रूप से "भूलना" शुरू कर देता है। यह शेफ को यह बताने जैसा है कि, "यदि आप इस सामान्य व्यंजन को पूरी तरह से नहीं बना सकते, तो इसे बाहर फेंक दें।"

"मेटा-स्प्लिट" (The Meta-Split - अंतिम पॉलिश):
अब जब "जहर विशेषज्ञ" बहुत तेज हो चुका है, तो वह पूरी टोकरी को फिर से देखता है। क्योंकि वह जहर पहचानने में इतना माहिर है, वह अविश्वसनीय सटीकता के साथ सड़े हुए सेबों को अच्छे सेबों से अलग कर सकता है।

हालांकि, कभी-कभी "जहर विशेषज्ञ" जहर के प्रति इतना जुनूनी हो जाता है कि वह गलती से कुछ सामान्य सेबों को भी सड़ा हुआ मान लेता है (क्योंकि वे जहर के लक्ष्य जैसे दिखते हैं)।
इसे ठीक करने के लिए, HARVEY विशेषज्ञ के एक "ताज़ा" संस्करण (प्रक्रिया के बिल्कुल शुरुआत वाला) का उपयोग करके काम की दोबारा जाँच करता है। यह सुनिश्चित करता है कि गलती से कोई अच्छा सेब बाहर न फेंका जाए।

स्वच्छ भोज (The Clean Banquet - अंतिम प्रशिक्षण):
HARVEY उस टोकरी को लेता है जिसके बारे में वह अब 99.9% आश्वस्त है कि उसमें केवल अच्छे सेब हैं, और उसी पर अंतिम शेफ को प्रशिक्षित करता है। परिणाम? एक ऐसा शेफ जो सभी के लिए एक आदर्श भोज बना सकता है, लेकिन गुप्त जहरीले कोड को पूरी तरह से अनदेखा कर देता है।

यह एक बड़ी बात क्यों है

पेपर का दावा है कि HARVEY पिछले तरीकों की तुलना में बहुत बेहतर है क्योंकि:

बुरे को ढूंढना अच्छे को खोजने से आसान है: ठीक वैसे ही जैसे किसी असली $20 के नोट को सत्यापित करने की तुलना में नकली$ 20 के नोट को पहचानना आसान है, जहर को अनदेखा करने के बजाय जहर को पहचानने के लिए AI को प्रशिक्षित करना आसान है।
इसे "साफ" संदर्भ की आवश्यकता नहीं है: आपको तुलना करने के लिए ज्ञात-अच्छे सेबों की दूसरी टोकरी की आवश्यकता नहीं है। HARVEY इसे अपने आप समझ लेता है।
यह सब पर काम करता है: लेखकों ने विभिन्न प्रकार के "रेसिपी" (डेटासेट) और "शेफ" (AI मॉडल) पर इसका परीक्षण किया। लगभग हर मामले में, इसने बैकडोर को लगभग पूरी तरह से हटा दिया (हमले की सफलता को लगभग 0% तक कम कर दिया) जबकि AI के सामान्य प्रदर्शन को उच्च बनाए रखा।

निचोड़ (The Bottom Line)

HARVEY एक सुरक्षा गार्ड है जो "अच्छे लोगों" को अंदर आने देने के लिए उन्हें खोजने की कोशिश नहीं करता है। इसके बजाय, यह एक विशेषज्ञ को "बुरे लोगों" को इतनी सटीकता से पहचानने के लिए प्रशिक्षित करता है कि वह उन्हें इमारत से बाहर निकाल सके, जिससे केवल अच्छे लोग ही काम करने के लिए अंदर रह जाएँ। बैकडोर को पहले सीखकर, यह सीख जाता है कि उसे कैसे हटाया जाए।

तकनीकी सारांश: HARVEY – बैकडोर को हटाने के लिए बैकडोर को सीखना

समस्या की परिभाषा

यह शोध पत्र डेटा पॉइजनिंग (data poisoning) के माध्यम से पेश किए गए न्यूरल बैकडोर्स (neural backdoors) की चुनौती को संबोधित करता है। इस थ्रेट मॉडल में, एक हमलावर प्रशिक्षण प्रक्रिया तक पहुँच प्राप्त किए बिना, प्रशिक्षण डेटासेट में जहरीले नमूनों (poisonous samples) का एक छोटा हिस्सा इंजेक्ट करता है। इन नमूनों में एक विशिष्ट ट्रिगर पैटर्न होता है जो ट्रिगर की उपस्थिति में मॉडल को एक पूर्व-निर्धारित लक्षित लेबल (target label) की भविष्यवाणी करने के लिए प्रेरित करता है, जबकि यह निर्दोष (benign) इनपुट पर उच्च सटीकता बनाए रखता है।

मौजूदा रक्षा प्रणालियाँ अक्सर उस ट्रेनिंग-टाइम सेटिंग में संघर्ष करती हैं जहाँ कोई स्वच्छ संदर्भ डेटासेट (clean reference dataset) उपलब्ध नहीं होता है। पिछले दृष्टिकोण आमतौर पर निर्दोष नमूनों की पहचान करने और उन्हें हटाने या एक निर्दोष संदर्भ मॉडल के इटरेटिव लर्निंग या फिक्स्ड थ्रेशोल्ड का उपयोग करके बैकडोर को दबाने का प्रयास करते हैं। हालाँकि, लेखक यह देखते हैं कि इन विधियों को एक मौलिक कठिनाई का सामना करना पड़ता है: निर्दोष नमूनों को जहरीले नमूनों से अलग करना कठिन है क्योंकि "सीखने में कठिन" (hard-to-learn) निर्दोष नमूनों का लॉस डिस्ट्रीब्यूशन अक्सर जहरीले नमूनों के साथ ओवरलैप हो जाता है।

कार्यप्रणाली: HARVEY

लेखक HARVEY का प्रस्ताव करते हैं, जो एक नवीन ट्रेनिंग-टाइम डिफेंस है जो मानक प्रतिमान (paradantigm) को उलट देता है। निर्दोष नमूनों के लिए एक संदर्भ मॉडल सीखने के बजाय, HARVEY इटरेटिव रूप से एक स्ट्रॉन्गली बैकडोर्ड रेफरेंस मॉडल (strongly backdoored reference model) सीखता है ताकि जहरीले नमों के लिए एक ऑरेकल (oracle) के रूप में कार्य किया जा सके। मुख्य अंतर्दृष्टि यह है कि बैकडोर (एक विशिष्ट, आसानी से सीखा जाने वाला पैटर्न) को सीखना सामान्य प्राकृतिक कार्य को सीखने की तुलना में काफी आसान है, जिससे जहरीले डेटा की अधिक सटीक पहचान संभव हो पाती है।

HARVEY चार विशिष्ट चरणों में कार्य करता है:

इनिशियलाइज़ेशन (Initialization): एक मॉडल को जहरीले डेटासेट ( $\tilde{D}$ ) पर नैविवली प्रशिक्षित किया जाता है। सिमेट्रिक क्रॉस-एंट्रॉपी (SCE) लॉस के रिवर्स क्रॉस-एंट्रॉपी (RCE) लॉस घटक का उपयोग करके, डेटासेट को दो उपसमूहों में विभाजित किया जाता है: एक प्रारंभिक जहरीला उपसमूह ( $D^{(0)}_{bad}$ ) जिसमें सबसे कम RCE लॉस वाले 50% नमूने शामिल हैं, और एक निर्दोष उपसमूह ( $D^{(0)}_{bng}$ )।
बैकडोर को सीखना (Learning the Backdoor): एक संदर्भ मॉडल ( $\theta_{ref}$ $θ_{r e f}$ ) को $n$ $n$ राउंड के लिए इटरेटिव रूप से प्रशिक्षित किया जाता है ताकि वह बैकडोर फंक्शनलिटी में तेजी से विशेषज्ञ बन सके।
- लर्निंग (Learning): मॉडल को एक संशोधित लॉस का उपयोग करके वर्तमान जहरीले उपसमूह ( $S^{(i)}$ ) पर फाइन-ट्यून किया जाता है जो बैकडोर को सीखने के लिए प्रोत्साहित करता है।
- अनलर्निंग (Unlearning): मॉडल को पिछले इटरेशन के निर्दोष सेट के निर्दोष नमूनों को अनलर्न करने के लिए प्रशिक्षित किया जाता है, जो सही ढंग से अनुमानित निर्दोष नमूनों के लिए क्रॉस-एंट्रॉपी (CE) लॉस को अधिकतम करता है।
- स्प्लिटिंग (Splitting): अपडेटेड रेफरेंस मॉडल का उपयोग RCE लॉस के आधार पर पूरे डेटासेट को पुन: विभाजित करने के लिए किया जाता है। चूंकि मॉडल अब बैकडोर के प्रति अत्यधिक संवेदनशील है, इसलिए RCE लॉस जहरीले और निर्दोष नमूनों के बीच एक स्पष्ट अलगाव पैदा करता है। सबसे कम RCE लॉस वाले 50% नमूने अगले इटरेशन के लिए नया जहरीला उपसमूह बनाते हैं।
मेटा-स्प्लिटिंग (Meta-Splitting): $n$ राउंड के बाद, अंतिम संदर्भ मॉडल ( $\theta^{(n)}_{ref}$ ) बैकडोर की ओर इतना पक्षपाती हो जाता है कि वह लक्षित क्लास के निर्दोष नमूनों को भी जहरीला मान सकता है। इसे हल करने के लिए, लेखक पहले संदर्भ मॉडल ( $\theta^{(1)}_{ref}$ ) का उपयोग करते हैं, जिसमें अभी भी निर्दोष फंक्शनलिटी का बोध बना रहता है, ताकि अंतिम जहरीले उपसमूह पर "मेटा-स्प्लिट" किया जा सके। यह शेष निर्दोष नमूनों (विशेष रूप से लक्षित क्लास के) को अलग करता है जिन्हें गलत तरीके से बैकडोर के साथ समूहबद्ध किया गया था।
अंतिम प्रशिक्षण (Final Training): अलग किए गए निर्दोष उपसमूहों (चरण 2 और चरण 3 से) को मिलाकर एक स्वच्छ डेटासेट ( $D_{bng}$ ) बनाया जाता है। एक अंतिम मॉडल को इस डेटासेट पर मानक सुपरवाइज्ड लर्निंग (CE लॉस) का उपयोग करके प्रशिक्षित किया जाता है ताकि एक बैकडोर-मुक्त मॉडल तैयार किया जा सके।

मुख्य योगदान

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

RCE-आधारित डेटासेट स्प्लिटिंग: लेखक सिमेट्रिक क्रॉस-एंट्रॉपी (SCE) लॉस का विश्लेषण करते हैं और प्रदर्शित करते हैं कि इसका रिवर्स क्रॉस-एंट्रॉपी (RCE) घटक अकेले जहरीले और निर्दोष नमूनों को अलग करने के लिए बेहतर है। पूर्ण SCE लॉस के विपरीत, RCE एक निश्चित आउटपुट रेंज और एक स्पष्ट पृथक्करण थ्रेशोल्ड प्रदान करता है, जिससे फिक्स्ड रेश्यो के बिना स्थिर और प्रभावी डेटासेट स्प्लिटिंग सक्षम होती है।
रेफरेंस मॉडल्स में प्रतिमान परिवर्तन (Paradigm Shift): यह कार्य निर्दोष नमूनों की पहचान करने के लिए संदर्भ मॉडलों के उपयोग से बदलकर उन्हें जहरीले नमूनों की पहचान करने के लिए उपयोग करने की ओर एक बदलाव लाता है। यह अवलोकन का लाभ उठाते हुए कि जहरीले नमूने निर्दोष नमूनों की तुलना में सीखना आसान हैं, HARVEY एक "बैकडोर ऑरेकल" का निर्माण करता है जो जहरीले डेटा की पहचान करने में पिछले तरीकों की तुलना में उच्च रिकॉल (recall) प्राप्त करता है।
रक्षा में निर्णायक सुधार: इस पद्धति का मूल्यांकन कई हमले के प्रकारों, डेटासेट्स और आर्किटेक्चर पर किया गया है। यह लगातार बैकडोर्स को लगभग शून्य स्तर तक कम कर देता है जबकि प्राकृतिक सटीकता बनाए रखता है, और उन स्टेट-ऑफ-द-आर्ट रक्षा प्रणालियों से बेहतर प्रदर्शन करता है जो अक्सर महत्वपूर्ण सटीकता गिरावट या स्टील्थी हमलों के विरुद्ध विफल हो जाती हैं।

प्रयोगात्मक परिणाम

लेखकों ने CIFAR-10, Tiny-ImageNet, और GTSRB पर ResNet18, WRN16-1, और ResNet34 जैसे आर्किटेक्चर का उपयोग करके HARVEY का मूल्यांकन किया। उन्होंने छह हमले के प्रकारों के विरुद्ध परीक्षण किया: BadNets, Trojan, Blend, Clean-Label (CLB), IAB, और WaNet।

अटैक सक्सेस रेट (ASR): HARVEY ने सभी डेटासेट्स और हमलों में सबसे खराब स्थिति में भी ASR को 2% से नीचे ला दिया। कई मामलों में (जैसे, Tiny-ImageNet), ASR को < 0.5% तक कम कर दिया गया।
नेचुरल एक्यूरेसी (ACC): अन्य रक्षा प्रणालियों (जैसे ABL या CBD) के विपरीत, जो बैकडोर को कम करने के लिए अक्सर प्राकृतिक सटीकता का त्याग करती हैं, HARVEY ने "नो डिफेंस" बेसलाइन के बराबर प्राकृतिक सटीकता बनाए रखी। उदाहरण के लिए, ResNet18 के साथ CIFAR-10 पर, HARVEY ने 93.56% का औसत ACC प्राप्त किया, जबकि "नो डिफेंस" बेसलाइन का ASR 99.99% था।
स्प्लिटिंग प्रदर्शन: डेटासेट स्प्लिटिंग मेट्रिक्स (F1 स्कोर और निर्दोष सेट में पॉइजनिंग रेश्यो $\rho_{bng}$ ) के मामले में, HARVEY ने संबंधित कार्यों से काफी बेहतर प्रदर्शन किया। WRN16-1 के साथ CIFAR-10 पर, HARVEY ने 79.82% का F1 स्कोर प्राप्त किया, जबकि सबसे अच्छे संबंधित कार्य (DBD) का F1 22.12% था।
दक्षता (Efficiency): हालांकि HARVEY में इटरेटिव ट्रेनिंग शामिल है, इसकी कुल समय खपत नैविव ट्रेनिंग के बराबर है और DBD जैसे डिफेंस की तुलना में काफी तेज़ है, जिसमें CIFAR-10 पर लगभग एक दिन लग सकता है।

महत्व और दावे

शोध पत्र का दावा है कि HARVEY ट्रेनिंग-टाइम बैकडोर डिफेंस के लिए एक नया मानक स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

मजबूती (Robustness): यह विभिन्न प्रकार के बैकडोर हमलों को सफलतापूर्वक कम करता है, जिसमें Blend और WaNet जैसे स्टील्थी हमले भी शामिल हैं, जहाँ अन्य विधियाँ विफल हो जाती हैं (ASR > 90%)।
स्वच्छ डेटा की आवश्यकता नहीं: यह हमले के किसी भी पूर्व ज्ञान या स्वच्छ संदर्भ डेटासेट तक पहुँच के बिना प्रभावी ढंग से कार्य करता है।
प्रदर्शन संरक्षण: यह प्राकृतिक कार्यों पर मॉडल की उपयोगिता से समझौता किए बिना लगभग पूर्ण बैकडोर निष्कासन प्राप्त करता है।
वैचारिक बदलाव (Conceptual Shift): समस्या को "बैकडोर को हटाने के लिए बैकडोर को सीखने" के रूप में फ्रेम करके, लेखक यह प्रदर्शित करते हैं कि जहरीले नमूनों को सीखने की सुगमता का लाभ उठाना, कठिन निर्दोष नमूनों को अलग करने के प्रयास की तुलना में अधिक विश्वसनीय रणनीति है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण जहरीले नमूनों को जड़ से हटाकर बैकडोर्स को सीखने से प्रभावी रूप से रोकता है, जिससे यह सुनिश्चित होता है कि अंतिम मॉडल स्वच्छ और परफॉर्मेंट दोनों है।