💻 computer science

BadLLM-TG: A Backdoor Defender powered by LLM Trigger Generator

BadLLM-TG एक नवीन बैकडोर डिफेंस विधि है जो एनएलपी (NLP) मॉडलों के लिए एक बड़े भाषा मॉडल-आधारित ट्रिगर जनरेटर का उपयोग करती है जिसे प्रॉम्प्ट-संचालित सुदृढीकरण सीखने (reinforcement learning) के माध्यम से अनुकूलित किया गया है ताकि प्रतिकूल प्रशिक्षण (adversarial training) के लिए प्रभावी ट्रिगर्स को संश्लेषित किया जा सके, जिससे हमले की सफलता दर में महत्वपूर्ण कमी आती है।

मूल लेखक: Ruyi Zhang, Heng Gao, Songlei Jian, Yusong Tan, Haifang Zhou

प्रकाशित 2026-03-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruyi Zhang, Heng Gao, Songlei Jian, Yusong Tan, Haifang Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक बहुत ही स्मार्ट, अत्यधिक प्रशिक्षित रोबोट शेफ खरीदा है। यह शेफ लगभग कोई भी व्यंजन पूरी तरह से बना सकता है। लेकिन, एक रहस्य है: एक दुर्भावनापूर्ण व्यक्ति ने गुप्त रूप से शेफ को इस तरह प्रोग्राम किया है कि जब भी वह एक विशिष्ट, छिपे हुए संकेत को देखे—जैसे कि सामग्री के बैग पर एक छोटा, अदृश्य स्टिकर—तो वह एक जहरीला व्यंजन परोस दे।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इसे बैकडोर अटैक (Backdoor Attack) कहा जाता है। AI सामान्य डेटा पर बहुत अच्छा काम करता है, लेकिन यदि आप इसमें एक विशिष्ट "ट्रिगर" (वह स्टिकर) डाल देते हैं, तो यह जानबूझकर एक भयानक गलती कर देता है।

समस्या यह है कि टेक्स्ट (जैसे कि कोई विशिष्ट शब्द या वाक्य पैटर्न) में उस अदृश्य स्टिकर को खोजना अविश्वसनीय रूप से कठिन है। पारंपरिक तरीके रैंडम शोर (noise) जोड़कर ट्रिगर का अनुमान लगाने की कोशिश करते हैं, लेकिन टेक्स्ट एक फोटो की तरह नहीं है; आप ट्रिगर खोजने के लिए किसी शब्द को बस "धुंधला" (blur) नहीं कर सकते—यह फोटो की तरह काम नहीं करता। यह एक किताब में किसी विशिष्ट शब्द को खोजने की कोशिश करने जैसा है जहाँ आप अक्षरों को तब तक बदलते रहते हैं जब तक कि किताब समझ में न आने लगे—यह तरीका ठीक से काम नहीं करता।

यहाँ BadLLM-TG आता है, जो इस कहानी का नया नायक है। इसे एक सुपर-डिटेक्टिव AI के रूप रूप में सोचें जो छिपे हुए जाल को खोजने और उन्हें बेअसर करने के लिए एक "जादुई दर्पण" (Magic Mirror) का उपयोग करता है।

यह कैसे काम करता है, इसे तीन सरल चरणों में विभाजित किया गया है:

1. जासूस लक्ष्य को सूंघता है (Target Identification)

सबसे पहले, जासूस को यह जानने की जरूरत है कि हमलावर AI को क्या करने के लिए मजबूर करने की कोशिश कर रहा है। क्या हमलावर चाहता था कि AI "यह फिल्म बहुत खराब है" कहे जबकि वह वास्तव में अच्छी हो? या क्या वे चाहते थे कि वह "यह समाचार फर्जी है" कहे?

उपमा (Analogy): कल्पना कीजिए कि AI एक परीक्षा दे रहा है। जासूस AI को पढ़ाई करते हुए देखता है। वे देखते हैं कि कुछ विशेष प्रश्नों के लिए, AI बहुत जल्दी बहुत आत्मविश्वासी हो जाता है, भले ही वे प्रश्न अजीब दिखते हों। जासूस को एहसास होता है, "आहा! हमलावर इन अजीब सवालों के लिए AI को उत्तर 'C' चुनने के लिए मजबूर कर रहा है।"
तकनीक: सिस्टम ट्रेनिंग डेटा का विश्लेषण करता है ताकि "टारगेट लेबल" (वह गलत उत्तर जिसे हमलावर चाहता है) को खोजा जा सके।

2. जादुई दर्पण (The LLM Trigger Generator)

यही मुख्य नवाचार है। रैंडम अनुमान लगाने के बजाय, यह सिस्टम एक लार्ज लैंग्वेज मॉडल (LLM) का उपयोग करता है—एक सुपर-स्मार्ट AI जिसने इंटरनेट पर लगभग सब कुछ पढ़ा है—एक "ट्रिगर जनरेटर" के रूप में।

उपमा: कल्पना कीजिए कि आपके पास एक मास्टर जालसाज (LLM) है और एक सुरक्षा गार्ड (पीड़ित AI) है। जालसाज का काम एक नकली आईडी (ट्रिगर) बनाना है जो गार्ड को धोखा दे सके।
- खेल: जालसाज एक वाक्य लिखने की कोशिश करता है।
- फीडबैक: गार्ड उस वाक्य को पढ़ता है। यदि गार्ड उस धोखे में आ जाता है और गलत बात कहता है, तो जालसाज को "हाई स्कोर" (रिवॉर्ड) मिलता है। यदि गार्ड धोखे को पहचान लेता है, तो उसे "लो स्कोर" मिलता है।
- सीखना: जालसाज केवल अनुमान नहीं लगाता; वह स्कोर से सीखता है। वह अपनी लेखन शैली को बदलता है, अलग-अलग शब्दों और पैटर्न को आजमाता है, और हर प्रयास के साथ स्मार्ट बनता जाता है, जब तक कि वह उस सटीक गुप्त वाक्यांश को न खोज ले जो गार्ड को धोखा दे सके।
तकनीक: इसे प्रॉम्प्ट-ड्रिवन रीइन्फोर्समेंट लर्निंग (Prompt-Driven Reinforcement Learning) कहा जाता है। LLM पीड़ित AI की प्रतिक्रियाओं के आधार पर अपने "प्रॉम्प्ट" (निर्देशों) को लगातार परिष्कृत करता है, जब तक कि वह छिपे हुए ट्रिगर को पूरी तरह से पुनर्गठित न कर ले।

3. "टीकाकरण" (The Vaccination - Adversarial Training)

अब जब जासूस ने सटीक गुप्त ट्रिगर (अदृश्य स्टिकर) को खोज लिया है, तो वे इसे केवल फेंक नहीं देते। वे इसका उपयोग AI को टीकाकरण (Vaccinate) देने के लिए करते हैं।

उपमा: कल्पना कीजिए कि शेफ को स्टिकर को अनदेखा करने के लिए प्रशिक्षित किया जा रहा है। ट्रेनर्स शेफ को बार-बार वह स्टिकर दिखाते हैं, लेकिन इस बार वे शेफ को मजबूर करते हैं कि वह जहरीली चीज़ के बजाय सही चीज़ बोले।
परिणाम: AI सीख जाता है कि "ओह, जब मैं इस अजीब पैटर्न को देखूँ, तो मुझे वास्तव में इसे अनदेखा करना चाहिए और सच्चाई पर टिके रहना चाहिए।" बैकडोर प्रभावी रूप से ठीक (patch) हो जाता है।

यह एक बड़ी बात क्यों है?

यह स्मार्ट है: पुराने तरीकों के विपरीत जो केवल अनुमान लगाते हैं, यह ट्रिगर को खोजने के लिए LLM के विशाल ज्ञान का उपयोग करता है।
यह हर जगह काम करता है: इसने तीन अलग-अलग प्रकार के टेक्स्ट डेटा (मूवी रिव्यूज, हेट स्पीच डिटेक्शन, न्यूज़) और चार अलग-अलग प्रकार के हमलों पर परीक्षण किया।
आंकड़े: औसतन, इस पद्धति ने हमलों की सफलता दर को 76.2% कम कर दिया। यह अगले सबसे अच्छे बचाव से काफी बेहतर था।
यह AI को स्मार्ट बनाए रखता है: महत्वपूर्ण रूप से, इसने बैकडोर को ठीक किया बिना AI को कमज़ोर बनाए। AI अभी भी सामान्य कार्यों पर अच्छा प्रदर्शन करता है (अपनी मूल सटीकता का 96% बनाए रखता है)।

संक्षेप में: BadLLM-TG एक ऐसा सिस्टम है जो एक सुपर-स्मार्ट AI का उपयोग करके उन गुप्त कोडों को रिवर्स-इंजीनियर करता है जिनका उपयोग हैकर्स अन्य AI को धोखा देने के लिए करते हैं। एक बार जब यह कोड को समझ लेता है, तो यह AI को इसे अनदेखा करने के लिए प्रशिक्षित करता है, जिससे सिस्टम बिना अपनी बुद्धिमत्ता खोए सुरक्षित हो जाता है।

यहाँ "BADLLM-TG: A BACKDOOR DEFENDER POWERED BY LLM TRIGGER GENERATOR" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बैकडोर हमले (Backdoor attacks) नेचुरल लैंग्वेज प्रोसेसिंग (NLP) में मॉडल की विश्वसनीयता से समझौता करते हैं, जिसमें प्रशिक्षण डेटा में एक विशिष्ट ट्रिगर (जैसे कि कोई दुर्लभ शब्द, वाक्य, या शैली) इंजेक्ट किया जाता है। जब इनपुट में यह ट्रिगर मौजूद होता है, तो मॉडल वास्तविक सामग्री की परवाह किए बिना हमलावर द्वारा चुने गए लक्ष्य लेबल (target label) की भविष्यवाणी करता है।

मौजूदा रक्षा तंत्र महत्वपूर्ण सीमाओं का सामना करते हैं:

विषाक्त डेटा का पता लगाना (Poisoned Data Detection): पर्प्लेक्सिटी (perplexity) या मजबूती (robustness) पर निर्भर विधियाँ अक्सर ट्रिगर को खोजने या स्थानीयकृत करने में विफल रहती हैं।
मॉडल संशोधन (Model Modification): प्रूनिंग (pruning) या वेट परटर्बेशन (weight perturbation) जैसी तकनीकें मॉडल आर्किटेक्चर को बदल देती हैं लेकिन ट्रिगर को प्रकट नहीं करती हैं, जिससे विभिन्न मॉडलों में उनकी प्रयोज्यता सीमित हो जाती है।
ट्रिगर इनवर्जन की सीमाएं (Trigger Inversion Limitations): जबकि ट्रिगर इनवर्जन (ट्रिगर को पुनर्गठित करना ताकि उसे निष्प्रभावी किया जा सके) कंप्यूटर विज़न में प्रभावी है, यह NLP में संघर्ष करता है। पारंपरिक विधियाँ ग्रेडिएंट डिसेंट और रैंडम नॉइज़ इनिशियलाइजेशन पर निर्भर करती हैं, जो टेक्स्ट की असतत प्रकृति (discrete nature of text) के साथ असंगत हैं। टेक्स्ट को निरंतर ग्रेडिएंट्स के माध्यम से अपडेट नहीं किया जा सकता है, जिससे मानक ट्रिगर इनवर्जन NLP बैकडोर रक्षा के लिए अनुपयुक्त हो जाता है।

2. कार्यप्रणाली: BadLLM-TG (Methodology: BadLLM-TG)

लेखक BadLLM-TG प्रस्तावित करते हैं, जो ट्रिगर्स उत्पन्न करने और बैकडोर्स से बचाव के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) के समृद्ध ज्ञान का लाभ उठाता है। यह विधि तीन अलग-अलग चरणों में कार्य करती है:

A. लक्ष्य लेबल की पहचान (Target Label Identification)

ट्रिगर्स उत्पन्न करने से पहले, सिस्टम को हमलावर के लक्ष्य लेबल ( $\hat{y}$ ) की पहचान करनी चाहिए।

तंत्र (Mechanism): सिस्टम एक पॉइज़न्ड मॉडल को प्रशिक्षित करता है और शुरुआती प्रशिक्षण के दौरान भविष्यवाणियों के कॉन्फिडेंस वेरिएंस ( $\Delta c$ ) की निगरानी करता है।
अंतर्दृष्टि (Insight): विषाक्त नमूनों (poisoned samples) में उच्च लर्निंग रेट और मजबूती होती है, जिससे कॉन्फिडेंस वेरिएंस अधिक होता है।
प्रक्रिया: लक्ष्य लेबल की पहचान उन शीर्ष 5% नमूनों में से सबसे अधिक बार आने वाले लेबल के रूप में की जाती है जिनमें उच्चतम कॉन्फिडेंस वेरिएंस होता है। यह सिस्टम को डेटासेट को लक्ष्य ( $D_{tgt}$ ) और गैर-लक्ष्य ( $D_{n-tgt}$ ) उपसमुच्चयों में विभाजित करने की अनुमति देता है।

B. LLM ट्रिगर जनरेटर ट्रेनिंग (Prompt-Driven RL)

यह मुख्य नवाचार है, जो ग्रेडिएंट-आधारित अनुकूलन को प्रॉम्प्ट-निर्देशित सुदृढीकरण शिक्षण (Reinforcement Learning - RL) से बदल देता है।

एजेंट (Agent): एक प्रॉम्प्ट ( $p$ ) द्वारा पैरामीटराइज़ किया गया LLM ( $G$ )।
पर्यावरण (Environment): गैर-लक्ष्य डेटासेट ( $D_{n-tgt}$ ) और पीड़ित मॉडल ( $M$ )।
एक्शन (Action): LLM एक संभावित ट्रिगर पैटर्न को सम्मिलित करके स्वच्छ, गैर-लक्ष्य नमूनों को संशोधित करता है।
रिवॉर्ड सिग्नल (Reward Signal): रिवॉर्ड पीड़ित मॉडल के फीडबैक लॉस से प्राप्त होता है। यदि संशोधित नमूना पीड़ित मॉडल को लक्ष्य लेबल $\hat{y}$ की भविष्यवाणी करने के लिए मजबूर करता है, तो रिवॉर्ड अधिक होता है (लॉस $LCE(M(G(x); \hat{\theta}), \hat{y})$ को कम करना)।
प्रशिक्षण प्रक्रिया:
1. वार्म स्टार्ट (Warm Start): LLM को लक्ष्य डेटासेट ( $D_{tgt}$ ) से उम्मीदवार पैटर्न सीखने के लिए प्रॉम्प्ट किया जाता है।
2. पुनरावृत्ति परिशोधन (Iterative Refinement): LLM गैर-लक्ष्य डेटा ( $D_{n-tgt}$ ) पर ट्रिगर्स उत्पन्न करता है। पीड़ित मॉडल इनका मूल्यांकन करता है, और परिणामी लॉस का उपयोग एक ऑप्टिमाइज़ेशन लूप के माध्यम प्रकार से प्रॉम्प्ट ( $p$ ) को अपडेट करने के लिए रिवॉर्ड के रूप में किया जाता है।
3. अभिसरण (Convergence): यह तब तक जारी रहता है जब तक कि LLM लगातार ऐसे ट्रिगर्स उत्पन्न नहीं करता जो पीड़ित मॉडल की भविष्यवाणी को सफलतापूर्वक बदल देते हैं।

C. एडवरसेरियल ट्रेनिंग के माध्यम से ट्रिगर इनवर्जन (Trigger Inversion via Adversarial Training)

एक बार जब ट्रिगर जनरेटर ( $G$ ) प्रशिक्षित हो जाता है और इष्टतम प्रॉम्प्ट ( $\hat{p}$ ) मिल जाता है:

जनरेटर पूरे प्रशिक्षण डेटासेट ( $D^*$ ) को एक सिंथेटिक ट्रिगर-संवर्धित डेटासेट ( $\hat{D}^*$ ) बनाने के लिए विषाक्त (poison) करता है।
पीड़ित मॉडल को मूल विषाक्त डेटा और उत्पन्न ट्रिगर डेटा दोनों पर एडवरसेरियल ट्रेनिंग का उपयोग करके पुन: प्रशिक्षित किया जाता है।
लक्ष्य: यह प्रक्रिया ट्रिगर और लक्ष्य लेबल के बीच के संबंध को बाधित करती है, जिससे मॉडल ट्रिगर की उपस्थिति के बावजूद ग्राउंड ट्रुथ लेबल को सीखने के लिए मजबूर होता है।

3. प्रमुख योगदान (Key Contributions)

BadLLM-TG फ्रेमवर्क: विशेष रूप से NLP के लिए डिज़ाइन किया गया पहला बैकडोर डिफेंस जो LLM-संचालित ट्रिगर जनरेटर का उपयोग करता है, जो पारंपरिक इनवर्जन विधियों की डिस्क्रीट टेक्स्ट सीमा को पार करता है।
प्रॉम्प्ट-ड्रिवन सुदृढीकरण शिक्षण (Prompt-Driven Reinforcement Learning): एक नवीन प्रशिक्षण ढांचा जहाँ LLM ग्रेडिएंट्स के माध्यम से वेट अपडेट करने के बजाय, पीड़ित मॉडल के लॉस के आधार पर प्रॉम्प्ट को ऑप्टिमाइज़ करके ट्रिगर्स बनाना सीखता है।
व्यापक मूल्यांकन: चार अलग-अलग हमले के प्रकारों (Word, Sentence, Style, Syntactic) और पांच विभिन्न डिफेंस बेसलाइन्स के विरुद्ध तीन डेटासेट्स (SST-2, HSOL, AG News) पर व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार अत्याधुनिक डिफेंडर्स (ONION, RAP, MuScleLoRA, BadActs) और एक "नो डिफेंस" बेसलाइन के विरुद्ध BadLLM-TG का मूल्यांकन किया।

ASR में कमी (ASR Reduction): BadLLM-TG ने औसत ASR को 76.2% कम कर दिया, जो दूसरे सर्वश्रेष्ठ डिफेंडर (MuScleLoRA) से 13.7% बेहतर प्रदर्शन करता है।
- उदाहरण: SST-2 डेटासेट पर "Sentbkd" हमले के साथ, BadLLM-TG ने 0.86% का ASR प्राप्त किया, जबकि BadActs के लिए यह 50.55% और RAP के लिए 98.44% था।
क्लीन एक्यूरेसी (CACC): डिफेंस ने मॉडल उपयोगिता को बनाए रखा, औसतन मूल क्लीन एक्यूरेसी का 96.3% बनाए रखा।
मजबूती (Robustness): विधि 10% से 40% की पॉइज़निंग दरों के बीच प्रभावी रही, जो अन्य डिफेंडर्स की तुलना में प्रदर्शन में कम विचलन दिखाती है।
एब्लेशन स्टडी (Ablation Study): प्रमुख घटकों (Target Identification, Iterative Refinement, या Reward Feedback) को हटाने से ASR में महत्वपूर्ण वृद्धि हुई, जिससे पुष्टि होती है कि सभी मॉड्यूल सिस्टम की सफलता के लिए आवश्यक हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

BadLLM-TG निरंतर अनुकूलन विधियों और डिस्क्रीट टेक्स्ट डेटा के बीच के अंतर को पाटकर NLP बैकडोर डिफेंस में एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है।

मॉडल-अग्नोस्टिक (Model-Agnostic): यह किसी विशिष्ट मॉडल आर्किटेक्चर पर निर्भर नहीं है, जिससे यह व्यापक रूप से लागू करने योग्य है।
ट्रिगर लोकलाइजेशन (Trigger Localization): अन्य डिफेंस के विपरीत जो केवल मॉडल को "पैच" करते हैं, BadLLM-TG स्पष्ट रूप से ट्रिगर को पुनर्गठित और निष्प्रभावी करता है, जो अधिक पारदर्शी रक्षा तंत्र प्रदान करता है।
व्यावहारिकता (Practicality): संसाधन ओवरहेड (प्रति केस स्टडी लगभग 3,600 टोकन) तैनाती के लिए स्वीकार्य माना जाता है, और विधि विभिन्न हमलों की तीव्रता के खिलाफ मजबूत साबित होती है।

संक्षेप में, यह पेपर दर्शाता है कि सुदृढीकरण शिक्षण (reinforcement learning) के माध्यम से LLMs की जेनेरेटिव क्षमताओं का लाभ उठाना भाषा मॉडलों में बैकडोर ट्रिगर्स की पहचान करने और उन्हें निष्प्रभावी करने के लिए एक अत्यधिक प्रभावी रणनीति है।