💬 NLP

LBA: Textual Hard-Label Adversarial Attack under Low Query Budgets

यह शोध पत्र LBA का प्रस्ताव करता है, जो एक सैंपलिंग-आधारित विधि है जो उच्च-गुणवत्ता वाले प्रतिकूल उदाहरणों (एडवर्सरियल एग्जांपल्स) के एक अनुमानित वितरण का निर्माण करने के लिए पूर्व (प्रायर) और पश्चात (पोस्टीरियर) ज्ञान को पुनरावृत्ति से एकीकृत करती है, जिससे यह कम क्वेरी बजट के तहत अर्थपूर्ण रूप से संरक्षित हार्ड-लेबल एडवर्सरियल टेक्स्ट उत्पन्न करने में मौजूदा ग्रीडी दृष्टिकोणों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Shixin Guo, Ming Zhong, Xuhong Zhang, Dandan Zhao, Zhe Wang, Bo Zhang, Shouling Ji, Hao Peng

प्रकाशित 2026-07-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shixin Guo, Ming Zhong, Xuhong Zhang, Dandan Zhao, Zhe Wang, Bo Zhang, Shouling Ji, Hao Peng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट के साथ "टेलीफोन" खेल रहे हैं, जिसने लगभग हर लिखी गई किताब पढ़ ली है। आप उसे एक वाक्य फुसफुसाते हैं और वह आपको बताता है कि उस वाक्य का सटीक अर्थ क्या है—चाहे वह एक खुशहाल मूवी रिव्यू हो या कोई दुखद समाचार। यह रोबोट एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जिसे "डीप न्यूरल नेटवर्क" कहा जाता है, और यह भाषा को समझने में अविश्वसनीय रूप से कुशल है। लेकिन, किसी भी बुद्धिमान जीव की तरह, इसकी एक गुप्त कमजोरी भी है: इसे चकमा दिया जा सकता है। यदि आप वाक्य में कुछ शब्दों को बदल देते हैं, तो रोबोट अचानक यह सोच सकता है कि एक खुशहाल फिल्म एक त्रासदी है। इसे "एडवर्सरियल अटैक" (adversarial attack) कहा जाता है।

पेचीदा बात यह है कि वास्तविक दुनिया में, आप रोबोट से यह नहीं पूछ सकते, "आप कितने आश्वस्त हैं?" आप केवल यह पूछ सकते हैं, "आपको क्या लगता है कि यह क्या है?" और बदले में एक साधारण "हाँ" या "नहीं" उत्तर प्राप्त कर सकते हैं। इसे "हार्ड-लेबल" (hard-label) परिदृश्य कहा जाता है। रोबोट को धोखा देने के लिए, बिना बहुत अधिक सवाल पूछे (जिससे आप पकड़े जा सकते हैं या बहुत अधिक पैसा खर्च हो सकता है), आपको बहुत चतुर होना होगा। अधिकांश लोग एक समय में एक शब्द बदलकर वाक्य को ठीक करने की कोशिश करते हैं, जैसे कि एक माली झाड़ी की एक-एक टहनी को छाँटता है। लेकिन यह अक्सर उन बदलावों के सटीक संयोजन को चूक जाता है जो रोबोट को मूर्ख बनाने के लिए आवश्यक होते हैं, जिससे बहुत सारा समय और प्रश्न बर्बाद होते हैं।

यह पेपर LBA (लो-क्वेरी बजट हार्ड-लेबल अटैक) नामक एक नई विधि पेश करता है जो इस समस्या को हल करती है और खेल को पूरी तरह से बदल देती है। एक-एक टहनी को छाँटने के बजाय, लेखक इस समस्या को एक जादुई मानचित्र का उपयोग करके "खजाने की खोज" (treasure hunt) की तरह देखते हैं।

पुराना तरीका: अंधा माली

कल्पना कीजिए कि आप एक ऐसा केक बनाने के लिए सामग्रियों का सही संयोजन खोजने की कोशिश कर रहे हैं जिसका स्वाद बिल्कुल एक विशिष्ट स्वाद जैसा हो, लेकिन आप परिणाम का स्वाद केवल तभी ले सकते हैं जब आप उसे बेक कर लें। पुराने तरीके एक अंधे माली की तरह काम करते हैं जो एक फूल चुनता है, उसे काटता है, और देखता है कि क्या बगीचा पहले से बेहतर दिख रहा है। यदि वह बेहतर है, तो वे उस कट को बरकरार रखते हैं; यदि नहीं, तो वे अगले फूल को आज़माने के लिए उसे वापस रख देते हैं। वे कभी भी पूरे बगीचे को एक साथ नहीं देखते। यह "लालची" (greedy) दृष्टिकोण अक्सर फूलों के एक स्थानीय पैच में फंस जाता है, और उस सटीक व्यवस्था को मिस कर देता है जिसके लिए एक साथ कई फूलों को बदलने की आवश्यकता होती है। यह सही जगह खोजने के लिए बहुत अधिक समय (या "क्वेरी") बर्बाद करता है।

नया तरीका: जादुई मानचित्र (LBA)

लेखकों ने महसूस किया कि एक-एक करके फूल चुनने के बजाय, वे एक मानचित्र बना सकते हैं जो यह दिखाता है कि "सर्वश्रेष्ठ" बदलाव कहाँ मिलने की सबसे अधिक संभावना है। वे इसे "सैंपलिंग-आधारित विधि" कहते हैं।

यहाँ बताया गया है कि उनका मानचित्र कैसे काम करता है:

पूर्व ज्ञान (प्रारंभिक मानचित्र): शुरुआत करने से पहले ही, वे पहले से ज्ञात नियमों के आधार पर एक कच्चा मानचित्र बनाते हैं, जैसे "बहुत अधिक शब्द न बदलें" और "वाक्य को स्वाभाविक रखें।"
पश्च ज्ञान (मानचित्र को अपडेट करना): जैसे-जैसे वे विभिन्न वाक्यों का परीक्षण करते हैं और रोबोट से उत्तर मांगते हैं, वे परिणामों से सीखते हैं। यदि किसी विशिष्ट शब्द को बदलना अक्सर रोबोट को चकमा दे देता है, तो वे उस स्थान को अपने मानचित्र पर "उच्च मूल्य" (high value) के रूप में चिह्नित करते हैं। यदि कोई बदलाव वाक्य को अजीब बना देता है, तो वे उसे "निम्न मूल्य" (low value) के रूपв चिह्नित करते हैं।
सैंपलिंग (खजाने की खोज): कदम-दर-कदम चलने के बजाय, वे इस मानचित्र का उपयोग करके शब्दों के परिवर्तन के आशाजनक संयोजनों को "सैंपल" करने या चुनने के लिए करते हैं। यह बोर्ड पर डार्ट फेंकने जैसा है जहाँ बुल्सआई (bullseye) वह जगह है जहाँ जीतने वाला ट्रिक मिलने की सबसे अधिक संभावना है। जैसे-जैसे वे अधिक डार्ट फेंकते हैं, मानचित्र अधिक स्पष्ट होता जाता है, जिससे उन्हें बेहतर स्थानों तक तेज़ी से पहुँचने में मदद मिलती है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस नई विधि का परीक्षण छह अलग-अलग प्रकार के भाषा रोबोटों के विरुद्ध किया, जिनमें छोटे से लेकर GPT-4o जैसे विशाल मॉडल शामिल हैं। उन्होंने मूवी रिव्यूज और समाचार लेखों सहित चार अलग-अलग डेटा सेट का उपयोग किया।

परिणाम प्रभावशाली थे। एक ऐसी दुनिया में जहाँ आपको रोबोट से सीमित संख्या में प्रश्न पूछने की अनुमति है ("लो क्वेरी बजट"), LBA ने लगातार पुराने तरीकों की तुलना में बेहतर ट्रिक्स खोजे।

बेहतर गुणवत्ता: LBA द्वारा बनाए गए वाक्य बहुत अधिक स्वाभाविक लगे। उन्होंने अन्य तरीकों की तुलना में कम शब्दों को बदला और मूल वाक्य के अर्थ को बेहतर ढंग से बनाए रखा।
स्मार्ट दक्षता: लंबे टेक्स्ट (जैसे लंबी मूवी समीक्षाओं) पर, पुराने तरीके बदलावों का सही संयोजन खोजने में संघर्ष करते हैं। हालाँकि, LBA जटिल परिदृश्यों में भी शब्दों के बदलाव का सही मिश्रण खोजने में उत्कृष्ट रहा।
मानवीय स्वीकृति: जब शोधकर्ताओं ने मनुष्यों से ठगे गए वाक्यों को पढ़ने के लिए कहा, तो मनुष्य मूल और ठगे गए संस्करण के बीच अंतर नहीं कर सके। उन्होंने एक सुपर-एडवांस्ड AI (GPT-4o) से भी वाक्यों का मूल्यांकन करने के लिए कहा, और वह भी इस बात से सहमत था कि LBA के ट्रिक्स सबसे चतुर और कम स्पष्ट थे।

यह क्यों महत्वपूर्ण है

यह पेपर सुझाव देता है कि इस "मानचित्र-आधारित" सैंपलिंग दृष्टिकोण का उपयोग करके, हम AI मॉडल को बहुत अधिक कुशलता से चकमा दे सकते हैं। इसका मतलब यह नहीं है कि AI टूटा हुआ है; बल्कि, यह दिखाता है कि AI को चकमा देने का पुराना तरीका (एक बार में एक शब्द) अक्षम है। यह समझते हुए कि सबसे अच्छे ट्रिक्स अक्सर एकल परिवर्तन के बजाय परिवर्तनों के एक विशिष्ट संयोजन में शामिल होते हैं, LBA हमारे AI सिस्टम की मजबूती का परीक्षण करने के लिए एक नया द्वार खोलता है। यह साबित करता है कि एक स्मार्ट रणनीति के साथ, आप रोबोट से लाखों सवाल पूछे बिना उच्च-गुणवत्ता वाले परिणाम प्राप्त कर सकते हैं।

तकनीकी सारांश: LBA (लो-क्वेरी बजट हार्ड-लेबल अटैक)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लो-क्वेरी बजट (low query budget) के तहत ब्लैक-बॉक्स हार्ड-लेबल परिदृश्य (black-box hard-label scenario) में उच्च गुणवत्ता वाले प्रतिकूल टेक्स्ट (adversarial texts) उत्पन्न करने की चुनौती को संबोधित करता है।

संदर्भ: नेचुरल लैंग्वेज प्रोसेसिंग (NLP) में डीप न्यूरल नेटवर्क्स (DNNs) उन प्रतिकूल हमलों (adversarial attacks) के प्रति संवेदनशील होते हैं जहाँ दुर्भावनापूर्ण इनपुट गलत भविष्यवाणियां करते हैं।
प्रतिबंध: वास्तविक दुनिया के अनुप्रयोगों में, हमलावरों के पास अक्सर कॉन्फिडेंस स्कोर (सॉफ्ट लेबल्स) तक पहुंच नहीं होती है और वे केवल टॉप-1 प्रेडिक्टेड लेबल (हार्ड लेबल्स) तक ही सीमित होते हैं। इसके अलावा, अत्यधिक समान इनपुट्स के कारण पता लगाए जाने के जोखिम और मौद्रिक लागत के कारण क्वेरी बजट सीमित होता है।
मौजूदा विधियों की सीमाएं: वर्तमान हार्ड-लेबल हमले मुख्य रूप से ग्रीडी सर्च पैराडाइम्स (greedy search paradigms) पर निर्भर करते हैं। ये विधियाँ शब्द प्रतिस्थापन के लिए एक एकल शब्द स्थिति (word position) का चयन करती हैं और अगली स्थिति पर जाने से पहले उसे लॉक कर देती हैं। यह लोकल सर्च दृष्टिकोण स्थिति प्रतिस्थापन के पूर्ण कॉम्बिनेटोरियल स्पेस (combinatorial space) को खोजने में विफल रहता है, जिससे अक्सर सब-ऑप्टिमल समाधान मिलते हैं और लोकल ऑप्टिमा से बाहर निकलने के लिए अत्यधिक क्वेरी लागत लगती है। व्यापक खोज (Exhaustive search) कॉम्बिनेटोरियल विस्फोट के कारण गणनात्मक रूप से अव्यवहार्य है।

2. कार्यप्रणाली: LBA (Methodology: LBA)

लेखक LBA (Low-query Budget hard-label Attack) का प्रस्ताव करते हैं, जो प्रतिकूल टेक्स्ट जनरेशन को एक डिस्ट्रीब्यूशन-आधारित सैंपलिंग समस्या (distribution-based sampling problem) के रूप में पुनर्गठित करता है। ग्रीडी लोकल रिफाइनमेंट के बजाय, LBA प्रायर (prior) और पोस्टीरियर (posterior) ज्ञान दोनों का लाभ उठाते हुए, उच्च-गुणवत्ता वाले प्रतिकूल उदाहरणों के अनुमानित वितरण से नमूने (samples) लेता है।

मुख्य ढांचा (Core Framework)

यह विधि मेट्रोपोलिस-हेस्टिंग्स (Metropolis-Hastings - MH) सैंपलिंग से प्रेरित है। यह उच्च-गुणवत्ता वाले प्रतिकूल उदाहरणों के वितरण को अनुमानित करने के लिए एक टार्गेट फंक्शन का निर्माण करती है और सैंपलिंग के माध्यम से इस वितरण को पुनरावृत्ति (iteratively) से परिष्कृत करती है।

A. इनिशियलाइजेशन (Initialization)

LBA एक रैंडम इनिशियलाइजेशन (HLA के समान) के साथ शुरू होता है ताकि एक प्रारंभिक प्रतिकूल उदाहरण $x'_0$ बनाया जा सके जो पीड़ित मॉडल (victim model) को गुमराह कर सके। इसमें पार्ट-ऑफ-स्पीच (POS) निरंतरता के लिए फिल्टर करते हुए शब्दों को उनके पर्यायवाची शब्दों (synonyms) के साथ बदलना शामिल है।

B. सैंपलिंग रणनीति (Sampling Strategy)

मुख्य लूप में तीन चरण शामिल हैं:

कैंडिडेट प्रपोजल (Candidate Proposal): एक कैंडिडेट सैंपल $x'_i$ एक रैंडमली चुने गए परिवर्तनीय स्थान (perturbable position) पर एक शब्द को उसके पर्यायवाची से बदलकर बनाया जाता है (उन इंडेक्स के सेट से जहाँ वर्तमान उदाहरण मूल से भिन्न है)। यह ग्रीडी विधियों में पाई जाने वाली घटते खोज स्थान (shrinking search space) की समस्या से बचने के लिए विथ-रिप्लेसमेंट सैंपलिंग (with-replacement sampling) का उपयोग करता है।
एक्सेप्टेंस रेट कैलकुलेशन (Acceptance Rate Calculation): कैंडिडेट का मूल्यांकन एक एक्सेप्टेंस रेट $\alpha$ $α$ का उपयोग करके किया जाता है, जिसे टार्गेट फंक्शन वैल्यूज और ट्रांजिशन प्रपोजल्स के अनुपात द्वारा परिभाषित किया गया है:
$\alpha(x'_i, x^\star) = \min \left( 1, \frac{\pi(x'_i)g(x^\star | x'_i)}{\pi(x^\star)g(x'_i | x^\star)} \right)$
- टार्गेट फंक्शन $\pi(x'_i)$ : यह वांछित वितरण को अनुमानित करता है और एग्रेसिवनेस (Aggressiveness - $A$ ) और क्वालिटी (Quality - $Q$ ) का गुणनफल है:
  $\pi(x'_i) = A(x'_i) \cdot Q(x'_i, x)$
  - एग्रेसिवनेस ( $A$ ): यह पोस्टीरियर नॉलेज (posterior knowledge) से प्राप्त होता है। यह पिछले इटरेशन्स में उस स्थिति की "महत्ता" को मापता है जहाँ परिवर्तनों ने लेबल इनवर्जन (label inversion) को प्रेरित किया था। इसकी गणना एम्पिरिकल लेबल-फ्लिप फ्रीक्वेंसी पर सॉफ्टमैक्स (softmax) का उपयोग करके की जाती है।
  - क्वालिटी ( $Q$ ): यह प्रायर नॉलेज (prior knowledge - पूर्व-निर्धारित बाधाओं) से प्राप्त होता है। यह सिमेंटिक सिमिलरिटी (semantic similarity), परटर्बेशन रेट रिडक्शन, ग्रामैटिकल एरर इंक्रीज और पर्प्लेक्सिटी का एक भारित योग (weighted sum) है।
- ट्रांजिशन प्रपोजल $g$ : वर्तमान और कैंडिडेट सैंपल के बीच सिमेंटिक सिमिलरिटी में परिवर्तन पर आधारित एक एसिमेट्रिक प्रोबेबिलिटी, जो खोज को सिमेंटिक रूप से सुसंगत उदाहरणों की ओर निर्देशित करती है।
अपडेट (Update): यदि कैंडिडेट स्वीकार (accept) कर लिया जाता है (एक यूनिफॉर्म रैंडम थ्रेशोल्ड के आधार पर), तो वर्तमान उदाहरण को अपडेट किया जाता है, और लेबल इनवर्जन को मान्य करने के लिए विकट मॉडल (victim model) को क्वेरी किया जाता है। क्वेरी परिणाम के आधार पर पोस्टीरियर नॉलेज (पोजीशन इम्पोर्टेंस) को अपडेट किया जाता है।

3. मुख्य योगदान (Key Contributions)

समस्या का निरूपण (Problem Formulation): लेखक हार्ड-लेबल हमलों में ग्रीडी सर्च की सीमाओं की पहचान करते हैं और क्वेरी-एफिशिएंट एडवर्सरियल टेक्स्ट जनरेशन को डिस्ट्रीब्यूशन-आधारित सैंपलिंग समस्या के रूप में प्रस्तुत करने वाले पहले व्यक्ति हैं।
नया एल्गोरिदम (LBA): वे LBA का प्रस्ताव करते हैं, जो MH-स्टाइल सैंपलिंग के लिए एक टार्गेट फंक्शन में प्रायर कंस्ट्रेंट्स (क्वालिटी) और पोस्टीरियर फीडबैक (एग्रेसिवनेस) को एकीकृत करता है। यह विधि को ग्रीडी दृष्टिकोण की तुलना में अधिक प्रभावी ढंग से स्वयं को सुधारने और सर्च स्पेस को एक्सप्लोर करने की अनुमति देता है।
व्यापक मूल्यांकन (Comprehensive Evaluation): छह लैंग्वेज मॉडल्स (छोटे स्तर के NLMs जैसे WordCNN से लेकर बड़े पैमाने के LLMs जैसे GPT-4o तक) पर चार डेटासेट्स (MR, AG, YELP, IMDB) पर व्यापक प्रयोग किए गए।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर रिपोर्ट करता है कि LBA सभी मूल्यांकन मेट्रिक्स पर स्टेट-ऑफ-द-आर्ट बेसलाइन्स (जिसमें HLA, TextHoaxer, LeapAttack, और HQA-Attack शामिल हैं) से काफी बेहतर प्रदर्शन करता है:

क्वेरी एफिशिएंसी (Query Efficiency): LBA "Tiny," "Tight," और "Moderate" क्वेरी बजट के तहत उच्च अटैक सक्सेस रेट (ASR) प्राप्त करता है।
क्वालिटी मेट्रिक्स (Quality Metrics): LBA ऐसे प्रतिकूल टेक्स्ट बनाता है जिनमें:
- कम परटर्बेशन रेट (Lower Perturbation Rates): कम शब्द बदले गए।
- उच्च सिमेंटिक सिमिलरिटी (Higher Semantic Similarity): मूल अर्थ के करीब।
- बेहतर फ्लुएंसी (Better Fluency): कम पर्प्लेक्सिटी (PPL) और कम व्याकरण संबंधी त्रुटियां (Ige)।
LLM मजबूती (LLM Robustness): LBA LLaMA 2, Vicuna, और GPT-4o जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) पर हमला करने में बेहतर प्रदर्शन करता है, जहाँ बेसलाइन्स के साथ प्रदर्शन का अंतर विशेष रूप से लंबे-टेक्स्ट डेटासेट्स पर स्पष्ट है।
मानव और LLM मूल्यांकन (Human and LLM Evaluation):
- GPT-4o असेसमेंट: LBA ने हार्ड-लेबल बेसलाइन्स के बीच उच्चतम कंसिस्टेंसी रेट (CR) (मूल अर्थ को बनाए रखना) और फुलली अंडरस्टूड रेट (FUR) (बोधगम्यता) प्राप्त किया।
- मानव मूल्यांकन: मानव एनोटेटर्स ने अन्य विधियों की तुलना में LBA-जेनरेटेड एडवर्सरियल उदाहरणों को उच्च दर से सही वर्गीकृत किया, जिससे पुष्टि हुई कि हमले मूल सेंटीमेंट/अर्थ को सुरक्षित रखते हुए पीड़ित मॉडल को सफलतापूर्वक मूर्ख बना देते हैं।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि LBA हार्ड-लेबल परिदृश्यों में क्वेरी एफिशिएंसी और एडवर्सरियल क्वालिटी के बीच महत्वपूर्ण ट्रेड-ऑफ को संबोधित करता है। ग्रीडी लोकल सर्च से सैंपलिंग-आधारित रणनीति की ओर बढ़कर, जो संचित क्वेरी फीडबैक से सीखती है, LBA सर्च स्पेस के कॉम्बिनेटोरियल विस्फोट को कम करता है।

लेखक इस बात पर जोर देते हैं कि उनकी विधि न केवल अधिक कुशल है बल्कि अधिक सिमेंटिक रूप से संरक्षित और बोधगम्य प्रतिकूल टेक्स्ट भी बनाती है। यह सुझाव देता है कि LBA वास्तविक दुनिया के अनुप्रयोगों के लिए एक अधिक यथार्थवादी थ्रेट मॉडल है जहाँ हमलावरों के पास सीमित संसाधन होते हैं और उन्हें पता लगाए जाने से बचना होता है। यह कार्य पारंपरिक NLP मॉडल्स और उभरते हुए लार्ज लैंग्वेज मॉडल्स (LLMs) दोनों की एडवर्सरियल मजबूती को बढ़ाने की आवश्यकता को रेखांकित करता है।