💬 NLP

One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking

यह शोध पत्र प्रदर्शित करता है कि न्यूरल टेक्स्ट रैंकिंग मॉडल अत्यंत सूक्ष्म, क्वेरी-जागरूक प्रतिकूल हमलों (adversarial attacks) के प्रति अत्यधिक संवेदनशील हैं जो केवल एक अर्थपूर्ण रूप से संरेखित शब्द को सम्मिलित या प्रतिस्थापित करके लक्षित दस्तावेजों को सफलतापूर्वक बढ़ावा दे सकते हैं, जो मध्य-रैंक वाले दस्तावेजों में भेद्यता के एक महत्वपूर्ण "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) को प्रकट करता है और मजबूत सुरक्षा उपायों की तत्काल आवश्यकता पर प्रकाश डालता है।

मूल लेखक: Tanmay Karmakar, Sourav Saha, Debapriyo Majumdar, Surjyanee Halder

प्रकाशित 2026-01-29

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Tanmay Karmakar, Sourav Saha, Debapriyo Majumdar, Surjyanee Halder

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक सर्च इंजन की कल्पना एक बहुत ही बुद्धिमान लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में करें जो आपके प्रश्न (क्वेरी) का सबसे अच्छा उत्तर खोजने के लिए हजारों किताबें (दस्तावेज) पढ़ता है। यह लाइब्रेरियन यह तय करने के लिए कि कौन सी किताब सबसे ऊपर वाले शेल्फ पर रखी जाए और कौन सी बेसमेंट में रहे, एक "न्यूरल रैंकिंग मॉडल" नामक उच्च-तकनीकी मस्तिष्क का उपयोग करता है।

यह शोध पत्र उस लाइब्रेरियन को बेवकूफ बनाने की एक चतुर तरकीब के बारे में है ताकि एक विशिष्ट, शायद कम योग्य, किताब को ऊपर वाले शेल्फ पर पहुँचाया जा सके। शोधकर्ताओं ने पाया कि आपको पूरी किताब को फिर से लिखने या बहुत से शब्द बदलने की भी आवश्यकता नहीं है। कभी-कभी, केवल एक शब्द जोड़ना या बदलना ही सिस्टम को मूर्ख बनाने के लिए पर्याप्त होता है।

यहाँ उनके "एक-शब्द" वाले जादू का विवरण दिया गया है:

1. "जादुई शब्द" (द क्वेरी सेंटर)

शोधकर्ताओं ने महसूस किया कि आपके द्वारा पूछे गए हर प्रश्न का एक "हृदय" या "केंद्र" होता है। उदाहरण के लिए, यदि आप पूछते हैं, "चॉकलेट केक कैसे बनाएँ," तो सबसे महत्वपूर्ण शब्द संभवतः "केक" होगा। वे इसे क्वेरी सेंटर (Query Center) कहते हैं।

चाल: वे इस "हृदय" वाले शब्द को लेते हैं और उसे लक्षित दस्तावेज़ में चुपके से डाल देते हैं।
परिणाम: लाइब्रेरियन का मस्तिष्क भ्रमित हो जाता है और सोचता है, "ओह! इस किताब में सबसे महत्वपूर्ण शब्द मौजूद है! यह निश्चित रूप से सबसे अच्छा उत्तर होगा!" और इसे सूची में ऊपर ले जाता है।

2. शब्द को चुराने के तीन तरीके

यह शोध पत्र इस एकल शब्द को डालने के तीन अलग-अलग तरीकों का परीक्षण करता है:

"फ्रंट-डोर" (सामने का दरवाजा) विधि: बस शब्द को दस्तावेज़ के बिल्कुल शुरुआत में लगा दें। यह ठीक वैसा ही है जैसे लाइब्रेरियन के अंदर आते ही सबसे महत्वपूर्ण कीवर्ड को चिल्लाकर बताना।
"इम्पोस्टर" (बहुरूपिया) विधि: दस्तावेज़ में एक ऐसा शब्द खोजें जो "हृदय" वाले शब्द के समान सुनाई देता हो और उसे बदल दें। यह एक सामान्य शब्द को एक अधिक विशिष्ट शब्द से बदलने जैसा है जो लाइब्रेरियन के मूड से मेल खाता हो।
"स्नाइपर" विधि (सबसे शक्तिशाली): यह एक गणितीय मानचित्र का उपयोग करता है ताकि उस सटीक स्थान को खोजा जा सके जहाँ शब्द जोड़ने से लाइब्रेरियन के आत्मविश्वास में सबसे बड़ा विस्फोट होगा। यह ठीक वैसा ही है जैसे एक ढीले फर्श के तख्ते को ढूंढना, जिस पर पैर रखते ही पूरा घर हिलने लगे।

3. परिणाम: एक छोटा सा बदलाव, एक बड़ी छलांग

शोधकर्ताओं ने इसका परीक्षण दो बहुत स्मार्ट लाइब्रेरियन (एक BERT पर आधारित और एक T5 पर आधारित) पर किया।

सफलता दर: उनकी "स्नाइपर" विधि 91% बार सफल रही।
लागत: उन्होंने केवल एक शब्द बदला (या औसतन दो टोकन से भी कम)।
तुलना: PRADA नामक एक पिछला तरीका भी सफल था, लेकिन उसे यह करने के लिए दस्तावेज़ के लगभग 12% हिस्से को फिर से लिखना पड़ा था। यह नया तरीका एक निंजा की तरह है: शांत, अदृश्य और प्रभावी, जो केवल एक स्पर्श से काम करता है।
"गोल्डिलॉक्स" ज़ोन (Goldilocks Zone): उन्होंने पाया कि लाइब्रेरियन उन दस्तावेजों से सबसे आसानी से धोखा खा जाता है जो पहले से ही सूची के बीच में (रैंक 40–80) स्थित हैं।
- शीर्ष पुस्तकें पहले से ही इतनी अच्छी हैं कि एक शब्द से ज्यादा फर्क नहीं पड़ता।
- निचली पुस्तकें इतनी खराब हैं कि एक शब्द उन्हें बचा नहीं सकता।
- मध्यम पुस्तकें बिल्कुल सही हैं; एक छोटा सा धक्का उन्हें शीर्ष पर पहुँचाने के लिए पर्याप्त है।

4. यह क्यों महत्वपूर्ण है

शोध पत्र निष्कर्ष निकालता है कि ये न्यूरल रैंकिंग मॉडल आश्चर्यजनक रूप से नाजुक हैं। भले ही वे गहरा अर्थ समझते प्रतीत होते हों, लेकिन उन्हें एक एकल, सही स्थान पर रखे गए शब्द द्वारा हेरफेर किया जा सकता है। यह इस बात का "सुरक्षा छेद" (security hole) है कि सर्च इंजन कैसे काम करते हैं। लेखक सुझाव देते हैं कि भविष्य के सर्च इंजन को अधिक मजबूत और इन छोटे, चालाक बदलावों से कम विचलित होने वाला होना चाहिए।

संक्षेप में: लाइब्रेरी को बदलने के लिए आपको उसे जलाने की ज़रूरत नहीं है; आपको बस सही जगह पर एक विशिष्ट शब्द फुसफुसाना है, और लाइब्रेरियन आपकी किताब को सामने ले आएगा।

तकनीकी सारांश: एक शब्द ही पर्याप्त है: न्यूरल टेक्स्ट रैंकिंग के लिए न्यूनतम प्रतिकूल परिवर्तन (Minimal Adversarial Perturbations)

समस्या विवरण
न्यूरल रैंकिंग मॉडल (NRMs), विशेष रूप से BERT और T5 जैसे ट्रांसफॉर्मर आर्किटेक्चर पर आधारित, ने खोज और रैंकिंग कार्यों में अत्याधुनिक प्रदर्शन स्थापित किया है। हालाँकि, पूर्व शोध ने उनकी प्रतिकूलता (vulnerability) को प्रदर्शित किया है—अर्थात सूक्ष्म, सावधानीपूर्वक तैयार किए गए पाठ संशोधन जो मानवीय धारणा में अर्थ को महत्वपूर्ण रूप से बदले बिना रैंकिंग परिणामों को बदल देते हैं। मौजूदा हमले, जैसे कि PRADA, अक्सर बहु-शब्द हेरफेर, सरोगेट मॉडल प्रशिक्षण, या व्यापक पाठ संपादन पर निर्भर करते हैं, जो इस बात पर सवाल उठाते हैं कि क्या इतनी जटिलता आवश्यक है। यह अध्ययन इस बात की जांच करता है कि क्या NRMs और भी अधिक न्यूनतम, क्वेरी-जागरूक परिवर्तनों के प्रति संवेदनशील हैं: विशेष रूप से, क्या एक एकल शब्द का सम्मिलन (insertion) या प्रतिस्थापन (substitution) किसी लक्षित दस्तावेज़ की रैंक को बढ़ाने के लिए पर्याप्त है।

कार्यप्रणाली
लेखक एक न्यूनतम प्रतिकूल हमला ढांचा प्रस्तावित करते हैं जो "क्वेरी सेंटर" (query center) की अवधारणा पर केंद्रित है। इसे उपयोगकर्ता की क्वेरी के सिमेंटिक एम्बेडिंग के सेंट्रॉइड (centroid) के सबसे करीब के टोकन के रूप में परिभाषित किया गया है। हमला रणनीति इस क्वेरी सेंटर की पहचान करने और इसे रणनीतिक रूप से चुने गए स्थान पर लक्षित दस्तावेज़ में या तो सम्मिलित करने या प्रतिस्थापित करने में शामिल है।

दस्तावेज़ में एकल-शब्द परिवर्तन के लिए इष्टतम स्थिति निर्धारित करने हेतु लेखक तीन विशिष्ट वेरिएंट पेश करते हैं:

one_word_start: एक ह्यूरिस्टिक विधि जो दस्तावेज़ की शुरुआत में क्वेरी सेंटर को सम्मिलित करती है, जो BERT-आधारित रैंकर्स के शुरुआती टोकन के प्रति ज्ञात पोजीशनल संवेदनशीलता का लाभ उठाती है।
one_word_sim: एक ह्यूरिस्टिक प्रतिस्थापन विधि जो दस्तावेज़ के उस टोकन को क्वेरी सेंटर के साथ बदल देती है जो सिमेंटिक रूप से सबसे समान (लेकिन समान नहीं) है।
one_word_best_grad: एक व्हाइट-बॉक्स, ग्रेडिएंट-निर्देशित विधि। यह प्रत्येक टोकन के इनपुट एम्बेडिंग के संबंध में पेयरवाइज हिंज लॉस (pairwise hinge loss) के ग्रेडिएंट नॉर्म की गणना करता है। उच्चतम ग्रेडिएंट नॉर्म वाले शीर्ष- $k$ स्थानों की पहचान की जाती है और अधिकतम स्कोर वृद्धि प्रदान करने वाले स्थान पर क्वेली सेंटर को सम्मिलित किया जाता है।

प्रमुख योगदान

न्यूनतम परिवर्तन ढांचा (Minimal Perturbation Framework): अध्ययन यह प्रदर्शित करता है कि क्वेरी सेंटर द्वारा निर्देशित एक एकल-शब्द संशोधन, मजबूत न्यूरल रैंकर्स में रैंकिंग परिणामों को महत्वपूर्ण रूप से बदलने के लिए पर्याप्त है।
नए नैदानिक मेट्रिक्स (New Diagnostic Metrics): कुल सफलता दरों के अलावा, लेखक निम्नलिखित को पेश करते हैं:
- परटर्बेशन प्रतिशत (Perturbation Percentage - PP): हमले की लघुता (minimality) को मापने के लिए संशोधित टोकनों के औसत प्रतिशत को मापता है।
- इंटरवल सक्सेस रेट (Interval Success Rate - ISR): रैंक सूची के भीतर विशिष्ट कमजोरियों की पहचान करने के लिए विशिष्ट रैंक अंतराल (जैसे, रैंक 11–20, 21–30) में हमले की सफलता का विश्लेषण करता है।
"गोल्डिलॉक्स ज़ोन" (Goldilocks Zone) की पहचान: ISR विश्लेषण के माध्यम से, पेपर प्रकट करता है कि मध्यम-रैंक वाले दस्तावेज़ (लगभग रैंक 40–80) इन न्यूनतम हमलों के प्रति सबसे अधिक संवेदनशील होते हैं, जबकि शीर्ष-रैंक वाले दस्तावेज़ अक्सर प्रासंगिकता स्कोर में संतृप्त (saturated) होते हैं और निचले-रैंक वाले दस्तावेज़ एक एकल सम्मिलन से लाभ उठाने के लिए बहुत अधिक सिमेंटिक रूप से दूर होते हैं।

प्रायोगिक परिणाम
प्रयोग TREC-DL 2019 और 2020 डेटासेट का उपयोग करके दो व्यापक रूप से उपयोग किए जाने वाले रैंकर्स: BERT-base-mdoc-BM25 और monoT5-base-MSMARCO पर किए गए। प्रस्तावित विधियों का मूल्यांकन निष्पक्षता सुनिश्चित करने के लिए समान व्हाइट-बॉक्स स्थितियों के तहत PRADA के विरुद्ध किया गया।

सफलता दर (Success Rate - SR): one_word_best_grad दृष्टिकोण ने BERT रैंक के लिए TREC-DL 2019 पर 91% सफलता दर और TREC-DL 2020 पर 87% प्राप्त की, जो औसतन प्रति दस्तावेज़ दो से कम टोकन को संशोधित करता है।
सिमेंटिक समानता (Semantic Similarity): परिवर्तित दस्तावेज़ मूल पाठ के साथ उच्च कोसाइन समानता (लगभग 0.97–0.98) बनाए रखते हैं, जो PRADA से काफी बेहतर है, जिसने कम समानता स्कोर दिखाया (जो बड़े परिवर्तनों का संकेत देता है)।
दक्षता (Efficiency): जबकि PRADA ने कुछ मामलों में थोड़ी उच्च सफलता दर प्राप्त की, इसके लिए काफी अधिक संपादन (लग-डे 12–13% का परटर्बेशन प्रतिशत बनाम प्रस्तावित विधि के लिए ~1.5%) की आवश्यकता थी। प्रस्तावित ह्यूरिस्टिक्स (one_word_start और one_word_sim) ने एकल-शब्द परिवर्तन के साथ गैर-नगण्य सफलता दर (30–60%) भी प्राप्त की।
रैंक और स्कोर बूस्ट: न्यूनतम संपादन ने PRADA के सापेक्ष प्रतिस्पर्धी रैंक और स्कोर बूस्ट दिए, जो पुष्टि करता है कि छोटे सिमेंटिक बदलाव मॉडल के आत्मविश्वास को सार्थक रूप से बदल सकते हैं।

महत्व और दावे
पेपर का दावा है कि ये निष्कर्ष मल्टी-स्टेज न्यूरल रिट्रीवल पाइपलाइनों में एक व्यावहारिक जोखिम को उजागर करते: यहाँ तक कि न्यूनतम, सिमेंटिक रूप से सुसंगत संशोधनों के साथ मध्यम सफलता दर (लगभग 50%) भी आक्रामक कैंडिडेट प्रूनिंग के कारण दस्तावेजों को उच्च रिट्रीवल चरणों में स्थानांतरित कर सकती है। "गोल्डिलॉक्स ज़ोन" की खोज बताती है कि रैंकिंग सूची में मजबूती (robustness) असमान रूप से वितरित है, जो एक ऐसा सूक्ष्म अंतर है जिसे केवल समग्र मेट्रिक्स द्वारा नहीं पकड़ा जा सकता है। लेखक निष्कर्ष निकालते हैं कि ये परिणाम सिमेंटिक रूप से संरेखित, न्यूनतम परिवर्तनों के विरुद्ध अधिक मजबूत रैंकिंग आर्किटेक्चर और रक्षा तंत्र के विकास को प्रेरित करते हैं। भविष्य के कार्य के रूप में इन रणनीतियों को ब्लैक-बॉक्स सेटिंग्स, हालिया LLM-आधारित रैंकर्स और कन्वर्सेशनल सर्च एवं रिकमेंडेशन जैसे संबंधित कार्यों तक विस्तारित करने का प्रस्ताव दिया गया है।

1. "जादुई शब्द" (द क्वेरी सेंटर)

2. शब्द को चुराने के तीन तरीके

3. परिणाम: एक छोटा सा बदलाव, एक बड़ी छलांग

4. यह क्यों महत्वपूर्ण है

इसी तरह के और पेपर