💬 NLP

Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval

यह शोध पत्र डेंस रिट्रीवल (dense retrieval) के लिए एक तेज़ और प्रभावी अनसुपरवाइज्ड कॉर्पस पॉइज़निंग हमले का प्रस्ताव करता है जो क्वेरी वितरण (query distribution) के पूर्व ज्ञान की आवश्यकता के बिना, प्राकृतिक दिखने वाले एडवरसेरियल दस्तावेज़ उत्पन्न करने के लिए सीधे निरंतर एम्बेडिंग स्पेस (continuous embedding space) में कार्य करता है।

मूल लेखक: Yongkang Li, Panagiotis Eustratiadis, Simon Lupart, Evangelos Kanoulas

प्रकाशित 2026-03-17

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yongkang Li, Panagiotis Eustratiadis, Simon Lupart, Evangelos Kanoulas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पुस्तकालय (corpus) में एक विशिष्ट पुस्तक खोजने के लिए जाते हैं। लाइब्रेरियन (search engine) एक सुपर-स्मार्ट AI का उपयोग करता है ताकि वह समझ सके कि आप क्या ढूंढ रहे हैं और सबसे प्रासंगिक पुस्तकें आपको सबसे पहले थमा दे। आज के Google या Bing जैसे आधुनिक सर्च इंजन इसी तरह काम करते हैं, जो आपके प्रश्नों को सर्वोत्तम उत्तरों से मिलाने के लिए "डेंस रिट्रीवल" (dense retrieval) का उपयोग करते हैं।

यह पेपर उस लाइब्रेरियन को बेवकूफ बनाने का एक नया तरीका पेश करता है, लेकिन इसमें एक मोड़ है: धोखेबाज को यह जानने की ज़रूरत नहीं है कि आप पहले से क्या सवाल पूछने वाले हैं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इस पेपर के विचारों का विवरण दिया गया है:

1. समस्या: "नकली किताब" का हमला (The "Fake Book" Attack)

कल्पना कीजिए कि एक हमलावर चाहता है कि जब आप "केक कैसे बनाएं" खोजें, तो लाइब्रेरियन आपको एक ऐसी किताब थमा दे जो दिखने में केक की रेसिपी जैसी हो, लेकिन वास्तव में वह केवल निरर्थक बड़बड़ाहट (nonsense gibberish) हो।

लक्ष्य: हमलावर पुस्तकालय में एक "जहरीला" (poisoned) दस्तावेज़ डाल देता है। यह दस्तावेज़ इस तरह बनाया गया है कि वह AI लाइब्रेरियन को बिल्कुल एक असली केक रेसिपी जैसा लगे (ताकि उसे नंबर #1 रैंक मिले), लेकिन जब कोई इंसान इसे पढ़े, तो इसका कोई अर्थ न निकले।
पुराना तरीका (The "Word Swap" Method): पिछले हमलावरों ने ऐसा करने की कोशिश की थी जिसमें वे एक वास्तविक किताब लेते थे और एक-एक करके शब्दों को बदलते थे (जैसे "मैदा" को "टोस्टर" से बदलना)।
- दोष: यह एक कार के इंजन को ठीक करने की तरह है जैसे कि कार चलते समय एक बार में एक पेंच बदलने की कोशिश करना। इसमें बहुत समय लगता है (प्रति दस्तावेज़ घंटों) और अक्सर इसके परिणाम ऐसे होते हैं जो अजीब लगते हैं और जिन्हें आसानी से टूटा हुआ पहचाना जा सकता है।
- मान्यता: इन पुराने तरीकों को यह जानने की आवश्यकता थी कि लोग वास्तव में क्या सवाल पूछेंगे (जैसे, "मुझे पता है कि कल आप 'केक' के बारे में खोजेंगे, इसलिए मैं एक नकली केक वाली किताब तैयार करूँगा")। वास्तविक दुनिया में, हमलावरों को आपका विशिष्ट सर्च इतिहास पहले से पता होने की संभावना बहुत कम होती है।

2. नया समाधान: "कंटीन्यूअस स्पेस" का जादू (The "Continuous Space" Trick)

लेखक पुस्तकालय को ज़हर देने का एक स्मार्ट, तेज़ और चालाकी भरा तरीका प्रस्तावित करते हैं। वे इसे अनसुपरवाइज्ड कॉर्पस पॉइजनिंग (Unsupervised Corpus Poisoning) कहते हैं।

उपमा A: मशीन में "भूत" (The "Ghost" in the Machine)

एक-एक करके शब्द बदलने के बजाय, नया तरीका AI के दिमाग (एम्बेडिंग स्पेस) में काम करता है।

प्रत्येक दस्तावेज़ को एक विशाल 3D मानचित्र पर एक अद्वितीय निर्देशांक (coordinate) के रूप में सोचें। "केक" के बारे में वास्तविक दस्तावेज़ एक "बेकरी डिस्ट्रिक्ट" में एक साथ क्लस्टर किए गए होते हैं।
पुराना तरीका "बेकरी डिस्ट्रिक्ट" से "निरर्थक (Nonsense) डिस्ट्रिक्ट" तक जाने के लिए छोटे, अजीब कदम उठाने की कोशिश करता था (शब्दों को बदलना)।
नया तरीका: यह एक "घोस्ट डॉक्यूमेंट" (Ghost Document) बनाता है। यह एक असली केक बुक के निर्देशांक लेता है और उन्हें बस इतना सूक्ष्म रूप से बदल देता है कि AI अभी भी यह सोचे, "ओह, यह निश्चित रूप से बेकरी डिस्ट्रिक्ट में है!" लेकिन जब घोस्ट डॉक्यूमेंट को मानव भाषा में वापस अनुवादित किया जाता है, तो यह "आप लोगों को ऋण दे सकते हैं और ब्याज टैक्स वसूल सकते हैं टैक्स" जैसे निरर्थक शब्दों में बदल जाता है।

उपमा B: दो-चरणीय नृत्य (The Two-Step Dance)

लेखक इसे अंजाम देने के लिए दो विशेष उपकरणों का उपयोग करते हैं:

अनुवादक (Reconstruction Model): यह उपकरण एक अत्यंत सटीक अनुवादक की तरह है जो AI के गुप्त निर्देशांकों को वापस पढ़ने योग्य अंग्रेजी में बदल सकता है। लेखकों ने इस अनुवादक को प्रशिक्षित किया है ताकि यह अपने "घोस्ट कोऑर्डिनेट्स" से एक किताब को पूरी तरह से पुनर्गठित कर सके।
रूप बदलने वाला (The Shapeshifter/Perturbation Model): यह हमलावर है। यह एक वास्तविक किताब लेता है, उसे निर्देशांकों में बदलता है, और फिर उन निर्देशांकों को मरोड़ता (twist) है। यह दो तरीकों से मरोड़ता है:
- आकार बनाए रखें: सुनिश्चित करें कि नए निर्देशांक अभी भी मूल "बेकरी डिस्ट्रिक्ट" के बहुत करीब हैं (ताकि AI इसे उच्च रैंक दे)।
- अर्थ को तोड़ें: सुनिश्चित करें कि जब अनुवादक उन नए निर्देशांकों को वापस शब्दों में बदलता है, तो शब्द मूल से पूरी तरह अलग हों (ताकि एक इंसान को यह निरर्थक लगे)।

3. यह एक बड़ी बात क्यों है?

यह पेपर पुराने तरीकों की तुलना में तीन प्रमुख लाभों को उजागर करता है:

गति (फरारी बनाम साइकिल):
- पुराना तरीका: एक नकली दस्तावेज़ बनाने में लगभग 2 घंटे लगते हैं (शक्तिशाली कंप्यूटरों पर)।
- नया तरीका: इसमें लगभग 2 मिनट लगते हैं। यह 4 गुना तेज़ है।
- उपमा: पुराना तरीका एक मूर्ति को हाथ से तराशने जैसा था; नया तरीका 3D प्रिंटर का उपयोग करने जैसा है।
छिपने की क्षमता (गिरगिट/Chameleon):
- सर्च इंजन में अक्सर "स्पैम फिल्टर" होते हैं जो ऐसे टेक्स्ट को देखते हैं जो रोबोटिक या अजीब लगता है (उच्च "परप्लेक्सिटी")।
- पुराने तरीकों से उत्पन्न होने वाला निरर्थक टेक्स्ट बहुत रोबोटिक लगता था, इसलिए फिल्टर उन्हें आसानी से पकड़ लेते थे।
- नया तरीका ऐसा टेक्स्ट बनाता है जो स्वाभाविक रूप से बहता है, जैसे कि एक वास्तविक वाक्य, भले ही उसका अर्थ निरर्थक हो। यह एक जासूस की तरह है जिसने एक आदर्श वेशभूषा पहनी है; फिल्टर इसे पहचान नहीं पाते।
भविष्यवाणी की आवश्यकता नहीं (Unsupervised):
- पुराने तरीकों को यह जानने की आवश्यकता थी कि, "मैं 'केक' की खोज पर हमला करूँगा।"
- नया तरीका कहता है, "मुझे नहीं पता कि आप क्या खोजेंगे। मैं बस लाइब्रेरी की शीर्ष 100 सबसे लोकप्रिय किताबों को ज़हर दूँगा।" क्योंकि ये किताबें लाइब्रेरी की संरचना में "केंद्रीय" हैं, इसलिए इन्हें ज़हर देने से कई अलग-अलग सवालों के लिए रैंकिंग बिगड़ जाती है, न कि केवल एक के लिए।

4. परिणाम

लेखकों ने वास्तविक सर्च इंजन (जैसे SimLM और अन्य) पर इनका परीक्षण किया।

सफलता दर: उनके नकली दस्तावेज़ पुराने, धीमे तरीकों की तरह ही सफलतापूर्वक खोज परिणामों में शीर्ष पर पहुँच गए।
ब्लैक बॉक्स हमला (Black Box Attack): भले ही उन्हें यह नहीं पता था कि लक्षित सर्च इंजन वास्तव में कैसे काम करता है (एक "ब्लैक बॉक्स"), उनके नकली दस्तावेज़ों ने इसे सफलतापूर्वक धोखा दिया। यह बताता है कि यह हमला बहुत मजबूत है।
मानव बनाम AI: जब इंसानों ने नकली दस्तावेज़ों को पढ़ा, तो उन्हें तुरंत समझ आ गया, "यह निरर्थक है।" लेकिन AI सर्च इंजन पूरी तरह से धोखा खा गया और इसे नंबर #1 रैंक दी।

सारांश

यह पेपर सर्च इंजन को ज़हर देने का एक तेज़, गुप्त और स्मार्ट तरीका प्रस्तुत करता है। शब्दों को बेतरतीब ढंग से बदलने के बजाय, हमलावर AI के अंतर्निहित गणित में हेरफेर करके "घोस्ट डॉक्यूमेंट" बनाते हैं। ये दस्तावेज़ कंप्यूटर के लिए एकदम सही दिखते हैं लेकिन मनुष्यों के लिए निरर्थक होते हैं।

मुख्य बात: सिर्फ इसलिए कि एक सर्च इंजन कहता है कि परिणाम "अत्यधिक प्रासंगिक" है, इसका मतलब यह नहीं है कि वह वास्तव में उपयोगी है। जैसे-जैसे सर्च इंजन स्मार्ट होते जा रहे हैं, उन्हें धोखा देने के तरीके भी तेज़, सस्ते और पकड़ में आने में कठिन होते जा रहे हैं। लेखक यह भी सुझाव देते हैं कि इन तेज़ तरीकों का उपयोग करके हम वास्तव में सर्च इंजन को अधिक मजबूत बना सकते हैं, जिससे इस ज़हर को वैक्सीन (टीका) में बदला जा सके।

यहाँ शोध पत्र "Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र डेंस इंफॉर्मेशन रिट्रीवल (Dense IR) के संदर्भ में कॉर्पस पॉइजनिंग हमलों (Corpus Poisoning Attacks) को संबोधित करता है। इस परिदृश्य में, एक हमलावर सर्च कॉर्पस में दुर्भावनापूर्ण रूप से निर्मित दस्तावेज़ों को इंजेक्ट करता है ताकि रिट्रीवल मॉडल के रैंकिंग प्रदर्शन को बाधित किया जा सके। लक्ष्य किसी भी मनमाने क्वेरी (query) के लिए अर्थहीन (nonsensical) दस्तावेज़ों को खोज परिणामों में शीर्ष पर लाना है।

लेखक दो महत्वपूर्ण सीमाओं की पहचान करते हैं जिन्हें उनका कार्य हल करने का प्रयास करता है:

डिस्क्रीट बनाम कंटीन्यूअस स्पेस मिसमैच (Discrete vs. Continuous Space Mismatch): पिछले अत्याधुनिक (SOTA) हमले (जैसे, HotFlip) टोकन को प्रतिस्थापित करके डिस्क्रीट लेक्सिकल स्पेस में कार्य करते हैं। हालाँकि, डेंस रिट्रीवल कंटीन्यूअस एम्बेडिंग स्पेस में कार्य करता है। यह बेमेल अनुकूलन अक्षमता और उच्च कम्प्यूटेशनल लागत का कारण बनता है।
क्वेरी निर्भरता (Query Dependency): अधिकांश मौजूदा हमले यह मानते हैं कि हमलावर को लक्षित क्वेरी वितरण का पूर्व ज्ञान (सुपरवाइज्ड सेटिंग) है। लेखक एक अधिक यथार्थवादी और चुनौतीपूर्ण अनसुपरवाइज्ड सेटिंग का प्रस्ताव करते हैं, जहाँ हमलावर के पास क्वेरीज़ का कोई पूर्व ज्ञान नहीं होता है और उसे हमले को उत्पन्न करने के लिए केवल लक्षित दस्तावेज़ पर निर्भर रहना पड़ता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित विधि एक दो-चरणीय पाइपलाइन का उपयोग करके सीधे कंटीन्यूअस एम्बेडिंग स्पेस में कार्य करती है: एक रिकंस्ट्रक्शन मॉडल (Reconstruction Model) और एक परटर्बेशन मॉडल (Perturbation Model)।

A. रिकंस्ट्रक्शन मॉडल ( $R$ )

उद्देश्य: कंटीन्यूअस एम्बेडिंग्स और डिस्क्रीट टेक्स्ट के बीच के अंतर को पाटना। चूंकि डिस्क्रीट टोकन पर ग्रेडिएंट्स की गणना नहीं की जा सकती, इसलिए लेखक मूल टेक्स्ट को कॉन्टेक्स्टुअल टोकन-लेवल एम्बेडिंग्स से पुनः प्राप्त करने के लिए एक मॉडल प्रशिक्षित करते हैं।
आर्किटेक्चर: एक मल्टी-लेयर ट्रांसफॉर्मर एनकोडर जिसमें टोकन क्लासिफिकेशन हेड होता है।
प्रशिक्षण: रिट्रीवल एनकोडर ( $E$ ) को फ्रीज (frozen) कर दिया जाता है। रिकंस्ट्रक्शन मॉडल को मूल दस्तावेज़ टोकन और एम्बेडिंग्स से प्राप्त अनुमानित टोकन के बीच क्रॉस-एन्ट्रॉपी लॉस को कम करने के लिए प्रशिक्षित किया जाता है:
$L_{RM} = -\sum \log P(d' | E(d); R)$
परिणाम: यह सिस्टम को विचलित (perturbed) एम्बेडिंग्स ( $\tilde{e}$ ) से प्रतिकूल टेक्स्ट ( $\tilde{d}$ ) उत्पन्न करने की अनुमति देता है ताकि $\tilde{d} \approx R(\tilde{e})$ हो।

B. परटर्बेशन मॉडल ( $\phi$ )

उद्देश्य: ऐसे प्रतिकूल एम्बेडिंग्स उत्पन्न करना जो दो विरोधाभासी शर्तों को पूरा करते हों:
1. एम्बेडिंग समानता (Embedding Similarity): रैंकिंग सुनिश्चित करने के लिए प्रतिकूल एम्बेडिंग को लक्षित दस्तावेज़ की एम्बेडिंग के करीब होना चाहिए।
2. सिमेंटिक अप्रासंगिकता (Semantic Irrelevance): परिणामी टेक्स्ट मूल से सिमेंटिक रूप से भिन्न (अर्थहीन) होना चाहिए।
अनुकूलन (Optimization): मॉडल एक संयुक्त लॉस फंक्शन को ऑप्टिमाइज़ करता है:
$L_{Attack} = L_{MSE} - \min(L_{CE}, \lambda)$
- $L_{MSE}$ (Mean Squared Error): रैंकिंग प्रासंगिकता बनाए रखने के लिए मूल एम्बेडिंग ( $e_d$ ) और विचलित एम्बेडिंग ( $\phi(e_d)$ ) के बीच यूक्लिडियन दूरी को कम करता है।
- $L_{CE}$ (Cross-Entropy): मूल और पुनर्गठित प्रतिकूल टेक्स्ट के बीच टोकन-लेवल विषमता को अधिकतम करता है।
- $\lambda$ : एक हाइपरपैरामीटर (जिसे 5 पर सेट किया गया है) जो समानता और अप्रासंगिकता के बीच संतुलन बनाने के लिए CE लॉस को क्लिप करता है।
दक्षता: परटर्बेशन मॉडल एक हल्का 3-लेयर पर्सेप्ट्रॉन है, जिसे प्रति लक्षित दस्तावेज़ प्रारंभ (initialize) किया जाता है लेकिन तेजी से प्रशिक्षित किया जाता है।

3. मुख्य योगदान (Key Contributions)

कंटीन्यूअस स्पेस ऑप्टिमाइज़ेशन: एम्बेडिंग स्पेस में सीधे कॉर्पस पॉइजनिंग हमलों को करने वाला पहला तरीका, जो डिस्क्रीट टोकन प्रतिस्थापन की अक्षमताओं से बचता है।
अनसुपरवाइज्ड सेटिंग: एक नया हमला ढांचा जिसमें क्वेरी वितरण के ज्ञान की आवश्यकता नहीं होती, जो इसे वास्तविक दुनिया के परिदृश्यों के लिए अधिक व्यावहारिक बनाता है जहाँ क्वेरी अज्ञात होती हैं।
गति और दक्षता: यह विधि सबसे तेज़ ग्रेडिएंट-आधारित वर्ड सब्स्टीट्यूशन विधियों (HotFlip) की तुलना में 4 गुना तेज़ प्रतिकूल उदाहरण उत्पन्न करती है। यह प्रति दस्तावेज़ 2 मिनट से कम का समय लेती है (HotFlip के घंटों के मुकाबले)।
स्टील्थ (कम पर्सपेलेक्सिटी): पिछले तरीकों के विपरीत जो उच्च पर्सपेलेक्सिटी वाले 'गिबरिश' (निरर्थक शब्द) उत्पन्न करते हैं, प्रस्तावित विधि ऐसा टेक्स्ट उत्पन्न करती है जो प्राकृतिक भाषा वितरण की नकल करता है, जिससे इसे पर्सपेलेक्सिटी-आधारित फिल्टरों द्वारा पकड़ना कठिन हो जाता है।
ट्रांसफ़ेरेबिलिटी (Transferability): उत्पन्न किए गए प्रतिकूल उदाहरण ब्लैक-बॉक्स सेटिंग्स में मजबूत ट्रांसफ़ेरेबिलिटी दिखाते हैं, जो अनदेखे रिट्रीवल मॉडल पर हमला करते समय SOTA बेसलाइन्स को पछाड़ते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न रिट्रीवर्स (SimLM, Contriever, E5, आदि) का उपयोग करके इन-डोमेन (TREC DL 19/20, MS MARCO) और आउट-ऑफ-डोमेन (NQ, Quora, FiQA, Touché-2020) डेटासेट्स पर अपने तरीके का मूल्यांकन किया।

अटैक सक्सेस रेट (ASR):
- व्हाइट-बॉक्स (White-Box) सेटिंग्स में, यह विधि SOTA HotFlip-आधारित विधियों के समान ASR प्राप्त करती है (जैसे, TREC DL 19 पर ~98% ASR)।
- ब्लैक-बॉक्स (Black-Box) सेटिंग्स में (DPR, ColBERTv2, RankLLaMA पर हमले ट्रांसफर करते समय), प्रस्तावित विधि HotFlip से बेहतर प्रदर्शन करती है, जो उत्कृष्ट ट्रांसफ़ेरेबिलिटी प्रदर्शित करती है।
सिमेंटिक अप्रासंगिकता:
- उत्पन्न दस्तावेज़ कम BLEU स्कोर और प्रासंगिकता के संबंध में LLM/मानव मूल्यांकन में उच्च "No" दर प्राप्त करते हैं, जो पुष्टि करता है कि वे उपयोगकर्ताओं के लिए अर्थहीन हैं।
पर्सपेलेक्सिटी और डिटेक्शन:
- हॉटफ्लिप (HotFlip) की तुलना में प्रस्तावित दस्तावेजों की पर्सपेलेक्सिटी काफी कम है (उदाहरण के लिए, TREC DL 19 पर HotFlip के ~6000 के मुकाबले ~189)।
- पर्सपेलेक्सिटी-आधारित फिल्टर प्रस्तावित प्रतिकूल दस्तावेज़ों और प्राकृतिक टॉप-1 दस्तावेज़ों के बीच अंतर करने में विफल रहते हैं, जबकि वे HotFlip हमलों को आसानी से पकड़ लेते हैं।
दक्षता:
- जनरेशन समय: ~100–130 सेकंड प्रति दस्तावेज़।
- HotFlip बेसलाइन: ~450–770 सेकंड प्रति दस्तावेज़ (त्वरित कोड का उपयोग करके)।

5. महत्व और निहितार्थ (Significance and Implications)

डेंस रिट्रीवल की भेद्यता: यह अध्ययन दर्शाता है कि यहाँ तक कि SOTA डेंस रिट्रीवल मॉडल भी अनसुपरवाइज्ड कॉर्पस पॉइजनिंग के प्रति अत्यधिक संवेदनशील हैं, भले ही उनके पास क्वेरी का ज्ञान न हो।
डिफेंस (रक्षा) के निहितार्थ: हमलों की कम पर्सपेलेक्सिटी यह सुझाव देती है कि सरल पर्सपेलेक्सिटी-आधारित फ़िल्टरिंग (एक सामान्य बचाव) अपर्याप्त है। रक्षकों को अधिक सूक्ष्म विसंगतियों (anomalies) को खोजना होगा या एडवरसेरियल ट्रेनिंग का उपयोग करना होगा।
एडवरसेरियल ट्रेनिंग: लेखक प्रदर्शित करते हैं कि उनके कुशल तरीके का उपयोग बड़े पैमाने पर नेगेटिव सैंपल्स उत्पन्न करने के लिए एडवरसेरियल ट्रेनिंग हेतु किया जा सकता है। प्रारंभिक परिणाम दिखाते हैं कि इन प्रतिकूल उदाहरणों के साथ मॉडल को फाइन-ट्यून करने से सामान्य रिट्रीवल प्रदर्शन को खराब किए बिना अटैक सक्सेस रेट में ~7.9% की कमी आती है।
यथार्थवादी थ्रेट मॉडल: ज्ञात क्वेरीज़ की धारणा को हटाकर, यह शोध पत्र क्षेत्र को अधिक यथार्थवादी थ्रेट मॉडल की ओर ले जाता है, जो अज्ञात क्वेरी वितरण के विरुद्ध मजबूती (robustness) की आवश्यकता पर बल देता है।

निष्कर्षतः, यह शोध पत्र डेंस रिट्रीवल सिस्टम के विरुद्ध एक अत्यधिक कुशल, गुप्त और प्रभावी हमला प्रस्तुत करता है, जो वर्तमान IR प्रतिमानों की मजबूती को मौलिक रूप से चुनौती देता है और नई रक्षा रणनीतियों की आवश्यकता को रेखांकित करता है।