तकनीकी सारांश: "Someone Hid It!" क्वेरी-अज्ञेय ब्लैक-बॉक्स हमले (Query-Agnostic Black-Box Attacks)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र LLM-आधारित रिट्रीवल (LLMR) सिस्टम की सुरक्षा संबंधी कमजोरियों को संबोधित करता है, जो Retrieval-Augmented Generation (RAG), Information Retrieval (IR), और Agent Memory के लिए बैकबोन के रूप में कार्य करते हैं। जबकि मौजूदा शोध ने प्रदर्शित किया है कि LLMR, टोकन-स्तरीय इंजेक्शन (token-level injections) के माध्यम से प्रतिकूल हमलों (adversarial attacks) के प्रति संवेदनशील है, वर्तमान विधियाँ वास्तविक दुनिया की प्रयोज्यता के संबंध में दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

1. व्हाइट-बॉक्स धारणाएँ (White-Box Assumptions): अधिकांश मौजूदा हमलों के लिए पीड़ित मॉडल के पैरामीटर्स या आर्किटेक्चर तक पूर्ण पहुंच की आवश्यकता होती है।
2. क्वेरी ज्ञान (Query Knowledge): मौजूदा विधियाँ अक्सर यह मान लेती हैं कि हमलावर को विशिष्ट उपयोगकर्ता क्वेरी का ज्ञान है या पीड़ित के दस्तावेज़ संग्रह (corpus) तक पहुंच है।

व्यावहारिक ब्लैक-बॉक्स परिदृश्यों में, हमलावरों के पास आमतौर पर पीड़ित मॉडल, छिपे हुए दस्तावेज़ संग्रह, और विशिष्ट उपयोगकर्ता क्वेरी (जो हमले के बाद उत्पन्न होती हैं) का ज्ञान नहीं होता है। इसके अलावा, हमलावरों की क्षमताएं सीमित होती हैं, जैसे कि एक सामान्य उपयोगकर्ता (उदाहरण के लिए, एक विकिपीडिया योगदानकर्ता) जो केवल एक दस्तावेज़ को पढ़ और थोड़ा संपादित कर सकता है।

मुख्य समस्या: क्या एक हमलावर किसी पूर्ण ब्लैक-बॉक्स सेटिंग में एक विशिष्ट पीड़ित दस्तावेज़ को LLM-आधारित रिट्रीवर से सफलतापूर्वक छिपा सकता है? हमलावर को (टोकन इंजेक्शन के माध्यम से) दस्तावेज़ में हेरफेर करना होगा बिना पीड़ित मॉडल, उपयोगकर्ता क्वेरी, या पूर्ण संग्रह को जाने, ताकि दस्तावेज़ किसी भी प्रासंगिक क्वेरी के लिए शीर्ष-$k$ परिणामों में दिखाई न दे।

2. कार्यप्रणाली (Methodology)

लेखक एक क्वेरी-अज्ञेय ब्लैक-बॉक्स हमला (Query-Agnostic Black-Box Attack) विधि प्रस्तावित करते हैं जो एक सरोगेट (surrogate) LLM का उपयोग करके हस्तांतरणीय इंजेक्शन टोकन (transferable injection tokens) उत्पन्न करती है। यह कार्यप्रणाली एक सैद्धांतिक ढांचे और एक एडवरसैरियल लर्निंग तंत्र पर आधारित है।

2.1 सैद्धांतिक ढांचा: $\epsilon$-$p_\epsilon$-प्रिसाइज रिट्रीवर (Precise Retriever)

लेखक पहले LLM रिट्रीवर्स के व्यवहार को मापने के लिए एक सैद्धांतिक परिभाषा स्थापित करते हैं। वे एक $\epsilon$-$p_\epsilon$-प्रिसाइज रिट्रीवर को एक ऐसे सिस्टम के रूप में परिभाषित करते हैं जहाँ, एक दिए गए विषय वितरण (topic distribution) के लिए, एक ही विषय के भीतर संदर्भों (contexts) का एक अंश $p_\epsilon$, विभिन्न विषयों के बीच की समानता की तुलना में कम से कम $\epsilon$ अधिक समानता रखता है।

• अनुभवजन्य सत्यापन (Empirical Verification): 24 विषयों के एम्बेडिंग्स पर प्रिंसिपल कंपोनेंट एनालिसिस (PCA) का उपयोग करने वाले प्रयोग पुष्टि करते हैं कि LLMs स्वाभाविक रूप से एक ही विषय के संदर्भों को एम्बेडिंग स्पेस में क्लस्टर करते हैं, जो इस धारणा को मान्य करता है कि रिट्रीवर्स इस गुण को प्रदर्शित करते हैं।

2.2 मिन-मैक्स अनुकूलन के माध्यम से हस्तांतरणीयता (Transferability via Min-Max Optimization)

एक ब्लैक-बॉक्स हमला प्राप्त करने के लिए, विधि पीड़ित मॉडल ($f$) के सन्निकटन (approximation) के रूप में एक सरोगेट मॉडल ($g$) का उपयोग करती है। हमले को एक मिन-मैक्स समस्या के रूप में तैयार किया गया है:

• उद्देश्य: विचलित दस्तावेज़ $d'$ और क्वेरी $q$ के बीच समानता को कम करना।
• चुनौती: चूंकि $q$ अज्ञात है, लेखक लक्ष्य को उसी विषय के भीतर नमूना ली गई क्वेरीज के सेट $X$ के साथ $d'$ की समानता को अधिकतम करके अनुमानित करते हैं।
• थ्योरम 3.2 (हस्तांतरणीयता): लेखक सिद्ध करते हैं कि यदि सरोगेट मॉडल $g$, $\epsilon_g$-$p_{g\epsilon}$-प्रिसाइज है, और हमला $d'$ को इस तरह अनुकूलित करता है कि नमूना ली गई क्वेरीज के साथ इसकी समानता विषय क्लस्टर के भीतर न्यूनतम समानता से कम हो जाती है, तो $d'$ संभवतः पीड़ित मॉडल $f$ के लिए शीर्ष-$k$ परिणामों से बाहर धकेल दिया जाएगा (यह मानते हुए कि $f$ भी प्रिसाइज है)।

2.3 डॉक्यूमेंट-क्वेरी एडवरसैरियल (DQ-A) लर्निंग

बिना वास्तविक क्वेरी को जाने मिन-मैक्स समस्या को हल करने के लिए, लेखक एक डॉक्यूमेंट-क्वेरी एडवरसैरियल (DQ-A) लर्निंग फ्रेमवर्क प्रस्तावित करते हैं:

1. क्वेरी सैंपलिंग: एक तृतीय-पक्ष "कैजुअल" LLM पीड़ित दस्तावेज़ के विषय से संबंधित $N$ विविध संभावित क्वेरीज ($S$) उत्पन्न करता है।
2. एडवरसैरियल ऑप्टिमाइज़ेशन:
   • दस्तावेज़ अनुकूलन (Document Optimization): पीड़ित दस्तावेज़ में इंजेक्ट किए गए टोकन को नमूना ली गई क्वेरीज के साथ समानता को न्यूनतम करने के लिए अनुकूलित किया जाता है।
   • क्वेरी अनुकूलन (Query Optimization): नमूना ली गई क्वेरीज को पीड़ित दस्तावेज़ के साथ समानता को अधिकतम करने के लिए अनुकूलित किया जाता है (एक "हार्ड नेगेटिव" जनरेटर के रूप में कार्य करता है)।
3. पॉपुलेशन डिफरेंस (Population Difference): आंतरिक (क्वेरी) और बाहरी (दस्तावेज़) लूप्स के बीच संतुलन बनाने के लिए लर्निंग रेट का उपयोग करने के बजाय, विधि एक पॉपुलेशन डिफरेंस का उपयोग करती है। यह एक एकल दस्तावेज़ के विरुद्ध $N$ विविध क्वेरीज को अनुकूलित करता है, जो क्वेरी पक्ष के लिए बड़े लर्निंग रेट के प्रभाव का अनुकरण करता है।

2.4 वर्ड-एम्बेडिंग सरोगेट रणनीति (Word-Embedding Surrogate Strategy)

एक प्रमुख तकनीकी नवाचार एडवरसैरियल लर्निंग के लिए लास्ट-हिडन स्टेट्स (ट्रांसफॉर्मर ब्लॉक का अंतिम भाग) के बजाय वर्ड-एम्बेडिंग्स (पहले एम्बेडिंग लेयर का आउटपुट) का उपयोग करना है।

• तर्क: अनुभवजन्य निष्कर्ष बताते हैं कि डीप लेयर्स के बजाय उथले लेयर्स (वर्ड-एम्बेडिंग्स) में दूरियों को अनुकूलित करना, फाइनल रिट्रीवल एम्बेडिंग्स पर अधिक प्रभावी और हस्तांतरणीय हमले प्रदान करता है। इसका श्रेय LLMs की उच्च पैरामीटर संख्या को दिया जाता है, जहाँ उथले-लेयर के व्यवधानों का अंतिम रिप्रेजेंटेशन स्पेस पर अधिक मजबूत प्रभाव पड़ता है।

3. मुख्य योगदान

1. ब्लैक-बॉक्स अटैक फ्रेमवर्क: यह पेपर LLMR के लिए पहला पूर्ण ब्लैक-बॉक्स हमला प्रस्तुत करता है जिसे पीड़ित मॉडल, दस्तावेज़ संग्रह, या उपयोगकर्ता क्वेरी के ज्ञान की आवश्यकता नहीं है। यह एक वास्तविक हमलावर का अनुकरण करता है जो केवल दस्तावेज़ों को संपादित करने में सक्षम है।
2. सैद्धांतिक आधार: यह एक सैद्धांतिक ढांचा ($\epsilon$-$p_\epsilon$-प्रिसाइज रिट्रीवर) स्थापित करता है और अनुभवजन्य साक्ष्य प्रदान करता है कि LLM एम्बेडिंग्स विषय द्वारा क्लस्टर होते हैं, जो हमले की हस्तांतरणीयता को सिद्ध करने का आधार है।
3. DQ-A लर्निंग मैकेनिज्म: लेखक एक नवीन एडवरसैरियल लर्निंग मैकेनिज्म पेश करते हैं जो गैर-कॉन्वेक्स ऑप्टिमाइज़ेशन चुनौतियों से निपटने के लिए पॉपुलेशन-आधारित दृष्टिकोण का उपयोग करते हुए पीड़ित दस्तावेज़ों और नमूना ली गई क्वेरीज को संयुक्त रूप से अनुकूलित करता है।
4. सरोगेट रणनीति: पेपर यह पहचानता और मान्य करता है कि एडवरसैरियल ट्रेनिंग के लिए वर्ड-एम्बेडिंग्स का उपयोग करना लास्ट-हिडन स्टेट्स का उपयोग करने की तुलना में हमले की हस्तांतरणीयता को काफी सुधारता है।
5. ज़ीरो-शॉट हस्तांतरणीयता (Zero-Shot Transferability): विधि प्रदर्शित करती है कि एक दस्तावेज़ में इंजेक्ट किए गए टोकन बिना री-ट्रेनिंग या मॉडल-विशिष्ट ट्यूनिंग के विभिन्न अलग-अलग LLM रिट्रीवर्स (जैसे Qwen, Mistral, Jina, Gemma) में रिट्रीवल प्रदर्शन को एक साथ कम कर सकते हैं।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन BRIGHT बेंचमार्क से इकोनॉमिक्स, साइकोलॉजी, बायोलॉजी, रोबोटिक्स डेटासेट पर सात लोकप्रिय LLM रिट्रीवर्स (Qwen-1.5, SFR-Mistral, E5-Mistral, Embedding-Gemma, Jina, Granite, और Qwen3 सहित) के विरुद्ध किया गया।

• प्रदर्शन प्रभाव: प्रस्तावित हमला (DQ-A) लगातार मौजूदा बेसलाइन्स (GCG, PRADA, Poisoned-RAG) से बेहतर रहा।
  • इसने अधिकांश मॉडलों में Recall@25 में 2%–10% और Recall@50 में 1%–7% की औसत गिरावट हासिल की।
  • विशिष्ट मामलों में (जैसे Qwen1.5 पर रोबोटिक्स डेटासेट), हमले के कारण Recall@50 में 8% की गिरावट आई, जो मॉडल के मूल प्रदर्शन में ~30% की कमी को दर्शाता है।
• एब्लेशन स्टडीज (Ablation Studies):
  • एडवरसैरियल लर्निंग: एडवरसैरियल क्वेरी ऑप्टिमाइज़ेशन (S-GCG) को हटाने से काफी कम हमला सफलता मिली, जो DQ-A डिज़ाइन को मान्य करती है।
  • सरोगेट लेयर: अधिकांश परिदृश्यों में वर्ड-एम्बेडिंग्स (DQ-A) का उपयोग करना लास्ट-हिडन स्टेट्स (DQ-A-H) के उपयोग से बेहतर रहा।
  • सैंपलिंग साइज: नमूना ली गई क्वेरीज की संख्या ($|S|$) बढ़ाने से एक बिंदु तक (लगभग 10 तक) प्रदर्शन में सुधार हुआ, जिसके बाद घटते रिटर्न देखे गए।
  • इंजेक्शन पोजीशन: टोकन दस्तावेज़ के शुरुआत या अंत में इंजेक्ट किए जाने पर सबसे प्रभावी थे, जबकि बीच में कम प्रभावी थे, जो ट्रांसफॉर्मर अटेंशन मैकेनिज्म के अनुरूप है।
• मजबूती (Robustness): हमला तब भी प्रभावी रहा जब रिट्रीवर को रेंकर (reranker) मॉडल के साथ जोड़ा गया था, क्योंकि हमला रेंकर के कार्य करने से पहले ही दस्तावेज़ को कैंडिडेट पूल से बाहर कर देता है।

5. महत्व और दावे

पेपर दावा करता है कि इसका कार्य LLM-आधारित रिट्रीवल सिस्टम में एक महत्वपूर्ण, पहले से अनछुए विफलता मोड को प्रकट करता है।

• वास्तविक दुनिया की प्रासंगिकता: सख्त ब्लैक-बॉक्स बाधाओं (कोई क्वेरी ज्ञान नहीं, कोई मॉडल एक्सेस नहीं) के तहत काम करके, यह हमला एक ऐसी भेद्यता को उजागर करता है जो व्यावहारिक तैनाती परिदृश्यों में मौजूद है, जैसे कि सार्वजनिक विकी या चर्चा मंच जहाँ सामग्री को अविश्वसनीय उपयोगकर्ताओं द्वारा संपादित किया जा सकता है।
• व्यापक निहितार्थ: लेखक नोट करते हैं कि पहचाने गए मजबूती के मुद्दे न केवल दुर्भावनापूर्ण हमलों से उत्पन्न हो सकते हैं, बल्कि वास्तविक दुनिया में सौम्य या अनपेक्षित दस्तावेज़ संपादन से भी उत्पन्न हो सकते हैं। यदि मानक सामग्री अपडेट अनजाने में दस्तावेज़ों को रिट्रीवल क्लस्टर से बाहर धकेल सकते हैं, तो LLMR सिस्टम की विश्वसनीयता मौलिक रूप से चुनौती दी जाती है।
• डिफेंस गैप (Defense Gap): पेपर स्पष्ट रूप से कहता है कि मौजूदा रक्षा तंत्र (जो कॉर्पस पॉइजनिंग डिटेक्शन या पोस्ट-रिट्रीवल रेंकिंग पर केंद्रित हैं) इस प्रकार के "घटते" (decreasing) हमले के लिए अपर्याप्त हैं। यह नए रक्षा रणनीतियों के लिए आह्वान करता है जो केवल ज़हरीले आउटपुट का पता लगाने के बजाय स्वयं मजबूत रिट्रीवल मैकेनिज्म बनाने पर ध्यान केंद्रित करें।

लेखक एक विनम्र लहजा बनाए रखते हैं, यह स्वीकार करते हुए कि हालांकि हमला प्रभावी है, इसका उद्देश्य दुर्भावनापूर्ण दुरुपयोग को बढ़ावा देने के बजाय सिस्टम की कमजोरियों को स्पष्ट करना है ताकि अधिक मजबूत सिस्टम के विकास में मदद मिल सके। वे यह भी नोट करते हैं कि हमले के उलटे संस्करण का उपयोग करके विशिष्ट दस्तावेज़ों को बढ़ावा देना संभव है, लेकिन वर्तमान में इसकी प्रभावशीलता सीमित है।