तकनीकी सारांश: ADMIT – RAG-आधारित तथ्य-जांच पर फ्यू-शॉट नॉलेज पॉइजनिंग हमले

1. समस्या की परिभाषा

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम हैलुसिनेशन (hallucinations) और ज्ञान की कमी को कम करने के लिए बाहरी ज्ञान को एकीकृत करके लार्ज लैंग्वेज मॉडल्स (LLMs) को बेहतर बनाते हैं। हालांकि, ये सिस्टम नॉलेज पॉइजनिंग (knowledge poisoning) के प्रति संवेदनशील हैं, जहाँ हमलावर LLM आउटपुट को हेरफेर करने के लिए नॉलेज बेस में प्रतिकूल सामग्री इंजेक्ट करते हैं।

नॉलेज पॉइजनिंग पर मौजूदा साहित्य अक्सर वास्तविक दुनिया के तथ्य-जांच परिदृश्यों के लिए अवास्तविक धारणाओं पर निर्भर करता है:

1. वॉल्यूम डोमिनेंस (Volume Dominance): यह मानता है कि दुर्भावनापूर्ण सामग्री रिट्रीव किए गए संदर्भ पर हावी हो जाती है, जबकि वास्तविक दुनिया के सिस्टम आमतौर पर विश्वसनीय स्रोतों (जैसे समाचार आउटलेट, मेडिकल डेटाबेस) से आधिकारिक साक्ष्य रिट्रीव करते हैं जहाँ विश्वसनीय जानकारी का वर्चस्व होता है।
2. औचित्य का अभाव (Lack of Justification): यह मानता है कि LLMs बिना किसी सुसंगत औचित्य के गलत उत्तर उत्पन्न करते हैं, जो आधुनिक RAG पाइपलाइनों की अनदेखी करता है जो सुसंगत निष्कर्ष निकालने के लिए एजेंट-संचालित तर्क (agent-driven reasoning) का उपयोग करती हैं।
3. सिस्टम एक्सेस (System Access): यह अक्सर मानता है कि हमलावर के पास रिट्रीवर या LLM के आंतरिक भाग तक पहुंच है, जबकि वास्तविक दुनिया के हमले आमतौर पर ब्लैक-बॉक्स होते हैं।

यह शोध एक महत्वपूर्ण प्रश्न को संबोधित करता है: क्या आधुनिक LLM-आधारित RAG सिस्टम तब भी मजबूत रह सकते हैं जब रिट्रीव किए गए संदर्भ में विषैली (poisoned) सामग्री विश्वसनीय सहायक साक्ष्य के साथ सह-अस्तित्व में हो?

2. कार्यप्रणाली: ADMIT

लेखक ADMIT (ADversarial Multi-Injection Technique) का प्रस्ताव करते हैं, जो एक फ्यू-शॉट, सिमेंटिक रूप से संरेखित (semantically aligned) पॉइजनिंग हमला है, जिसे लक्षित LLMs, रिट्रीवर्स या टोकन-स्तरीय नियंत्रण तक पहुंच के बिना तथ्य-जांच निर्णयों को बदलने और भ्रामक औचित्य उत्पन्न करने के लिए डिज़ाइन किया गया है।

2.1 थ्रेट मॉडल (Threat Model)

• ब्लैक-बॉक्स एक्सेस: हमलावर के पास पीड़ित के रिट्रीवर या LLM तक कोई पहुंच नहीं है।
• फ्यू-शॉट इंजेक्शन: हमलावर नॉलेज बेस में दुर्भावनापूर्ण पासजों की एक न्यूनतम संख्या ($m$) इंजेक्ट करता है, जहाँ $m \le k$ (रिट्रीव किए गए पासजों की संख्या)। 1-शॉट सेटिंग में, एक एकल दुर्भावनापूर्ण पासज को संभावित रूप से चार स्वच्छ (clean) पासजों को ओवरराइड करना होता है।
• सिमेंटिक अलाइनमेंट (Semantic Alignment): इंजेक्ट की गई सामग्री निरर्थक या स्पष्ट रूप से दुर्भावनापूर्ण निर्देशों (जैसे, "पिछले निर्देशों को अनदेखा करें") वाली नहीं हो सकती। इसे एक सुसंगत, मानव-पठनीय पासज होना चाहिए जो वैध समाचार या साक्ष्य की नकल करता हो।

2.2 मुख्य घटक

ADMIT एक प्रॉक्सी वेरिफिकेशन सेटअप के माध्यम से संचालित होता है जो लक्षित वातावरण का अनुकरण करता है:

1. प्रॉक्सी पैसेज कंस्ट्रक्शन (Proxy Passage Construction):

   • सर्च-आधारित: हमलावर एक दावे से विविध क्वेरी उत्पन्न करने के लिए एक लाइटवेट LLM का उपयोग करता है, खुले वेब स्रोतों से दस्तावेज़ों को रिट्रीव करता है, और उन्हें खोजने के लिए फ़िल्टर करता है जो लक्षित दावे का खंडन करते हों।
   • LLM-आधारित: सीमित परिदृश्यों के लिए, हमलावर एक LLM को लक्षित दावे के विपरीत रुख का समर्थन करने वाला एक पासज उत्पन्न करने के लिए प्रॉम्प्ट करता है।
   • ये प्रॉक्सी पासज वे "स्वच्छ" संदर्भ के रूप में कार्य करते जिनके विरुद्ध प्रतिकूल पासज को अनुकूलित (optimize) किया जाता है।

2. एडवर्सरियल मल्टी-इंजेक्शन (The Attack Loop):

   • सिंगल-टर्न जनरेशन: प्रॉक्सी संदर्भ के आधार पर एक प्रारंभिक प्रतिकूल पासज उत्पन्न किया जाता है।
   • मल्टी-टर्न ऑप्टिमाइजेशन: यदि सिंगल-टर्न जनरेशन विफल हो जाता है, तो हमलावर एक पुनरावृत्ति फीडबैक लूप का उपयोग करता है। एक हमलावर LLM ($A$), पिछले सत्यापन परिणाम ($\tilde{V}$) और प्रॉक्सी संदर्भ ($R_{proxy}$) के आधार पर प्रतिकूल पासज ($p$) को अपडेट करता है।
   • मेमोरी क्लियरिंग: संदर्भ क्षरण (context degradation) को रोकने के लिए, हर $L$ इटरेशन के बाद मेमोरी को रीसेट किया जाता है, जिससे नए सिमेंटिक दिशाओं को खोजने के लिए पासज जनरेशन को फिर से इनिशियलाइज़ किया जाता है।
   • उद्देश्य: लक्ष्य एक ऐसा पासज $p$ खोजना है कि $\tilde{f}_{verify}(C_i, R_{proxy} \cup p) \approx V^{target}_i$ हो, जो प्रभावी रूप से निर्णय को बदल दे और साथ ही सिमेंटिक सुसंगतता बनाए रखे।

3. एडवर्सरियल प्रीफिक्स ऑग्मेंटेशन (Adversarial Prefix Augmentation):

   • यह सुनिश्चित करने के लिए कि स्वच्छ साक्ष्य की उपस्थिति के बावजूद प्रतिकूल पासज को रिट्रीव किया जाए, हमलावर प्रॉक्सी पासजों को बनाने के लिए उपयोग की गई सर्च क्वेरीज़ को प्रतिकूल टेक्स्ट के आगे जोड़ देता है। यह रिट्रीवर की क्वेरी कीवर्ड्स से मेल खाने की प्रवृत्ति का लाभ उठाता है, जिससे दुर्भावनापूर्ण सामग्री की रिट्रीवल संभावना बढ़ जाती है।

3. प्रमुख योगदान

• नया हमला प्रतिमान (Novel Attack Paradigm): ADMIT उन फ्यू-शॉट सेटिंग्स में प्रभावी नॉलेज पॉइजनिंग प्रदर्शित करने वाला पहला कार्य है जहाँ विश्वसनीय साक्ष्य रिट्रीवल पूल में हावी होता है। यह इस धारणा को चुनौती देता है कि सफलता के लिए बड़े पैमाने पर इंजेक्शन आवश्यक है।
• भ्रामक औचित्य (Deceptive Justification): पूर्ववर्ती हमलों के विपरीत जो स्पष्ट निर्देशों पर निर्भर करते हैं या निरर्थक टेक्स्ट उत्पन्न करते हैं, ADMIT बदले हुए निर्णय के लिए भ्रामक औचित्य सहित सिमेंटिक रूप से सुसंगत, मानव-पठनीय गलत सूचना उत्पन्न करता है।
• ब्लैक-बॉक्स प्रयोज्यता: इस पद्धति के लिए पीड़ित प्रणाली के व्हाइट-बॉक्स एक्सेस की आवश्यकता नहीं है, यह केवल प्रॉक्सी वेरीफायर और सार्वजनिक खोज इंजन पर निर्भर करती है।
• व्यापक मूल्यांकन: हमले का मूल्यांकन 4 क्रॉस-डोमेन बेंचमार्क (FEVER, SciFact, Climate-FEVER, HealthVer), 11 LLMs (ओपन-सोर्स, कमर्शियल और रीजनिंग मॉडल्स सहित), और 4 अलग-अलग रिट्रीवर्स पर किया गया है।

4. प्रयोगात्मक परिणाम

• उच्च अटैक सक्सेस रेट (ASR): ADMIT सभी सेटिंग्स में 86% का औसत ASR प्राप्त करता है, जिसमें अत्यंत कम पॉइजनिंग दर $0.93 \times 10^{-6}$ है।
• बेसलाइन्स पर श्रेष्ठता: स्टेट-ऑफ-द-आर्ट विधियों (जैसे, PoisonedRAG, CorruptRAG, Prompt Injection) की तुलना में, ADMIT औसतन ASR में 11.2% का सुधार करता है। विशेष रूप से, जबकि बेसलाइन्स अक्सर कमर्शियल LLMs (जैसे, GPT-4o) पर विफल हो जाते हैं, ADMIT उच्च प्रभावशीलता बनाए रखता है।
• काउंटर-एविडेंस के प्रति मजबूती: भले ही रिट्रीव किए गए संदर्भ में मजबूत तथ्यात्मक काउंटर-एविडेंस मौजूद हो (जैसे, 4 स्वच्छ पासज बनाम 1 दुर्भावनापूर्ण), ADMIT ओपन-सोर्स LLMs पर 80% मामलों में और कमर्शियल सिस्टम पर 65% मामलों में निर्णय को सफलतापूर्वक बदल देता है।
• ट्रांसफरेबिलिटी (Transferability): यह हमला अनदेखे रिट्रीवर्स और LLMs में प्रभावी रूप से ट्रांसफर होता है। रीजनिंग-ओरिएंटेड मॉडल्स (जैसे, o1-mini), जो तथ्यात्मक निरंतरता के लिए डिज़ाइन किए गए हैं, फिर भी असुरक्षित पाए गए, जहाँ ASR 60-70% तक पहुँच गया।
• डिफेंस इवेजन (Defense Evasion): ADMIT मौजूदा सुरक्षा उपायों को लगातार बायपास करता है, जिनमें शामिल हैं:
  • फेक न्यूज डिटेक्शन: LLM-आधारित क्लासिफायर ADMIT पासजों को वास्तविक समाचार से अलग करने में विफल रहते हैं (AUC स्कोर रैंडम चांस के करीब)।
  • सांख्यिकीय डिटेक्शन: पर्सप्लेक्सिटी (PPL) और ROUGE-N समानता मेट्रिक्स, उत्पन्न सामग्री की सिमेंटिक सुसंगतता के कारण, प्रतिकूल पासजों को स्वच्छ पासजों से अलग करने में विफल रहते हैं।
  • नॉलेज कंसोलिडेशन: "डिवाइड-एंड-वोट" या क्लस्टरिंग जैसी रणनीतियाँ अक्सर प्रतिकूल प्रभाव को कम करने के बजाय उसे बढ़ा देती हैं।
  • एजेंट-आधारित डिफेंस: ReAct एजेंट्स, जो कार्यों को सर्च और रिफ्लेक्शन स्टेप्स में विभाजित करते हैं, अत्यधिक असुरक्षित बने रहते हैं, जिसमें इंजेक्शन वॉल्यूम बढ़ने के साथ ASR बढ़कर 88-94% हो जाता है।

5. महत्व और दावे

पेपर का दावा है कि तथ्यात्मक मजबूती (factual robustness) स्वचालित रूप से LLM के स्केल या रीजनिंग क्षमता से नहीं आती है। ADMIT का अस्तित्व वास्तविक दुनिया के RAG-आधारित तथ्य-जांच सिस्टमों में महत्वपूर्ण संरचनात्मक कमजोरियों को उजागर करता है।

• हाइब्रिड सिस्टम की भेद्यता: अध्ययन प्रकट करता है कि भले ही सिस्टम विविध, विश्वसनीय स्रोतों को एकत्रित करते हों, एक एकल, अच्छी तरह से तैयार किया गया प्रतिकूल पासज आधिकारिक साक्ष्य को ओवरराइड कर सकता है।
• वर्तमान सुरक्षा उपायों की सीमाएँ: मौजूदा सुरक्षा उपाय (सांख्यिकीय फ़िल्टरिंग, फेक न्यूज़ डिटेक्शन और नॉलेज कंसोलिडेशन) सिमेंटिक रूप से संरेखित, फ्यू-शॉट पॉइजनिंग के खिलाफ अपर्याप्त हैं।
• AI सुरक्षा के निहितार्थ: निष्कर्ष सतह की निरंतरता से परे जाने वाली सुरक्षा की तत्काल आवश्यकता को रेखांकित करते हैं, जैसे कि प्रोवेनेंस (provenance) को ट्रैक करना, अनिश्चितता का आकलन करना और रिट्रीव किए गए संदर्भ से परे तर्क करना।

लेखक इस बात पर जोर देते हैं कि उनका कार्य विशुद्ध रूप से रक्षात्मक है, जिसका उद्देश्य व्यवस्थित रूप से कमजोरियों का मूल्यांकन करके अधिक मजबूत तथ्य-जांच सिस्टम के डिजाइन को सूचित करना है। वे नोट करते हैं कि हालांकि हमला प्रभावी है, यह विशिष्ट स्थितियों (जैसे, सार्वजनिक नॉलेज बेस में इंजेक्ट करने की क्षमता) पर निर्भर करता है और यह सभी RAG सिस्टम को सार्वभौमिक रूप से तोड़ने का दावा नहीं करता है, बल्कि एक महत्वपूर्ण, कम खोजे गए अटैक सरफेस को उजागर करता है।