Blast Radius Characterization of Triple-Level Poisoning Attacks in Knowledge Graph Retrieval-Augmented Generation Systems

इंटरनेट की कल्पना एक विशाल, अराजक पुस्तकालय के रूप में करें जहाँ हर किताब सूचना का एक टुकड़ा है। लंबे समय तक, सवाल पूछने की कोशिश करने वाले कंप्यूटर (जैसे कि हमारे सुपर-स्मार्ट एआई सहायक) केवल शेल्फ से सबसे समान दिखने वाली एक किताब उठाते थे, उसे पढ़ते थे और उत्तर का अनुमान लगाते थे। यह ऐसा था जैसे किसी लाइब्रेरियन से रेसिपी मांगना और बदले में एक रैंडम कुकबुक मिलना जिसके कवर पर संयोग से "चिकन" शब्द लिखा हो। लेकिन हाल ही में, वैज्ञानिकों ने एक अलग प्रकार का पुस्तकालय बनाना शुरू किया है: एक नॉलेज ग्राफ (Knowledge Graph)। किताबों के ढेर के बजाय, यह एक विशाल, चमकता हुआ वेब है जहाँ प्रत्येक तथ्य एक नोड (एक बिंदु) है और प्रत्येक संबंध उन्हें जोड़ने वाला एक धागा है। यदि आप "चिकन" के बारे में पूछते हैं, तो सिस्टम केवल एक किताब नहीं ढूँढता; बल्कि वह उन धागों का पीछा करता है यह देखने के लिए कि चिकन क्या खाता है, उसमें कौन सी बीमारियाँ हो सकती हैं, और किन व्यंजनों में इसका उपयोग होता है। इसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहा जाता है। यह एआई को केवल शब्दों की सूची देने के बजाय एक मानचित्र देने जैसा है, जिससे उसे तथ्यों की जटिल कड़ियों के माध्यम से तर्क करने की अनुमति मिलती है।

हालाँकि, इस नए वेब-नुमा पुस्तकालय में एक डरावनी नई कमजोरी है। पुराने बुक-शेल्फ सिस्टम में, यदि कोई किसी किताब में एक फर्जी पन्ना डाल देता, तो केवल वे लोग ही मूर्ख बनते जो उस विशिष्ट किताब को देख रहे होते। लेकिन जुड़े हुए बिंदुओं के वेब में, यदि आप मानचित्र के बीच में एक अकेला धागा ज़हरीला बना देते हैं, तो वह झूठ एक साथ दर्जनों अलग-अलग रास्तों पर फैल सकता है। यह एक नदी के केंद्र में लाल रंग की एक बूंद डालने जैसा है; अचानक, उस नदी से जुड़ी हर धारा, तालाब और झरना गुलाबी हो जाता है। यह शोध पत्र ठीक इसी बात की जांच करता है कि वह "रंग" कितनी दूर तक फैलता है। शोधकर्ता जानना चाहते थे: यदि कोई बुरा तत्व इस जुड़े हुए वेब में एक झूठ डाल देता है, तो कितने अलग-अलग सवालों के जवाब एआई गलत देगा? वे इसे "ब्लास्ट रेडियस" (Blast Radius) कहते हैं। यह एक माप है कि कैसे एक छोटी सी गलती कितना नुकसान पहुँचा सकती है जब सिस्टम कनेक्शन के उलझे हुए जाल पर बना हो।

बड़ा प्रयोग: जहर कितना दूर तक फैलता है?

इस शोध पत्र के लेखकों ने इस "ब्लास्ट रेडियस" को मापने के लिए एक डिजिटल प्रयोग स्थापित किया, जो एक बहुत ही विशिष्ट, उच्च-जोखिम वाले वातावरण में था: एक मेडिकल नॉलेज ग्राफ। उन्होंने माइक्रोसॉफ्ट ग्राफ-आर-ए-जी (Microsoft GraphRAG) नामक एक सिस्टम का उपयोग किया जो जेम्मा 2 9बी (Gemma 2 9B) नामक एक एआई मॉडल द्वारा संचालित है, जिसमें कैंसर, मधुमेह और वायरस जैसी चीजों के वास्तविक मेडिकल एब्स्ट्रैक्ट्स का संग्रह फीड किया गया था।

सिस्टम का परीक्षण करने के लिए, उन्होंने एआई को जटिल कोड या गुप्त पासवर्ड से धोखा देने की कोशिश नहीं की। इसके बजाय, उन्होंने "स्ट्रक्चरल सबोटेज" (संरचनात्मक तोड़फोड़) का खेल खेला। उन्होंने ग्राफ में तीन अलग-अलग प्रकार के नकली तथ्यों (जिन्हें "ट्रिपल्स" कहा जाता है) को इंजेक्ट किया ताकि यह देखा जा सके कि नुकसान कैसे फैलता है:

1. द "एज" अटैक (The "Edge" Attack): उन्होंने एक मामूली, अज्ञात चिकित्सा तथ्य (जैसे किसी दुर्लभ स्थिति के लिए एक विशिष्ट दवा) के बारे में झूठ फैलाया जिसका अन्य तथ्यों के साथ केवल कुछ ही संबंध था।
2. द "हब" अटैक (The "Hub" Attack): उन्होंने एक सुपरस्टार मेडिकल तथ्य—एक "हब" (Hub)—को निशाना बनाया जो दर्जनों अन्य चीजों से जुड़ा हुआ है। अपने प्रयोग में, उन्होंने p53 को चुना, जो कैंसर अनुसंधान में एक केंद्रीय पात्र है, जो जीन, बीमारियों और उपचारों से हर जगह जुड़ा हुआ है। उन्होंने यह झूठ डाला कि p53 ट्यूमर को रोकने के बजाय उसे पैदा करता है।
3. द "चेन" अटैक (The "Chain" Attack): उन्होंने तीन जुड़े हुए झूठों से बनी एक फर्जी कहानी बनाई, जो चार अलग-अलग चिकित्सा विषयों को एक ऐसी श्रृंखला में जोड़ती थी जो वास्तव में अस्तित्व में नहीं थी।

चौंकाने वाले परिणाम: एक झूठ, चौदह गलतियाँ

परिणाम एक चेतावनी की तरह थे। शोधकर्ताओं ने पाया कि वेब का आकार झूठ की सामग्री से अधिक महत्वपूर्ण है।

• द "एज" अटैक: जब उन्होंने मामूली, अज्ञात तथ्य के बारे में झूठ बोला, तो नुकसान सीमित रहा। उनके द्वारा इंजेक्ट किए गए प्रत्येक एक झूठ के लिए, एआई ने 7 गलत उत्तर दिए। जहर फैला, लेकिन यह काफी हद तक स्थानीय ही रहा।
• द "हब" अटैक: यहीं पर चीजें बेकाबू हो गईं। जब उन्होंने सुपर-कनेक्टेड प्रोटीन p53 के बारे में केवल एक झूठ डाला, तो ब्लास्ट रेडियस विस्फोट कर गया। उस एक फर्जी तथ्य ने एआई को 14 गलत उत्तर देने के लिए मजबूर कर दिया। इसका मतलब है कि "हब" हमला "एज" हमले की तुलना में दोगुना खतरनाक था, भले ही उन्होंने केवल एक फर्जी डेटा का उपयोग किया था। झूठ केवल p53 तक ही सीमित नहीं रहा; यह वेब के माध्यम से यात्रा करता रहा, कैंसर उपचार, जीन थेरेपी और ड्रग मैकेनिज्म के बारे में जवाबों को भी भ्रष्ट कर दिया, जिनके बारे में उपयोगकर्ता ने सीधे तौर पर p53 के बारे में कभी पूछा भी नहीं था।
• द "चेन" अटैक: जब उन्होंने तीन झूठों की फर्जी श्रृंखला बनाई, तो नुकसान गहरा था लेकिन प्रति झूठ थोड़ा कम विस्फोटक था (लगभग 4 गलत उत्तर प्रति झूठ)। हालांकि, यह जटिल, बहु-चरणीय सवालों में एआई को धोखा देने में बहुत प्रभावी था।

"टू-हॉप" स्वीट स्पॉट (The "Two-Hop" Sweet Spot)

सबसे दिलचस्प खोजों में से एक यह थी कि कौन से सवाल सबसे अधिक खराब हुए। शोधकर्ताओं ने उन सवालों का परीक्षण किया जिनमें एआई को उत्तर खोजने के लिए वेब के माध्यम से एक कदम (1-hop), दो कदम (2-hop), या तीन कदम (3-hop) आगे बढ़ने की आवश्यकता थी।

उन्होंने पाया कि दो-चरणीय (two-step) सवाल सबसे अधिक असुरक्षित थे। ऐसा लगता है कि जब एआई को उत्तर तक पहुँचने के लिए एक मध्यवर्ती तथ्य के ऊपर से कूदना पड़ता है, तो उसके जहरीले क्षेत्र में ठोकर लगने की सबसे अधिक संभावना होती है। हब हमले में, 10 में से 6 दो-चरणीय सवाल दूषित हो गए। "कैस्केड इफेक्ट" (Cascade Effect) वास्तविक था: एआई ने न केवल सीधा सवाल गलत किया; उसने उस झूठ के परिणामों को भी गलत बताया। वास्तव में, हर परिदृश्य में, "कैस्केड" क्षति (अप्रत्यक्ष रूप से प्रभावित उत्तर) "डायरेक्ट" क्षति (वे उत्तर जो स्पष्ट रूप से झूठ का उल्लेख करते हैं) की तुलना में बहुत अधिक थी।

यह क्यों मायने रखता है और इसे कैसे ठीक करें

शोध पत्र निष्कर्ष निकालता है कि एक नॉलेज ग्राफ में, स्थान ही सब कुछ है। यदि आप पुस्तकालय के एक शांत कोने को ज़हरीला बनाते हैं, तो यह एक छोटी समस्या है। यदि आप मुख्य चौराहे को ज़हरीला बनाते जहाँ सभी सड़कें मिलती हैं, तो पूरा शहर रास्ता भटक जाता है। यह चिकित्सा, कानून और व्यवसाय जैसे क्षेत्रों के लिए एक बहुत बड़ी समस्या है, जहाँ एक गलत तथ्य गलत निदान या गलत कानूनी रणनीति की ओर ले जा सकता है।

इससे लड़ने के लिए, लेखक एक नया बचाव प्रस्तावित करते हैं जिसे "डिग्री-वेटेड ट्रस्ट स्कोरिंग" (Degree-Weighted Trust Scoring) कहा जाता है। कल्पना कीजिए कि पुस्तकालय के प्रवेश द्वार पर एक सुरक्षा गार्ड है। केवल यह देखने के लिए कि किताब फर्जी है या नहीं, वह पुस्तक को नहीं पढ़ता, बल्कि वह लेखक और विषय को देखता है। यदि कोई नया तथ्य एक "हब" (p53 जैसी एक सुपर-कनेक्टेड इकाई) के बारे में है, तो गार्ड बहुत संदिग्ध हो जाता है और इसे सिस्टम में आने देने से पहले मानव द्वारा दोबारा जांच के लिए फ्लैग (चिह्नित) कर देता है। यदि तथ्य एक मामूली, अज्ञात विषय के बारे में है, तो गार्ड इसे जल्दी से गुजर जाने देता है। इस प्रकार, सिस्टम अपनी ऊर्जा मानचित्र के सबसे खतरनाक हिस्सों की रक्षा करने पर केंद्रित करता है।

संक्षेप में, यह शोध पत्र हमें दिखाता है कि जबकि अपने एआई के ज्ञान को एक वेब में जोड़ना उसे स्मार्ट बनाता है, यह उसे अधिक नाजुक भी बनाता है। सही (या गलत) स्थान पर एक अकेला झूठ बाहर तक फैल सकता है और सिस्टम को भ्रमित कर सकता है, जिससे एक छोटी सी गलती एक बड़े संकट में बदल सकती है।