Oracle Poisoning: Corrupting Knowledge Graphs to Weaponise AI Agent Reasoning
यह शोध पत्र "ओरेकल पॉइज़निंग" (Oracle Poisoning) को प्रस्तुत और अनुभवजन्य रूप से मान्य करता है, जो एक नया हमला वेक्टर है जहाँ हमलावर संरचित ज्ञान ग्राफ (knowledge graphs) को दूषित करते हैं ताकि एआई एजेंटों को अन्यथा तर्कसंगत तर्क के माध्यम से गलत निष्कर्ष निकालने के लिए मजबूर किया जा सके, जो यह प्रदर्शित करता है कि वर्तमान मॉडल टूल-यूज़ प्रोटोकॉल के माध्यम से एक्सेस किए जाने पर सार्वभौमिक रूप से दूषित डेटा पर भरोसा करते हैं और इनलाइन टेस्टिंग में महत्वपूर्ण मूल्यांकन अंतराल को उजागर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "ओरेकल पॉइजनिंग" (Oracle Poisoning) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: "विश्वसनीय लाइब्रेरियन" का जाल
कल्पना कीजिए कि आपके पास एक शानदार AI असिस्टेंट (जिसे "एजेंट" कहा जाता है) है जो कोड लिखने या सुरक्षा खामियों की जाँच करने में आपकी मदद करता है। यह असिस्टेंट अविश्वसनीय रूप से स्मार्ट है और पूरी तरह से तर्क करता है। हालाँकि, इसकी एक बड़ी कमजोरी है: यह बाहरी दुनिया के प्रति अंधा है।
अपना काम करने के लिए, AI पूरी तरह से एक विशाल, संरचित डिजिटल लाइब्रेरी पर निर्भर है जिसे नॉलेज ग्राफ (Knowledge Graph) कहा जाता है। इस ग्राफ को अपने पूरे सॉफ़्टवेयर कोडबेस के एक विशाल मानचित्र (Map) के रूप में समझें, जो दिखाता है कि कोड का हर हिस्सा दूसरे हिस्से से कैसे जुड़ा है।
AI इस मानचित्र को एक ओरेकल (Oracle) के रूप में मानता है—पूर्ण सत्य का एक स्रोत। वह इस मानचित्र पर सवाल नहीं उठाता; वह मान लेता है कि मानचित्र 100% सटीक है। यदि मानचित्र कहता है कि "फंक्शन A, फंक्शन B को कॉल करता है," तो AI बिना किसी दूसरे स्रोत की जाँच किए इसे सच मान लेता है।
ओरेकल पॉइजनिंग (Oracle Poisoning) वह हमला है जहाँ एक बुरा व्यक्ति लाइब्रेरी में घुसपैठ करता है और मानचित्र को बदल देता है। वे AI के दिमाग को नहीं तोड़ते; वे AI को भ्रमित करने वाले शब्दों से धोखा नहीं देते। इसके बजाय, वे चुपचाप मानचित्र पर मौजूद तथ्यों को बदल देते हैं। क्योंकि AI तर्क करने में बहुत कुशल है, वह इन नए, फर्जी तथ्यों को लेता है और एक पूरी तरह से तार्किक—लेकिन पूरी तरह से गलत—निष्कर्ष निकालता है।
उपमा: प्लेटो की गुफा और छाया वाली दीवार
लेखक इसकी तुलना प्लेटो की गुफा (Plato's Cave) से करते हैं।
- कैदी: AI एजेंट।
- दीवार: नॉलेज ग्राफ।
- परछाइयाँ: वे उत्तर जो AI को तब मिलते हैं जब वह ग्राफ से प्रश्न पूछता है।
- ज़ंजीर: वह प्रोटोकॉल (जिसे MCP कहा जाता है) जो AI को दीवार से बांधता है, जिससे वह उन परछाइयों को ही वास्तविकता मानने के लिए मजबूर होता है।
यदि कोई हमलावर दीवार पर एक नकली परछाई बना देता है, तो कैदी (AI) उसका अध्ययन करेगा, उसका सटीक विश्लेषण करेगा, और निष्कर्ष निकालेगा, "यह एक असली बाघ है," भले ही वह केवल एक पेंटिंग हो। कैदी जितना अधिक बुद्धिमान होगा, उसका गलत निष्कर्ष उतना ही विस्तृत और विश्वसनीय होगा।
यह हमला कैसे काम करता है ("कैसे करें")
शोधकर्ताओं ने इसका परीक्षण 4.2 करोड़ नोड्स (एक विशाल डिजिटल लाइब्रेरी) वाले एक वास्तविक सिस्टम पर किया। उन्होंने पाया कि AI को मूर्ख बनाने के लिए हमलावर को मानचित्र में केवल छोटे, सूक्ष्म बदलाव करने की आवश्यकता है।
उन्होंने इसे करने के छह तरीके प्रदर्शित किए:
- नकली पैकेज (The Fake Package): लाइब्रेरी में एक नकली सॉफ़्टवेयर पैकेज बनाना जो "नवीनतम, सबसे सुरक्षित संस्करण" जैसा दिखता हो, ताकि AI को इसे अपनाने के लिए प्रेरित किया जा सके।
- अदृश्य सैनिटाइज़र (The Invisible Sanitizer): मानचित्र में एक नकली "सुरक्षा गार्ड" फंक्शन जोड़ना जो वास्तव में वास्तविक कोड में मौजूद ही नहीं है। AI इसे मानचित्र पर देखता है और निष्कर्ष निकालता है, "आह, यह कोड सुरक्षित है!" जबकि वास्तव में वह असुरक्षित होता है।
- प्रॉपर्टी स्वैप (The Property Swap): मानचित्र पर वास्तविक कोड के विवरण को बदलना (उदाहरण के लिए, एक लेबल को "अनवेरिफाइड" से बदलकर "सिक्योरिटी-अप्रूव्ड" कर देना) बिना कोई नया नकली आइटम बनाए।
परिणाम: AI, नए डेटा के आधार पर पूरी तरह से तर्क करते हुए, आत्मविश्वास से डेवलपर्स को बताता है, "यह कोड सुरक्षित है," या "इस नई लाइब्रेरी का उपयोग करें," जिससे वे सीधे एक जाल में फँस जाते हैं।
हमलावर की "परिष्कार" (Sophistication)
शोधकर्ताओं को कुछ आश्चर्यजनक पता चला: इस काम को अंजाम देने के लिए आपको जीनियस हैकर होने की ज़रूरत नहीं है।
- स्तर 0 (नादान/Naive): यदि नकली डेटा संदिग्ध दिखता है (जैसे, "hacker_tool_v1"), तो AI उसे अनदेखा कर देता है।
- स्तर 1 (बुनियादी/Basic): यदि यह ठीक दिखता है लेकिन इसमें छोटी त्रुटियाँ हैं, तो AI कभी-कभी धोखा खा जाता है।
- स्तर 2 (कुशल/Competent): यदि नकली डेटा मानक नामकरण नियमों का पालन करता है और पेशेवर दिखता है, तो परीक्षण किए गए सभी AI मॉडल पूरी तरह से मूर्ख बन गए।
यह सवाल यह नहीं है कि क्या AI को मूर्ख बनाया जा सकता है, बल्कि यह है कि हमलावर को कितने प्रयास करने होंगे। एक कुशल हमलावर 100% समय तक सबसे स्मार्ट AI मॉडल्स को भी मूर्ख बना सकता है।
"डिलीवरी मोड" का आश्चर्य
शोधकर्ताओं ने AI सुरक्षा के परीक्षण के तरीके में एक महत्वपूर्ण खामी खोजी।
- इनलाइन टेस्टिंग (Inline Testing): यदि आप नकली डेटा को AI को एक साधारण टेक्स्ट मैसेज के रूप में दिखाते हैं, तो कुछ मॉडल (जैसे GPT-5.1) कहते हैं, "यह संदिग्ध लग रहा है," और इसे अस्वीकार कर देते हैं।
- टूल-यूज़ टेस्टिंग (Tool-Use Testing): यदि AI को वही नकली डेटा उसके आधिकारिक "टूल" कनेक्शन के माध्यम से मिलता है (जिस तरह से वह वास्तविक जीवन में काम करता है), तो वह इसे 100% सच मान लेता है।
सबक: केवल चैट करके (इनलाइन) AI सुरक्षा का परीक्षण करना सुरक्षा का एक झूठा अहसास देता है। जब AI अपने डेटा को खोजने के लिए अपने टूल्स का उपयोग करता है, तो वह अपनी सतर्कता पूरी तरह से छोड़ देता है।
इससे बचाव कैसे करें
पेपर ने कई बचावों का परीक्षण किया और पाया कि कोई भी अकेला "सिल्वर बुलेट" (पूर्ण समाधान) काम नहीं करता, लेकिन इनका संयोजन मदद करता है:
- रीड-ओनली एक्सेस (सबसे अच्छा बचाव): यदि आप नॉलेज ग्राफ को लॉक कर देते हैं ताकि AI (और हमलावर) केवल मानचित्र को पढ़ सकें लेकिन कभी भी उसमें लिख न सकें, तो यह हमला असंभव है। यह सबसे प्रभावी समाधान है।
- क्रॉस-चेकिंग (Cross-Checking): यदि AI को मजबूर किया जाता है कि वह मानचित्र की दूसरे स्रोत (जैसे वास्तविक कोड फ़ाइलें) के साथ जाँच करे, तो वह झूठ पकड़ सकता है। यदि मानचित्र कहता है "सुरक्षित" लेकिन कोड फ़ाइल कहती है "असुरक्षित", तो AI भ्रमित हो जाएगा और मानचित्र पर भरोसा करना बंद कर देगा।
- "डेविल्स एडवोकेट" (The Devil's Advocate): AI से पूछना, "क्या यह डेटा नकली हो सकता है?" मदद करता है, लेकिन केवल तभी जब आप बहुत विशिष्ट हों कि यह कैसे नकली हो सकता है। केवल "क्या आप सुनिश्चित हैं?" पूछना आमतौर पर काम नहीं करता है।
- हिस्ट्री ट्रैकिंग (History Tracking): मानचित्र पर क्या बदला गया है इसका लॉग रखना नए नकली आइटमों का पता लगाने में मदद करता है, लेकिन यह तब विफल हो जाता है जब कोई हमलावर मौजूदा आइटम के विवरण को बस एडिट कर देता है।
सारांश
ओरेकल पॉइजनिंग एक नए प्रकार का हैक है जहाँ हमलावर उस डेटा को भ्रष्ट करता है जिस पर AI भरोसा करता है, न कि स्वयं AI को। क्योंकि AI तर्क का पालन करने में बहुत कुशल है, वह खुशी-खुशी झूठ की नींव पर ताश के पत्तों का महल बनाता है। पेपर यह सिद्ध करता है कि वास्तविक दुनिया के परिवेश में, लगभग हर परीक्षण किया गया AI मॉडल इन झूठों को मान लेगा यदि वे एक विश्वसनीय टूल चैनल के माध्यम से आते हैं, और एकमात्र विश्वसनीय समाधान यह है कि AI को अपने स्वयं के नॉलेज बेस में लिखने की अनुमति देना बंद कर दिया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।