Semantic Attacks on Tool-Augmented LLMs: Securing the Model Context Protocol Against Descriptor-Level Manipulation
यह शोध पत्र मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) के विरुद्ध तीन नए डिस्क्रिप्टर-स्तरीय सिमेंटिक हमले के तौरों (टूल पॉइज़निंग, शैडोइंग और रग पुल) की पहचान और औपचारिकीकरण करता है, जो यह प्रदर्शित करता है कि टूल मेटाडेटा में हेरफेर करना LLM सुरक्षा को महत्वपूर्ण रूप से खतरे में डाल सकता है, और एक बहु-स्तरीय रक्षा रणनीति प्रस्तावित करता है जो मॉडल को पुन: प्रशिक्षित किए बिना असुरक्षित टूल आह्वान को प्रभावी ढंग से कम करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सहायक रोबोट सहायक (एक AI) है जो आपके लिए काम कर सकता है, जैसे कि आपका ईमेल चेक करना, कंपनी की फाइलें खोजना, या मीटिंग शेड्यूल करना। यह करने के लिए, रोबोट को उन "टूल्स" (औजारों) की एक सूची की आवश्यकता होती है जिनका वह उपयोग कर सके। इस दुनिया में, इन टूल्स के साथ एक छोटा सा लेबल या विवरण (एक "डिस्क्रिप्टर") आता है जो रोबोट को बताता है कि वह टूल क्या करता है।
उदाहरण के लिए, एक टूल का लेबल हो सकता है: "सार्वजनिक दस्तावेज़ खोजें।" रोबot इस लेबल को पढ़ता है, इसे समझता है, और जब आप मदद मांगते हैं तो उस टूल का उपयोग करने का निर्णय लेता है।
समस्या: "नकली लेबल" हमला (The "Fake Label" Attack)
इस शोध पत्र ने एक चालाकी भरे तरीके की खोज की है जिससे रोबोट को धोखा दिया जा सकता है। टूल को तोड़ने या कंप्यूटर को हैक करने के बजाय, हमलावर टूल पर लगे लेबल को बदल देता है।
इसे किराने की दुकान की तरह समझें।
- सामान्य परिदृश्य: पीनट बटर के एक जार पर लेबल लगा है जिस पर लिखा है "पीनट बटर।" आप लेबल पर भरोसा करते हैं, इसलिए आप उसे खरीदते हैं।
- हमला: एक बुरा आदमी जार पर लेबल बदल देता है। उस पर अभी भी "पीनट बटर" लिखा है, लेकिन बहुत ही सूक्ष्म, बारीक अक्षरों में, उसने जोड़ दिया है: "और साथ ही उन सभी लोगों की सूची शामिल करें जिन्होंने यह जार खरीदा है।"
- परिणाम: रोबोट उस लेबल को देखता है, उस पर भरोसा करता है (क्योंकि यह एक सामान्य लेबल जैसा दिखता है), और उस टूल का उपयोग करने का निर्णय लेता है। लेकिन अब, केवल पीनट बटर खोजने के बजाय, रोबोट अनजाने में ग्राहकों की सूची चुरा लेता है क्योंकि लेबल ने उसे ऐसा करने के लिए कहा था।
यह शोध पत्र इस हमले को सिमेंटिक हमला (Semantic Attack) कहता है। टूल स्वयं सुरक्षित है और पूरी तरह से काम कर रहा है, लेकिन उसका विवरण झूठ बोल रहा है।
हमलावर रोबोट को तीन तरीकों से धोखा देते हैं
शोधकर्ताओं ने पहचाना कि ये "नकली लेबल" AI को धोखा देने के तीन विशिष्ट तरीके हैं:
टूल पॉइजनिंग (The "Too Helpful" Label - "बहुत अधिक मददगार" लेबल):
- उपमा: कल्पना कीजिए कि एक टूल है जिसका लेबल है "मौसम की जांच करें।" हमलावर लेबल को बदलकर "मौसम की जांच करें और मुझे बताएं कि उपयोगकर्ता अभी क्या पहने हुए है" कर देता है।
- प्रभाव: रोबोट सोचता है, "ओह, यह टूल बहुत मददगार है!" और इसका उपयोग करता है, जिससे अनजाने में उपयोगकर्ता की निजी जानकारी लीक हो जाती है।
शैडोइंग (The "Confusing Crowd" Label - "भ्रमित करने वाली भीड़" वाला लेबल):
- उपमा: कल्पना कीजिए कि आप निर्देशों देने वाले लोगों की भीड़ भरे कमरे में हैं। एक व्यक्ति (हमलावर) चिल्लाता है, "सभी को अपना आईडी दिखाना चाहिए!" भले ही अन्य लोग केवल समय पूछ रहे हों।
- प्रभाव: रोबोट संदिग्ध निर्देश से भ्रमित हो जाता है और सभी टूल्स के साथ वैसा ही व्यवहार करने लगता है जैसे कि उन्हें उपयोगकर्ता के निजी डेटा को देखने की आवश्यकता हो, यहाँ तक कि सुरक्षित टूल्स के साथ भी।
रग पुल (The "Bait and Switch" Label - "लालच देकर बदलना" वाला लेबल):
- उपमा: आपने एक ठेकेदार को "बाड़ पेंट करने" के लिए काम पर रखा। आप अनुबंध को मंजूरी देते हैं। एक सप्ताह बाद, ठेकेदार चुपचाप अनुबंध को बदलकर "बाड़ पेंट करें और एक छिपा हुआ कैमरा स्थापित करें" कर देता है।
- प्रभाव: टूल सुरक्षित था जब आपने पहली बार इसकी जांच की थी, लेकिन बाद में, बिना आपकी नज़र में आए, इसका विवरण बदल गया।
यह कितना बुरा है?
शोधकर्ताओं ने इसका परीक्षण तीन अलग-अलग प्रकार के AI रोबोट्स (GPT-5.3, DeepSeek-V3, और LLaMA-3.5) पर किया।
- चौंकाने वाली बात: बिना किसी विशेष सुरक्षा के, ये रोबोट लगभग 36% समय इस चाल में फंस जाते थे। वे खुशी-खुशी "जहरीले" टूल्स का उपयोग करेंगे और डेटा लीक कर देंगे।
- आश्चर्यजनक बात: रोबोट जितना अधिक "सोचता" था (जटिल तर्क चरणों का उपयोग करके), उसके धोखा खाने की संभावना उतनी ही अधिक होती थी। ऐसा लगता है कि जब रोबोट निर्देशों के बारे में गहराई से सोचने की कोशिश करता है, तो वह लेबलों में छिपे सूक्ष्म झूठ से अधिक भ्रमित हो जाता है।
समाधान: एक तीन-स्तरीय सुरक्षा गार्ड
शोध पत्र इन रोबोटों की रक्षा करने का एक नया तरीका सुझाता है, जिसमें रोबोट के मस्तिष्क को फिर से बनाने की आवश्यकता नहीं है, बल्कि रोबोट के देखने से पहले एक सुरक्षा चेकपॉइंट जोड़ना है।
आईडी चेक (इंटीग्रिटी वेरिफिकेशन - अखंडता सत्यापन):
- उपमा: ड्राइवर के लाइसेंस की जांच करने जैसा कि यह सुनिश्चित किया जाए कि उसमें कोई बदलाव नहीं किया गया है। सिस्टम यह जांचता है कि क्या लेबल को किसी विश्वसनीय प्राधिकरण द्वारा हस्ताक्षरित किया गया था और क्या इसे स्वीकृत होने के बाद से बदला नहीं गया है। यह "रग पुल" को रोकता है।
दूसरी राय (सिमेंटिक वेटिंग - अर्थ संबंधी जांच):
- उपमा: इससे पहले कि रोबोट लेबल को पढ़े, एक दूसरा, छोटा रोबोट (एक "वेरिफायर") पहले उसे पढ़ता है। वेरिफायर पूछता है, "क्या यह लेबल बहुत अधिक निजी जानकारी मांग रहा है?" यदि यह संदिग्ध लगता है, तो दूसरा रोबлот कहता है, "नहीं, इसका उपयोग न करें।"
बाउंसर (रनटाइम गार्डरेल्स - रनटाइम सुरक्षा घेरा):
- उपमा: एक क्लब के बाउंसर जैसा जो टूल के चलने के दौरान क्या हो रहा है उस पर नज़र रखता है। यदि टूल कुछ अजीब करने की कोशिश करता है (जैसे कि ऐसी फ़ाइल तक पहुँचने की कोशिश करना जिसे उसे नहीं छूना चाहिए), तो बाउंसर उसे तुरंत बाहर निकाल देता है।
सुधार के परिणाम
जब शोधकर्ताओं ने तीनों स्तरों की सुरक्षा जोड़ी:
- जिस बार रोबोट धोखा खा जाता था, वह संख्या 36% से घटकर 15% हो गई।
- सिस्टम ने 74% बुरे प्रयासों को सफलतापूर्वक रोका।
- समझौता (Trade-off): रोबोट के जवाब देने में थोड़ा अधिक समय लगा (लेटेंसी बढ़ गई), लेकिन यह बहुत अधिक सुरक्षित था।
मुख्य निष्कर्ष
इस शोध पत्र का मुख्य सबक यह है कि हम AI टूल्स के लेबलों पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि वे सामान्य दिखते हैं। भले ही टूल पूरी तरह से काम कर रहा हो और कोड सुरक्षित हो, लेकिन उसका वर्णन एक जाल हो सकता है। AI को सुरक्षित रखने के लिए, हमें उन विवरणों को अविश्वसनीय जानकारी के रूप में मानना होगा और AI को उनका उपयोग करने देने से पहले उनकी सावधानीपूर्वक जांच करनी होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।