Beyond Prompt Injection: Trust-Boundary Security Assurance for LLM-Integrated and Agentic Applications
यह शोध पत्र एक पद्धतिगत ट्रस्ट-बाउंड्री (trust-boundary) सुरक्षा आश्वासन ढांचे का प्रस्ताव करता है जो विकसित होते सिमेंटिक खतरों को सत्यापन योग्य, परीक्षण योग्य सुरक्षा नियंत्रणों और साक्ष्य-आधारित रिपोर्टिंग में अनुवादित करने के लिए एलएलएम-एकीकृत (LLM-integrated) और एजेंटिक प्रणालियों को मॉडल करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) सरल टेक्स्ट जनरेटर से विकसित होकर जटिल सहायकों में बदल गए हैं जो जानकारी खोज सकते हैं, पिछली बातचीत को याद रख सकते हैं, और यहाँ तक कि उपयोगकर्ताओं की ओर से कार्य भी कर सकते हैं। ये सिस्टम, जिन्हें अक्सर 'एजेंट्स' कहा जाता है, केवल प्रश्नों के उत्तर ही नहीं देते; वे डेटाबेस से डेटा निकालते हैं, ईमेल या कस्टमर रिलेशनशिप सॉफ्टवेयर जैसे बाहरी टूल्स का उपयोग करते हैं, और जो कुछ वे पाते हैं उसके आधार पर निर्णय लेते हैं। यह बदलाव एक अनूठी सुरक्षा चुनौती पैदा करता है। जब कोई कंप्यूटर प्रोग्राम निर्देशों का पालन करता है, तो वह आमतौर पर नियमों के एक स्पष्ट सेट के साथ करता है। लेकिन जब एक आर्टिफिशियल इंटेलिजेंस प्राकृतिक भाषा की व्याख्या करता है, तो एक हानिरहित तथ्य और एक खतरनाक कमांड के बीच की रेखा धुंधली हो सकती है। यदि कोई दुर्भावनापूर्ण अभिनेता किसी दस्तावेज़, ईमेल या वेबसाइट के भीतर एक गुप्त निर्देश छिपा देता है, तो AI उसे पढ़ सकता है, उसे कार्य का हिस्सा मान सकता है, और फिर उस छिपे हुए कमांड को पूरा करने के लिए कंपनी के संवेदनशील डेटा तक अपनी पहुँच का उपयोग कर सकता है। खतरा केवल यह नहीं है कि AI कुछ गलत कहता है, बल्कि यह है कि वह वास्तव में कुछ हानिकारक कर सकता है, जैसे फ़ाइलें हटाना या निजी रिकॉर्ड लीक करना, क्योंकि उसे यह विश्वास दिलाने के लिए मूर्ख बनाया गया कि यह कार्रवाई अधिकृत थी।
नज़ार वाहीद नामक एक शोधकर्ता ने इन सिस्टम्स की सुरक्षा को सोचने और परीक्षण करने का एक नया तरीका प्रस्तावित किया है। बुरे निर्देशों को पहचानने में आर्टिफिशियल इंटेलिजेंस को स्वयं पूर्ण बनाने की कोशिश करने के बजाय, जो कि एक कठिन और शायद असंभव लक्ष्य है, यह पेपर सुझाव देता है कि पूरे एप्लिकेशन को चेकपॉइंट्स की एक श्रृंखला के रूप में देखा जाए। मुख्य विचार यह है कि सिस्टम कहाँ केवल भाषा को समझने से वास्तविक दुनिया के कार्य करने की ओर बढ़ता है, इसका सटीक मानचित्र तैयार किया जाए। लेखक सात विशिष्ट स्थानों की पहचान करता है जहाँ विश्वास की सीमाएँ (trust boundaries) मौजूद हैं, जैसे कि जब सिस्टम इंटरनेट से डेटा निकालता है, जब वह यह तय करता है कि किस टूल का उपयोग करना है, या जब वह कंपनी के आंतरिक डेटाबेस से जुड़ता है। शोध का तर्क है कि सुरक्षा केवल AI के निर्णय पर निर्भर नहीं होनी चाहिए। इसके बजाय, इन सीमाओं पर स्वतंत्र, स्वचालित जाँच होनी चाहिए ताकि यह सत्यापित किया जा सके कि कार्रवाई वास्तव में अनुमत है या नहीं।
यह पेपर संगठनों के लिए एक संरचित प्रक्रिया पेश करता है, जो सुरक्षा मूल्यांकन को छह स्पष्ट चरणों में विभाजित करता है। सबसे पहले, टीम को यूजर इंटरफेस से लेकर छिपे हुए डेटाबेस तक, सिस्टम के प्रत्येक भाग को सूचीबद्ध करना होगा। इसके बाद, वे मानचित्रित करते हैं कि किसके पास क्या करने की अनुमति है, यह पहचानते हुए कि सिस्टम कहाँ बहुत अधिक शक्ति का उपयोग कर रहा है। फिर, वे ऐसे यथार्थवादी परिदृश्य बनाते हैं जहाँ एक हमलावर किसी विश्वसनीय स्रोत, जैसे कि प्राप्त दस्तावेज़, के माध्यम से एक हानिकारक निर्देश डालने की कोशिश करता है। चौथे चरण में, वे यह देखने के लिए सिस्टम का परीक्षण करते हैं कि क्या ये स्वतंत्र चेकपॉइंट्स हमले को रोक पाते हैं, भले ही AI खुद उस चाल का शिकार हो जाए। पांचवें चरण में वे विश्लेषण करते हैं कि यदि कोई चेकपॉइंट विफल हो जाता है, तो क्या होगा, यह देखते हुए कि नुकसान कितना फैल सकता है और क्या सिस्टम रिकवर कर सकता है। अंत में, टीम एक रिपोर्ट तैयार करती है जो विस्तार से बताती है कि सिस्टम कहाँ सफल या विफल हुआ, जो केवल एक अनुमान के बजाय ठोस प्रमाण प्रदान करती है।
इस दृष्टिकोण को एक काल्पनिक उदाहरण के माध्यम से प्रदर्शित किया गया है जो एक ग्राहक सेवा सहायक (customer service assistant) है। इस परिदृश्य में, एक हमलावर एक वैध कंपनी दस्तावेज़ को एक छिपे हुए निर्देश के साथ संशोधित करता है जो AI को निजी ग्राहक डेटा को एक बाहरी ईमेल पते पर भेजने के लिए कहता है। शोध दिखाता है कि भले ही AI दस्तावेज़ को पढ़ ले और ईमेल भेजने का प्रस्ताव दे, लेकिन एक ठीक से डिज़ाइन किए गए सुरक्षा सिस्टम में एक अलग परत होनी चाहिए जो अनुरोध की जाँच करे। यह परत देखेगी कि उपयोगकर्ता ने डेटा को बाहरी रूप से भेजने के लिए अधिकृत नहीं किया है और AI के सुझाव के बावजूद कार्रवाई को रोक देगी। अध्ययन इस बात पर जोर देता है कि लक्ष्य यह साबित करना नहीं है कि AI चालाकियों से मुक्त है, बल्कि यह साबित करना है कि सिस्टम के पास एक सुरक्षा जाल है जो उन चालाकियों को वास्तविक नुकसान पहुँचाने से रोकता है।
यह पेपर उन विशिष्ट टूल्स को भी संबोधित करता है जिनका उपयोग ये एजेंट अन्य सॉफ़्टवेयर से जुड़ने के लिए करते हैं, जिसे मॉडल कॉन्टेक्स्ट प्रोटोकॉल (Model Context Protocol) कहा जाता है। यह चेतावनी देता है कि भले ही AI और एक टूल के बीच का कनेक्शन तकनीकी रूप से सुरक्षित हो, लेकिन उस कनेक्शन के माध्यम से आने वाली जानकारी अभी भी खतरनाक हो सकती है। उदाहरण के लिए, एक टूल को डेटाबेस से बात करने के लिए अधिकृत किया जा सकता है, लेकिन वह जो डेटा वापस करता है उसमें छिपे हुए कमांड हो सकते हैं। शोध का सुझाव है कि सुरक्षा स्तरित होनी चाहिए, जो प्रोटोकॉल, डेटा के अर्थ और व्यावसायिक नियमों को अलग-अलग जाँचती हो। यह तर्क देता है कि एक एकल रक्षा पर भरोसा करना, जैसे कि एक फ़िल्टर जो बुरे शब्दों को पहचानने की कोशिश करता है, पर्याप्त नहीं है। इसके बजाय, सिस्टम को इस तरह बनाया जाना चाहिए कि यदि एक हिस्सा विफल हो जाता है, तो दूसरा हिस्सा नुकसान को रोक दे।
अंततः, यह कार्य आर्टिफिशियल इंटेलिजेंस के बारे में अस्पष्ट डरों को परीक्षण योग्य तथ्यों में बदलने का एक तरीका प्रदान करता है। यह बातचीत को यह पूछने से दूर ले जाता है कि क्या AI सुरक्षित है और यह पूछने की ओर ले जाता है कि सुरक्षा नियंत्रण कहाँ हैं और क्या वे वास्तव में काम करते हैं। लेखक सावधानी से नोट करता है कि यह मूल्यांकन के लिए एक ढांचा है, न कि इस बात की गारंटी कि हर सिस्टम अब सुरक्षित है। यह एक ऐसा मार्गदर्शक है जो एक ऐसा सिस्टम बनाने के लिए है जहाँ गलती के परिणाम सीमित हों, जहाँ हमले के पथ को ट्रैक किया जा सके, और जहाँ संगठन स्वयं को प्रमाणित कर सके कि उसका डेटा सुरक्षित है। भाषा और क्रिया के बीच की सीमाओं पर ध्यान केंद्रित करके, यह पेपर व्यवसायों को अपने स्वयं के सिस्टम पर नियंत्रण खोए बिना शक्तिशाली AI टूल्स का उपयोग करने के लिए एक व्यावहारिक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।