Context-to-Execution Integrity for LLM Agents
यह शोध पत्र कॉन्टेक्स्ट-टू-एग्जीक्यूशन इंटीग्रिटी (CXI) का परिचय देता है, जो संरक्षित सिंक फील्ड्स, पेलोड्स और इनवोकेशन इवेंट्स पर सख्त अथॉरिटी चेक लागू करके LLM एजेंटों को सुरक्षित करता है ताकि यह सुनिश्चित किया जा सके कि केवल उन्हीं क्रियाओं को निष्पादित किया जाए जिनके पास बाइंडिंग फील्ड, इफेक्ट और इनवोकेशन अथॉरिटी है, जिससे विविध बेंचमार्क में शून्य देखे गए सुरक्षा एस्केप प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक अत्यधिक कुशल लेकिन भोली सहायक (AI एजेंट) है जो आपके लिए काम करने की कोशिश कर रही है, जैसे ईमेल भेजना, फाइलों को एडिट करना या कोड चलाना। यह सहायक निर्देशों, नोट्स और संदेशों से भरी एक विशाल नोटबुक पढ़ती है। समस्या यह है कि एक चालाक धोखेबाज (हमलावर) इस नोटबुक में नोट्स छिपाकर डालने की कोशिश कर सकता है, ताकि सहायक को कुछ खतरनाक करने के लिए बहकाया जा सके, जैसे डेटाबेस को डिलीट करना या गलत व्यक्ति को पैसे भेजना।
यह शोध पत्र Context-to-Execution Integrity (CXI) नामक एक प्रणाली पेश करता है। CXI को "एक्शन रूम" के दरवाजे पर खड़े एक अत्यधिक सख्त सुरक्षा गार्ड के रूप में समझें। इसका काम पूरी कहानी को पढ़ना या यह तय करना नहीं है कि कार्य एक अच्छा विचार है या नहीं; इसका काम यह जांचना है कि क्या सहायक के पास इस विशिष्ट कार्य के लिए दरवाजा खोलने की विशिष्ट, वैध चाबियाँ हैं।
यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. समस्या: "अथॉरिटी लॉन्ड्रिंग" (Authority Laundering)
आमतौर पर, यदि सहायक नोटबुक में एक नोट पढ़ता है कि "फाइल विफल हो गई, इसलिए delete_all कमांड चलाएं," तो वह इसे बस कर सकता है। शोध पत्र इसे अथॉरिटी लॉन्ड्रिंग कहता है। यह एक चोर की तरह है जो एक वैध दिखने वाले आईडी कार्ड (फाइल विफलता के बारे में नोट) का उपयोग करके बैंक के वॉल्ट (डिलीट कमांड) को खोलने की कोशिश करता है। नोट यह बताता है कि कुछ क्यों हुआ, लेकिन इसमें कुछ करने की शक्ति नहीं होनी चाहिए।
2. समाधान: तीन-चरणीय सुरक्षा जांच
CXI एक गेटकीपर के रूप में कार्य करता है। इससे पहले कि सहायक वास्तव में कुछ भी कर सके (जैसे फाइल लिखना या ईमेल भेजना), गेटकीपर तीन चीजों की जांच करता है। ये तीनों चीजें एक ही विशिष्ट योजना (जिसे "मेनिफेस्ट" कहा जाता है) से मेल खानी चाहिए।
चेक 1: "कौन" (फील्ड अथॉरिटी - Field Authority)
- उपमा: कल्पना कीजिए कि सहायक किसी विशिष्ट व्यक्ति को पत्र लिखना चाहता है। नोटबुक में नोट कह सकता है, "बॉब को भेजें।" लेकिन सुरक्षा गार्ड जांचता है: "क्या एक भरोसेमंद बॉस या एक सत्यापित सिस्टम ने वास्तव में 'बॉब को भेजें' कहा था?"
- यदि नाम "बॉब" केवल हमलावर द्वारा लिखे गए एक रैंडम नोट से आया है, तो गार्ड ना कहता है। नाम एक "टाइप्ड रिलीज" (Typed Release) से आना चाहिए—जो कागज का एक विशेष, सत्यापित टुकड़ा है जो कहता है, "हाँ, यह विशिष्ट नाम इस विशिष्ट फील्ड के लिए अनुमति प्राप्त है।"
चेक 2: "क्या" (इफेक्ट अथॉरिटी - Effect Authority)
- उपमा: कल्पना कीजिए कि सहायक एक कंप्यूटर प्रोग्राम पर पैच लगाना चाहता है। नोट कहता है, "यह कोड लागू करें।" गार्ड जांचता है: "क्या यह कोड वास्तव में वही करता है जो हम सोचते हैं?"
- गार्ड केवल शब्दों को नहीं देखता; वह परिणाम को देखता है। यदि कोड एक "पैच" है, तो गार्ड सत्यापित करता है कि यह सिस्टम में क्या बदलाव करेगा। यदि हमलावर एक ऐसा कमांड डालने की कोशिश करता है जो पैच जैसा दिखता है लेकिन वास्तव में फाइलों को डिलीट करता है, तो गार्ड उसे पकड़ लेगा क्योंकि "इफेक्ट" (प्रभाव) अधिकृत योजना से मेल नहीं खाता है।
चेक 3: "कब" (इनवोकेशन अथॉरिटी - Invocation Authority)
- उपमा: कल्पना कीजिए कि सहायक "गो" बटन दबाना चाहता है। गार्ड जांचता है: "क्या सहायक के पास अभी बटन दबाने के लिए एक वैध टिकट है?"
- भले ही नाम और योजना सही हो, सहायक को उस क्रिया को ट्रिगर करने के लिए एक विशिष्ट "क्षमता" या टिकट की आवश्यकता होती है। यदि हमलावर सहायक को गलत समय पर या दो बार बटन दबाने के लिए बहकाने की कोशिश करता है, तो गार्ड ना कहता है क्योंकि टिकट गायब है या एक्सपायर हो चुका है।
3. "मेनिफेस्ट" (The Manifest - मास्टर प्लान)
शोध पत्र में अंतिम स्वीकृत योजना को मेनिफेस्ट कहा गया है। इसे एक अनुबंध (कॉन्ट्रैक्ट) के रूप में सोचें।
- सहायक एक कार्य प्रस्तावित करता है।
- गार्ड "कौन", "क्या" और "कब" की जांच करता है।
- यदि तीनों चीजें पूरी तरह से मेल खाती हैं और एक ही अनुबंध से जुड़ी हैं, तो गार्ड अनुबंध पर मुहर लगाता है और सहायक को निष्पादन (execute) करने के लिए एक "लीज" (अनुमति) सौंप देता है।
- यदि एक भी हिस्सा गायब है या मेल नहीं खाता है (उदाहरण के लिए, नाम सही है, लेकिन "कब" वाला टिकट गलत है), तो गार्ड दरवाजा बंद कर देता है।
4. "बुरे" नोट्स के बारे में क्या?
शोध पत्र नोट करता है कि सहायक अभी भी हमलावर के नोट्स पढ़ सकता है।
- ओपेक डेटा (Opaque Data): यदि हमलावर लिखता है, "सिस्टम टूटा हुआ है," तो सहायक उस टेक्स्ट को "कमेंट" या "एविडेंस" बॉक्स में कॉपी कर सकता है। यह एक कांच के डिस्प्ले केस में नोट रखने जैसा है। यह मनुष्यों के पढ़ने के लिए दृश्यमान है, लेकिन इसका दरवाजे खोलने या कार्यों को ट्रिगर करने में कोई शक्ति नहीं है। यह केवल डेटा है, चाबी नहीं।
5. उन्होंने क्या परीक्षण किया?
लेखकों ने इस प्रणाली का कुछ तरीकों से परीक्षण किया:
- लाइव सिमुलेशन: उन्होंने एक "डोजो" (प्रशिक्षण मैदान) का उपयोग किया जिसमें 720 वास्तविक जीवन के परिदृश्य थे जहाँ हमलावरों ने एजेंटों को धोखा देने की कोशिश की। सिस्टम ने हर एक अनधिकृत कार्य को ब्लॉक कर दिया।
- कोड एजेंट: उन्होंने उन एजेंटों का परीक्षण किया जो कोड लिखते हैं। भले ही हमलावरों ने गलत कमांड डालने की कोशिश की, सिस्टम ने केवल उन्हीं कार्यों को अनुमति दी जिनके पास सही "चाबियाँ" थीं।
- परिणाम: सभी परीक्षणों में, शून्य अनधिकृत कार्य गेट के पार जा सके। सिस्टम ने सफलतापूर्वक "अथॉरिटी लॉन्ड्रिंग" को रोक दिया।
सारांश
CXI एक ऐसी प्रणाली है जो AI एजेंटों को धोखा देने से रोकती है। यह सुनिश्चित करती है कि केवल इसलिए कि एक AI ने नोट में एक खतरनाक निर्देश पढ़ा है, इसका मतलब यह नहीं है कि उसके पास इसे करने की शक्ति है। AI तभी कार्य कर सकता है जब एक भरोसेमंद सिस्टम स्पष्ट रूप से उसे उस विशिष्ट कार्य के लिए विशिष्ट चाबियाँ प्रदान करता है। यह AI को एक भोले पाठक से बदलकर एक अनुशासित कार्यकर्ता में बदल देता है जो केवल सत्यापित आदेशों का पालन करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।