The Importance of Out-of-Band Metadata for Safe Autonomous Agents: The Redpanda Agentic Data Plane
यह शोध पत्र रेडपंडा एजेंटिक डेटा प्लेन (ADP) का परिचय देता है, जो एक ऐसा आर्किटेक्चर है जो सुरक्षा नीतियों, डेटा स्कोपिंग और छेड़छाड़-मुक्त ऑडिट ट्रेल को सुनिश्चित करके सुरक्षित स्वायत्त एजेंट संचालन को सक्षम बनाता है, जो पूरी तरह से एजेंटों के रीड और राइट पाथ के बाहर संचालित होने वाले नियत (डिटरमिनिस्टिक) आउट-ऑफ-बैंड मेटाडेटा चैनलों के माध्यम से होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपनी कंपनी के पैसे का प्रबंधन करने के लिए एक प्रतिभाशाली, सुपर-फास्ट डिजिटल कर्मचारी को काम पर रखा है। यह कर्मचारी (एक AI एजेंट) आपके बैंक खातों को पढ़ सकता है, निवेश के निर्णय ले सकता है और तुरंत ट्रेड (व्यापार) कर सकता है।
समस्या यह है कि यह कर्मचारी थोड़ा अप्रत्याशित है। कभी-कभी यह "भ्रमित" (hallucinate) हो जाता है (चीजें बना देता है), कभी-कभी यह कठिन निर्देशों से उलझ जाता है, और कभी-कभी इसे किसी हैकर द्वारा धोखा दिया जा सकता है। यदि आप इसे कहते हैं, "केवल अकाउंट A को देखें," और यह गलती से अकाउंट B को देख लेता है, या यदि कोई हैकर इसे अकाउंट B को देखने के लिए धोखा देता है, तो यह एक बहुत बड़ा सुरक्षा उल्लंघन है।
यह पेपर तर्क देता है कि आप कर्मचारी पर नियमों का पालन करने के लिए भरोसा नहीं कर सकते यदि नियम उसी नोटबुक में लिखे हैं जिसे कर्मचारी पढ़ रहा है।
मुख्य समस्या: "इन-बैंड" (In-Band) बनाम "आउट-ऑफ-बैंड" (Out-of-Band)
पुराना तरीका (In-Band):
कल्पना कीजिए कि आप अपने कर्मचारी को कागज के एक टुकड़े पर लिखे निर्देशों की एक सूची देते हैं: "केवल $1,000 से कम के स्टॉक का व्यापार करें।"
- जोखिम: यदि कर्मचारी भ्रमित हो जाता है, तो वह नोट को अनदेखा कर सकता है। यदि कोई हैकर उस कागज को बदलकर एक नया कागज लगा देता है जिसमें लिखा है "कुछ भी ट्रेड करें," तो कर्मचारी नए आदेश का पालन करता है। नियम कर्मचारी के "दिमाग" (या प्रॉम्प्ट) के अंदर हैं, इसलिए उन्हें बदला, अनदेखा या गलत समझा जा सकता है।
नया तरीका (Out-of-Band):
लेखक एक प्रणाली प्रस्तावित करते हैं जिसे रेडपांडा एजेंटिक डेटा प्लेन (Redpanda Agentic Data Plane - ADP) कहा जाता है। इसे अपने कर्मचारी के चारों ओर एक सुरक्षित, स्वचालित कारखाने के रूप में समझें।
कर्मचारी को नियमों की सूची देने के बजाय, आप अदृश्य, अटूट दीवारों और ट्रैफिक लाइटों का एक सेट बनाते हैं जिन्हें कर्मचारी देख या छू नहीं सकता।
"आउट-ऑफ-बैंड" सिस्टम की तीन महाशक्तियाँ
पेपर इन तीन विशिष्ट तरीकों का वर्णन करता है जिनसे यह प्रणाली चीजों को सुरक्षित रखती है, इसके लिए "कारखाने" के उदाहरण का उपयोग किया गया है:
1. अदृश्य द्वारपाल (स्कोप किया गया डेटा एक्सेस - Scoped Data Access)
- उदाहरण: कल्पना कीजिए कि आपका कर्मचारी कई कमरों वाली एक इमारत में काम करता है। पुराने तरीके में, आप कर्मचारी को कहते थे, "कमरा B में मत जाओ।" लेकिन कर्मचारी बस अंदर जा सकता था।
- ADP समाधान: इमारत में स्मार्ट दरवाजे हैं। जब कर्मचारी दरवाजा खोलने की कोशिश करता है, तो दरवाजा खुद उसका आईडी कार्ड चेक करता है। यदि कार्ड कहता है "केवल कमरा A," तो दरवाजा बस लॉक हो जाता है और खुलता नहीं है। कर्मचारी को पता भी नहीं चलता कि कमरा B मौजूद है। नियम कर्मचारी के दिमाग में नहीं; यह दरवाजे के हार्डवेयर में है।
2. ट्रैफिक पुलिस (प्रतिबंधित क्रियाएं - Constrained Actions)
- उदाहरण: कर्मचारी एक पैकेज (ट्रेड ऑर्डर) भेजना चाहता है। पुराने तरीके में, आप उसे कहते थे, " 10,000 का पैकेज भेज सकता है।
- ADP समाधान: पैकेज को एक वजन करने वाली कन्वेयर बेल्ट से गुजरना पड़ता है। स्केल (वजन मापने की मशीन) एक ट्रैफिक पुलिसकर्मी से जुड़ी होती है। यदि पैकेज का वजन $1,000 से अधिक है, तो ट्रैफिक पुलिसकर्मी (इन्फ्रास्ट्रक्चर) बेल्ट को रोक देता है और पैकेज को मानव प्रबंधक की मंजूरी के लिए रोक देता है। कर्मचारी स्केल को ओवरराइड नहीं कर सकता; स्केल उसके नियंत्रण से बाहर है।
3. अटूट कैमरा (टैम्पर-प्रूफ ऑडिट - Tamper-Proof Audit)
- उदाहरण: पुराने तरीके में, आप कर्मचारी से पूछते थे कि उसने क्या किया, इसकी डायरी लिखने के लिए। यदि उसने कुछ गलत किया, तो वह बस पन्ना फाड़ सकता है या यह कहते हुए फर्जी एंट्री लिख सकता है कि, "मैंने वह नहीं किया।"
- ADP समाधान: कारखाने में सुरक्षा कैमरे हैं जो सब कुछ रिकॉर्ड करते हैं। कर्मचारी कैमरों को नहीं देखता, और वह उन्हें बंद नहीं कर सकता। फुटेज को एक सुरक्षित सर्वर में सहेजा जाता है जिसे कर्मचारी छू नहीं सकता। यदि कर्मचारी अपनी गलती छिपाने की कोशिश करता है, तो कैमरा फुटेज साबित करता है कि वास्तव में क्या हुआ था।
यह वास्तविक जीवन में कैसे काम करता है (डेमो)
पेपर इसे एक वेल्थ मैनेजमेंट सिस्टम (ग्राहकों के पैसे का प्रबंधन करना) के साथ प्रदर्शित करता है।
- सेटअप: तीन AI एजेंट मिलकर काम कर रहे हैं: एक बाजार अनुसंधान करने के लिए, एक खरीदने का निर्णय लेने के लिए, और एक ट्रेड निष्पादित करने के लिए।
- जादू: ये एजेंट एक मैसेजिंग सिस्टम के माध्यम से एक-दूसरे से बात करते हैं जो एक सुरक्षित पोस्ट ऑफिस की तरह काम करता है।
- जब "डिसीजन एजेंट" कहता है, "क्लाइंट A के लिए 100 शेयर खरीदें," तो वह वास्तव में सिस्टम को यह नहीं बताता कि क्लाइंट A कौन है।
- पोस्ट ऑफिस (इन्फ्रास्ट्रक्चर) एजेंट के आईडी कार्ड को देखता है, देखता है कि वह क्लाइंट A से संबंधित है, और स्वचालित रूप से ऑर्डर पर "क्लाइंट A" की मुहर लगा देता है।
- एजेंट मुहर को कभी नहीं देखता। वह इसे बदल नहीं सकता। वह क्लाइंट B होने का ढोंग नहीं कर सकता।
- यदि ऑर्डर बहुत बड़ा है, तो पोस्ट ऑफिस इसे स्वचालित रूप से मानव की मंजूरी के लिए रोक देता है। एजेंट इसे जबरदस्ती आगे नहीं बढ़ा सकता।
यह क्यों महत्वपूर्ण है
पेपर निष्कर्ष निकालता है कि जैसे-जैसे AI एजेंट अधिक शक्तिशाली और तेज़ होते जा रहे हैं, हम अब उनके द्वारा पढ़े गए निर्देशों के आधार पर उनके "व्यवहार" पर भरोसा नहीं कर सकते। हमें नियमों को एजेंट के बाहर ले जाने की आवश्यकता है।
एक ऐसा "डेटा प्लेन" बनाकर जहाँ नियम इन्फ्रास्ट्रक्चर (दरवाजों, स्केल, कैमरों) द्वारा लागू किए जाते हैं, न कि एजेंट के दिमाग द्वारा, हम एक ऐसी प्रणाली बनाते हैं जहाँ:
- भ्रमित एजेंट गलती से नियमों को तोड़ नहीं सकते।
- हैक किए गए एजेंट नियमों को बायपास नहीं कर सकते।
- नियामक (Regulators) जो कुछ भी हुआ उसका एक सटीक, अपरिवर्तनीय रिकॉर्ड देख सकते हैं।
संक्षेप में: कर्मचारी द्वारा नियमों का पालन करने पर भरोसा न करें। एक ऐसा कमरा बनाएं जहाँ नियम दीवारों द्वारा ही लागू किए जाते हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।