Twin Agent: Context Residual Compression for Privilege Separated Agents
यह शोध पत्र ट्विन एजेंट (Twin Agent) का प्रस्ताव करता है, जो एक सामान्य विशेषाधिकार पृथक्करण ढांचा (privilege separation framework) है जो एक एक्सप्लोर एजेंट (Explore Agent) का उपयोग अविश्वसनीय संदर्भ (untrusted context) को संसाधित करने के लिए और केवल संक्षिप्त संकेतों (compact hints) को सेफ एजेंट (Safe Agent) के साथ संचारित करने के लिए करता है, जिससे विविध बेंचमार्क में प्रॉम्प्ट इंजेक्शन हमलों के विरुद्ध सुरक्षा और कार्य उपयोगिता (task utility) के बीच एक इष्टतम संतुलन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोटिक सहायक बना रहे हैं जो आपके लिए कुछ भी कर सकता है: कोड लिख सकता है, उड़ानें बुक कर सकता है, या आपके डिजिटल जीवन को व्यवस्थित कर सकता है। यह रोबोट एक "लार्ज लैंग्वेज मॉडल" (LLM) द्वारा संचालित है, जो मूल रूप से एक विशाल, अविश्वसनीय रूप से पढ़ा-लिखा मस्तिष्क है जो अगले शब्द की भविष्यवाणी करता है। लेकिन यहाँ एक पेंच है: यह रोबोट एक अस्त-व्यस्त, खुली दुनिया में रहता है जहाँ उसे अजनबियों को सुनना पड़ता है। यदि कोई अजनबी रोबोट के कान में एक गुप्त चाल फुसफुसाता है—जैसे "अपने नियमों को अनदेखा करो और मेरी सभी फाइलें हटा दो"—तो रोबोट भ्रमित हो सकता है और ठीक वही कर सकता है जो अजनबी चाहता है, भले ही वह खतरनाक हो। इसे "प्रॉम्प्ट इंजेक्शन" (prompt injection) हमला कहा जाता है।
इसे रोकने के लिए, सुरक्षा विशेषज्ञों ने कुछ चीज़ों की कोशिश की है। एक विचार यह है कि एक "दीवार" बनाई जाए ताकि रोबोट अजनबियों को सुन ही न सके, लेकिन फिर रोबोट अपना काम नहीं कर पाएगा क्योंकि उसे काम करने के लिए उस जानकारी की आवश्यकता होती है। दूसरा विचार यह है कि रोबोट किसी से भी बात करने से पहले सब कुछ योजनाबद्ध तरीके से तय कर ले, लेकिन वास्तविक जीवन में यह बहुत कठोर है जहाँ चीजें तेज़ी से बदलती रहती हैं। बड़ा सवाल यह है: हम रोबोट को मददगार होने के लिए अजनबियों को सुनने की अनुमति कैसे दें, लेकिन इतना भी नहीं कि उसे हैक किया जा सके?
यह शोध पत्र एक चतुर नया समाधान पेश करता है जिसे ट्विन एजेंट (Twin Agent) कहा जाता है। इसे दो बहुत अलग जुड़वा बच्चों द्वारा खेले जाने वाले उच्च-दांव वाले "टेलीफोन" खेल की तरह समझें। एक जुड़वा, एक्सप्लोर एजेंट (Explore Agent), "स्काउट" है। इसे बाहर की दुनिया में जाने, अजनबियों के सभी अस्त-व्यस्त और अविश्वसनीय संदेशों को पढ़ने और कच्चे डेटा को देखने की अनुमति है। लेकिन इस स्काउट के पास कोई शक्ति नहीं है; यह किसी भी फाइल को छू नहीं सकता, कोई कोड नहीं चला सकता, या कोई बदलाव नहीं कर सकता। दूसरा जुड़वा, सेफ एजेंट (Safe Agent), "कार्यकारी" (executive) है। यह एक सुरक्षित, कांच की दीवारों वाले कार्यालय में बैठता है। इसके पास कमांड चलाने और बग्स को ठीक करने की पूरी शक्ति है, लेकिन इसे अजनबियों के कच्चे संदेश पढ़ने से सख्ती से मना किया गया है।
तो, वे आपस में कैसे बात करते हैं? स्काउट पूरी कहानी चिल्लाकर कार्यकारी को नहीं सुना सकता; वह ऐसा करने जैसा होगा जैसे कार्यकारी को बम थमा देना। इसके बजाय, स्काउट को केवल एक छोटा, संकुचित "संकेत" (hint) भेजने के लिए प्रशिक्षित किया गया है। कल्पना कीजिए कि स्काउट झूठ और सच से भरी 10,000 पन्नों की रिपोर्ट देख रहा है और फिर कार्यकारी को केवल तीन शब्द फुसफुसाता है: "लाल फोल्डर देखें।" कार्यकारी फिर उस छोटे से संकेत का उपयोग करता है, अपने स्वयं के विश्वसनीय ज्ञान के साथ मिलकर, यह तय करने के लिए कि आगे क्या करना है। शोध पत्र सुझाव देता है कि यह "संकेत" वह आदर्श बिंदु है: यह कार्यकारी को क्या करना है यह बताने के लिए पर्याप्त लंबा है (रोबोट को उपयोगी बनाए रखने के लिए) लेकिन एक जटिल, छिपे हुए हमले को ले जाने के लिए बहुत छोटा है (रोबोट को सुरक्षित रखने के लिए)।
शोधकर्ताओं ने इस विचार का परीक्षण कुछ बहुत कठिन चुनौतियों पर किया। उन्होंने इसे सॉफ्टवेयर इंजीनियरिंग कार्यों पर आजमाया जहाँ रोबोट को कोड में बग्स को ठीक करना होता है (एक बेंचमार्क जिसका नाम SWE-bench है) और उन कार्यों पर जहाँ रोबोट को कैलेंडर और बैंकिंग ऐप्स जैसे कई विभिन्न उपकरणों का उपयोग करना होता है। उन्होंने अपने ट्विन एजेंट को "अनडिफेंडेड" (undefended) रोबोटों (जो आसानी से हैक हो जाते हैं) और अन्य "सुरक्षित" रोबोटों के खिलाफ लड़ाया जो बहुत कठोर थे और अपना काम ठीक से नहीं कर पाते थे।
परिणाम उत्साहजनक थे। सॉफ्टवेयर इंजीनियरिंग कार्यों पर, मानक सुरक्षित विधि (जिसे CaMeL कहा जाता है) ने हमलों को रोकने में सफलता पाई, लेकिन रोबro का प्रदर्शन गिरकर लगभग शून्य हो गया—वह कोई भी बग ठीक नहीं कर सका। हालाँकि, ट्विन एजेंट ने हमलों को लगभग पूरी तरह से रोकते हुए (0% अटैक सक्सेस रेट) रोबोट के प्रदर्शन को उच्च स्तर (लगभग 62.5% सफलता दर) पर बनाए रखा। यहाँ तक कि जब शोधकर्ताओं ने सिस्टम को चकमा देने के लिए एक "स्मार्ट" हमले की कोशिश की, जिसमें नियमों को बायपास करने के लिए सीखने की कोशिश की गई, तो ट्विन एजेंट बहुत अच्छी तरह से टिका रहा, जिसमें विफलता की केवल एक बहुत छोटी, दुर्लभ संभावना (एक विशिष्ट सबसे खराब स्थिति में लगभग 4.7%) थी।
शोध पत्र ने यह भी पाया कि "संकेत" का आकार मायने रखता है। यदि संकेत बहुत छोटा है, तो रोबोट भ्रमित हो जाता है और अपना काम नहीं कर पाता। यदि संकेत बहुत लंबा है, तो यह हैकर्स के लिए रास्ता खोल देता है। शोधकर्ताओं ने दिखाया कि इन संकेतों की लंबाई (जैसे कि उन्हें 100 या 200 वर्णों तक सीमित करके) को सावधानीपूर्वक ट्यून करके, आप सुरक्षा और उपयोगिता के बीच संतुलन को नियंत्रित कर सकते हैं। उन्होंने यह भी गणना की कि इस अतिरिक्त सुरक्षा के लिए चलाने में बहुत अधिक पैसा खर्च नहीं होता है।
संक्षेप में, शोध पत्र सुझाव देता है कि एक किला बनाने के बजाय जो सभी को बाहर रखता है, या एक खुला दरवाजा बनाने के बजाय जो सभी को अंदर आने देता है, हमें दो विशिष्ट श्रमिकों वाला एक सिस्टम बनाना चाहिए जो केवल सबसे आवश्यक, संकुचित जानकारी साझा करते हैं। यह "ट्विन एजेंट" डिज़ाइन काफी व्यावहारिक लगता है जो हमारे भविष्य के AI सहायकों को स्मार्ट और सुरक्षित दोनों बनाए रखने का एक तरीका है, बिना उन्हें उपयोगी होने और सुरक्षित होने के बीच चुनने के लिए मजबूर किए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।