Delegation-Aware Runtime Contracts for Open LLM Multi-Agent Systems: Constraint Preservation, Capability Revocation, and State Recovery

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आप सिर्फ एक स्मार्ट रोबोट से ही नहीं, बल्कि काम करने वाली रोबोट्स की एक पूरी टीम से बात करते हैं। इस दुनिया में, एक "मैनेजर" रोबोट कह सकता है, "हे, तुम जाओ और एक नए लैपटॉप के लिए सबसे अच्छी कीमत ढूंढो," और फिर वह रोबोट तीसरे रोबोट से कह सकता है, "तुम वेबसाइट्स चेक करो।" इसे मल्टी-एजेंट सिस्टम कहा जाता है। यह एक डिजिटल रिले रेस की तरह है जहाँ कार्य (टास्क) एक बैटन (छड़ी) है। लेकिन यहाँ पेचीदा हिस्सा यह है: जब पहला रोबोट दूसरे को कार्य सौंपता है, तो वह आमतौर पर केवल साधारण अंग्रेजी में निर्देश फुसफुसाकर देता है। यदि पहला रोबोट कहता है, "$500 से अधिक खर्च न करें," तो दूसरा रोबोट शायद केवल यह सुनेगा कि "लैपटॉप ढूंढो" और कीमत की सीमा को पूरी तरह भूल जाएगा। ऐसा इसलिए होता है क्योंकि कंप्यूटर नियमों का पालन करने में बहुत अच्छे हैं, लेकिन जब वे बातचीत को आगे बढ़ाते हैं, तो वे 'बारीक विवरणों' (fine print) को याद रखने में हमेशा सक्षम नहीं होते हैं। वैज्ञानिक चिंतित हैं कि यदि हम इन रोबोट टीमों को बेहतर नियमों के बिना बेतहाशा चलने देते हैं, तो वे अनजाने में हमारा सारा पैसा खर्च कर सकते हैं, हमारे रहस्य लीक कर सकते हैं, या वे ऐसे काम कर सकते हैं जो हमने उनसे कभी नहीं मांगे थे।

यह शोध पत्र इन रोबोट हैंडऑफ्स (कार्य सौंपने की प्रक्रिया) को संभालने का एक नया तरीका पेश करता है, जिसे DARC (डेलीगेशन-अवेयर रनटाइम कॉन्ट्रैक्ट्स) कहा जाता है। इसे एक साधारण फुसफुसाहट के बजाय एक विशेष, अटूट बैकपैक देने जैसा समझें। हर बार जब एक रोबोट दूसरे को कार्य सौंपता है, तो वह केवल "जाओ" नहीं कहता; वह एक डिजिटल अनुबंध (कॉन्ट्रैक्ट) उस बैकपैक के अंदर सौंपता है। यह अनुबंध स्पष्ट रूप से सूचीबद्ध करता है कि नया रोबोट क्या करने के लिए अधिकृत है, वह क्या नहीं कर सकता, वह कितना पैसा खर्च कर सकता है, और उसका काम कब समाप्त होगा। यह शोध पत्र दिखाता है कि यदि आप इन अनुबंधों का उपयोग करते हैं, तो आप गणितीय रूप से सिद्ध कर सकते हैं कि नया रोबोट अचानक उस शक्ति को प्राप्त नहीं कर सकता जो पुराने वाले के पास नहीं थी, और वह बजट सीमाओं को नहीं भूल सकता। लेखक ने इन बैकपैक्स को स्वचालित रूप से जांचने के लिए एक प्रणाली बनाई है। उन्होंने पाया कि यदि आप इन अनुबंधों का उपयोग नहीं करते हैं, तो कार्य को आगे बढ़ाते समय नियम अक्सर गायब हो जाते हैं, लेकिन इनके साथ, नियम सुरक्षित रहते हैं। हालाँकि, शोध पत्र सावधानी बरतते हुए कहता है कि जबकि "गणितीय" भाग (जैसे पैसे की सीमा और समय की सीमा) पूरी तरह से सुरक्षित हैं, वे हिस्से जिनमें मानवीय भाषा के अर्थ को समझने की आवश्यकता होती है (जैसे "विनम्र रहें"), अभी भी थोड़े पेचीदा हैं और उन्हें अधिक परीक्षण की आवश्यकता है।

समस्या: रोबोट टीमों का "टेलीफोन गेम"

अपने दोस्तों के एक समूह के साथ "टेलीफोन" खेल की कल्पना करें। आप पहले व्यक्ति को एक रहस्य फुसफुसाते हैं, जो अगले व्यक्ति को फुसफुसाता है, और इसी तरह आगे बढ़ता है। जब तक वह आखिरी व्यक्ति तक पहुँचता है, रहस्य आमतौर पर बदल चुका होता है। शायद "केक मत खाओ" बदलकर "केक खाओ!" हो जाता है।

AI की दुनिया में, जब Large Language Model (LLM) एजेंट मिलकर काम करते हैं, तो बिल्कुल यही होता है। एक एजेंट (बॉस) दूसरे एजेंट (वर्कर) को कार्य देता है। बॉस कह सकता है, "एक वेंडर ढूंढो, लेकिन $1,000 से अधिक खर्च न करें और हमारे कर्मचारी सूची को किसी को न दिखाएं।" वर्कर यह सुनता है और कार्य को तीसरे एजेंट (वेब सर्फर) को सौंप देता है। लेकिन क्योंकि संदेश केवल सादा टेक्स्ट है, तीसरा एजेंट शायद केवल यह सुनेगा, "एक वेंडर ढूंढो।" बजट की सीमा और गोपनीयता का नियम हवा में गायब हो गए!

यह खतरनाक है। यदि एक रोबोट टीम कंपनी के बजट का प्रबंधन कर रही है या निजी डेटा को संभाल रही है, तो नियमों के खो जाने का मतलब है कि रोबोट अनजाने में लाखों खर्च कर सकते हैं या रहस्य लीक कर सकते हैं। समस्या यह नहीं है कि रोबट "बुरे" हैं; समस्या यह है कि जिस तरह से वे आपस में बात करते हैं, वह महत्वपूर्ण सुरक्षा नियमों को सख्त कानूनों के बजाय वैकल्पिक सुझावों की तरह मानता है।

समाधान: अटूट बैकपैक (DARC)

इस शोध पत्र के लेखक, जिनका नेतृत्व विनय बामिल कर रहे हैं, DARC नामक एक समाधान प्रस्तावित करते हैं। केवल एक टेक्स्ट मैसेज पास करने के बजाय, हर बार जब एक एजेंट कार्य सौंपता है, तो उसे एक डेलीगेशन कॉन्ट्रैक्ट सौंपना चाहिए।

इस अनुबंध को उस कार्य के साथ आने वाले एक विशेष, अटूट बैकपैक के रूप में सोचें। इस बैकपैक के अंदर, स्पष्ट, मशीन-पठनीय लेबल हैं जो कहते हैं:

• आप क्या कर सकते हैं: (जैसे, "आप कीमतें देख सकते हैं, लेकिन आप कुछ भी खरीद नहीं सकते।")
• आप क्या नहीं कर सकते: (जैसे, "आप कर्मचारी रिकॉर्ड नहीं देख सकते।")
• बजट: (जैसे, "आपके पास खर्च करने के लिए ठीक $500 बचे हैं।")
• समाप्ति (एक्सपायरी): (जैसे, "यह कार्य केवल 1 घंटे के लिए वैध है।")
• इतिहास: (जैसे, "यह कार्य एजेंट A से आया है, जिसे बॉस से मिला था।")

DARC का जादू यह है कि यह इन नियमों को शब्दों के बजाय गणित के रूप में मानता है। जब एक रोबोट किसी नए रोबोट को कार्य सौंपने की कोशिश करता है, तो एक "मध्यस्थ" (सुरक्षा गार्ड) बैकपैक की जाँच करता है। यदि नया रोबोट वह नियम निकालने की कोशिश करता है जो वहां नहीं था, या यदि वह एक नई शक्ति प्राप्त करने की कोशिश करता है जो उसके पास पहले नहीं थी, तो गार्ड कहता है, "नहीं!" और हैंडऑफ को रोक देता है।

यह कैसे काम करता है: सुरक्षा गार्ड और बैकपैक

यह प्रणाली तीन मुख्य चरणों में काम करती है, जैसे हवाई अड्डे पर सुरक्षा जांच केंद्र:

1. हैंडऑफ (मध्यस्थ/Mediator): जब एजेंट A, एजेंट B को कार्य देना चाहता है, तो मध्यस्थ बैकपैक की जाँच करता है। वह सुनिश्चित करता है कि एजेंट B उतनी शक्ति की मांग न करे जितनी एजेंट A के पास थी। यदि एजेंट A का बजट $500 था, तो एजेंट B$600 का बजट नहीं पा सकता। यदि एजेंट A के पास "कोई कर्मचारी डेटा नहीं" का नियम था, तो एजेंट B को उस नियम को बनाए रखना होगा। बैकपैक कार्य को पास करने से पहले बनाया जाता है, इसलिए नियमों को भूलना असंभव है।
2. क्रिया (गेटवे/Gateway): जब एजेंट B वास्तव में कुछ करने की कोशिश करता है (जैसे लैपटॉप खरीदना या फ़ाइल पढ़ना), तो गेटवे फिर से बैकपैक की जाँच करता है। वह पूछता है, "क्या आपके पास यह करने की अनुमति है? क्या आपके पास पर्याप्त बजट बचा है? क्या यह डेटा जिसे आप पढ़ने की कोशिश कर रहे हैं, इसकी अनुमति है?" यदि उत्तर 'नहीं' है, तो क्रिया को तुरंत रोक दिया जाता है।
3. सफाई (इंसिडेंट कंट्रोलर/Incident Controller): क्या होगा यदि कोई रोबोट हैक हो जाए या पागल हो जाए? सिस्टम बैकपैक को "रद्द" (revoke) कर सकता है। यदि बॉस कहता है, "एजेंट B को रोको!", तो सिस्टम केवल एजेंट B को नहीं रोकता; वह बैकपैक के इतिहास का पता लगाता है। वह हर उस रोबोट को ढूंढता है जिसे एजेंट B ने कार्य सौंपा था और उन्हें भी रोकता है। यह उन डेटा को भी क्वारंटाइन (अलग) कर देता है जिन्हें उन रोबोटों ने छुआ था, यह सुनिश्चित करते हुए कि "संक्रमण" न फैले।

लेखक ने क्या पाया (और क्या नहीं)

लेखक ने इस प्रणाली का एक प्रोटोटाइप बनाया और इसका कड़ाई से परीक्षण किया। यहाँ उनकी खोजें हैं:

• गणित काम करता है: उन्होंने सिद्ध किया कि यदि आप इन अनुबंधों का उपयोग करते हैं, तो नियमों को अनजाने में छोड़ा नहीं जा सकता। यदि बजट $500 निर्धारित है, तो यह$500 (या उससे कम) ही रहता है, चाहे कार्य कितनी भी बार पास किया जाए। उन्होंने पाया कि इस प्रणाली के बिना, नियम कुछ ही हैंडऑफ के बाद गायब हो जाते हैं।
• "ओमिशन" (छूट जाने वाला) बग: अपने परीक्षण के दौरान, उन्हें एक चालाक बग मिला। उन्होंने महसूस किया कि यदि पैरेंट रोबोट ने एक विशिष्ट सीमा (जैसे बजट संख्या) लिखना भूल गया, तो चाइल्ड रोबोट यह सोच सकता था कि उसके पास असीमित पैसा है। उन्होंने इसे एक नया नियम बनाकर ठीक किया: यदि कोई सीमा गायब है, तो सिस्टम को सुरक्षित रहने के लिए सबसे कठोर संभव सीमा (जैसे $0) मान लेना चाहिए। यह सुरक्षित AI बनाने के लिए एक बड़ा सबक है।
• "अर्थ" (Meaning) की समस्या: प्रणाली संख्याओं, तारीखों और स्पष्ट नियमों की जाँच करने में उत्तम है। लेकिन यह मानवीय भाषा की बारीकियों को समझने में पूर्ण नहीं है। उदाहरण के लिए, यदि कोई नियम कहता है "विनम्र रहें," तो सिस्टम यह गणितीय रूप से सिद्ध नहीं कर सकता कि रोबोट विनम्र था या नहीं। लेखक स्वीकार करते हैं कि इन "अर्थ-आधारित" नियमों के लिए, उनकी प्रणाली केवल एक "सर्वश्रेष्ठ प्रयास" (best effort) वाला मॉनिटर है, पूर्ण गारंटी नहीं। वे इस बारे में ईमानदार हैं: वे सिद्ध कर सकते हैं कि गणित काम करता है, लेकिन वे अभी यह सिद्ध नहीं कर सकते कि "विनम्रता" काम करती है।
• परीक्षण: उन्होंने यह देखने के लिए एक पायलट अध्ययन चलाया कि एक स्वचालित जज त्रुटियों को कितनी अच्छी तरह पकड़ सकता है। हालाँकि, जज अभी तक सहमति के उनके सख्त परीक्षण में पास नहीं हुआ। इसलिए, वे अभी "विनम्रता" की समस्या को हल करने का दावा नहीं कर रहे हैं; वे केवल यह दिखा रहे हैं कि उनका सिस्टम इन मुद्दों को ट्रैक कर सकता है और अधिक परीक्षण की आवश्यकता है।

यह क्यों महत्वपूर्ण है

यह शोध पत्र दो दुनियाओं के बीच एक सेतु है: सख्त कंप्यूटर सुरक्षा की पुरानी दुनिया (जहाँ नियम कठोर और अटूट होते हैं) और लचीली AI टीमों की नई दुनिया (जहाँ रोबोट प्राकृतिक भाषा में बात करते हैं)।

लेखक बताते हैं कि यदि हम चाहते हैं कि AI टीमें सुरक्षित रहें, तो हम उन्हें स्वतंत्र रूप से आपस में बात करने के लिए नहीं छोड़ सकते। हमें उन्हें एक "अनुबंध" देना होगा जो कार्य के साथ चलता है। यह सुनिश्चित करता है कि भले ही रोबोट बातूनी और रचनात्मक हों, वे उन नियमों को नहीं तोड़ सकते जो हमने उनके लिए निर्धारित किए हैं।

हालाँकि यह प्रणाली अभी पूर्ण नहीं है (विशेष रूप से जटिल मानवीय अर्थों को समझने के मामले में), यह एक ठोस आधार प्रदान करती है। यह सिद्ध करता है कि हम शक्तिशाली लेकिन सुरक्षित AI टीमें बना सकते हैं, जो हमारे पैसे और हमारे रहस्यों को सुरक्षित रखती हैं, क्योंकि हम हर हैंडऑफ को अंधेरे में दी गई एक फुसफुसाहट के बजाय एक गंभीर, जाँची गई अनुबंध के रूप में देखते हैं।