Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

तकनीकी सारांश: सुरक्षित LLM एजेंट परिनियोजन के लिए एक त्रि-स्तरीय संभाव्य अनुमान-गारंटी (Assume–Guarantee) आर्किटेक्चर

1. समस्या विवरण

सुरक्षा-महत्वपूर्ण सेटिंग्स में लार्ज लैंग्वेज मॉडल (LLM) एजेंटों का परिनियोजन रनटाइम आश्वासन (runtime assurance) के लिए एक संरचनात्मक चुनौती प्रस्तुत करता है जिसे एकल-परत प्रवर्तन तंत्रों (single-layer enforcement mechanisms) द्वारा हल नहीं किया जा सकता है। स्थिर टेक्स्ट जनरेशन के विपरीत, LLM एजेंट एक क्लोज्ड-लूप निष्पादन (closed-loop execution) में संलग्न होते हैं जहाँ जनरेट किए गए प्लान भौतिक दुनिया और भविष्य के अवलोकनों को प्रभावित करते हैं। पेपर का तर्क है कि सुरक्षित संचालन के लिए तीन विशिष्ट आयामों की एक साथ संतुष्टि आवश्यक है:

1. सिमेंटिक इंटेंट और पॉलिसी अनुपालन: उपयोगकर्ता निर्देशों, नैतिक बाधाओं और डोमेन नियमों के साथ संरेखण।
2. पर्यावरणीय वैधता (Environmental Validity): यह सत्यापन कि वर्तमान विश्व अवस्था परिचालन डिजाइन डोमेन (Operational Design Domain - ODD) के भीतर है।
3. गतिक व्यवहार्यता (Dynamical Feasibility): यह आश्वासन कि निष्पादन प्रक्षेपवक्र (execution trajectory) भौतिक सुरक्षा बाधाओं (जैसे, टक्कर से बचाव, बल सीमाएं) को संतुष्ट करता है।

मूल समस्या यह है कि ये तीन आयाम सूचना के उन तीन अलग-अलग सेटों पर निर्भर करते हैं जो निष्पादन के विभिन्न चरणों में उपलब्ध होते हैं। सिमेंटिक इंटेंट पूर्व-निर्धारित (a priori) रूप से ज्ञात होता है; पर्यावरणीय वैधता के लिए निष्पादन के समय सेंसर डेटा की आवश्यकता होती है; और गतिक व्यवहार्यता नियंत्रण-लूप प्रक्षेपवक्र पर निर्भर करती है जो निष्पादन के दौरान होता है। पेपर का तर्क है कि कोई भी आर्किटेक्चर जो इन आयामों को एक एकल एब्स्ट्रैक्शन लेयर में समाहित कर देता है, वह अनिवार्य रूप से कम से कम एक आयाम को अन-सर्टिफाइड छोड़ देता है, क्योंकि कोई भी एकल गार्डरेल तीनों के लिए आवश्यक जानकारी तक एक साथ नहीं पहुँच सकता है। बेंचमार्क (जैसे, AgentSafetyBench) से प्राप्त अनुभवजन्य साक्ष्य (empirical evidence) भी इसका समर्थन करते हैं, जो दिखाते हैं कि सुरक्षा विफलताएं शुद्ध रूप से सिमेंटिक नियंत्रणों की पहुंच से बाहर पर्यावरणीय और भौतिक आयामों में केंद्रित होती हैं।

2. कार्यप्रणाली: त्रि-स्तरीय अनुबंध-आधारित आर्किटेक्चर (Three-Layer Contract-Based Architecture)

इस संरचनात्मक अपर्याप्तता को संबोधित करने के लिए, पेपर एक त्रि-स्तरीय संभाव्य अनुमान-गारंटी (Assume–Guarantee - A/G) आर्किटेक्चर का प्रस्ताव करता है। यह ढांचा सुरक्षा को एक नियतात्मक प्रमाण (deterministic proof) के रूप में नहीं, बल्कि संभाव्य अनुबंधों (probabilistic contracts) के संयोजन के रूप में मानता है, जहाँ प्रत्येक परत उस चरण में उपलब्ध जानकारी के आधार पर एक विशिष्ट सुरक्षा आयाम को लागू करती है।

आर्किटेक्चर तीन क्रमिक रूप से संयोजित परतों से बना है, जिनमें से प्रत्येक एक अनुबंध $\Sigma_i = (A_i, \Gamma_i)$ द्वारा परिभाषित है, जहाँ $A_i$ इनपुट पर एक 'अनुमान' (assumption) है और $\Gamma_i$ आउटपुट पर एक 'संभाव्य गारंटी' (probabilistic guarantee) है:

• लेयर 1: यूजर एश्योरेंस लेयर ($\Sigma_U$)

  • सूचना सेट ($I_U$): उपयोगकर्ता का इरादा (intent), नीति, भूमिका मेटाडेटा और नैतिक नियम। कोई विश्व अवलोकन (world observation) उपलब्ध नहीं है।
  • कार्य: जनरेट किए गए प्लान $p$ को सिमेंटिक संरेखण (संज्ञानात्मक, नियामक, नैतिक) और उपयोगकर्ता प्राधिकरण के विरुद्ध मान्य करना।
  • अनुबंध: यदि अनुरोध अधिकृत है ($A_U$), तो यह लेयर गारंटी देती है कि प्लान केवल अधिकृत स्थानों को लक्षित करता है और इसमें कोई नीति उल्लंघन नहीं है ($\Gamma_U$)। यह गारंटी अगली लेयर के लिए 'अनुमान' के रूप में कार्य करती है।
  • तंत्र: अनौपचारिक इरादे और नीति बाधाओं को औपचारिक रूप देने के लिए न्यूरल-सिंबोलिक विधियों का उपयोग करता है।

• लेयर 2: ऑपरेशनल एश्योरेंस लेयर ($\Sigma_O$)

  • सूचना सेट ($I_O$): अनुमानित विश्व अवस्था $\hat{w}$, सेंसर डेटा $\xi$, और ODD विनिर्देश।
  • कार्य: यह निर्धारित करना कि क्या एजेंट वर्तमान विश्व अवस्था में कार्य करने के लिए प्रमाणित है और स्वायत्तता लिफाफा (autonomy envelope) को परिभाषित करना (जैसे, गति सीमा, अनुमत क्रियाएं)।
  • अनुबंध: यह मानते हुए कि प्लान यूजर लेयर से पास हो गया है ($A_O \equiv \Gamma_U$), यह लेयर गारंटी देती है कि निष्पादन ODD ($W_{ODD}$) के भीतर रहता है और ODD बाधाओं का उल्लंघन करने वाले सब-प्लान ब्लॉक किए जाते हैं ($\Gamma_O$।
  • तंत्र: ऑडिटेबिलिटी सुनिश्चित करने के लिए विश्व-अवस्था अनुमानों पर नियतात्मक वैधता जांच (deterministic validity checks) का उपयोग करता है, जिससे ऊपर की ओर संभाव्य अनिश्चितता को संभाला जा सके।

• लेयर 3: फंक्शनल एश्योरेंस लेयर ($\Sigma_F$)

  • सूचना सेट ($I_F$): पूर्ण स्टेट प्रक्षेपवक्र $x(t)$, नियंत्रण इनपुट $u(t)$, और सिस्टम डायनेमिक्स।
  • कार्य: एक्चुएशन के दौरान कंट्रोल-लूप फ्रीक्वेंसी पर सुरक्षा लागू करना।
  • अनुबंध: ऑपरेशनल लेयर की वैधता को मानते हुए ($A_F \equiv \Gamma_O$), यह लेयर गारंटी देती है कि कोई टक्कर नहीं होगी और भौतिक बाधाओं (जैसे, बल सीमाएं) का पालन होगा ($\Gamma_F$)।
  • तंत्र: स्पेक्स-आधारित रनटाइम मॉनिटरिंग (Signal Temporal Logic), न्यूनतम हस्तक्षेप के लिए कंट्रोल बैरियर फंक्शन्स (CBFs), और सिमुलेशन-आधारित सिंथेसिस को जोड़ता है।

संयोजन सुरक्षा सीमाएं (Compositional Safety Bounds):
सिस्टम-स्तरीय सुरक्षा प्रायिकता को प्रायिकता के चेन रूल (chain rule of probability) के माध्यम से प्राप्त किया जाता है। चूंकि $\Gamma_U \implies A_O$ और $\Gamma_O \implies A_F$, इसलिए सिस्टम सुरक्षा की प्रायिकता है:
$$Pr(\text{safe}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$$
जहाँ $p_{O|U}$ और $p_{F|OU}$ कंडीशनल प्रोबेबिलिटी हैं जो अपस्ट्रीम फिल्टरिंग की प्रभावशीलता को दर्शाती हैं। पेपर इस बाउंड के चार लक्षण वर्णन (characterizations) प्रदान करता है (B1–B4), जो केवल मार्जिनल्स का उपयोग करने वाले रूढ़िवादी फ्रैचेट-बोनेफेरी (Fréchet–Bonferroni) लोअर बाउंड से लेकर सटीक चेन-रूल डिकंपोजिशन (B4) तक विस्तृत हैं, जो मॉड्यूलर, लेयर-वार सर्टिफिकेशन की अनुमति देता है।

3. मुख्य योगदान

• तीन परतों के लिए संरचनात्मक तर्क: पेपर एक औपचारिक प्रमाण (Appendix B) प्रदान करता है कि तीन स्वतंत्र रूप से प्रमाणित चरणों का होना संरचनात्मक रूप से आवश्यक है। यह प्रदर्शित करता है कि तीन से कम परतों वाला कोई भी आर्किटेक्चर या तो सूचना उपलब्धता के कारणत्मक समय (causal timeline of information availability) का उल्लंघन करेगा (जैसे, सेंसर डेटा के अस्तित्व में आने से पहले परिचालन सुरक्षा को प्रमाणित करना) या स्पष्ट रूप से एक ही घटक के भीतर तीन-चरणीय संरचना का पुनर्निर्माण करेगा, जिससे कंपोजिशनल वेरिफिएबिलिटी (compositional verifiability) खो जाएगी।
• सूचना-संचालित अपघटन (Information-Driven Decomposition): पाइपलाइन आर्टिफैक्ट्स (जैसे, लक्ष्य, योजना, उपकरण) पर आधारित पिछले वर्गीकरणों के विपरीत, यह आर्किटेक्चर सूचना की उपलब्धता के अस्थायी क्रम ($I_U \subset I_O \subset I_F$) द्वारा संचालित है। यह अंतर सुनिश्चित करता है कि प्रमाणन प्रत्येक चरण में सही सूचना डोमेन पर निर्भर है।
• संभाव्य अनुमान-गारंटी (Probabilistic Assume–Guarantee) ढांचा: पेपर LLM एजेंटों की नॉन-स्टेशनरी, नॉन-i.i.d. प्रकृति के लिए A/G अनुबंधों को अनुकूलित करता है। यह बाइनरी गारंटियों से आगे बढ़कर संभाव्य सीमाओं की ओर बढ़ता है, यह स्वीकार करते हुए कि LLM आउटपुट स्वाभाविक रूप से स्टोकेस्टिक होते हैं और वातावरण अनिश्चित होता है।
• द्विदिश आश्वासन लूप (Bidirectional Assurance Loop): आर्किटेक्चर एक लाइव लूप के रूप में डिज़ाइन किया गया है जहाँ सुरक्षा संकेत ($s_F, s_O$) नीचे से ऊपर की ओर प्रसारित होते हैं। यदि निचली परत किसी उल्लंघन का पता लगाती है (जैसे, टक्कर का जोखिम), तो यह केवल निष्पादन को रोकने के बजाय यूजर लेयर पर प्लान रीकंप्यूटेशन को ट्रिगर करती है।

4. परिणाम और विश्लेषण

एक पोजीशन पेपर के रूप में, यह कार्य नए अनुभवजन्य बेंचमार्क प्रस्तुत नहीं करता है बल्कि अपने संरचनात्मक दावों का समर्थन करने के लिए मौजूदा साहित्य का संश्लेषण करता है:

• बेंचमार्क निरंतरता: पेपर नोट करता है कि वर्तमान एजेंट (जैसे, AgentSafetyBench पर) कंटेंट सेफ्टी (68.4%) की तुलना में व्यवहारिक और पर्यावरणीय सुरक्षा (30.4%) में काफी विफल होते हैं, जो इस तर्क के अनुरूप है कि एकल-परत सिमेंटिक गार्ड अपर्याप्त हैं।
• सैद्धांतिक सीमाएं: पेपर सिस्टम सुरक्षा के लिए गणितीय सीमाओं (B1–B4) को व्युत्पन्न करता है। यह एक चलते हुए उदाहरण (एक केयरगिवर रोबोट) के माध्यम से दर्शाता है कि यदि अपस्ट्रीम फिल्टरिंग प्रभावी है, तो चेन-रूल बाउंड (B4) मार्जिनल्स के नैव प्रोडक्ट (0.787) की तुलना में काफी उच्च सुरक्षा प्रायिकता (जैसे, 0.857) दे सकता है।
• संवेदनशीलता विश्लेषण: विश्लेषण दिखाता है कि सिस्टम सबसे कमजोर परत के प्रति संवेदनशील है; एक परत की प्रायिकता में गिरावट पूरे सिस्टम बाउंड को गुणात्मक रूप से कम कर देती है, और एक परत में गैप की भरपाई के लिए दूसरी परत को मजबूत करना पर्याप्त नहीं है।

5. महत्व और खुले प्रश्न

पेपर का दावा है कि प्रस्तावित तीन-स्तरीय आर्किटेक्चर सुरक्षित LLM एजेंट परिनियोजन के लिए न्यूनतम व्यवहार्य प्रमाणन संरचना (minimum viable certification structure) है। यह तर्क देता है कि क्षेत्र वर्तमान में सुरक्षा तंत्रों को बनाने की गति से अधिक तेजी से उनके कंपोज़ और सर्टिफाई करने के लिए आवश्यक सैद्धांतिक बुनियादी ढांचे का निर्माण कर रहा है।

पेपर स्पष्ट रूप से तीन खुले प्रश्नों की पहचान करता है जिन्हें इस सैद्धांतिक ढांचे को एक तैनात योग्य मानक में बदलने के लिए हल किया जाना चाहिए:

1. Non-I.I.D. ट्रेसेस से बाउंड अनुमान: मानक सांख्यिकीय विधियाँ (जैसे, PAC bounds) विफल हो जाती हैं क्योंकि LLM ट्रेसेस नॉन-स्टेशनरी और डिपेंडेंट होते हैं। नॉन-एक्सचेंजेबल डेटा के लिए नए तरीकों (जैसे, मार्टिंगेल बाउंड्स, कॉन्फॉर्मल प्रेडिक्शन) की आवश्यकता है ताकि कंडीशनल प्रोबेबिलिटी $p_{O|U}$ और $p_{F|OU}$ का अनुमान लगाया जा सके।
2. परिनियोजन ड्रिफ्ट के तहत क्रमिक गिरावट (Graceful Degradation): वर्तमान अनुबंध भंगुर (brittle) हैं; यदि धारणाओं का उल्लंघन होता है, तो गारंटियां शून्य हो जाती हैं। पेपर "रोबस्ट कॉन्ट्रैक्ट्स" का प्रस्ताव करता है जो धारणाओं के थोड़े से उल्लंघन होने पर भी गारंटियों के आनुपातिक क्षरण की अनुमति देते हैं, जिससे वितरण संबंधी बदलावों (distributional shifts) के दौरान नियंत्रित संचालन संभव हो सके।
3. Multi-Agent सेटिंग्स में विस्तार: वर्तमान ढांचा एकल एजेंटों को संबोधित करता है। मल्टी-एजेंट सिस्टम नए विफलता मोड पेश करते हैं (जैसे, क्रॉस-एजेंट विश्वास हेरफेर) जिसके लिए एक चौथा सूचना डोमेन (इंटर-एजेंट संदेशों का स्रोत) और एक संशोधित प्रमाणन संरचना की आवश्यकता होती है।

निष्कर्षतः, पेपर का दावा है कि सुरक्षित LLM एजेंट परिनियोजन केवल मजबूत गार्डरेल्स बनाने की इंजीनियरिंग चुनौती नहीं है, बल्कि एक चरणबद्ध, अनुबंध-आधारित आर्किटेक्चर के लिए एक संरचनात्मक आवश्यकता है जो सूचना के कारणत्मक क्रम का सम्मान करता है। प्रस्तावित ढांचा गतिशील, अनिश्चित वातावरण में मॉड्यूलर, कंपोजिशनल सुरक्षा प्रमाणन के लिए आवश्यक सैद्धांतिक आधार प्रदान करता है।