From Agent Failure Paths to Quantified Residual Risk: A Compositional Framework for Resilient Agentic AI

तकनीकी सारांश: एजेंट विफलता पथों से परिमाणित अवशिष्ट जोखिम तक

समस्या विवरण
एजेंटिक एआई (Agentic AI) सिस्टम, जो नियोजन और पर्यावरणीय संपर्क के माध्यम से स्वायत्त रूप से बहु-चरणीय लक्ष्यों को पूरा करते हैं, वर्तमान जोखिम मॉडलों की तुलना में बहुत तेजी से विश्वास सीमाओं (trust boundaries) के पार कार्य कर रहे हैं। मौजूदा दृष्टिकोण एक द्वैतवाद (dichotomy) से ग्रस्त हैं: संरचनात्मक सुरक्षा विधियाँ (जैसे STAMP, STPA) कारण संबंधी विफलता पथ (causal failure pathways) तो प्रदान करती हैं लेकिन उनमें हस्तांतरणीय अवशिष्ट-जोखिम अनुमानों का अभाव है, जबकि मात्रात्मक जोखिम विधियाँ (जैसे CVaR, प्रतिकूल जोखिम विश्लेषण) जोखिम अनुमानक तो प्रदान करती हैं लेकिन आंतरिक विफलता पथ को एक 'ब्लैक बॉक्स' के रूप में मानती हैं। फलस्वरूप, कोई भी मौजूदा ढांचा एक साथ दो महत्वपूर्ण प्रश्नों का उत्तर नहीं दे पाता है: (1) किस विशिष्ट तंत्र के माध्यम से अखंडता विफल होती है, और (2) उस विशिष्ट पथ से कितना अवशिष्ट जोखिम उत्पन्न होता है? यह अंतराल एजेंटिक और साइबर-फिजिकल सिस्टम में पथ-निर्भर विफलता मोड के लिए नियंत्रणों के क्रॉस-डोमेन तर्क और मात्रात्मक अनुकूलन को रोकता है।

कार्यप्रणाली
यह शोध पत्र एक संरचनात्मक अपघटन (structural decomposition) को एक मात्रात्मक जोखिम फलन (quantitative risk functional) के साथ जोड़ने वाला एक संयोजी ढांचा प्रस्तावित करता है।

1. CPSAINT (संरचनात्मक अपघटन): लेखक विफलता प्रसार को मॉडल करने के लिए एक सात-स्तरीय अखंडता अपघटन को परिभाषित करते हैं:

   • परतें: भौतिक अवस्था ($P$), सेंसर ($S$), डेटा ($D$), कंप्यूट ($C$), एक्चुएटर ($A$), पर्यावरण ($E$), और समय ($T$)।
   • विफलता मोड: सिस्टम एक पांच-मोड वर्णमाला का उपयोग करता है: भ्रष्टाचार (corruption), विलंब (delay), विलोपन (omission), रीप्ले (replay), और कपलिंग दुरुपयोग (coupling abuse)।
   • पथ अर्थविज्ञान (Path Semantics): एक वैध एजेंट विफलता पथ ($\pi$) परतों और मोड के युग्मों का एक क्रमबद्ध अनुक्रम है जो स्थापित सिस्टम के प्रसार संबंध का सम्मान करता है। यह विविध डोमेन (जैसे रोबोटिक्स और बैंकिंग) को एक सामान्य व्याकरण साझा करने की अनुमति देता है जबकि डोमेन-विशिष्ट पथ सामग्री को सुरक्षित रखता है।

2. FRIESA-K (मात्रात्मक जोखिम फलन): यह ढांचा प्रत्येक विफलता पथ को निम्नलिखित फलन का उपयोग करके एक परिमाणित जोखिम उदाहरण में मैप करता है:
   $$R(\pi, \tau, u) = \frac{F(\pi) R_i(\pi) E(\pi) S(\pi) A(\pi)}{K(\pi, \tau, u)}$$

   • अंश (Numerator): खतरे की आवृत्ति ($F$), पहुंच योग्यता ($R_i$), शोषण क्षमता ($E$), गंभीरता ($S$), और प्रवर्धन ($A$) का प्रतिनिधित्व करता है। गंभीरता को अंतिम परिणामों द्वारा परिभाषित किया गया है, जबकि प्रवर्धन क्रॉस-लेयर प्रभाव विस्तार को कैप्चर करता है।
   • हर (Denominator - $K$): गतिशील नियंत्रण प्रभावशीलता का प्रतिनिधित्व करता है। स्थिर विशेषज्ञ स्कोर के विपरीत, $K$ एक नियंत्रित अवशोषक मार्कोव मॉडल (controlled absorbing Markov model) से प्राप्त होता है। इसे एक परिमित क्षितिज $\tau$ तक आधारभूत आपदा संभाव्यता और नियंत्रित आपदा संभाव्यता के अनुपात के रूप में परिभाषित किया गया है। यह नियंत्रण प्रभावशीलता को मनमाने असाइनमेंट के बजाय अवस्था गतिकी (state dynamics) में स्थापित करता है।

3. शासन दृश्यता (Governance Observability): मूल जोखिम समीकरण को पुनर्गठित किए बिना शासन को संबोधित करने के लिए, लेखक एक अलग योगात्मक दंड पद (additive penalty term), $R_{gov}$ पेश करते हैं। यह पद उन "चेतावनी अवस्थाओं" (क्षतिग्रस्त लेकिन गैर-विनाशकारी) में रहने के समय (dwell time) को मापता है जिनमें दृश्यता का अभाव होता है। अंतिम रिपोर्ट किया गया स्कोर $R_{res} = R + w_{gov} R_{gov}$ है।

4. संयोजकता (Composability): यह शोध पत्र एक संयोजन प्रमेय (composition theorem) को औपचारिक रूप देता है जो यह बताता है कि एक वैध CPSAINT पथ एक सुपरिभाषित FRIESA-K जोखिम उदाहरण को प्रेरित करता है बिना कार्यात्मक रूप को बदले। यह सुनिश्चित करता है कि समान लेयर व्याकरण और वेरिएबल अर्थविज्ञान विभिन्न डोमेन में लागू होते हैं।

प्रमुख योगदान

• CPSAINT परिभाषा: एक सात-स्तरीय संरचनात्मक अपघटन जिसमें स्पष्ट पथ अर्थविज्ञान है जो भौतिक और सॉफ्टवेयर-गहन एजेंटों में विफलता विश्लेषण को एकीकृत करता है।
• FRIESA-K परिभाषा: एक जोखिम फलन जिसमें लॉक किए गए वेरिएबल बाउंड्रीज़ और एक डायनेमिक रेजिस्टेंस टर्म ($K$) है, जिसे नियंत्रित स्टोकेस्टिक गतिकी (मार्कोव चेन) से बनाया गया है।
• संयोजन प्रमेय: एक औपचारिक प्रमाण कि वैध संरचनात्मक पथ सुपरिभाषित जोखिम उदाहरणों को प्रेरित करते हैं, जो डोमेन के पार कार्यात्मक रूप को बनाए रखते हैं।
• शासन एकीकरण: आश्वासन/जवाबदेही जोखिमों से परिचालन जोखिम को अलग करते हुए, शासन-दृश्यता क्षरण को एक योगात्मक दंड के माध्यम से रिपोर्ट करने का एक तंत्र।
• अनुभवजन्य सत्यापन: दो विरोधाभासी परिदृश्यों पर फ्रेमवर्क का मूल्यांकन: एक हार्ड रियल-टाइम वेयरहाउस रोबोट और एक गवर्नेंस-इंस्ट्रूमेंटेड फाइनेंशियल-सर्विसेज एजेंट।

परिणाम
फ्रेमवर्क का मूल्यांकन दो मामलों पर गिलेस्पी SSA फॉल्ट-इंजेक्शन सिमुलेशन और नियतवादी संवेदनशीलता विश्लेषण (deterministic sensitivity analysis) का उपयोग करके किया गया:

1. वेयरहाउस रोबोट: एक पथ जिसमें सेंसर भ्रष्टाचार, डेटा भ्रष्टाचार, कंप्यूट विलंब, और एक्चुएशन कपलिंग दुरुपयोग शामिल है। परिणामों ने दिखाया कि उच्च रोकथाम और रिकवरी इलास्टिसिटी के कारण बेहतर नियंत्रणों के साथ अवशिष्ट जोखिम स्कोर तेजी से गिर गया। परिचालन शब्द (operational term) जोखिम स्कोर पर हावी रहा।
2. वित्तीय सेवा एजेंट: एक पथ जिसमें डेटा भ्रष्टाचार, कंप्यूट भ्रष्टाचार, टाइमिंग विलंब, और बाहरी कपलिंग दुरुपयोग शामिल है। जबकि परिचालन जोखिम कम था, फ्रेमवर्क ने संरचनात्मक शासन तंत्र को सफलतापूर्वक मॉडल किया। परिणामों ने प्रदर्शित किया कि हालांकि शासन दंड ($R_{gov}$) अल्प क्षितिज (0.75s) पर संख्यात्मक रूप से छोटा था, संरचनात्मक पृथक्करण इसे लंबे मूल्यांकन विंडो (जैसे, घंटों) में भौतिक (material) बनने की अनुमति देता है, जो तत्काल परिचालन सुरक्षा और दीर्घकालिक आश्वासन क्षरण के बीच अंतर करता है।
   संवेदनशीलता विश्लेषण ने पुष्टि की कि जोखिम स्कोर विफलता आवृत्ति ($F$) में रैखिक है और नियंत्रण प्रभावशीलता ($K$) के व्युत्क्रमानुपाती है। फ्रेमवर्क ने डेटा-लेयर डिटेक्शन बनाम एक्चुएशन-लेयर कंटेनमेंट के जोखिम-न्यूनीकरण मूल्य के बीच सफलतापूर्वक अंतर किया।

महत्व और दावे
शोध पत्र का दावा है कि यह लचीले एजेंटिक और एम्बॉडीड (embodied) एआई के लिए एक "संक्षिप्त तंत्र-से-परिमाण पाइपलाइन" प्रदान करता है। इसका प्राथमिक महत्व है:

• दृष्टिकोणों का एकीकरण: यह संरचनात्मक विफलता कारण और मात्रात्मक जोखिम अनुमान के बीच के अंतर को पाटता है, जो शुद्ध सांख्यिकीय विधियों के 'ब्लैक बॉक्स' दृष्टिकोण और शुद्ध संरचनात्मक विधियों की मात्रात्मक कमी दोनों से बचता है।
• क्रॉस-डोमेन तर्क: एक निश्चित लेयर व्याकरण और वेरिएबल अर्थविज्ञान बनाए रखकर, यह ढांचा जोखिम फलन को पुनरपरिभाषित किए बिना विभिन्न डोमेन (जैसे, रोबिक्स और वित्त) में तर्क करने का समर्थन करता है।
• स्पष्ट धारणाएं: यह विफलता पथों और नियंत्रण प्रभावशीलता के बारे में स्पष्ट धारणाओं को अनिवार्य बनाता है, जो मोनोलिथिक, भंगुर जोखिम स्कोर से दूर ले जाता है।
• गतिशील नियंत्रण व्याख्या: यह अवस्था गतिकी के माध्यम से आपदा संभाव्यता में मापने योग्य परिवर्तनों द्वारा नियंत्रण प्रभावशीलता को व्युत्पन्न करता है, न कि अनौपचारिक विशेषज्ञ स्कोरिंग पर निर्भर करता है।

लेखक नोट करते हैं कि यह ढांचा "संयोज्य विश्वास" (composable trust) के लिए एक "कॉम्पैक्ट कर्नेल" है। वे सीमाओं को स्वीकार करते हैं, जिसमें मापदंडों के डोमेन-विशिष्ट अंशांकन (calibration) की आवश्यकता और अंशों के बीच स्वतंत्रता की वर्तमान धारणा शामिल है, लेकिन वे दावा करते हैं कि फ्रेमवर्क संरचनात्मक विफलता तंत्र और मात्रात्मक अवशिष्ट जोखिम के बीच एक औपचारिक संबंध सफलतापूर्वक स्थापित करता है।