Monitoring Agentic Systems Before They're Reliable

तकनीकी सारांश: एजेंटिक सिस्टम की विश्वसनीयता सुनिश्चित होने से पहले उनकी निगरानी करना

समस्या विवरण
विनियमित उद्योगों (ऑडिट, वित्त, स्वास्थ्य सेवा, कानूनी) में प्रवेश कर रहे एजेंटिक एआई (Agentic AI) सिस्टम अक्सर आंशिक रूप से एकीकृत असेंबली के रूप में कार्य करते हैं। इस प्रारंभिक परिपक्वता स्तर पर, विफलता का परिदृश्य कार्य-स्तर की त्रुटियों (जैसे, गलत गणना) से नहीं, बल्कि संरचनात्मक एकीकरण दोषों (जैसे, स्कीमा बेमेल, लुप्त संदर्भ प्रसार) द्वारा संचालित होता है। वर्तमान निगरानी पद्धतियां समग्र प्रदर्शन मेट्रिक्स (औसत सटीकता, त्रुटि दर) और थ्रेशोल्ड-आधारित अलर्ट पर निर्भर करती हैं। ये दृष्टिकोण एजेंटिक संदर्भों में विफल हो जाते हैं क्योंकि:

1. कार्य विषमता (Task Heterogeneity): एजेंट विविध, जटिल इनपुट को प्रोसेस करते हैं जहाँ "औसत" प्रदर्शन उच्च-जोखिम वाली विफलताओं को छिपा देता है।
2. अनिश्चित स्कोरिंग (Uncertain Scoring): ग्राउंड ट्रुथ अक्सर आंशिक होता है या पेशेवर निर्णय का विषय होता है, जिससे बाइनरी सत्यापन असंभव हो जाता है।
3. सिग्नल मास्किंग (Signal Masking): संरचनात्मक दोष एक "नॉइज़ फ्लोर" (noise floor) बनाते हैं जो कार्य-स्तर के संकेतों को दबा देते हैं। एक सिस्टम जिसका एकीकरण पाइपलाइन टूटा हुआ है, वह सुसंगत लेकिन गलत आउटपुट दे सकता है, जिससे कार्य-स्तर का त्रुटि पता लगाना स्वच्छ बेसलाइन से अलग करना असंभव हो जाता है।

इन संरचनात्मक मुद्दों को निदान करने के लिए पद्धति के बिना, निगरानी झूठा विश्वास पैदा करती है या विश्लेषकों को शोर (noise) से अभिभूत कर देती है, जिससे विश्वसनीय त्रुटि पहचान संभव होने से पहले ही आवश्यक एकीकरण सुधारों को प्राथमिकता देने में विफल रहती है।

कार्यप्रणाली (Methodology)
लेखक एक त्रिकोणीय निगरानी और स्वचालित ट्राइएज (triage) पद्धति का प्रस्ताव करते हैं जो "स्टेज 1" (संरचनात्मक निदान) के स्तर पर प्रभावी ढंग से कार्य करने के लिए डिज़ाइन की गई है।

1. त्रिकोणीय मूल्यांकन आयाम (Triangulated Evaluation Dimensions):
   सिस्टम व्यवहार को तीन पूरक आयामों में विभाजित किया गया है:

• गुणवत्ता (Quality): सटीकता, पूर्णता और मतिभ्रम (hallucinations) की अनुपस्थिति।
• उपयुक्तता (Suitability): निर्देश अनुपालन, प्रासंगिक फिट, और वर्कफ़्लो संरेखण।
• दक्षता (Efficiency): लागत, समय, और मानव समीक्षा का बोझ।

2. तीन निगरानी स्कोप (Three Monitoring Scopes):
   विभिन्न विफलता मोड को स्पष्ट करने के लिए तीन अलग-अलग स्कोप में मूल्यांकन किया जाता है:

• इन-रन (Within-Run): एक एकल निष्पादन (execution) में संसाधित दस्तावेजों का विश्लेषण करता है।
• क्रॉस-रन (Cross-Run): पूर्ण रन के एक समूह (fleet) में एग्रीगेट्स का विश्लेषण करता है।
• संरचनात्मक (Structural): सिस्टम के पाइपलाइन और मैनिफेस्ट की अखंडता का विश्लेषण करता है (जैसे, दस्तावेज़ अंतर्ग्रहण बनाम प्रसंस्करण)।

3. प्राथमिक सिग्नल के रूप में विचरण (Variance as a Primary Signal):
   औसत पर निर्भर रहने के बजाय, यह पद्धति श्रेणी-वार विचरण (विशेष रूप से भिन्नता गुणांक, CV) को एक प्रथम-श्रेणी के सिग्नल के रूप में उपयोग करती है।

• कम विचरण नियतात्मक (deterministic), व्यवस्थित दोषों को दर्शाता है।
• उच्च विचरण स्टोकेस्टिक (stochastic) एकीकरण परिणामों को दर्शाता है।
  यह सिस्टम को ग्राउंड ट्रुथ लेबल की आवश्यकता के बिना अपने स्वयं के निगरानी आर्किटेक्चर और विफलता प्रकारों को लक्षणित करने की अनुमति देता है।

4. FMEA-आधारित स्वचालित ट्राइएज:
   निष्कर्षों को विफलता मोड और प्रभाव विश्लेषण (FMEA) और MIL-STD-882E से अनुकूलित गंभीरता वर्गीकरण प्रणाली के माध्यम से रूट किया जाता है। विफलताओं को चार स्तरों में वर्गीकृत किया गया है:

• L1 (विनाशकारी - Catastrophic): प्रक्रिया अखंडता से समझौता; तत्काल रोक।
• L2 (गंभीर - Critical): भौतिक रूप से गलत परिणाम; मानव समीक्षा की आवश्यकता।
• L3 (मामूली - Marginal): क्षयित लेकिन उपयोगी; आवधिक नमूनाकरण।
• L4 (नगण्य - Negligible): न्यूनतम प्रभाव; स्वचालित हैंडलिंग।
  यह वर्गीकरण नियतात्मक रूटिंग सक्षम बनाता है, जिससे मानव ध्यान केवल उन निष्कर्षों (L1/L2) की ओर जाता है जो जांच के योग्य हैं, जबकि बाकी को स्वचालित किया जाता है।

प्रायोगिक सेटअप
इस पद्धति को US GAAP के तहत सब्सक्वेंट इवेंट्स एंड अनरिकॉर्डेड लायबिलिटीज (SURL) ऑडिट प्रक्रिया के लिए डिज़ाइन किए गए एक सिंथेटिक टेस्टबेड पर मान्य किया गया।

• डेटा: 120 दस्तावेज़ बंडल (100 नियंत्रित त्रुटि इंजेक्शन के साथ, 20 स्वच्छ बेसलाइन) जिन्हें 220 रन में प्रोसेस किया गया।
• परीक्षण के अधीन सिस्टम: एक प्रारंभिक-चरण का एजेंटिक सिस्टम जिसमें दो ज्ञात एकीकरण दोष थे: (1) सभी दस्तावेज़ प्रकारों पर लागू एक हार्डकोडेड इनवॉइस स्कीमा, और (2) एक क्रॉस-डॉक्यूमेंट वैलिडेटर जिसे शून्य संदर्भ (zero context) प्राप्त हुआ।
• लक्ष्य: यह निर्धारित करना कि क्या निगरानी पद्धति इन संरचनात्मक दोषों का निदान कर सकती है और उन्हें इंजेक्ट किए गए कार्य-स्तर के त्रुटियों से अलग कर सकती है।

मुख्य परिणाम

1. निगरानी स्कोप विफलता के प्रकार को निर्धारित करता है:

• इन-रन मॉनिटर्स (जैसे, स्कीमा अनुप्रयोग) ने उच्च-मात्रा, समान आउटपुट (CV = 0.02) के साथ निम्न गंभीरता (L3) उत्पन्न की, जो नियतात्मक चरण दोषों की पहचान करती है।
• क्रॉस-रन मॉनिटर्स ने विरल, अत्यधिक परिवर्तनशील आउटपुट (CV = 1.25) उत्पन्न किया, जो स्टोकेस्टिक एकीकरण परिणामों को उजागर करता है। इनमें से 24% निष्कर्ष L2 (गंभीर) थे।
• संरचनात्मक मॉनिटर्स ने पूर्ण निरंतरता (CV = 0.00) के साथ एकीकरण अंतराल की पहचान की, प्रत्येक रन पर L2 निष्कर्ष उत्पन्न किए।

2. संरचनात्मक दोष कार्य-स्तर की त्रुटियों को छिपा देते हैं:
   इंजेक्ट किए गए कार्य-स्तर के त्रुटि (अंकगणितीय, क्रॉस-डॉक्यूमेंट, टेम्पोरल) स्वच्छ बेसलाइन से अभेद्य (indistinguishable) थे। संरचनात्मक शोर का स्तर (जैसे, हर दस्तावेज़ पर गलत स्कीमा लागू करना) विशिष्ट डेटा त्रुटियों के सिग्नल को पूरी तरह से दबा दिया। यह पुष्टि करता है कि संरचनात्मक दोषों को हल करने से पहले कार्य-स्तर का त्रुटि पता लगाना अव्यावहारिक है।

3. ट्राइएज दक्षता:
   FMEA-आधारित ट्राइएज सिस्टम ने 97.7% निष्कर्षों (10,453 में से 10,210) को स्वचालित निगरानी (L3) को रूट किया। केवल 2.3% (243 निष्कर्ष, मुख्य रूप से L2) को मानव जांच के लिए रूट किया गया। यह विश्लेषक वॉल्यूम में 43 गुणा कमी का प्रतिनिधित्व करता है, जो मानव प्रयास को उन निष्कर्षों के उपसमुच्चय पर केंद्रित करता है जो परिवर्तनशील सिस्टम व्यवहार और एकीकरण अंतराल को दर्शाते हैं।

महत्व और दावे
यह शोध पत्र तर्क देता है कि अपरिपक्व एजेंटिक सिस्टम के लिए, प्रभावी निगरानी, त्रुटि पहचान व्यवहार्य होने से पहले संरचनात्मक निदान के साथ शुरू होती है।

• परिपक्वता-स्टेजिंग मॉडल: लेखक एक मॉडल प्रस्तावित करते हैं जहाँ निगरानी संरचनात्मक लक्षण वर्णन (स्टेज 1) से त्रुटि पहचान (स्टेज 2) और अंततः विश्वसनीयता ट्रैकिंग (स्टेज 3) की ओर बढ़ती है, जैसे-जैसे एकीकरण दोषों को हल किया जाता है।
• वास्तुकलागत हस्तांतरणीयता (Architectural Transferability): दावा किया गया है कि तीन-स्कोप टैक्सोनॉमी, CV-आधारित लक्षण वर्णन, और FMEA गंभीरता मॉडल, दस्तावेज़-संचालित, बहु-चरणीय एजेंटिक वर्कफ़्लो (विनियमित उद्योगों में) में स्थानान्तरित किया जा सकता है, हालांकि विशिष्ट अंशांकन (इवैल्यूएटर्स, थ्रेशोल्ड) डोमेन-विशिष्ट होते हैं।
• परिचालन मूल्य: इसका प्राथमिक योगदान एक ऐसी पद्धति है जो परिनियोजन (deployment) के तुरंत बाद कार्रवाई योग्य इंजीनियरिंग मूल्य प्रदान करती है। शोध पत्र कहता है: "निगरानी को जल्दी तैनात करें: पहली चीज़ जो यह खोजती है, वही सबसे महत्वपूर्ण चीज़ है जिसे ठीक करने की आवश्यकता है।"

लेखक स्पष्ट रूप से नोट करते हैं कि उनके निष्कर्ष स्टेज 1 के साक्ष्य पर आधारित हैं; स्टेज 2 और 3 में संक्रमण सैद्धांतिक विस्तार हैं जिनके लिए अनुदैर्ध्य सत्यापन (longitudinal validation) की आवश्यकता है। यह कार्य परिपक्व सिस्टम के लिए कार्य-स्तर के त्रुटि पता लगाने को हल करने का दावा नहीं करता है, बल्कि आवश्यक नैदानिक परत प्रदान करता है जो इसे सक्षम बनाती है।