Explainable Decision Graphs for Trustworthy Autonomous Multi-Agent Systems

तकनीकी सारांश: विश्वसनीय स्वायत्त बहु-एजेंट प्रणालियों के लिए व्याख्या योग्य निर्णय ग्राफ (Explainable Decision Graphs)

समस्या विवरण
स्वायत्त बहु-एजेंट प्रणालियाँ (MAS) स्वास्थ्य सेवा, वित्त, साइबर सुरक्षा और स्वायत्त परिवहन जैसे महत्वपूर्ण क्षेत्रों में तेजी से तैनात की जा रही हैं। जबकि ये प्रणालियाँ वितरित निर्णय लेने के माध्यम से लचीलापन और मापनीयता प्रदान करती हैं, उनकी सहयोगात्मक प्रकृति एक "ब्लैक बॉक्स" समस्या उत्पन्न करती है। अंतिम निर्णय अक्सर अवलोकनों, एजेंटों के बीच संचार, मध्यवर्ती तर्क, संघर्षों और सत्यापन चरणों के जटिल अनुक्रमों से उभरते हैं। मौजूदा व्याख्या योग्य कृत्रिम बुद्धिमत्ता (XAI) तकनीकें, विशेष रूप से लोकल इंटरप्रिटेबल मॉडल-एग्नोस्टिक एक्सप्लेनेशन (LIME) और SHapley Additive exPlanations (SHAP), मुख्य रूप से व्यक्तिगत मशीन लर्निंग भविष्यवाणियों की व्याख्या करने के लिए डिज़ाइन की गई हैं। उनमें सिस्टम-स्तरीय घटनाओं को प्रदर्शित करने की क्षमता का अभाव है, जैसे कि किस विशिष्ट एजेंटों ने निर्णय में योगदान दिया, साक्ष्य कैसे साझा किए गए, संघर्षों को कैसे हल किया गया, या सत्यापन नियमों को कैसे लागू किया गया। फलस्वरूप, MAS की वितरित तर्क प्रक्रिया को समझने योग्य, पता लगाने योग्य और सत्यापन योग्य रूप में प्रस्तुत करने में एक अंतराल मौजूद है।

कार्यप्रणाली: व्याख्या योग्य निर्णय ग्राफ (EDG)
इस अंतराल को दूर करने के लिए, यह शोध पत्र 'एक्सप्लेनेबल डिसीजन ग्राफ' (EDG) ढांचे का प्रस्ताव करता है। यह ढांचा एक स्पष्टीकरण और ट्रैसेबिलिटी (traceability) परत के रूप में कार्य करता है जो अंतर्निहित स्वायत्त एजेंटों को बदलने के बजाय उनके साथ मिलकर संचालित होता है। यह कार्यप्रणाली चार प्राथमिक मॉड्यूल से बनी है:

1. एजेंट निष्पादन और निगरानी: यह मॉड्यूल स्वायत्त एजेंटों के रनटाइम की निगरानी करता है, जिसमें एजेंट पहचानकर्ता, इनपुट/अवलोकन, मध्यवर्ती निर्णय, विश्वास स्कोर, सहायक साक्ष्य और टाइमस्टैम्प सहित घटनाओं को रिकॉर्ड किया जाता है।
2. इंटर-एजेंट इंटरेक्शन ट्रैकिंग: यह मॉड्यूल एजेंटों के बीच संचार को रिकॉर्ड करता है, जिसे प्रेषक, प्राप्तकर्ता, संदेश और समय के टुपल्स (tuples) के रूप में परिभाषित किया गया है। यह विशेष रूप से उन संघर्षों को ट्रैक करता है जहाँ एजेंट अलग-अलग निर्णय प्रस्तावित करते हैं।
3. एक्सप्लेनेबल डिसीजन ग्राफ निर्माण: मुख्य ढांचा एक निर्देशित ग्राफ $G = (V, E)$ का निर्माण करता है। नोड सेट $V$ एजेंट नोड्स, इनपुट/अवलोकन नोड्स, साक्ष्य नोड्स, निर्णय नोड्स, सत्यापन नोड्स और एक्शन नोड्स का एक संघ है। किनारे (Edges) "समर्थन करता है," "प्रभावित करता है," "संचार करता है," "विरोधाभास करता है," "सत्यापित करता है," और "उत्पादित करता है" जैसे संबंधों का प्रतिनिधित्व करते हैं। यह संरचना एक अंतिम सिस्टम एक्शन को उसके योगदान देने वाले एजेंटों और साक्ष्यों तक पीछे की ओर ट्रेस करने की अनुमति देती है।
4. सत्यापन और स्पष्टीकरण पीढ़ी: एक सत्यापन परत निर्णयों की पूर्व-निर्धारित सुरक्षा और नीति बाधाओं ($D |= R$) के विरुद्ध जाँच करती है। ग्राफ संरचना के आधार पर, सिस्टम तीन अलग-अलग स्तरों पर स्पष्टीकरण उत्पन्न करता है:
   • उपयोगकर्ता-स्तर: निर्णय के प्राथमिक कारण का एक संक्षिप्त सारांश।
   • डेवलपर-स्तर: एजेंटों, साक्ष्यों, अंतःक्रियाओं और सत्यापन के संबंध में विस्तृत जानकारी।
   • ऑडिटर-स्तर: निर्णय घटनाओं और सत्यापन परिणामों का एक पूर्ण ट्रेस।

यह ढांचा प्रयोगात्मक मूल्यांकन के लिए MAESTRO MAS बेंचमार्क का उपयोग करता है, जो 12 बहु-एजेंट प्रणालियों के निष्पादन ट्रेसेस प्रदान करता है। प्रस्तावित मूल्यांकन पद्धति स्पष्टीकरण की निष्ठा (fidelity), पूर्णता, निर्णय ट्रैसेबिलिटी, मानवीय बोधगम्यता, निर्णय सटीकता, स्पष्टीकरण निरंतरता और कम्प्यूटेशनल ओवरहेड जैसे मेट्रिक्स पर केंद्रित है।

प्रमुख योगदान
यह शोध पत्र विश्वसनीय AI के क्षेत्र में पांच प्राथमिक योगदान रेखांकित करता है:

1. सिस्टम-स्तरीय ग्राफ प्रतिनिधित्व: बहु-एजेंट निर्णयों की व्याख्या करने के लिए एक नवीन ग्राफ-आधारित संरचना जो व्यक्तिगत मॉडल स्पष्टीकरणों से आगे बढ़ती है।
2. इंटरेक्शन-अवेयर ट्रैसेबिलिटी: एक तंत्र जो एजेंटों, साक्ष्यों, मध्यवर्ती निर्णयों और अंतिम कार्यों को स्पष्ट रूप से जोड़ता है, जिससे एजेंटों के बीच की निर्भरताओं को पकड़ा जा सके।
3. वेरिफिकेशन-अवेयर स्पष्टीकरण: एक एकीकृत तंत्र जो सुनिश्चित करता है कि निर्णय पथों की सुरक्षा और नीति बाधाओं के विरुद्ध जांच की जा सके।
4. बहु-स्तरीय स्पष्टीकरण: एक ही अंतर्निहित ग्राफ डेटा के आधार पर विभिन्न हितधारकों (उपयोगकर्ताओं, डेवलपर्स, ऑडिटरों) के लिए स्पष्टीकरण को अनुकूलित करने की क्षमता।
5. प्रायोगिक कार्यप्रणाली: EDG का मात्रात्मक और गुणात्मक मेट्रिक्स का उपयोग करके LIME, SHAP और एजेंट-स्तरीय XAI जैसे मौजूदा दृष्टिकोणों के विरुद्ध मूल्यांकन करने के लिए एक प्रस्तावित ढांचा।

परिणाम और प्रयोगात्मक स्थिति
यह शोध पत्र स्पष्ट रूप से बताता है कि अनुभवजन्य संख्यात्मक परिणाम कार्यान्वयन और मूल्यांकन चरण के लिए आरक्षित हैं। फलस्वरूप, "परिणाम" अनुभाग कोई प्रदर्शन डेटा, सटीकता स्कोर या विलंबता (latency) माप प्रस्तुत नहीं करता है। इसके बजाय, यह प्रदान करता है:

• वैचारिक तुलना: एक तालिका (तालिका I) जो यह दर्शाती है कि LIME या SHAP के विपरीत, प्रस्तावित EDG एजेंट-स्तरीय, इंटरेक्शन-स्तरीय, ट्रैसेबिलिटी और सत्यापन क्षमताओं का समर्थन करता है।
• मापन-तैयार विज़ुअलाइज़ेशन: चित्र और तालिकाएँ (जैसे चित्र 4, तालिका II, चित्र 7) भविष्य के डेटा के लिए टेम्पलेट के रूप में प्रस्तुत की गई हैं। वे संकेत देते हैं कि ग्राफ की जटिलता को भाग लेने वाले एजेंटों की संख्या के विरुद्ध मापा जाएगा और प्रदर्शन तुलना मौजूदा बेसलाइन्स के विरुद्ध की जाएगी।
• सांख्यिकीय ढांचा: यह पत्र सांख्यिकीय विधियों (वर्णनात्मक सांख्यिकी, टी-टेस्ट, ANOVA, कॉन्फिडेंस इंटरवल) को परिभाषित करता है जिनका उपयोग MAESTO डेटासेट पर ढांचे के निष्पादन के बाद डेटा का विश्लेषण करने के लिए किया जाएगा।

महत्व और दावे
यह शोध पत्र विनम्रतापूर्वक दावा करता है कि EDG ढांचा स्वायत्त MAS में सिस्टम-स्तरीय ट्रैसेबिलिटी, पारदर्शिता और जवाबदेही के लिए एक आधारभूत संरचना प्रदान करता है। इसका तर्क है कि जबकि LIME और SHAP जैसी मौजूदा विधियाँ व्यक्तिगत मॉडलों के लिए मूल्यवान हैं, वे MAS में पाए जाने वाले सहयोगात्मक तर्क के लिए अपर्याप्त हैं। इस कार्य का महत्व इसकी क्षमता में निहित है:

• पूर्ण निर्णय पथ को, जिसमें संघर्ष और सत्यापन घटनाएँ शामिल हैं, प्रदर्शित करने में।
• उपयोगकर्ताओं को विशिष्ट एजेंटों और साक्ष्यों तक अंतिम निर्णयों को ट्रेस करने में सक्षम बनाने में।
• सुरक्षा बाधाओं के विरुद्ध निर्णयों के सत्यापन का समर्थन करने में।

लेखक सीमाओं को स्वीकार करते हुए नोट करता है कि एजेंटों की संख्या बढ़ने के साथ निर्णय ग्राफ बड़े हो सकते हैं, जिससे कम्प्यूटेशनल ओवरहेड और मानवीय बोधगम्यता की चुनौतियाँ बढ़ सकती हैं। शोध पत्र निष्कर्ष निकालता है कि यह ढांचा विश्वसनीय AI की दिशा में एक कदम है, लेकिन यह इस बात पर जोर देता है कि प्रदर्शन सुधार या सांख्यिकीय महत्व के दावों की पुष्टि के लिए अनुभवजन्य सत्यापन आवश्यक है। भविष्य के कार्य के रूप में वास्तविक समय निर्माण, कारण तर्क (causal reasoning), लार्ज लैंग्वेज मॉडल्स के साथ एकीकरण और औपचारिक सत्यापन (formal verification) की पहचान की गई है।