तकनीकी सारांश: उत्तरदायी एजेंटिक AI के लिए स्पष्ट प्रावेंस (Provenance) आवश्यक है

1. समस्या का विवरण

एजेंटिक AI (Agentic AI)—वे प्रणालियाँ जो स्वायत्त नियोजन, टूल उपयोग और वास्तविक दुनिया के वातावरण में बहु-चरणीय निष्पादन करने में सक्षम हैं—का तीव्र प्रसार जवाबदेही संरचनाओं के विकास की तुलना में बहुत अधिक हो गया है। जबकि व्यक्तिगत घटक (जैसे, कौशल, उपकरण, मॉडल) सुरक्षा ऑडिट पास कर सकते हैं, एक एजेंट के भीतर उनका संयोजन अक्सर उभरती हुई हानियों, नियामक उल्लंघनों और बिखरी हुई जिम्मेदारी को जन्म देता है।

वर्तमान "विश्वसनीय AI" दृष्टिकोण घटक-स्तर के बेंचमार्किंग और पोस्ट-हॉक ऑडिटिंग पर निर्भर करते हैं। ये विधियाँ विफल होती हैं क्योंकि:

• संयोजन जोखिम (Compositional Risk): अलग से सत्यापित सुरक्षा गुण परस्पर क्रिया के दौरान जीवित नहीं रहते।
• बिखरी हुई जवाबदेही (Diffuse Accountability): हानि लंबी अवधि के प्रक्षेप पथों (trajectories) और वितरित कारण श्रृंखलाओं (causal chains) से उत्पन्न होती है जिसे किसी एक पक्ष ने एंड-टू-एंड डिज़ाइन या नियंत्रित नहीं किया है।
• गणनायोग्यता का अभाव (Lack of Computability): जिम्मेदारी एक व्यक्तिपरक, अप्रवर्तनीय अवधारणा बनी रहती है क्योंकि विशिष्ट हानियों को विशिष्ट पक्षों और उनके कारण योगदानों से जोड़ने वाला कोई स्पष्ट, पता लगाने योग्य रिकॉर्ड (प्रावेंस) मौजूद नहीं है।

यह शोध पत्र तर्क देता है कि पूरे एजेंटिक जीवनचक्र में स्पष्ट प्रावेंस (explicit provenance) के बिना, जिम्मेदारी को गणनायोग्य, कार्रवाई योग्य या प्रवर्तनीय नहीं बनाया जा सकता है।

2. कार्यप्रणाली और औपचारिकीकरण

लेखक जिम्मेदारी को गणनायोग्य बनाने के लिए स्पष्ट प्रावेंस पर आधारित एक रूपरेखा प्रस्तावित करते हैं। इसमें आवश्यक साक्ष्य और संरचनात्मक परतों को औपचारिक रूप देना शामिल है जो जिम्मेदारी सौंपने के लिए आवश्यक हैं।

2. 1 मुख्य परिभाषाएँ

• एजेंटिक प्रक्षेप पथ ($\tau$): पर्यावरण अवस्थाओं और संयुक्त एजेंट क्रियाओं का एक परिमित अनुक्रम।
• कारण योगदान ($\kappa$): एक हानि घटना $\omega$ पर किसी पक्ष के कारण संबंधी प्रभाव का माप। इसे एक पक्ष के निर्णयों के साथ होने वाली हानि की संभावना और एक प्रति-तथ्यात्मक (counterfactual) प्रक्षेप पथ जहाँ उन निर्णयों को निष्प्रभावी कर दिया गया हो, के बीच के अंतर के रूप में परिभाषित किया गया है:
  $$\kappa(p, \omega, \tau) = \Pr[\omega | \tau] - \Pr[\omega | \tau_{-p}]$$
• ज्ञान संबंधी स्थिति ($\varepsilon$): एक पक्ष क्या जानता था या अपनी भूमिका और उपलब्ध जानकारी के आधार पर समय $t$ पर उसे तार्किक रूप से क्या पूर्वानुमान लगाना चाहिए था, इसका माप।
• गणनायोग्य जिम्मेदारी ($\rho$): प्रत्येक पक्ष $p$ को हानि $\omega$ के लिए जिम्मेदारी का भार सौंपने वाला एक फलन (function), जो निम्नलिखित को संतुष्ट करता है:
  1. आनुपातिकता (Proportionality): $\rho \propto \kappa \cdot \mathbb{1}[\text{foreseeable}]$।
  2. पूर्णता (Completeness): व्यक्तिगत जिम्मेदारियों का योग और अवशिष्ट संस्थागत जिम्मेदारी मिलकर 1 के बराबर होता है।
  3. पलायन न करना (Non-evasion): पक्ष सिस्टम की जटिलता के माध्यम से पूर्वानुमानित योगदानों के लिए जिम्मेदारी से बच नहीं सकते।
• जिम्मेदारी टेंसर ($R$): एक बहु-आयामी संरचना $R \in [0, 1]^{|P| \times |\Omega| \times |D|}$ जो पक्षों, हानि घटनाओं और सामाजिक-तकनीकी आयामों (जैसे, मानक, विनियमन, व्यावसायिकता) में जिम्मेदारी को एनकोड करती है।

2.2 चार-स्तरीय जीवनचक्र एजेंडा

इन परिभाषाओं को संचालित करने के लिए, शोध पत्र एक चार-स्तरीय शोध एजेंडा की रूपरेखा तैयार करता है:

1. L1 (डिज़ाइन): तैनाती से पहले पक्षों, मॉडलों और कौशलों का प्रतिनिधित्व करने वाला एक कारण निर्भरता ग्राफ ($G$) स्थापित करना। यह सुनिश्चित करता है कि सिस्टम आवश्यक प्रावेंस उत्पन्न करने के लिए डिज़ाइन किया गया है।
2. L2 (इंजीनियरिंग): वास्तविक समय में प्रक्षेप पथ जोखिम ($\Pr[\omega | e_t, \alpha_{t:T}]$) का अनुमान लगाने के लिए ऑनलाइन प्रक्षेप पथ निगरानी (online trajectory monitoring) को लागू करना। इस परत को ट्रैसेबिलिटी (पूर्वव्यापी) और हस्तक्षेप क्षमता (भावी) दोनों का समर्थन करने के लिए संरचित, विफलता-संरेखित निष्पादन रिकॉर्ड उत्पन्न करने चाहिए।
3. L3 (तैनाती): तकनीकी प्रावेंस को मानदण्डों (normative judgments) में बदलना। इसमें "जिम्मेदारी लिफाफे" (responsibility envelopes), आयाम भार ($w_k$), और घटना प्रतिक्रिया योजनाओं को परिभाषित करना शामिल है ताकि कारण संकेतों को विशिष्ट पक्षों के साथ मैप किया जा सके।
4. L4 (अनुभव): संचयी हानियों (जैसे, स्वायत्तता क्षरण, पूर्वाग्रह प्रवर्धन) को संबोधित करना जो एकल-चरण थ्रेशोल्ड को पार किए बिना लंबी अवधि में घटित होती हैं। इसके लिए उपयोगकर्ता के विकल्प सेट और विश्वास विचलन (belief divergence) की जनसंख्या-स्तर की निगरानी की आवश्यकता है।

3. मुख्य परिणाम और प्रयोग

शोध पत्र L2 (इंजीनियरिंग) परत के लिए प्रारंभिक प्रयोगात्मक सत्यापन प्रस्तुत करता है, विशेष रूप से ऑनलाइन कारण संकेतों की अनुमान योग्यता पर ध्यान केंद्रित करता है।

• प्रयोगात्मक सेटअप: लेखकों ने एजेंटिक सिस्टम से जुड़े एक प्लग-इन न्यूरो-सिम्बोलिक (NeSy) निगरानी आर्किटेक्चर का उपयोग किया। यह आर्किटेक्चर कच्चे एजेंट ट्रेसेस को कैनोनिकल स्टेप-लेवल रिप्रजेंटेशन में परिवर्तित करता है और एजेंट के आंतरिक भाग को संशोधित किए बिना विभिन्न मॉनिटर्स (न्यूरल सीक्वेंस मॉडल्स, फाइनाइट-स्टेट मशीन्स, ट्रांसफॉर्मर्स, GRUs) का उपयोग करके उन्हें स्कोर करता है।
• डेटासेट्स: प्रयोग चार बेंचमार्क के माध्यम से किए गए: WebArena, TAU2Bench, SkillsBench, और TerminalBench।
• मेट्रिक: यह मापने के लिए कि मॉनिटर हानि प्रकट होने से पहले विफल प्रक्षेप पथों की कितनी अच्छी तरह पहचान करते हैं, एरिया अंडर द प्रिसिजन-रिकॉल कर्व (AUPRC) का उपयोग किया गया।
• निष्कर्ष:
  • सीखे गए मॉनिटर्स ने रैंडम बेसलाइन और ज़ीरो-शॉट LLM बेसलाइन को काफी पीछे छोड़ दिया।
  • फाइनाइट-स्टेट वेरिएंट्स ने चेतावनी देने वाले व्यवहारों को मानव ऑडिटरों के लिए पठनीय सिम्बोलिक अवस्थाओं में सफलतापूर्वक संकुचित किया, जिससे ट्रैसेबिलिटी के लिए आवश्यक निरीक्षण योग्य साक्ष्य प्राप्त हुए।
  • मॉनिटर्स ने उच्च-जोखिम वाले प्रीफिक्स की पहचान इतनी जल्दी की कि अपरिवर्तनीय परिणाम जमा होने से पहले हस्तक्षेप का समर्थन किया जा सके, जो हस्तक्षेप क्षमता (interventionability) की आवश्यकता को प्रमाणित करता है।
• केस स्टडी: लेखकों ने प्रदर्शित किया कि कैसे इन सिम्बोलिक अवस्थाओं (जैसे, "गलत संरेखित खोज क्वेरी", "एक्सटर्नल-सर्च रीडायरेक्ट") को विशिष्ट डिप्लॉयमेंट-चेन पक्षों (जैसे, स्किल डेवलपर्स, प्लेटफॉर्म ऑपरेटर्स) के साथ मैप किया जा सकता है ताकि जिम्मेदारी टेंसर को भरा जा सके, जिससे व्यक्तिपरक दोष को एक गणनायोग्य आवंटन में बदला जा सके।

4. महत्व और दावे

यह शोध पत्र स्पष्ट प्रावेंस (explicit provenance) को एक विवेकाधीन सुधार के रूप में नहीं, बल्कि जिम्मेदार एजेंटिक AI के लिए एक आवश्यक शर्त के रूप में स्थापित करता है।

• संरचनात्मक आवश्यकता: लेखक तर्क देते हैं कि वर्तमान "विश्वास की कमी" केवल तकनीकी नहीं, बल्कि संरचनात्मक है। जिम्मेदारी अंतराल इसलिए मौजूद हैं क्योंकि कोई भी पक्ष वह मात्रात्मक, पता लगाने योग्य और हस्तक्षेप योग्य रिकॉर्ड उत्पन्न नहीं करता है जो तब आवश्यक होता है जब संरचनात्मक व्यवहार से हानि उत्पन्न होती है।
• प्रतिमान में बदलाव: यह कार्य क्षेत्र को "बेंचमार्क-संचालित मूल्यांकन" (जो अलगाव में क्षमता का आकलन करता है) से "प्रावेंस-आधारित जवाबदेही" (जो पूरे जीवनच cycles में जिम्मेदारी का आकलन करता है) की ओर ले जाता है।
• क्रियाशीलता: जिम्मेदारी को कारण योगदान और पूर्वानुमान योग्यता के आधार पर एक गणनायोग्य फलन के रूप में औपचारिक रूप देकर, यह शोध पत्र दावा करता है कि जिम्मेदारी को नियामकों, डेवलपर्स और संस्थानों के लिए कार्रवाई योग्य बनाया जा सकता है।
• संस्थागत विश्वास: लेखकों का मानना है कि एजेंटिक AI अपनाने में बाधा क्षमता की कमी नहीं, बल्कि विश्वास की कमी है। स्पष्ट प्रावेंस इंफ्रास्ट्रक्चर को उस संस्थागत विश्वास के निर्माण के तंत्र के रूप में प्रस्तुत किया गया है जो अधिकार के बड़े पैमाने पर प्रतिनिधिमंडल (delegation) के लिए आवश्यक है।

शोध पत्र निष्कर्ष निकालता है कि तेजी से बढ़ती तकनीकी प्रगति और जिम्मेदारी संरचनाओं के बीच के अंतर को पाटना एक साझा दायित्व है, जिसके लिए कंप्यूटर विज्ञान, कानून, नैतिकता और सामाजिक विज्ञान के बीच निरंतर सहयोग की आवश्यकता है ताकि उस जवाबदेही ढांचे को डिजाइन किया जा सके जिसकी एजेंटिक AI मांग करता है।