AUDITA: certified auditing and causal attribution of adverse outcomes in autonomous multi-agent systems
यह शोध पत्र AUDITA को प्रस्तुत करता है, जो स्वायत्त बहु-एजेंट प्रणालियों (autonomous multi-agent systems) के लिए एक प्रमाणित ऑडिटिंग फ्रेमवर्क है, जो छेड़छाड़-रोधी कमांड रिकॉर्ड्स को एक श्रेणीबद्ध कारण-आरोपण इंजन (graded causal-attribution engine) के साथ जोड़ता है ताकि निष्पक्ष उत्तरदायित्व निर्धारण की गणितीय गारंटी दी जा सके, दोष-स्थानांतरण को रोका जा सके, और उन जटिल, बहु-कारण प्रतिकूल परिणामों को सटीक रूप से सुलझाया जा सके जहाँ पारंपरिक एकल-दोषी विधियाँ विफल हो जाती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
निकट भविष्य में, कारखाने, गोदाम और सार्वजनिक स्थान मानव फोरमैन द्वारा नहीं, बल्कि एक एकल कृत्रिम बुद्धिमत्ता (AI) मस्तिष्क द्वारा निर्देशित मशीनों के बेड़े द्वारा संचालित किए जाएंगे। यह मस्तिष्क किसी एक रोबोट को आदेश नहीं देता; बल्कि यह दर्जनों विशिष्ट सॉफ्टवेयर एजेंटों के बीच एक जटिल संवाद का समन्वय करता है, जिनमें से प्रत्येक का एक विशिष्ट कार्य होता है, जैसे कि मार्ग की योजना बनाना या भारी क्रेट को पकड़ना। जब ये सिस्टम काम करते हैं, तो वे किसी भी मानव टीम की तुलना में अधिक तेज़ी से और कुशलता से चलते हैं। लेकिन जब कुछ गलत हो जाता है—कोई कर्मचारी घायल हो जाता है, कोई शिपमेंट बर्बाद हो जाता है, या कोई मशीन दुर्घटनाग्रस्त हो जाती है—तो दोष किसका है, यह प्रश्न एक उलझे हुए जाल जैसा बन जाता है। मशीन निर्माता, सॉफ्टवेयर डेवलपर, फैक्ट्री ऑपरेटर और बीमा कंपनी, सभी एक-दूसरे पर उंगली उठाते हैं। वर्तमान में, इस उलझन को सुलझाने का कोई विश्वसनीय तरीका नहीं है। डिजिटल लॉग जो यह रिकॉर्ड करते हैं कि क्या हुआ था, उन्हें बदला जा सकता है, और उनका विश्लेषण करने वाले सिस्टम अक्सर एक व्यक्ति या प्रोग्राम को दोषी ठहराने के लिए मजबूर करते हैं, भले ही दुर्घटना घटनाओं की एक श्रृंखला, एक छूटे हुए संकेत, या दो अलग-अलग कमांड के कारण हुई हो जो दोनों ही आपदा का कारण बनने के लिए पर्याप्त थे।
ड्यूक यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए 'ऑडिटा' (Audita) नामक एक नया सिस्टम बनाया है। अधूरे या आसानी से जाली बनाए जाable रिकॉर्ड के आधार पर यह अनुमान लगाने के बजाय कि कौन जिम्मेदार है, ऑडिटा प्रत्येक सॉफ्टवेयर एजेंट के बीच भेजे गए प्रत्येक कमांड का एक स्थायी, अपरिवable लेजर (बहीखाता) बनाता है। इस लेजर को एक सीलबंद, छेड़छाड़-मुक्त डायरी के रूप में सोचें जहाँ प्रत्येक प्रविष्टि भेजने वाले द्वारा हस्ताक्षरित होती है और पिछली प्रविष्टि से जुड़ी होती है, जिससे किसी भी पन्ने को हटाना या शब्द बदलना असंभव हो जाता है बिना सबके संज्ञान में आए। जब कोई दुर्घटना होती है, तो ऑडिटा केवल एक "बुरे आदमी" की तलाश नहीं करता है। यह ठीक से पता लगाने के लिए कि नुकसान कैसे हुआ, एक कठोर, चरण-दर-चरण जांच का उपयोग करता है। यह जाँचता है कि क्या कोई कमांड वास्तव में निष्पादित किया गया था, क्या किसी आवश्यक आदेश को अनदेखा किया गया था, या क्या कई एजेंटों ने विफलता में योगदान दिया था। इसके बाद सिस्टम प्रत्येक पक्ष को शून्य से पूर्ण दोष तक की एक विशिष्ट जिम्मेदारी सौंपता है, और एक प्रमाण पत्र प्रदान करता है जो यह सिद्ध करता है कि वह निर्णय क्यों लिया गया था।
शोधकर्ताओं ने इस प्रणाली का परीक्षण दो बहुत अलग तरीकों से किया। पहले, उन्होंने इसे एक लाइव, कार्यरत प्रणाली पर उपयोग किया जहाँ कृत्रिम बुद्धिमत्ता एजेंट जटिल गणितीय समस्याओं को हल कर रहे थे। इन परीक्षणों में, दोष निर्धारित करने के लिए आज उपयोग की जाने वाली मानक विधियाँ लगभग आधी बार गलत थीं, जो अक्सर इस तथ्य को पहचानने में विफल रहीं कि कई एजेंटों ने जिम्मेदारी साझा की थी। इसके विपरीत, ऑडिटा ने त्रुटि दर को लगभग तीन गुना कम कर दिया, और सही ढंग से पहचाना कि विफलता आमतौर पर योजना बनाने वाले एजेंट और जाँच करने वाले एजेंट के बीच एक संयुक्त प्रयास थी। दूसरा, टीम ने वास्तविक दुनिया के रोबोट क्रैश पर आधारित सिम्युलेटेड दुर्घटनाओं के एक पुस्तकालय पर ऑडिटा का परीक्षण किया, जिसमें ऐसी स्थितियाँ शामिल थीं जहाँ एक मशीन इसलिए रुक गई क्योंकि किसी ने उसे रोकने के लिए नहीं कहा था, या जहाँ दो मशीनों ने एक ही काम करने की कोशिश की और दोनों विफल हो गईं। इन नियंत्रित परीक्षणों में, पुराने तरीके पूरी तरह से विफल रहे, जो अक्सर गलत मशीन को दोषी ठहराते थे या जहाँ कोई अपराधी नहीं था वहाँ भी किसी को बना देते थे। हालाँकि, ऑडिटा ने हर दुर्घटना के सटीक कारण की पूर्ण सटीकता के साथ पहचान की, भले ही शोधकर्ताओं ने रिकॉर्ड के हिस्सों को हटाकर या किसी निर्दोष मशीन को फंसाने की कोशिश करके सिस्टम को धोखा देने का प्रयास किया हो।
इस खोज का एक महत्वपूर्ण हिस्सा वह है जो यह सिस्टम सिद्ध करता है कि नकल करना असंभव है। शोधकर्ताओं ने दिखाया कि जबकि एक दुर्भावनापूर्ण अभिनेता एक निर्दोष मशीन को दुर्घटना का कारण दिखाने के लिए उसे एक फर्जी आदेश भेजकर ऐसा करने की कोशिश कर सकता है, सिस्टम उस प्रयास को पकड़ लेगा और दोष हमलावर को सौंप देगा। सिस्टम ने यह भी सिद्ध किया कि आप किसी दोषी पक्ष को निर्दोष दिखाने के लिए साक्ष्य को बस मिटा नहीं सकते; यदि साक्ष्य गायब है, तो सिस्टम इसे एक अंतराल (gap) के रूप में चिह्नित करेगा और आरोपी को मुक्त करने से इनकार कर देगा, बजाय इसके कि यह मान ले कि गायब हिस्सा कभी अस्तित्व में ही नहीं था। इसका अर्थ है कि सिस्टम एक ऐसी मशीन के बीच अंतर कर सकता है जिसने वास्तव में नियमों को तोड़ा है और एक ऐसी मशीन के बीच जो केवल किसी और की गलती के लिए संदेशवाहक थी। यह उन स्थितियों को भी संभाल सकता है जहाँ एक मशीन ने कुछ गलत नहीं किया लेकिन दुर्घटना को रोकने में विफल रही क्योंकि उसे कार्य करने के लिए नहीं कहा गया था, एक प्रकार की विफलता जिसे वर्तमान सिस्टम अक्सर अनदेखा कर देते हैं।
अध्ययन ने इस बात की सीमाओं का भी पता लगाया कि कोई भी ऐसा सिस्टम क्या कर सकता है। शोधकर्ताओं ने पाया कि यदि डिजिटल रिकॉर्ड अधूरा है—यदि मशीनें गुप्त चैनलों के माध्यम से एक-दूसरे से बात करती हैं जिन्हें सिस्टम देख नहीं सकता—तो सिस्टम पूर्ण दोष निर्धारित नहीं कर सकता। यह केवल उस साक्ष्य के आधार पर कह सकता है जो उसके पास है। हालाँकि, उन सीमाओं के भीतर, सिस्टम गणितीय रूप से निष्पक्ष होने के लिए सिद्ध है। इसे एक आज्ञाकारी मशीन को दोषी ठहराने के लिए नहीं फँसाया जा सकता, और न ही इसे एक दोषी मशीन को बचने देने के लिए मूर्ख बनाया जा सकता है। शोधकर्ताओं ने प्रदर्शित किया कि जैसे-जैसे कृत्रिम बुद्धिमत्ता मॉडल अधिक शक्तिशाली होते जाते हैं, सत्य खोजने की सिस्टम की क्षमता में सुधार होता है, जबकि पुरानी विधियाँ त्रुटि के समान स्तर पर ही अटकी रहती हैं।
यह कार्य सुझाव देता है कि स्वायत्त मशीनों को वास्तविक दुनिया में भरोसेमंद बनाने के लिए, हमें स्कोर रखने का एक नया तरीका चाहिए। वर्तमान दृष्टिकोण कि एक अकेले अपराधी की तलाश की जाए, मौलिक रूप से टूटा हुआ है क्योंकि यह इस तथ्य से मेल नहीं खाता कि जटिल प्रणालियाँ वास्तव में कैसे विफल होती हैं। घटनाओं के एक अपरिवर्तनीय रिकॉर्ड को जिम्मेदारी की बारीकियों को समझने वाली पद्धति के साथ जोड़कर, ऑडिटा, दोष किसका है इस बहस को ठोस साक्ष्य पर आधारित एक गणना में बदलने का एक तरीका प्रदान करता है। शोधकर्ता यह दावा नहीं कर रहे हैं कि यह हर कानूनी या नैतिक समस्या को हल करता है, लेकिन उन्होंने दिखाया है कि एक ऐसा सिस्टम बनाना संभव है जो जिम्मेदारी के प्रश्न का उत्तर उस निश्चितता के स्तर के साथ दे सके जो पहले असंभव माना जाता था। हालाँकि इस सिस्टम का प्रदर्शन अभी तक भौतिक रोबोट या उत्पादन स्टैक पर नहीं किया गया है, शोधकर्ता इसे भविष्य के स्वायत्त समूहों के लिए एक आवश्यक परत के रूप में प्रस्तावित करते हैं, जो एक ऐसा मार्ग प्रदान करता है जहाँ मशीनों को एक ऐसे तरीके से जवाबदेह बनाया जा सके जो निष्पक्ष, पारदर्शी और गणितीय रूप से सुदृढ़ हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।