Testing and Evaluation of Agentic AI Systems In Military Command and Control
यह शोध पत्र तर्क देता है कि एजेंटिक एआई (agentic AI) प्रणालियों के अंतर्निहित गुण वर्तमान सैन्य परीक्षण और मूल्यांकन विधियों की आठ मूलभूत धारणाओं को कमजोर करते हैं, जिससे परीक्षण साक्ष्य और तैनात व्यवहार के बीच का तार्किक संबंध टूट जाता है, जो संकीर्ण, रिकवरेबल (recoverable) आश्वासन दावों की ओर एक बदलाव और एक ऐसे शासन मॉडल की आवश्यकता को अनिवार्य बनाता है जो तैनाती को जोखिम प्रबंधन के एक निरंतर कार्य के रूप में मानता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सैन्य कमान की उच्च-दांव वाली दुनिया में, नेता सूचना एकत्र करने, उसे समझने और कार्रवाई के सुझाव देने के लिए एक प्रणाली पर भरोसा करते हैं। यह प्रणाली, जिसे कमांड एंड कंट्रोल (कमान और नियंत्रण) के रूप में जाना जाता है, एक ऑपरेशन की तंत्रिका प्रणाली है, जो जमीन और आसमान में मौजूद सेंसरों को उन कमांडरों से जोड़ती है जिन्हें यह तय करना होता है कि सैनिकों या जहाजों को कहाँ भेजना है। दशकों तक, इन प्रणालियों में उपयोग किए जाने वाले उपकरण अनुमानित मशीनें रहे हैं: वे सख्त नियमों का पालन करते हैं, और यदि आप उन्हें एक ही जानकारी दो बार देते हैं, तो वे आपको एक ही उत्तर देते हैं। लेकिन अब इन कमरों में एक नई तरह की तकनीक प्रवेश कर रही है। ये केवल आदेशों का पालन करने वाले उपकरण नहीं हैं; ये 'एजेंट' (अभिकर्ता) हैं। एक साधारण कैलकुलेटर के विपरीत, एक एजेंट किसी स्थिति को देख सकता है, यह तय कर सकता है कि उसे कौन सी जानकारी खोजने की आवश्यकता है, उसे प्राप्त करने के लिए बाहर जा सकता है, और फिर उस नई जानकारी का उपयोग करके अपनी योजना को बदल सकता है। यह पिछले अनुभवों को याद रख सकता है, अन्य समान प्रणालियों से बात कर सकता है, और बिना किसी इंसान द्वारा अगला कदम बताए, आश्चर्यजनक बदलावों के अनुकूल खुद को ढाल सकता है। यह लचीलापन उन्हें अविश्वसनीय रूप से शक्तिशाली बनाता है, लेकिन यह उन्हें समझना भी कठिन बना देता है। सैन्य जगत के लिए केंद्रीय प्रश्न अब केवल यह नहीं है कि क्या ये एजेंट काम करते हैं, बल्कि यह है कि हम कैसे सुनिश्चित कर सकते हैं कि जब दांव सबसे ऊंचे हों, तब वे सुरक्षित रूप से काम करेंगे।
शोधकर्ताओं की एक टीम ने इन नए, लचीले सिस्टमों का परीक्षण करने के वर्तमान तरीकों की जांच करके इस प्रश्न का उत्तर देने का प्रयास किया। उन्होंने उन 240 अलग-अलग तरीकों का अध्ययन किया जिनका उपयोग सैन्य और उद्योग विशेषज्ञ सॉफ्टवेयर और स्वायत्त प्रणालियों (ऑटोनॉमस सिस्टम) के परीक्षण के लिए करते हैं। उनका लक्ष्य यह देखना था कि क्या ये पुराने तरीके उन एजेंटों की नई वास्तविकता को संभाल सकते हैं जो सीखते हैं, याद रखते हैं और मौके पर खुद को बदलते हैं। उन्होंने एक मौलिक समस्या पाई: इन प्रणालियों के परीक्षण का वर्तमान तरीका उन धारणाओं पर निर्भर करता है जो एजेंटों के लिए बिल्कुल भी सही नहीं हैं। पारंपरिक परीक्षण यह मानता है कि एक प्रणाली एक निश्चित वस्तु है, जैसे कि एक कार, जिसके हिस्से बदलते नहीं हैं और जिसका व्यवहार अनुमानित होता है। यह मानता है कि यदि आप आज कार का परीक्षण करते हैं, तो परिणाम कल भी मान्य होंगे, और आप कार के प्रत्येक हिस्से का अलग से परीक्षण कर सकते हैं और जान सकते हैं कि पूरा वाहन कैसा व्यवहार करेगा।
शोधकर्ताओं ने पाया कि एजेंटिक प्रणालियाँ इन सभी धारणाओं को तोड़ देती हैं। पहला, ये प्रणालियाँ स्थिर नहीं हैं। एक एजेंट यह चुनकर अपना रास्ता बनाता है कि उसे किन उपकरणों का उपयोग करना है और कौन सी जानकारी जुटानी है। क्योंकि वह काम करते समय ये चुनाव करता है, इसलिए जिस सिस्टम का परीक्षण किया जा रहा है, वह उस सिस्टम से अलग होता है जिसे डिजाइन किया गया था। यह एक कार का परीक्षण करने जैसा है जबकि ड्राइवर साथ ही साथ इंजन और टायर बदल रहा हो। दूसरा, सिस्टम स्थिर नहीं है। एक एजेंट याद रखता है कि पिछले कार्यों में क्या हुआ था, और यह स्मृति अगले कार्य में उसके व्यवहार को बदल देती है। भले ही सॉफ्टवेयर कोड कभी न बदले, एजेंट का व्यवहार बदल जाता है क्योंकि उसकी आंतरिक स्थिति (इंटरनल स्टेट) बदल जाती है। इसका अर्थ है कि पिछले सप्ताह का परीक्षण परिणाम आज लागू नहीं हो सकता। तीसरा, ये प्रणालियाँ अक्सर मिलकर काम करने वाले कई छोटे एजेंटों से बनी होती हैं। जब वे ऐसा करते हैं, तो नए व्यवहार उभर सकते जो किसी भी व्यक्तिगत हिस्से में मौजूद नहीं थे। एजेंटों का एक समूह किसी समस्या को ऐसे तरीके से हल कर सकता है जिसकी अकेले उनमें से किसी ने भी भविष्यवाणी नहीं की होगी, जिससे एक ऐसा परिणाम उत्पन्न होता है जिसे केवल हिस्सों का अलग-अलग परीक्षण करके देख पाना असंभव है।
इन परिवर्तनों के कारण, शोधकर्ताओं ने पाया कि वर्तमान परीक्षण विधियां एक ऐसी रिपोर्ट तैयार कर सकती हैं जो कागज पर तो एकदम सटीक दिखती है, सभी आधिकारिक नियमों को पूरा करती है, लेकिन फिर भी यह साबित करने में विफल रहती है कि सिस्टम वास्तविक जीवन में सुरक्षित रहेगा। परीक्षण यह दिखा सकते हैं कि सिस्टम विशिष्ट, नियंत्रित परिस्थितियों में काम करता है, लेकिन वे यह गारंटी नहीं दे सकते कि सिस्टम अराजक और परिवर्तनशील वातावरण का सामना करते समय भी उसी तरह व्यवहार करेगा। परीक्षण परिणामों और वास्तविक दुनिया के प्रदर्शन के बीच का संबंध टूट गया है। साक्ष्य मौजूद हैं, लेकिन वह तर्क जो उस साक्ष्य को सुरक्षा के वादे से जोड़ता है, अब पर्याप्त मजबूत नहीं रहा।
यह शोध पत्र यह नहीं कहता कि हमें इन प्रणालियों का उपयोग बंद कर देना चाहिए या ये परीक्षण योग्य नहीं हैं। इसके बजाय, यह सुझाव देता है कि हमें सुरक्षा का दावा बनाने के तरीके को बदलना होगा। हम इस व्यापक वादे पर भरोसा नहीं कर सकते कि सिस्टम हर स्थिति में सुरक्षित है। इसके बजाय, हमें बहुत अधिक संकीमित और विशिष्ट दावे करने होंगे। उदाहरण के लिए, हम यह परीक्षण कर सकते हैं कि क्या सिस्टम कार्यों के एक विशिष्ट, सीमित सेट के भीतर रहता है, या क्या यह चरणों के एक सही मार्ग का पालन करता है भले ही अंतिम उत्तर भिन्न हो। हम यह भी स्वीकार कर सकते हैं कि कुछ साक्ष्य केवल तभी एकत्र किए जा सकते हैं जब सिस्टम वास्तव में उपयोग में हो। इसका अर्थ है कि एक एजेंट को सेवा में लगाने का निर्णय एक बार की घटना नहीं है। यह एक निरंतर चलने वाली प्रक्रिया है जहाँ हम लगातार सिस्टम की निगरानी करते हैं, उसकी स्मृति की जाँच करते हैं, और सत्यापित करते हैं कि वह अभी भी अपेक्षित व्यवहार कर रहा है या नहीं। यदि सिस्टम उस तरह से भटकता या बदलता है जिसकी हमने भविष्यवाणी नहीं की थी, तो हमारे पास इसे रोकने या समायोजित करने की तैयारी होनी चाहिए।
शोधकर्ताओं ने यह भी देखा कि मनुष्य इन एजेंटों की निगरानी कैसे कर सकते हैं। उन्होंने पाया कि केवल कमरे में एक इंसान का होना ही पर्याप्त नहीं है। यदि एजेंट बहुत तेज़, बहुत जटिल या बहुत अस्पष्ट है, तो इंसान यह समझने के लिए पर्याप्त समय नहीं निकाल पाएगा कि क्या हो रहा है ताकि वह हस्तक्षेप कर सके। सिस्टम को इस तरह से डिज़ाइन किया जाना चाहिए कि इंसान को पता हो कि एजेंट क्या कर रहा है, वह ऐसा क्यों कर रहा है, और यदि चीजें गलत होती हैं तो उसके पास उसे रोकने के लिए पर्याप्त समय हो। इसके बिना, इंसान एक पर्यवेक्षक के बजाय केवल एक मूकदर्शक बनकर रह जाएगा।
अंततः, अध्ययन यह निष्कर्ष निकालता है कि हालांकि हम अभी यह साबित नहीं कर सकते कि ये जटिल, परिवर्तनशील प्रणालियाँ हर संभावित परिदृश्य में पूरी तरह से सुरक्षित हैं, फिर भी हम जोखिम का प्रबंधन कर सकते हैं। हम ऐसा तब करते हैं जब हम अपनी अनिश्चितता के प्रति ईमानदार होते हैं। हम उन सीमाओं को परिभाषित करते हैं जिनके भीतर सिस्टम को काम करने की अनुमति है, हम काम करते समय इसकी बारीकी से निगरानी करते हैं, और हम स्वीकार करते हैं कि हमारा विश्वास हमेशा अस्थायी होता है। एजेंट का उपयोग करने का निर्णय अब केवल एक अंतिम मंजूरी नहीं है; यह शासन का एक निरंतर कार्य है, जहाँ हम लगातार साक्ष्यों को तौलते हैं, अनिश्चितता का प्रबंधन करते हैं, और यह सुनिश्चित करते हैं कि मानवीय निर्णय नियंत्रण में रहे। आगे का रास्ता एक ऐसे पूर्ण परीक्षण को खोजने में नहीं है जो एक बार में सुरक्षा सिद्ध कर दे, बल्कि नियंत्रण और संतुलन की एक ऐसी प्रणाली बनाने में है जो हमें इन शक्तिशाली उपकरणों का उपयोग करने की अनुमति दे और साथ ही जोखिमों को हमारी प्रबंधित करने की क्षमता के भीतर रखे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।