Agentic AI Systems and Financial Stability, From Model Risk to Systemic Risk

वित्तीय स्थिरता एक सुखद धारणा पर टिकी है: कि जब प्रणाली का एक हिस्सा टूटता है, तो बाकी हिस्सा उस झटके को झेल सकता है। यदि एक बैंक विफल होता है, तो अन्य जीवित रहते हैं; यदि एक ट्रेडर गलती करता है, तो बाजार खुद को सुधार लेता है। यह इसलिए काम करता है क्योंकि विफलताएं आमतौर पर उस विशिष्ट संस्थान तक ही सीमित होती हैं, जो बिखरी हुई और असंबद्ध होती हैं। लेकिन एक नए प्रकार का जोखिम उभर रहा है जो इस सुरक्षा जाल को ध्वस्त कर देता है। यह "एजेंटिक" (agentic) आर्टिफिशियल इंटेलिजेंस से आता है—ऐसे सिस्टम जो केवल भविष्य की भविष्यवाणी नहीं करते बल्कि वास्तविक दुनिया में कार्य करते हैं, जैसे पैसा स्थानांतरित करना, कोड लिखना, या रोगी की देखभाल प्रबंधित करना। जब इन एजेंटों में से कई एक ही अंतर्निary सॉफ्टवेयर फाउंडेशन पर निर्मित होते हैं, तो एक एकल त्रुटि या एक एकल हैक स्थानीय नहीं रहती। इसके बजाय, यह एक साथ हर एजेंट पर प्रहार करती है, जिससे एक छोटी सी तकनीकी खराबी एक प्रणाली-व्यापी पतन में बदल जाती है।

फेडरल रिजर्व के शोधकर्ताओं ने पारंपरिक बैंकिंग में जोखिम प्रबंधन करने के तरीके का अध्ययन करने में वर्षों बिताए हैं, जहाँ वे ऋण चूकने की संभावना को मापते हैं और नुकसान की भरपाई के लिए धन अलग रखते हैं। उन्होंने अब इन्हीं नए एआई सिस्टम पर यही कठोर सोच लागू की है, लेकिन उन्होंने पाया कि पुराने नियम काम नहीं करते। मुख्य समस्या यह है कि ये एआई एजेंट मानव श्रमिकों या पारंपरिक सॉफ्टवेयर से भिन्न हैं। वे गति और स्वायत्तता के साथ कार्य करते हैं, और जब वे गलती करते हैं, तो नुकसान अक्सर अपरिवर्तनीय होता है। आप एक धोखाधड़ी वाले वायर ट्रांसफर को "अन-सेंड" (un-send) नहीं कर सकते या एक महत्वपूर्ण डेटाबेस को "अन-डिलीट" (un-delete) नहीं कर सकते। क्योंकि नुकसान स्थायी है और तुरंत होता है, इसलिए सामान्य सुरक्षा जाल—जैसे कि बैकअप योजना रखना या प्रतिक्रिया देने से पहले प्रतीक्षा करना—बेकार हैं। शोधकर्ताओं ने पाया कि आपदा को रोकने का एकमात्र तरीका इसे होने से रोकना है, यानी सिस्टम चलने से पहले ही खतरनाक क्षमताओं को हटा देना।

यह अध्ययन, जो छह अलग-अलग गणितीय जांचों में फैला हुआ है, एक एकल एआई एजेंट को देखकर शुरू होता है। पारंपरिक वित्त में, जोखिम की गणना किसी घटना की संभावना को नुकसान के आकार से गुणा करके की जाती है। शोधकर्ताओं ने एआई के लिए इसे अनुकूलित किया, नुकसान को तीन भागों में विभाजित किया: एजेंट के हानिकारक कार्य करने की कितनी संभावना है, वह कार्य कितना गंभीर है, और उसकी पहुंच कितनी विस्तृत है। उन्होंने पाया कि जब एक एजेंट हमले के अधीन होता है, तो ये तीन कारक स्वतंत्र रूप होकर कार्य नहीं करते। एक एकल दुर्भावनापूर्ण घटना एक साथ एजेंट को अधिक कार्यशील बना सकती है, नुकसान को बदतर बना सकती है, और नुकसान के दायरे को विस्तृत कर सकती है। यह एक "रॉन्ग-वे" (wrong-way) जोखिम पैदा करता है जहाँ खतरा तेजी से बढ़ता है। सबसे महत्वपूर्ण बात यह है कि उन्होंने सिद्ध किया कि अपरिवर्तनीय नुकसानों के लिए, निगरानी या गलतियों को उलटने की क्षमता भी समस्या को ठीक नहीं कर सकती। यदि कोई कार्य वापस नहीं लिया जा सकता, तो एकमात्र समाधान यह सुनिश्चित करना है कि एजेंट के पास वह कार्य करने की क्षमता ही न हो।

शोधकर्ताओं ने फिर अपना दृष्टिकोण एक एकल एजेंट से बढ़ाकर हजारों एजेंटों के बेड़े (fleet) तक विस्तृत किया, जो सभी एक ही फाउंडेशन मॉडल पर चल रहे हैं। यहीं पर जोखिम वास्तव में प्रणालीगत हो जाता है। एक सामान्य पोर्टफोलियो में, यदि आपके पास कई अलग-अलग निवेश हैं, तो एक की विफलता दूसरों को नुकसान नहीं पहुँचाती। लेकिन यदि एक बेड़े के सभी एजेंट एक ही मस्तिष्क साझा करते हैं, तो उस मस्तिष्क की एक खामी उन सभी को एक साथ प्रभावित करती है। शोधकर्ताओं ने दिखाया कि आप बेड़े में कितने भी एजेंट जोड़ लें, जोखिम कम नहीं होता है। इसके बजाय, यह एक ऐसे "फ्लोर" (floor) पर पहुँच जाता है जिसे विविधीकरण (diversification) से दूर नहीं किया जा सकता। भले ही एजेंट विभिन्न कंपनियों या विभिन्न देशों में हों, यदि वे एक ही अंतर्निर्भर सॉफ्टवेयर पर आधारित हैं, तो एक एकल विफलता पूरे समूह को गिरा सकती है। इसे ही वे "मोनोकल्चर" (monoculture) कहते हैं: एक ऐसी प्रणाली जहाँ हर कोई बिल्कुल एक ही खतरे के प्रति संवेदनशील है।

अध्ययन ने यह भी जांचा कि ये एजेंट एक-दूसरे के साथ कैसे बातचीत करते हैं। वास्तविक दुनिया में, एजेंट अक्सर एक-दूसरे से बात करते हैं, जानकारी साझा करते हैं या कार्यों का समन्वय करते हैं। शोधकर्ताओं ने पाया कि यह परस्पर क्रिया एक नया, छिपा हुआ खतरा पैदा करती है। भले ही एजेंट अलग-अलग सॉफ्टवेयर पर बने हों, यदि उन्हें एक-दूसरे को सुनने के लिए प्रोग्राम किया गया है, तो वे संकट के दौरान एक ही तालमेल में चलना शुरू कर सकते हैं। यदि एक एजेंट घबरा जाता है और अपने व्यवहार को बदल देता है, तो दूसरे उसका अनुसरण करते हैं, जिससे एक ऐसी श्रृंखला अभिक्रिया (chain reaction) पैदा होती है जो जोखिम को फैला देती है। यह बिना किसी साझा सॉफ्टवेयर दोष के भी होता है। इसके अलावा, एक समझौता किया गया (compromised) एजेंट अपने साथियों को कुछ हानिकारक करने के लिए मनाने हेतु भाषा का उपयोग कर सकता है, जिससे कोड के बजाय बातचीत के माध्यम से एक संक्रामक प्रसार फैलता है। इसका अर्थ है कि तकनीकी नेटवर्कों को अलग करना ही पर्याप्त नहीं है; एजेंट कैसे संवाद करते हैं, इसे भी नियंत्रित किया जाना चाहिए।

इन जोखिमों को समय के साथ कैसे समझा जाए, यह समझने के लिए शोधकर्ताओं ने प्रणाली को घटनाओं के एक निरंतर प्रवाह के रूप में मॉडल किया, जैसा कि भूकंप या वित्तीय संकट के अध्ययन के लिए किया जाता है। उन्होंने पाया कि जोखिम एक धीमी गति से बदलाव के बजाय एक दुर्लभ, विशाल उछाल की तरह व्यवहार करता है। प्रणाली लंबे समय तक स्थिर दिखाई दे सकती है और फिर अचानक ढह सकती है। उन्होंने यह भी देखा कि इन प्रणालियों को चलते समय कैसे नियंत्रित किया जाए, जिसके लिए "गार्डरेल्स" (guardrails) का उपयोग किया जाता है। उन्होंने सिद्ध किया कि अपरिवर्तनीय घटनाओं के लिए, ये रनटाइम नियंत्रण मौलिक रूप से सीमित हैं। यदि कोई कार्य पहले से ही अपरिवर्तनीय है, तो उसे पहचानने और रोकने के लिए प्रतीक्षा करना बहुत देर हो चुकी है। आपदा की संभावना पूरी तरह से सिस्टम के प्रारंभिक डिजाइन पर निर्भर करती है, न कि इस पर कि आप इसे चलते समय कितनी अच्छी तरह देखते हैं। निगरानी के लिए कोई भी मात्रा उस खामी को ठीक नहीं कर सकती जो शुरुआत से ही सिस्टम में मौजूद थी।

अध्ययन के अंतिम अध्यायों ने एक विरोधी (adversary) को पेश किया—एक हैकर या हमलावर जो उन्नत एआई का भी उपयोग कर रहा है। शोधकर्ताओं ने इसे एक खेल के रूप में देखा जहाँ हमलावर कमजोर बिंदु खोजने की कोशिश करता है और रक्षक उसे रोकने की कोशिश करता है। उन्होंने पाया कि जब हमलावर एआई का उपयोग करते हैं, तो सिस्टम एक बहुत ही आकर्षक लक्ष्य बन जाता है। एक साझा सॉफ्टवेयर फाउंडेशन एक इमारत के हर दरवाजे को खोलने वाली एक ही चाबी की तरह है; यदि चोर को वह चाबी मिल जाती है, तो वह एक साथ हर जगह प्रवेश कर सकता है। अध्ययन ने दिखाया कि एक विकेंद्रीकृत बाजार में, जहाँ प्रत्येक कंपनी व्यक्तिगत रूप से खुद को बचाने की कोशिश करती है, हर कोई सबसे महत्वपूर्ण सुरक्षा उपाय में कम निवेश करेगा: संरचनात्मक रोकथाम (structural prevention)। वे पहचान और प्रतिक्रिया पर पैसा खर्च करेंगे क्योंकि वे देखना और मापना आसान हैं, लेकिन वे खतरनाक क्षमताओं को पूरी तरह से हटाने के कठिन काम को अनदेखा कर देंगे। यह पूरे सिस्टम को असुरक्षित छोड़ देता है।

शोधकर्ताओं ने निष्कर्ष निकाला कि इस जोखिम को प्रबंधित करने का एकमात्र प्रभावी तरीका "संरचनात्मक रोकथाम" है। इसका अर्थ है सिस्टम को इस तरह डिजाइन करना कि विनाशकारी कार्य करना भौतिक रूप से असंभव हो, न कि यह उम्मीद करना कि उन्हें होने के बाद पकड़ा जाएगा। इसमें खतरनाक उपकरणों को हटाना, अनुमतियों को सीमित करना और यह सुनिश्चित करना शामिल है कि एजेंट उन हिस्सों तक पहुँच न सकें जो अपरिवर्तनीय नुकसान का कारण बन सकते हैं। अध्ययन ने सिद्ध किया कि बढ़ते, बुद्धिमान विरोधी के विरुद्ध यह दृष्टिकोण ही काम करने वाला एकमात्र तरीका है। जैसे-जैसे एआई तकनीक में सुधार होता है और हमलावर अधिक सक्षम होते जाते हैं, प्रत्येक नए खतरे का पता लगाने और प्रतिक्रिया देने की लागत अनंत होती जाती है। इसके विपरीत, एक खतरनाक क्षमता को हटाने की लागत एक बार का निवेश है जो सिस्टम को हमेशा के लिए सुरक्षित करता है, चाहे हमलावर कितना भी स्मार्ट क्यों न हो जाए।

पत्र नियामकों और सिस्टम डिजाइनरों के लिए एक स्पष्ट संदेश के साथ समाप्त होता है। एआई के युग में वित्तीय स्थिरता केवल प्रत्येक संस्थान की अधिक बारीकी से निगरानी करके या इस उम्मीद से प्राप्त नहीं की जा सकती कि एक विफलता नहीं फैलेगी। जोखिम बहुत गहरा और बहुत आपस में जुड़ा हुआ है। सिस्टम को सुरक्षित करने का एकमात्र तरीका उन संरचनात्मक विकल्पों को चुनना है जो सिस्टम के चलने से पहले ही किए जाने चाहिए। इसका अर्थ है कि किसी भी एकल सॉफ्टवेयर फाउंडेशन पर कितनी निर्भरता रखी जाए, इसकी सीमा तय करना, यह सुनिश्चित करना कि एजेंट अपरिवर्तनीय कार्य न कर सकें, और सिस्टम को इस तरह डिजाइन करना कि एक एकल विफलता पूरे नेटवर्क को नीचे न गिरा सके। गणित स्पष्ट है: आप साझा खामी को विविधीकरण से दूर नहीं कर सकते, आप एक अपरिवर्तनीय गलती को पहचान कर ठीक नहीं कर सकते, और आप एक समन्वित हमले को रोकने के लिए पर्याप्त तेजी से प्रतिक्रिया नहीं दे सकते। एकमात्र समाधान यह है कि सिस्टम को इस तरह बनाया जाए कि आपदा होने का अवसर ही न मिले।