Governing Agentic AI in FinTech
यह शोध पत्र तर्क देता है कि फिनटेक (FinTech) में एजेंटिक एआई (agentic AI) के लिए प्राथमिक शासन संबंधी बाधा क्षमता नहीं बल्कि सत्यापन क्षमता है, जो "सत्यापन अंतराल" (Verifiability Gap) को प्रस्तुत करता है और अनुभवजन्य अध्ययनों के माध्यम से यह प्रदर्शित करता है कि वर्तमान प्रणालियों में महत्वपूर्ण वित्तीय निर्णयों के रक्षात्मक प्रतिनिधिमंडल के लिए आवश्यक पुनरुत्पादकता और व्याख्यात्मकता का अभाव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं, लेकिन जहाज चलाने के लिए आप खुद स्टीयरिंग पकड़ने के बजाय, एक बेहद बुद्धिमान, सुपर-फास्ट रोबोट चालक दल को काम पर रख लेते हैं जो नेविगेशन संभाल सके। आप उन्हें कहते हैं, "हमें लाल ग्रह तक पहुँचाओ," और वे बिना हर मोड़ पर आपसे अनुमति लिए नक्शे देखते हुए, ईंधन की गणना करते हुए और थ्रस्टर्स चलाते हुए तेजी से निकल पड़ते हैं। यह एजेंटिक एआई (Agentic AI) की दुनिया है: ऐसी आर्टिफिशियल इंटेलिजेंस जो केवल चैट नहीं करती या कविताएँ नहीं लिखती, बल्कि वास्तव में काम करती है, जैसे ऋण स्वीकृत करना, शेयर खरीदना या धन का प्रबंधन करना। लंबे समय से, वैज्ञानिकों और बैंकरों ने "ब्लैक बॉक्स" समस्या के बारे में चिंता जताई है—जिसका अर्थ है कि रोबोट एक निर्णय तो लेता है, लेकिन कोई नहीं जानता कि उसने ऐसा क्यों या कैसे किया। सामान्य समाधान यह था कि बस रोबोट के मस्तिष्क को बार-बार चलाकर देखा जाए कि क्या वह वही उत्तर देता है। लेकिन यहाँ एक मोड़ है: क्या होगा अगर रोबोट का मस्तिष्क हर बार देखने पर बदल जाता है? क्या होगा अगर रोबोट अपने ही कदमों को भूल जाता है, या जिस कंपनी ने इसे बनाया है, उसके द्वारा नेविगेट करने के उपकरण बदल दिए जाते हैं? यह शोध पत्र एक डरावना लेकिन आवश्यक प्रश्न पूछता है: यदि एक रोबोट आज एक बड़ा वित्तीय निर्णय लेता है, तो क्या हम कल यह साबित कर पाएंगे कि वह ठीक कैसे हुआ था, या क्या सबूत हवा में गायब हो जाएंगे?
"गवर्निंग एजेंटिक एआई इन फिनटेक" (Governing Agentic AI in FinTech) शीर्षक वाला यह शोध पत्र इस रहस्य की गहराई में उतरता है। लेखक का तर्क है कि सबसे बड़ी समस्या यह नहीं है कि ये एआई एजेंट निर्णय लेने के लिए पर्याप्त स्मार्ट हैं या नहीं, बल्कि यह है कि क्या हम उन्हें सत्यापित (verify) कर सकते हैं। वह एक अवधारणा पेश करते हैं जिसे वेरिफिएबिलिटी गैप (Verifiability Gap) कहा जाता है। इसे ऐसे समझें: आप एक रोबोट को निवेश करने के लिए दस लाख डॉलर देते हैं। वह एक ट्रेड करता है। बाद में, एक ऑडिटर पूछता है, "मुझे रसीदें दिखाओ।" यदि रोबोट आपको वह सटीक डिजिटल निशान नहीं दिखा सकता कि उसने वह ट्रेड कैसे किया, या यदि "रसीदें" जो वह आपको दिखाता है वे उन रसीदों से अलग हैं जिनका उसने वास्तव में उपयोग किया था, तो आपके द्वारा उसे दिए गए कार्य और जो आप सिद्ध कर सकते हैं, उसके बीच एक अंतर (गैप) है। शोध पत्र सुझाव देता है कि जैसे-जैसे हम एआई एजेंटों को अधिक नियंत्रण सौंपते जा रहे हैं, यह अंतर बढ़ता जा रहा है, और हम शायद बिना देखे उड़ रहे हैं।
इसे समझने के लिए, शोधकर्ता ने ऋण अनुमोदन और स्टॉक ट्रेडिंग जैसे वित्तीय परिदृश्यों का उपयोग करके तीन अलग-अलग "प्रयोगशाला प्रयोग" चलाए। यहाँ उन्होंने क्या पाया, और यह थोड़ा चौंकाने वाला है।
सबसे पहले, उन्होंने परीक्षण किया कि क्या होता है जब एआई के "मस्तिष्क" को अपडेट किया जाता है। उन्होंने एक शक्तिशाली एआई मॉडल का उपयोग किया और 185 दिनों की अवधि में एक ही 32 वित्तीय मामलों को चलाया। भले ही निर्देश समान थे, एआई के निर्णयों में विचलन (ड्रिफ्ट) होने लगा। बाद के अपडेट में, एआई अधिक रूढ़िवादी हो गया, जिससे 32 में से 5 मामलों में उसका निर्णय बदल गया। लेकिन असली झटका क्या था? जिस कंपनी ने एआई बनाया था, उसने वे "डायल" भी छीन लिए जिनसे उपयोगकर्ता यह नियंत्रित कर सकते थे कि एआई कैसे सोचता है। उन्होंने "रैंडम सीड" (एक संख्या जो एआई के विकल्पों को दोहराने योग्य बनाती है) सेट करने की क्षमता को हटा दिया। यह ऐसा है जैसे रोबोट कप्तान ने अचानक जहाज का इंजन बदल दिया और फिर कंट्रोल रूम का दरवाजा बंद कर दिया, और कहा, "अब आप बटनों को छू नहीं सकते।" अध्ययन में पाया गया कि सबसे कड़े नियंत्रणों के साथ भी, एक स्थानीय संस्करण का एआई अपने कार्यों को पूरी तरह से दोहरा सकता था (320 में से 320 बार), लेकिन एक व्यावसायिक, होस्टेड संस्करण ऐसा नहीं कर सका (320 में से 319, और 960 में से 959)। एआई बचाव योग्य निर्णय ले रहा था, लेकिन बैंक यह साबित नहीं कर सका कि उसने ठीक कैसे किया क्योंकि निर्णय को दोबारा चलाने के उपकरण गायब थे।
दूसरा, शोध पत्र ने देखा कि क्या होता है जब आप टीम में अधिक रोबोट जोड़ते हैं। कल्पना कीजिए कि एक रोबोट काम कर रहा है बनाम 50 रोबोटों की एक टीम जो एक-दूसरे को नोट्स पास कर रही है। शोधकर्ता ने पाया कि अधिक रोबोट जोड़ने से सिस्टम केवल जटिल नहीं हुआ; इसने वास्तव में बिना किसी को पता चले खेल के नियम बदल दिए। यह एक रिले रेस की तरह है जहाँ बैटन को इतनी बार पास किया जाता है कि फिनिश लाइन पर दौड़ने वाले को पता ही नहीं होता कि दौड़ किसने शुरू की थी। इन मल्टी-एजेंट सेटअप में, अंतिम निर्णय (निर्णय) स्थिर लग सकता है, लेकिन वहां तक पहुँचने का रास्ता अव्यवस्थित था। वास्तव में, अध्ययन में पाया गया कि जैसे-जैसे टीम बड़ी होती गई, एआई ने सुरक्षा के लिए हर मामले के लिए एक ही निर्णय लेना शुरू कर दिया। यह एक छात्र की तरह था, जो भ्रमित होने पर हर प्रश्न का उत्तर "मुझे नहीं पता" लिख देता है। एआई बहुत विश्वसनीय लग रहा था क्योंकि वह बार-बार एक ही उत्तर दे रहा था, लेकिन उसने वास्तव में मामलों के बीच के अंतर पर सोचना बंद कर दिया था। शोध पत्र इसे "डिजेनरेट आउटकम रिप्रोड्यूसिबिलिटी" (degenerate outcome reproducibility) कहता है: यह स्थिर दिखता है, लेकिन यह टूटा हुआ है क्योंकि इसने विभिन्न स्थितियों के बीच अंतर करना बंद कर दिया है।
अंत में, शोधकर्ता ने एक सरल, पारदर्शी क्रेडिट मॉडल (जो "ब्लैक बॉक्स" नहीं है) का परीक्षण किया ताकि यह देखा जा सके कि क्या समस्या केवल जटिल एआई के बारे में थी। उन्होंने एक ही मॉडल के दो संस्करणों का उपयोग किया, एक पुराना और एक नया। भले ही नया मॉडल पुराने के लगभग समान था, फिर भी इसने 1,937 ऋण आवेदनों में से 23 के निर्णय बदल दिए। एक आवेदक जिसे पुराने मॉडल द्वारा अस्वीकार कर दिया गया था, उसे नए मॉडल द्वारा मानव समीक्षा के लिए भेजा गया, सिर्फ इसलिए क्योंकि स्कोर मामूली रूप से बदल गया था। डरावनी बात यह है कि यदि आप पुराने निर्णय को नए मॉडल का उपयोग करके फिर से चलाने की कोशिश करते हैं, तो आप नहीं कर सकते। नया मॉडल अपने आप में पूरी तरह से स्थिर है, लेकिन यह पुराने के इतिहास को फिर से नहीं बना सकता। यह ऐसा है जैसे आपने नमक की मात्रा में एक मामूली बदलाव के साथ रेसिपी को फिर से लिखा, और अचानक केक का स्वाद बदल गया, लेकिन आप अब मूल केक का स्वाद नहीं ले सकते क्योंकि आपने पुरानी रेसिपी फेंक दी है।
तो, इसका क्या अर्थ है? शोध पत्र सुझाव देता है कि हम केवल एआई पर भरोसा नहीं कर सकते और उम्मीद नहीं कर सकते कि सब ठीक रहेगा। हम यह मान नहीं सकते कि क्योंकि एक एआई स्मार्ट है, तो वह जवाबदेह भी है। लेखक एक नया तरीका प्रस्तावित करते हैं जिसे एविडेंस-कंटीजेंट डेलीगेशन (evidence-contingent delegation) कहा जाता है। इसका मतलब यह है कि हमें एआई एजेंटों को बड़े निर्णय तभी लेने देना चाहिए जब हम एक पूर्ण, अटूट "साक्ष्य बंडल" (evidence bundle) रख सकें जो यह साबित करे कि उन्होंने यह कैसे किया। यदि एआई अपना मस्तिष्क बदलता है, या यदि इसके द्वारा उपयोग किए जाने वाले उपकरण बदलते हैं, या यदि रोबोट की टीम बहुत बड़ी और अव्यवस्थित हो जाती है, तो हमें रुकना होगा और कहना होगा, "रुको, हम अब इसे सिद्ध नहीं कर सकते।" हमें धीमा होने, अधिक विस्तृत लॉग रखने, या काम की दोबारा जांच के लिए किसी इंसान को आगे आने की आवश्यकता हो सकती है। शोध पत्र यह नहीं कहता कि एआई बुरा है; यह कहता है कि वित्त में एआई के वास्तव में उपयोगी होने के लिए, हमें यह सुनिश्चित करने की आवश्यकता है कि हम हमेशा पीछे मुड़कर देख सकें और कह सकें, "हाँ, यह ठीक इसी तरह हुआ था," भले ही रोबोट अगले कार्य पर आगे बढ़ गया हो। उस प्रमाण के बिना, रोबोट जहाज उड़ा रहा होगा, लेकिन अगर वह दुर्घटनाग्रस्त होता है, तो उसके लिए जिम्मेदार हम होंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।