PolicyShift-AML: Auditing Selective-Label Policy Dependence in Anti-Money-Laundering Transaction Monitoring
यह शोध पत्र PolicyShift-AML प्रस्तुत करता है, जो एक नियंत्रित ऑडिटिंग प्रोटोकॉल है जो यह प्रकट करता है कि एंटी-मनी लॉन्ड्रिंग मॉडलों का ऑफलाइन प्रदर्शन अक्सर वास्तविक घटना की स्थिति के बजाय संस्थागत जांच नीतियों को दर्शाता है, और साथ ही एक गैर-ऋणात्मक पॉजिटिव-अनलेबल (positive-unlabeled) एस्टीमेटर प्रस्तावित करता है जो नीति-निर्भर लेबल चयन के तहत मानक बेसलाइन की तुलना में लेटेंट रिकॉल (latent recall) में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बैंकिंग की उच्च-दांव वाली दुनिया में, मनी लॉन्ड्रिंग के खिलाफ हर सेकंड एक मौन युद्ध लड़ा जाता है। बैंक अवैध गतिविधियों का संकेत देने वाले पैटर्न की तलाश में लाखों लेनदेन को स्कैन करने के लिए स्वचालित प्रणालियों का उपयोग करते हैं। हालाँकि, ये प्रणालियाँ एक मौलिक अंध बिंदु (blind spot) का सामना करती हैं: वे शायद ही कभी पूरी तस्वीर देख पाती हैं। वे केवल उन लेनदेन को देखते हैं जिन्हें मानव समीक्षा के लिए एक अलर्ट सिस्टम द्वारा फ्लैग किया जाता है। अधिकांश लेनदेन, यहाँ तक कि संदिग्ध होने के बावजूद, बिना देखे ही निकल जाते हैं। यह वास्तविकता का एक विकृत दृश्य बनाता है, जहाँ एक कंप्यूटर मॉडल अपराधियों के वास्तविक व्यवहार के बजाय जांच के लिए बैंक के अपने नियमों को पहचानने के लिए सीखता है। यदि बैंक उन नियमों को बदल देता है कि किसे फ्लैग किया जाना चाहिए, तो मॉडल का प्रदर्शन गिर सकता है, इसलिए नहीं कि अपराधी बदल गए, बल्कि इसलिए क्योंकि मॉडल डेटा के एक विशिष्ट, संकीमित हिस्से पर प्रशिक्षित था। यह समस्या, जिसे 'सिलेक्टिव लेबलिंग' (selective labeling) कहा जाता है, का अर्थ है कि एक प्रणाली जो परीक्षण में पूर्ण दिखाई देती है, वह वास्तविक दुनिया में पूरी तरह विफल हो सकती है क्योंकि उसने अपराध के बजाय जांचकर्ता की आदतों को याद कर लिया है।
त्राबज़ोन विश्वविद्यालय के एक शोधकर्ता ने इन प्रणालियों का परीक्षण करने का एक नया तरीका विकसित किया है, जो इस भ्रम को दूर करके यह देखता है कि वे वास्तव में अपने प्रशिक्षण में उपयोग किए गए विशिष्ट नियमों पर कितनी निर्भर हैं। 'पॉलिसीशिफ्ट-एएमएल' (PolicyShift-AML) नामक यह अध्ययन वास्तविक बैंक डेटा को नहीं देखता है, जो अक्सर अव्यवस्थित और कानूनी रूप से प्रतिबंधित होता है। इसके बजाय, यह 30 लाख लेनदेन के एक विशाल, सावधानीपूर्वक निर्मित सिमुलेशन का उपयोग करता है। इस डिजिटल प्रयोगशाला में, शोधकर्ताओं ने "लेटेंट" (latent) घटनाओं का एक स्थिर प्रवाह बनाया, जो इस बात का प्रतिनिधित्व करता है कि क्या कोई लेनदेन वास्तव में संदिग्ध था या नहीं। फिर उन्होंने इसी प्रवाह पर पांच अलग-अलग जांच नीतियां (investigation policies) चलाईं। प्रत्येक नीति एक अलग बैंक की तरह कार्य करती थी जिसके पास जांच के निर्णय लेने के लिए अलग-अलग नियम थे, फिर भी इन पांचों नीतियों को जांचे जाने वाले लेनदेन की कुल संख्या समान रखने के लिए डिज़ाइन किया गया था। जांच के लिए क्या लेबल किया जाए, इसके नियमों को बदलते हुए भी अंतर्निहित सत्य को स्थिर रखकर, टीम यह अलग करने में सक्षम थी कि एक मॉडल की सफलता वास्तव में अपराध का पता लगाने की क्षमता के बजाय, उसके प्रशिक्षण के लिए उपयोग की गई विशिष्ट नीति पर कितनी निर्भर थी।
परिणामों ने यह खुलासा किया कि इन मॉडलों के मूल्यांकन के वर्तमान तरीके में एक महत्वपूर्ण भेद्यता (vulnerability) है। जब शोधकर्ताओं ने एक विशिष्ट जांच नीति से प्राप्त डेटा का उपयोग करके मॉडलों को प्रशिक्षित किया और फिर उन्हें वास्तविक घटनाओं के निश्चित प्रवाह पर परीक्षण किया, तो प्रदर्शन इस बात पर बहुत अधिक भिन्न हुआ कि प्रशिक्षण के लिए किस नीति का उपयोग किया गया था। एक सामान्य प्रकार के मॉडल के लिए, शीर्ष 500 संदिग्ध लेनदेन खोजने की क्षमता, केवल प्रशिक्षण नीति को बदलकर लगभग 26% के निम्न स्तर से लेकर लगभग 38% के उच्च स्तर तक रही। प्रदर्शन का यह 26% से 29% का अंतर यह दर्शाता है कि मॉडल मनी लॉन्ड्रिंग के बारे में किसी सार्वभौमिक सत्य को नहीं सीख रहा था; वह जांच पद्धति की विशिष्ट बारीकियों को सीख रहा था। इससे भी अधिक महत्वपूर्ण बात यह थी कि मानक मूल्यांकन विधियां खतरनाक रूप से आशावादी हैं। जब एक मॉडल का परीक्षण केवल उन्हीं लेबलों का उपयोग करके किया जाता है जिन पर उसे प्रशिक्षित किया गया था, तो वह वास्तविक स्थिति की तुलना में बहुत बेहतर प्रदर्शन करता हुआ दिखाई देता है। एक परिदृश्य में, एक मानक मॉडल ने वास्तविक खतरों को खोजने की अपनी वास्तविक क्षमता की तुलना में 10 प्रतिशत अंक से अधिक उच्च सफलता दर दिखाई, जिससे उन संस्थानों में सुरक्षा की एक झूठी भावना पैदा हुई जो इस पर भरोसा करते हैं।
इसे संबोधित करने के लिए, अध्ययन ने इन मॉडलों के लिए एक अधिक मजबूत प्रशिक्षण विधि पेश की जो सूचना के इन छूटे हुए हिस्सों को संभाल सके। 'पॉजिटिव-अनलेबल लर्निंग' (positive-unlabeled learning) के रूप में जानी जाने वाली यह पद्धति, बिना जांचे गए लेनदेन को हानिरहित मानने के बजाय, उन्हें अज्ञात मानती है जिन्हें ज्ञात संदिग्ध लेनदेन के विरुद्ध सावधानीपूर्वक तौला जाना चाहिए। शोधकर्ताओं ने एक नया एस्टीमेटर (estimator) बनाया जो जांच नीति द्वारा उत्पन्न पूर्वाग्रह को ठीक करते हुए, समीक्षा के लिए चुने जाने की संभावना को ध्यान में रखता है। लेनदेन और उसके वास्तव में संदिग्ध होने की पुष्टि के बीच तीस-दिवसीय विलंब वाले एक यथार्थवादी सिमुलेशन में, इस नई पद्धति ने शीर्ष 500 खतरों को खोजने में लगभग 40% की सफलता दर हासिल की। यह मानक मॉडलों की तुलना में एक महत्वपूर्ण सुधार था, जो समान परिस्थितियों में लगभग 23% पर थे। नया तरीका सिमुलेशन में इतना सटीक साबित हुआ कि इसने एक "ओरेकल" (oracle) सिस्टम—एक सैद्धांतिक आदर्श मॉडल जो पहले से ही वास्तविक संभावनाओं को जानता है—के प्रदर्शन के लगभग बराबर प्रदर्शन किया—यह सुझाव देता है कि सही गणितीय सुधारों के साथ, मॉडल अपने प्रशिक्षण डेटा की सीमाओं से परे देख सकते हैं।
अध्ययन ने यह भी परीक्षण किया कि क्या खातों के बीच पिछले इंटरैक्शन के इतिहास को, जिसे कनेक्शन के ग्राफ के रूप में दर्शाया गया है, जोड़ने से मॉडल अधिक स्थिर होंगे। हालांकि ये ग्राफ-आधारित विशेषताएं नए तरीके के प्रभावी ढंग से काम करने के लिए आवश्यक थीं, लेकिन उन्होंने मॉडलों को प्रशिक्षण नीति से प्रतिरक्षा (immunity) प्रदान नहीं की। मॉडल अभी भी अपने प्रशिक्षण के तरीके के प्रति संवेदनशील बने रहे, जिससे यह विचार गलत साबित हुआ कि जटिल नेटवर्क डेटा अकेले नीति निर्भरता की समस्या को हल कर सकता है। इसके अलावा, शोधकर्ताओं ने एक ऐसा परिदृश्य परीक्षण किया जहां एक विशिष्ट प्रकार के आपराधिक व्यवहार को प्रशिक्षण डेटा से पूरी तरह से छिपा दिया गया था। उन्नत तकनीकों के बावजूद, मॉडल बिना किसी उदाहरण के इन छिपे हुए पैटर्न को विश्वसनीय रूप से नहीं पहचान सके, जो इस बात को रेखांकित करता है कि कोई भी सांख्यिकीय सुधार उस खतरे की पहचान नहीं कर सकता जिसका प्रशिक्षण इतिहास में शून्य अस्तित्व है। निष्कर्ष बताते हैं कि जबकि बेहतर सांख्यिकीय उपकरण पहचान में काफी सुधार कर सकते हैं, वे विविध और प्रतिनिधि डेटा की आवश्यकता को प्रतिस्थापित नहीं कर सकते।
अंततः, यह शोध वित्तीय उद्योग के रक्षा तंत्र के लिए एक महत्वपूर्ण 'स्ट्रेस टेस्ट' के रूप में कार्य करता है। यह दिखाता है कि एक मॉडल का प्रदर्शन एक निश्चित संख्या नहीं है, बल्कि एक चर (variable) है जो उसके प्रशिक्षण डेटा को उत्पन्न करने के लिए उपयोग किए गए नियमों के साथ बदलता रहता है। अध्ययन का तर्क है कि बैंकों और नियामकों को सरल सटीकता स्कोर से आगे बढ़कर, यह ऑडिट करना चाहिए कि उनके मॉडल विभिन्न जांच नीतियों के तहत कैसा व्यवहार करते हैं। यह समझकर कि एक प्रणाली उस विशिष्ट प्रकार के धोखाधड़ी को खोजने में उत्कृष्ट हो सकती है जिसे उसके वर्तमान नियम पकड़ते हैं, लेकिन दूसरों को खोजने में कमजोर हो सकती है, संस्थान ऐसे उपकरणों को तैनात करने से बच सकते हैं जो नाजुक और भ्रामक हैं। यह कार्य मनी लॉन्ड्रिंग को हल करने का दावा नहीं करता है, बल्कि यह वर्तमान प्रणालियों में छिपी धारणाओं को उजागर करने के लिए एक स्पष्ट, पुनरुत्पादक ढांचा प्रदान करता है, यह सुनिश्चित करता है कि जब एक मॉडल तैनात किया जाता है, तो वह केवल अपने प्रशिक्षण के संकीमित दृष्टिकोण के लिए नहीं, बल्कि वास्तविक दुनिया की जटिलताओं के लिए तैयार हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।