💻 computer science

Explainable AML Triage with LLMs: Evidence Retrieval and Counterfactual Checks

यह शोध पत्र एक व्याख्यात्मक एंटी-मनी लॉन्ड्रिंग (AML) ट्राइएज फ्रेमवर्क प्रस्तावित करता है जो निर्णय ऑडिटेबिलिटी में सुधार करने, मतिभ्रम (hallucinations) को कम करने और सख्त नियामक अनुपालन बनाए रखते हुए बेहतर प्रदर्शन प्राप्त करने के लिए रिट्रीवल-ऑगमेंटेड एविडेंस बंडलिंग, स्ट्रक्चर्ड साइटेशन-कंस्ट्रेंड एलएलएम (LLM) आउटपुट और काउंटरफैक्चुअल वैलिडेशन को एकीकृत करता है।

मूल लेखक: Dorothy Torres, Wei Cheng, Ke Hu

प्रकाशित 2026-04-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dorothy Torres, Wei Cheng, Ke Hu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, अराजक शहर में काम कर रहे हैं जहाँ लाखों लोग रोज़ाना पैसा इधर-उधर कर रहे हैं। आपका काम उन कुछ बुरे तत्वों को ढूँढना है जो चोरी किए हुए कैश (मनी लॉन्ड्रिंग) को छिपाने की कोशिश कर रहे हैं। लेकिन समस्या यह है: आपका पुलिस स्कैनर (अलर्ट सिस्टम) लगातार बजता रहता है। यह लगभग हर चीज़ पर "संदिग्ध!" चिल्लाता है, भले ही लोग केवल किराने का सामान खरीद रहे हों या किराया दे रहे हों।

आपके पास मानव जांचकर्ताओं (human investigators) की एक टीम है, लेकिन वे डूब रहे हैं। उन्हें हर अलार्म की जाँच करनी पड़ती है, यह समझाने के लिए रिपोर्ट लिखनी पड़ती है कि वह संदिग्ध क्यों है, और इसे एक जज (रेगुलेटर) को साबित करना पड़ता है। यदि वे गलत होते हैं, तो बैंक पर जुर्माना लगाया जाता है; यदि वे किसी अपराधी को चूक जाते हैं, तो अपराधी जीत जाते हैं।

यह शोध पत्र इन जासूसों की मदद करने के लिए AI का उपयोग करने का एक नया तरीका प्रस्तावित करता है, लेकिन इसमें नियमों का एक बहुत सख्त सेट है ताकि यह सुनिश्चित हो सके कि AI झूठ न बोले या मनगढ़ंत बातें न बनाए।

यहाँ उनके समाधान का विवरण दियाв गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. समस्या: "हैलुसिनेटिंग" (मनगढ़ंत बातें बनाने वाला) जासूस

आमतौर पर, जब हम AI (लार्ज लैंग्वेज मॉडल्स) का उपयोग करने के लिए मदद लेते हैं, तो हम उससे पूछते हैं: "यहाँ एक अजीब लेनदेन है। क्या यह बुरा है? मुझे बताओ क्यों।"

समस्या यह है कि AI एक आत्मविश्वासी कहानीकार की तरह होता है जो चीजें बना लेता है। यह कह सकता है, "यह व्यक्ति संदिग्ध है क्योंकि उसने 2019 में एक नाव खरीदी थी," भले ही उसने कभी नाव न खरीदी हो। एक वास्तविक अदालत या बैंक ऑडिट में, तथ्यों को मनगढ़ंत बनाना एक आपदा है। इसे "हैलुसिनेशन" (hallucination) कहा जाता है।

2. समाधान: "साक्ष्य-प्रथम" (Evidence-First) जासूस

लेखकों ने एक ऐसा सिस्टम बनाया है जो AI को एक कहानीकार के रूप में नहीं, बल्कि एक वकील के रूप में देखता है जिसे अपने स्रोतों का हवाला देना अनिवार्य है। वे इसे एक्सप्लेनेबल AML ट्राइएज (Explainable AML Triage) कहते हैं।

इसे तीन चरणों वाली प्रक्रिया के रूप में समझें:

चरण A: "फाइलिंग कैबिनेट" (साक्ष्य प्राप्ति/Evidence Retrieval)

AI को बोलने की अनुमति देने से पहले, सिस्टम उसे एक विशिष्ट फाइलिंग कैबिनेट खोलने के लिए मजबूर करता है।

नियम: AI केवल विशिष्ट दस्तावेजों को देख सकता है: ग्राहक का ID, वास्तविक बैंक लेनदेन रिकॉर्ड, बैंक की नियम पुस्तिका, और पिछले समान मामले।
उपमा: कल्पना कीजिए कि AI एक परीक्षा देने वाला छात्र है, लेकिन उसे अपनी याददाश्त का उपयोग करने की अनुमति नहीं है। उसे केवल उन कागजों के ढेर का उपयोग करने की अनुमति है जो शिक्षक उसे देते हैं। यदि वह उत्तर लिखता है, तो उसे उस कागज की सटीक पंक्ति की ओर इशारा करना होगा जो उसे सिद्ध करती है।
परिणाम: AI तथ्य नहीं बना सकता। यदि कागज में यह नहीं लिखा है कि व्यक्ति ने नाव खरीदी है, तो AI यह नहीं कह सकता कि उसने नाव खरीदी थी।

चरण B: "तथ्य-जांचकर्ता" (सत्यापन/Verification)

एक बार जब AI अपनी रिपोर्ट लिख लेता है (जैसे, "इस अलर्ट को इसलिए बढ़ाएं क्योंकि व्यक्ति ने $10,000 एक उच्च-जोखिम वाले देश में स्थानांतरित किए"), तो दूसरा स्वचालित सिस्टम एक सख्त संपादक के रूप में कार्य करता है।

जाँच: यह रिपोर्ट को देखता है और कहता है, "आपने $10,000 की राशि के लिए 'दस्तावेज़ A' का हवाला दिया है। मुझे दस्तावेज़ A की जाँच करने दें... हाँ, यह$ 10,000 कहता है। ठीक है।"
सुधार: यदि AI कहता है, *"दस्तावेज़ A में $10,000 लिखा है"* लेकिन दस्तावेज़ A वास्तव में$ 1,000 कहता है, तो संपादक रिपोर्ट को खारिज कर देता है और AI को कहता है: "फिर से प्रयास करें। आपने संख्या गलत लिखी है।"
परिणाम: यह AI को संख्याओं या तारीखों को गलत लिखने से रोकता है, जो कानूनी अनुपालन के लिए अत्यंत महत्वपूर्ण है।

चरण C: "क्या-होता-अगर" खेल (काउंटरफैक्चुअल चेक/Counterfactual Checks)

यह सबसे चतुर हिस्सा है। सिस्टम AI से पूछता है: "ठीक है, आपको लगता है कि यह $10,000 के ट्रांसफर के कारण संदिग्ध है। लेकिन क्या होगा अगर वह ट्रांसफर वास्तव में$ 100 होता? क्या आप अभी भी इसे संदिग्ध मानेंगे?"

उपमा: कल्पना कीजिए कि एक जासूस कहता है, "मैं इस आदमी को इसलिए गिरफ्तार कर रहा हूँ क्योंकि वह भाग रहा था।" काउंटरफैक्चुअल चेक पूछता, "क्या होगा अगर वह बस तेज़ चल रहा था?" यदि जासूस फिर भी कहता है, "गिरफ्तार करो!" तो जासूस तर्कहीन है।
लक्ष्य: सिस्टम यह परीक्षण करता है कि क्या AI का निर्णय तार्किक है। यदि AI मुख्य तथ्य बदलने पर अपना निर्णय बदल देता है, तो यह साबित होता है कि AI वास्तव में सोच रहा है, न कि केवल अनुमान लगा रहा है। यदि AI साक्ष्य हटा दिए जाने के बाद भी वही निर्णय बनाए रखता है, तो सिस्टम इसे अविश्वसनीय के रूप में चिह्नित करता है।

3. परिणाम: यह क्यों मायने रखता है

शोधकर्ताओं ने इस सिस्टम का परीक्षण निम्नलिखित के विरुद्ध किया:

पुराने नियम: (जैसे एक मेटल डिटेक्टर जो हर चीज़ पर बीप करता है)।
मानक AI: (आत्मविश्वासी झूठा)।
उनका नया सिस्टम: (साक्ष्य-आधारित वकील)।

निष्कर्ष:

सटीकता (Accuracy): नए सिस्टम ने पुराने तरीकों की तुलना में अधिक वास्तविक अपराधियों को पकड़ा और अधिक निर्दोष लोगों को अनदेखा किया।
विश्वास (Trust): क्योंकि AI को अपने स्रोतों का हवाला देना था, इसने तथ्य बनाना बंद कर दिया। इसकी "झूठ बोलने की दर" 14% से घटकर केवल 2% रह गई।
ऑडिट क्षमता (Auditability): जब कोई रेगुलेटर पूछता है, "आपने इस व्यक्ति को क्यों चिह्नित किया?" तो सिस्टम तुरंत सटीक दस्तावेज़, सटीक नियम और सटीक तर्क दिखा सकता है। यह एक पूर्ण, अटूट पेपर ट्रेल होने जैसा है।

बड़ी तस्वीर (The Big Picture)

यह शोध पत्र तर्क देता है कि बैंकिंग और कानून जैसे उच्च-दांव वाले कार्यों में, हमें केवल AI से "स्मार्ट होने" के लिए नहीं कहना चाहिए। हमें ऐसे सिस्टम बनाने चाहिए जो AI को अपना काम दिखाने (show its work) के लिए मजबूर करें।

AI को एक वकील की तरह व्यवहार करके जिसे साक्ष्य का हवाला देना अनिवार्य है और एक छात्र की तरह व्यवहार करके जिसे तर्क की परीक्षा पास करनी है, हम AI की गति प्राप्त करते हैं बिना उसके कहानियाँ बनाने के जोखिम के। यह एक "ब्लैक बॉक्स" जो अनुमान लगाता है, उसे एक "ग्लास बॉक्स" में बदल देता है जो स्पष्टीकरण देता है, जिससे यह वास्तविक दुनिया में उपयोग के लिए सुरक्षित हो जाता है।

यहाँ शोध पत्र "Explainable AML Triage with LLMs: Evidence Retrieval and Counterfactual Checks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एंटी-मनी लॉन्ड्रिंग (AML) ट्रांजेक्शन मॉनिटरिंग भारी मात्रा में अलर्ट उत्पन्न करती है, जिससे एक बॉटलनेक (अवरोध) पैदा होता है क्योंकि मानव अन्वेषकों (investigators) को सख्त नियामक बाधाओं के तहत तेजी से इनका ट्राइएज (triage) करना पड़ता है। मुख्य चुनौतियाँ निम्नलिखित हैं:

उच्च फाल्स पॉजिटिव (High False Positives): पारंपरिक नियम-आधारित प्रणालियाँ अत्यधिक शोर (noise) उत्पन्न करती हैं, जिससे विश्लेषकों को निर्दोष अलर्ट पर भी अनुचित समय खर्च करना पड़ता है।
LLMs का "ब्लैक बॉक्स" (The "Black Box" of LLMs): जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) विषम डेटा (KYC, लेनदेन, नीतियां) का सारांश बना सकते हैं और तर्क (rationales) तैयार कर सकते हैं, अनियंत्रित जनरेशन विनियमित वातावरण में गंभीर जोखिम पैदा करता है। इनमें हैलुसिनेशन (तथ्यों की रचना करना), कमजोर प्रोवेनेंस (गैर-मौजूद स्रोतों का हवाला देना), और अविश्वसनीय स्पष्टीकरण (ऐसे तर्क जो निर्णय के साथ तार्किक रूप से मेल नहीं खाते) शामिल हैं।
ऑडिटेबिलिटी गैप (Auditability Gap): नियामक चाहते हैं कि निर्णय पता लगाने योग्य (traceable), बचाव योग्य (defensible) और विशिष्ट साक्ष्यों पर आधारित हों। वर्तमान ML दृष्टिकोणों में अक्सर मानव-पठनीय, साक्ष्य-आधारित औचित्य प्रदान करने की क्षमता की कमी होती है, जबकि कच्चे (raw) LLMs सख्त ऑडिट आवश्यकताओं का पालन करने में विफल रहते हैं।

यह शोध पत्र यह प्रतिपादित करता है कि AML ट्राइएज को मुक्त-रूप टेक्स्ट जनरेशन कार्य के रूप में नहीं, बल्कि एक साक्ष्य-बाधित निर्णय प्रक्रिया (evidence-constrained decision process) के रूप में माना जाना चाहिए।

2. कार्यप्रणाली (Methodology)

लेखक एक तीन-चरणीय ढांचे का प्रस्ताव करते हैं जो ऑडिटेबिलिटी और मजबूती सुनिश्चित करने के लिए रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) को काउंटरफैक्चुअल वैलिडेशन (counterfactual validation) के साथ एकीकृत करता है।

A. साक्ष्य प्राप्ति और बंडलिंग (Evidence Retrieval and Bundling)

प्रणाली ट्राइएज को एक रिट्रीवल-ग्राउंडेड कार्य के रूप में मानती है। प्रत्येक अलर्ट के लिए, एक रिट्राइवर विषम स्रोतों से एक संक्षिप्त "एविडेंस बंडल" ( $B(a)$ ) बनाता है:

पॉलिसी/टाइपोलॉजी कॉर्पस ( $P$ ): संस्थागत नियम और AML टाइपोलॉजी गाइड।
ग्राहक संदर्भ ( $K$ ): KYC प्रोफाइल, जोखिम गुण, और लाभकारी स्वामित्व (beneficial ownership)।
लेनदेन संबंधी संदर्भ ( $T$ ): ट्रांजेक्शन सबग्राफ, टाइमस्टैम्प, और राशि।
केस मेमोरी ( $H$ ): ऐतिहासिक समान मामले और अन्वेषक नोट्स।
बाधाएं (Constraints): रिट्रीवल हाइब्रिड फ़िल्टरिंग (समय विंडो और ACL जैसे संरचित प्रतिबंध) और सिमेंटिक सर्च का उपयोग करता है। यह डुप्लीकेशन हटाना (deduplication), समय-निरंतरता (नवीनतम नीतियों को प्राथमिकता देना), और एक्सेस कंट्रोल को लागू करता है ताकि यह सुनिश्चित हो सके कि केवल अनुमत डेटा ही मॉडल तक पहुँचे।

B. प्रोवेनेंस बाधाओं के साथ संरचित LLM आउटपुट (Structured LLM Output with Provenance Constraints)

LLM को स्वतंत्र रूप से "स्पष्टीकरण लिखने" के लिए नहीं कहा जाता है। इसके बजाय, यह एक सख्त आउटपुट कॉन्ट्रैक्ट के तहत कार्य करता है:

संरचित डिस्पोजिशन (Structured Disposition): आउटपुट में निर्णय ( $y \in \{dismiss, monitor, escalate\}$ ), कॉन्फिडेंस स्कोर, और अगले कदम शामिल होते हैं।
स्पष्ट उद्धरण (Explicit Citations): तर्क ( $r$ ) में प्रत्येक दावे को बंडल से विशिष्ट 'एविडेंस आईडी' का हवाला देना चाहिए।
साक्ष्य का पृथक्करण: मॉडल को स्पष्ट रूप से समर्थन करने वाले साक्ष्य, विरोधाभासी साक्ष्य, और अनुपलब्ध साक्ष्य के बीच अंतर करना चाहिए।
सत्यापन लूप (Verification Loop): एक स्वचालित सत्यापनकर्ता जाँच करता है कि:
- प्रोवेनेंस अखंडता (Provenance Integrity): सभी उद्धृत आईडी बंडल में मौजूद होनी चाहिए।
- निरंतरता (Consistency): संख्यात्मक मान (राशि, तिथियां) और तार्किक क्रम मूल पाठ के साथ मेल खाने चाहिए।
- सुधार (Repair): यदि जाँच विफल होती है, तो सिस्टम LLM को सही आउटपुट पुन: उत्पन्न करने के लिए लक्षित फीडबैक प्रदान करता है।

C. निष्ठा के लिए काउंटरफैक्चुअल चेक (Counterfactual Checks for Faithfulness)

यह सुनिश्चित करने के लिए कि स्पष्टीकरण निर्णय के तर्क के प्रति वफादार (faithful) है (और केवल एक सजावटी नैरेटिव नहीं है), प्रणाली काउंटरफैक्चुअल वैलिडेशन करती है:

निर्णय काउंटरफैक्चुअल (Decision Counterfactuals): सिस्टम न्यूनतम, प्रशंसनीय बदलाव (जैसे, एक उच्च-जोखिम वाले काउंटरपार्टी लिंक को हटाना, या एक समय विंडो को समायोजित करना) उत्पन्न करता है ताकि यह देखा जा सके कि क्या ट्राइएज निर्णय बदलता है।
साक्ष्य काउंटरफैक्चुअल (Evidence Counterfactuals): बंडल से महत्वपूर्ण उद्धृत साक्ष्य मदों को हटा दिया जाता है। सिस्टम सत्यापित करता है कि क्या मॉडल:
1. हटाए गए आइटम को उद्धृत करना बंद कर देता है।
2. अपने तर्क और निर्णय को तदनुसार समायोजित करता है।
वैलिडेशन: एक "ट्राइएज वैलिडेटर" (नियम इंजन या हल्का मॉडल) यह पुष्टि करता है कि क्या परिवर्तन वास्तव में जोखिम स्कोर को बदलता है, जिससे यह सुनिश्चित होता है कि काउंटरफैक्चुअल सार्थक है।

3. प्रमुख योगदान (Key Contributions)

साक्ष्य-आधारित ट्राइएज फॉर्मूलेशन: AML ट्राइएज को एक रिट्रीवल-ग्राउंडेड कार्य के रूप में औपचारिक रूप देता है जहाँ तर्क विशिष्ट, ऑडिट करने योग्य साक्ष्य स्रोतों से बंधे होते हैं, जो अनियंत्रित जनरेशन से दूर ले जाता है।
काउंटरफैक्चुअल मजबूती परत (Counterfactual Robustness Layer): न्यूनतम, डोमेन-प्रासंगिक परिवर्तनों के तहत निर्णयों और तर्कों के सुसंगत रूप से बदलने की पुष्टि करके स्पष्टीकरण की निष्ठा (faithfulness) का परीक्षण करने के लिए एक नवीन तंत्र पेश करता है।
पुनरुत्पादनीय मूल्यांकन ब्लूप्रिंट (Reproducible Evaluation Blueprint): स्वामित्व वाले बैंक डेटा पर निर्भर रहने के बजाय ट्राइएज गुणवत्ता, साक्ष्य निष्ठा और मजबूती को मापने के लिए सार्वजनिक सिंथेटिक बेंचमार्क (SynthAML10, AMLSim) का उपयोग करके एक कठोर मूल्यांकन पद्धति स्थापित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिस्टम का मूल्यांकन Rules, Tabular ML (GBDT), Graph ML (GNN), LLM-only, और RAG-only सहित बेसलाइन्स के विरुद्ध सिंथेटिक AML बेंचमार्क (SynthAML10 और AMLSim) पर किया गया।

ट्राइएज प्रदर्शन (Triage Performance): पूर्ण प्रणाली (RAG + Counterfactuals) ने सर्वश्रेष्ठ प्रदर्शन किया:
- PR-AUC: 0.75 (GNN के लिए 0.69 और LLM-only के लिए 0.52 के मुकाबले)।
- Escalate F1: 0.62 (GNN के 0.56 के मुकाबले)।
- अंतर्दृष्टि: अकेले LLMs कम प्रदर्शन करते हैं; उनकी असली वैल्यू साक्ष्य द्वारा समर्थित होने पर संरचित निर्णय सहायता में है।
ऑडिटेबिलिटी और प्रोवेनेंस (Auditability & Provenance):
- उद्धरण वैधता (Citation Validity): 0.98 (LLM-only के 0.62 के मुकाबले), जो साक्ष्य आईडी के निर्माण (fabrication) के लगभग शून्य होने का संकेत देता है।
- साक्ष्य समर्थन (Evidence Support): 0.88 (LLM-only के 0.54 के मुकाबले), जिसका अर्थ है कि 88% तर्क वाक्य सीधे उद्धृत पाठ द्वारा समर्थित थे।
काउंटरफैक्चुअल निष्ठा (Counterfactual Faithfulness):
- CF-Flip Rate: 0.58 (RAG-only के 0.41 के मुकाबले), जो दर्शाता है कि सिस्टम बेहतर तरीके से कार्रवाई योग्य "फ्लिप स्थितियों" की पहचान करता है।
- साक्ष्य निष्ठा (हटाना): 0.76, यह प्रदर्शित करता है कि मॉडल प्रमुख साक्ष्य हटाए जाने पर अपने तर्क को सही ढंग से अपडेट करता है।
सुरक्षा और हैलुसिनेशन (Safety & Hallucination):
- संख्यात्मक विसंगति (Numerical Inconsistency): घटकर 0.03 रह गई (LLM-only के 0.11 के मुकाबले)।
- पॉलिसी हैलुसिनेशन (Policy Hallucination): घटकर 0.02 रह गया (LLM-only के 0.14 के मुकाबले)।

5. महत्व और निहितार्थ (Significance and Implications)

नियामक अनुपालन (Regulatory Compliance): यह ढांचा वित्त में AI के लिए "व्याख्यात्मकता" (explainability) के अंतर को सीधे संबोधित करता है। उद्धरणों और काउंटरफैक्चुअल जाँचों को लागू करके, यह ऐसे निर्णय आर्टिफ़ैक्ट्स बनाता है जो रिस्क-बेस्ड अप्रोच (RBA) पर्यवेक्षण के तहत बचाव योग्य हैं।
परिचालन दक्षता (Operational Efficiency): यह सिस्टम रिकॉल (recall) से समझौता किए बिना परिशुद्धता (precision) में सुधार करता है, जिससे उन फाल्स पॉजिटिव की मात्रा कम हो सकती है जिन्हें विश्लेषकों को रिव्यू करना पड़ता है, जबकि उच्च डिटेक्शन दर बनी रहती है।
विश्वसनीय AI (Trustworthy AI): यह अध्ययन प्रदर्शित करता है कि यदि LLMs को स्टैंडअलोन जनरेटर के बजाय एक नियंत्रित प्रणाली (रिट्रीवल, वेरिफिकेशन और स्ट्रैस-टेस्टिंग के साथ) के घटक के रूप में उपयोग किया जाए, तो उन्हें उच्च-दांव वाले वित्तीय वर्कफ़्लो में सुरक्षित रूप से तैनात किया जा सकता है।
भविष्य का परिनियोजन (Future Deployment): लेखक एक "ह्यूमन-इन-द-लूप" मॉडल का सुझाव देते हैं जहाँ सिस्टम साक्ष्य संश्लेषण और प्रारंभिक ट्राइएज का भारी काम संभालता है, अनिश्चितता को फ्लैग करता है और कार्रवाई योग्य अगले कदम प्रदान करता है, जबकि मानव विश्लेषक अंतिम जवाबदेही बनाए रखते हैं।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि शासित, सत्यापन योग्य LLM सिस्टम ही AML में जेनरेटिव AI की क्षमता को अनलॉक करने की कुंजी हैं, जो उन्नत पैटर्न पहचान की आवश्यकता और ट्रैसेबिलिटी एवं बचाव योग्यता की गैर-परक्राम्य (non-negotiable) आवश्यकताओं के बीच संतुलन बनाते हैं।