AuditFraudBench: Benchmarking Audit Judgment in Detecting Fraudulent Misstatements
यह शोध पत्र AuditFraudBench प्रस्तुत करता है, जो एक नवीन बेंचमार्क है जिसे लाभ स्रोत एट्रिब्यूशन (profit source attribution), भ्रामक आख्यानों और धोखाधड़ी के पैटर्न की पहचान करके धोखाधड़ी वाले गलत कथनों का पता लगाने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करने के लिए प्रामाणिक नियामक फाइलिंग और प्रवर्तन विज्ञप्तियों (enforcement releases) से निर्मित किया गया है, जो यह प्रकट करता है कि वर्तमान मॉडल ऑडिट निर्णय के लिए आवश्यक जटिल तर्क कौशल में अभी भी संघर्ष कर रहे हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन संदिग्ध कोई अंधेरी गली का अपराधी नहीं है; बल्कि वह एक विशाल निगम (कॉरपोरेशन) है जो कागजी कार्रवाई के ढेर में अपनी वित्तीय गलतियों को छिपाने की कोशिश कर रहा है।
यह शोध पत्र एक नया "एग्जाम" पेश करता है जिसे AuditFraudBench कहा जाता है। इसे यह परीक्षण करने के लिए बनाया गया है कि आर्टिफिशियल इंटेलिजेंस (AI) उस जासूस की भूमिका निभाने में कितना कुशल है। विशेष रूप से, यह परीक्षण करता है कि क्या AI यह पकड़ सकता है कि कोई कंपनी इस बारे में झूठ बोल रही है कि उसने पैसा क्यों कमाया, भले ही वह झूठ बहुत प्रभावशाली लगे और सभी नियमों का पालन करता हो।
यहाँ सरल उपमाओं (analogies) का उपयोग करके शोध पत्र का विवरण दिया गया है:
1. समस्या: "विनम्र झूठ" (The "Polite Lie")
वर्तमान AI मॉडल गणित और स्पष्ट गलतियों को खोजने में बहुत अच्छे हैं। यदि कोई कंपनी कहती है, "हमने 100," तो AI इसे पकड़ लेता है।
लेकिन वास्तविक धोखाधड़ी अधिक चालाकी भरी होती है। यह उस छात्र की तरह है जिसे खराब ग्रेड मिला लेकिन उसने अपने माता-पिता से कहा, "मैंने बहुत मेहनत से पढ़ाई की थी, लेकिन परीक्षा अनुचित थी," जबकि वास्तव में उसने पढ़ाई ही नहीं की थी। कहानी विश्वसनीय लगती है, व्याकरण एकदम सही है, और संख्याएँ भी आंतरिक रूप से सही हो सकती हैं। समस्या यह है कि कहानी वास्तविक कारण को छिपा देती है।
शोध पत्र कहता है कि वर्तमान AI इन "विश्वसनीय झूठों" को पकड़ने में कमजोर है। वे गणित तो कर सकते हैं, लेकिन वे यह नहीं बता सकते कि CEO का स्पष्टीकरण एक गलती के लिए बनाया गया एक चतुर छलावा है या नहीं।
2. समाधान: "सत्य बनाम कहानी" परीक्षा (The "Truth vs. Story" Exam)
शोधकर्ताओं ने वास्तविक मामलों का उपयोग करके एक विशेष टेस्ट बैंक बनाया है जहाँ अमेरिकी सरकार (SEC) ने कंपनियों के झूठ पकड़े थे। उनके पास मूल रिपोर्ट (झूठ), संशोधित रिपोर्ट (सत्य), और सरकार का स्पष्टीकरण (कि वास्तव में क्या हुआ था) मौजूद है।
उन्होंने इसे AI के लिए तीन-भागों वाली परीक्षा में बदल दिया है:
कार्य 1: "क्यों" का जासूस (लाभ स्रोत का निर्धारण - Profit Source Attribution)
- परिदृश्य: एक कंपनी कहती है, "हमारा मुनाफा इसलिए बढ़ा क्योंकि हमने अधिक उत्पाद बेचे!"
- परीक्षण: AI को संशोधित नंबरों को देखना होगा और कहना होगा, "वास्तव में, ऐसा नहीं है। आपने अधिक उत्पाद नहीं बेचे; आपने बस उन बिक्री को गिना जो आपने अभी तक की ही नहीं हैं।"
- लक्ष्य: क्या AI पैसे के असली स्रोत को खोज सकता है, या वह कंपनी की कहानी पर विश्वास कर लेता है?
कार्य 2: "स्पिन" पकड़ने वाला (भ्रामक विवरणी का पता लगाना - Misleading Narrative Detection)
- परिदृश्य: एक कंपनी एक पैराग्राफ लिखती है, "हमारा व्यवसाय फल-फूल रहा है!"
- परीक्षण: AI को यह तय करना होगा कि क्या यह पैराग्राफ भ्रामक है। भले ही इसके हर शब्द तकनीकी रूप से सच हों, क्या यह इस तथ्य को छिपा रहा है कि "बूम" केवल एक छोटे से, मरते हुए विभाग में हो रहा है?
- लक्ष्य: क्या AI यह पता लगा सकता है कि जब कोई कंपनी एक बुरी स्थिति को अच्छा दिखाने के लिए "स्पिन" (शब्दों का हेरफेर) का उपयोग करती है, तो उसे कैसे पहचाना जाए?
कार्य 3: "अपराधिक प्रोफाइल" (धोखाधड़ी पैटर्न वर्गीकरण - Fraud Pattern Classification)
- परिदृश्य: सरकार कहती है, "इस कंपनी ने इस साल को बेहतर दिखाने के लिए खर्चों को अगले साल के लिए टाल दिया।"
- परीक्षण: AI इस चाल को वर्गीकृत करता है। क्या यह "राजस्व समय निर्धारण" (Revenue Timing) है? क्या यह "हिसाब में हेराफेरी" (Cooking the Books) है? या क्या यह "खर्चों को छिपाना" (Hiding Expenses) है?
- लक्ष्य: क्या AI इस्तेमाल की गई चाल के प्रकार को पहचान सकता है?
3. परिणाम: AI चकरा गया
शोधकर्ताओं ने इन शीर्ष AI मॉडलों (जैसे GPT, DeepSeek, और Qwen) का इस परीक्षा पर परीक्षण किया। उन्हें यहाँ क्या पता चला:
- गणित में अच्छे, कहानी में कमजोर: AI मॉडल कार्य 1 में आश्चर्यजनक रूप से अच्छे थे। वे अक्सर सही उत्तर का अनुमान लगा सकते थे (जैसे, "स्पष्टीकरण भ्रामक है")।
- "क्यों" समझाने में कमजोर: हालाँकि, जब यह पूछा गया कि स्पष्टीकरण भ्रामक क्यों था, तो AI संघर्ष करने लगा। यह एक ऐसे छात्र की तरह था जो बहुविकल्पीय परीक्षा में सही उत्तर तो चुन लेता है लेकिन अपना काम (solution) दिखाने में विफल रहता है। वे संख्याओं और कहानी के बीच संबंध नहीं जोड़ सके।
- "स्पिन" वाला कार्य सबसे कठिन था: कार्य 2 (भ्रामक कहानी को पकड़ना) सबसे कठिन था। यहाँ तक कि सबसे स्मार्ट AI मॉडल भी सूक्ष्म चालों में भ्रमित हो गए जहाँ कंपनी ने सीधे झूठ नहीं बोला, बल्कि केवल डरावने हिस्सों को छोड़ दिया।
- बड़ा होने का मतलब बेहतर होना नहीं: दिलचस्प बात यह है कि AI को "स्मार्ट" बनाने (मॉडल को बड़ा करने) से हमेशा मदद नहीं मिली। एक थोड़ा छोटा मॉडल कभी-कभी एक विशाल मॉडल के समान ही प्रदर्शन करता था। यह सुझाव देता है कि AI को केवल सामान्य बुद्धिमत्ता की नहीं, बल्कि विशिष्ट लेखांकन तर्क (accounting logic) के प्रशिक्षण की आवश्यकता है।
मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि हालांकि AI वित्तीय रिपोर्ट पढ़ने में बेहतर हो रहा है, लेकिन यह परिष्कृत धोखाधड़ी को पकड़ने के लिए मानव ऑडिटर्स की जगह लेने के लिए अभी तैयार नहीं है। यह गणना (arithmetic) तो कर सकता है, लेकिन यह शब्दों के पीछे के इरादे और सच्चाई को छिपाने के लिए उपयोग किए गए "स्पिन" को समझने में संघर्ष करता है।
AuditFraudBench केवल एक उपकरण है जो यह मापने के लिए है कि AI को वास्तव में एक संदेही ऑडिटर की तरह सोचने के लिए कितनी दूर तक जाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।