FraudSMSWalker: Benchmarking Agentic Large Language Models for SMS-to-Webpage Fraud Detection
यह शोधपत्र FraudSMSWalker प्रस्तुत करता है, जो एक नियंत्रित बेंचमार्क है जिसे URL मास्किंग के माध्यम से साक्ष्य-आधारित निर्णयों को अनिवार्य करके और स्कैम फ्लो की नकल करने वाले चुनौतीपूर्ण निर्दोष मामलों को शामिल करके, एजेंटिक लार्ज लैंग्वेज मॉडल्स की SMS-टू-वेबपेज धोखाधड़ी का पता लगाने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही व्यस्त, उच्च-दांव वाले भवन के सुरक्षा गार्ड हैं। आपका काम यह तय करना है कि किसे अंदर आने देना है और कौन धोखेबाज (scammer) है।
आमतौर पर, धोखेबाज आपको एक टेक्स्ट मैसेज (SMS) भेजते हैं जिसमें लिखा होता है, "आपका पैकेज विलंबित है! इसे ठीक करने के लिए यहाँ क्लिक करें।" उस मैसेज में एक लिंक शामिल होता है। यदि आप उस पर क्लिक करते हैं, तो आप एक ऐसी वेबपेज पर पहुँच जाते हैं जो किसी डिलीवरी कंपनी की साइट जैसी दिखती है।
वर्तमान सुरक्षा गार्डों (AI मॉडल्स) के साथ समस्या
अभी, अधिकांश AI सुरक्षा गार्ड थोड़े आलसी हैं। जब वे कोई संदिग्ध टेक्स्ट देखते हैं, तो वे वास्तव में उस वेबपेज को नहीं देखते कि लिंक उसे कहाँ ले जा रहा है; इसके बजाय, वे केवल एड्रेस बार (URL) पर एक नज़र डालते हैं या किसी "ब्लैकलिस्ट" (काली सूची) की जाँच करते हैं कि वह ज्ञात बुरी वेबसाइटों में से है या नहीं। यदि वह वेबसाइट ब्लैकलिस्ट में है, तो वे चिल्लाते हैं "धोखाधड़ी (FRAUD)!" यदि वह एक प्रसिद्ध, भरोसेमंद नाम है, तो वे कहते हैं "सब ठीक है।"
यह शोध तर्क देता है कि यह नकल करना (cheating) है। असली धोखेबाज अब अधिक स्मार्ट हो रहे हैं; वे ऐसी वेबसाइटों का उपयोग कर रहे हैं जो बिल्कुल असली वाली जैसी दिखती हैं, लेकिन वे गुप्त, अज्ञात पतों पर होस्ट की गई हैं। यदि आपका AI गार्ड केवल पते की जाँच करता है, तो वह इस चाल को पकड़ नहीं पाता।
नया परीक्षण: FraudSMSWalker
शोधकर्ताओं ने एक नया प्रशिक्षण मैदान बनाया जिसे FraudSMSWalker कहा जाता है। इसे AI सुरक्षा गार्डों के लिए एक "आंखों पर पट्टी बांधकर" किया गया परीक्षण समझें।
- सेटअप: AI को एक टेक्स्ट मैसेज और एक लिंक दिया जाता है।
- ट्विस्ट: AI को वेबसाइट का वास्तविक पता, डोमेन नाम, या कोई प्रतिष्ठा स्कोर (reputation scores) देखने की अनुमति नहीं है। यह ऐसा है जैसे गार्ड ने अपनी आंखों पर पट्टी बांध रखी है जो स्ट्रीट साइन (सड़क के संकेत) को ढक लेती है।
- कार्य: AI को केवल टेक्स्ट मैसेज और वेबपेज की वास्तविक सामग्री (जो कुछ भी लिखा है, वहां कौन से बटन हैं) को देखकर यह तय करना होगा कि: "क्या यह एक घोटाला है, या यह एक वैध सेवा है?"
डेटासेट: द "हार्ड बेनाइन" ट्रैप (The "Hard Benign" Trap)
परीक्षण को निष्पक्ष और कठिन बनाने के लिए, शोधकर्ताओं ने इसमें "निर्दोष" वेबसाइटों का एक विशेष समूह शामिल किया है। ये वास्तविक, वैध साइटें (जैसे कोई बैंक या सरकारी पोर्टल) हैं जो दिखने में बिल्कुल स्कैम साइटों जैसी लगती हैं। इनमें लॉगिन बॉक्स, भुगतान फॉर्म और सत्यापन (verification) के चरण होते हैं।
- ट्रैप (जाल): एक आलसी AI एक लॉगिन बॉक्स देखता है और तुरंत "स्कैम!" चिल्लाने लगता है क्योंकि धोखेबाज लॉगिन बॉक्स का बहुत उपयोग करते हैं।
- लक्ष्य: एक स्मार्ट AI को यह समझने की आवश्यकता है, "रुको, यह एक बैंक है जो पासवर्ड मांग रहा है। यह एक बैंक के लिए सामान्य है। यह सुरक्षित है।"
जब उन्होंने AI का परीक्षण किया तो क्या हुआ?
शोधकर्ताओं ने नौ अलग-अलग उन्नत AI "एजेंटों" (स्मार्ट प्रोग्रामों) का इस आंखों पर पट्टी बांधकर किए गए परीक्षण पर परीक्षण किया। उन्हें यहाँ क्या मिला:
- "पैरानॉयड" (शंकालु) की समस्या: AI मॉडल घोटाले पकड़ने में बहुत अच्छे थे, लेकिन वे निर्दोष लोगों पर भरोसा करने में बहुत खराब थे। वे इतने डरे हुए थे कि लगभग हर चीज़ को स्कैम के रूप में चिह्नित कर रहे थे।
- उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड इमारत में प्रवेश करने वाले हर व्यक्ति को रोकता है, यहाँ तक कि CEO को भी, क्योंकि "हर कोई संदिग्ध दिखता है।" उन्होंने सभी बुरे लोगों को पकड़ा, लेकिन उन्होंने 70% अच्छे लोगों को भी बाहर निकाल दिया।
- "लकी गेस" (भाग्यशाली अनुमान) की समस्या: भले ही AI ने सही उत्तर दिया था (जैसे, "हाँ, यह एक स्कैम है"), वे अक्सर यह समझाने में असमर्थ थे कि उन्होंने ऐसा क्यों कहा, जो उन्होंने वास्तव में देखा था।
- उपमा: यह एक छात्र की तरह है जिसने गणित का सवाल तो सही हल किया लेकिन अपना काम (steps) नहीं दिखाया। हो सकता है कि उन्होंने केवल अनुमान लगाया हो। शोधकर्ताओं ने पाया कि कई AI या तो मनगढ़ंत कारण बना रहे थे या वे ठोस सबूतों के बजाय अपनी अंतरात्मा या सहज ज्ञान (gut feelings) पर निर्भर थे।
- "ब्लाइंडफोल्ड" (आंखों पर पट्टी) का प्रभाव: जब शोधकर्ताओं ने AI को वेबसाइट का पता देखने दिया (उनकी आंखों से पट्टी हटा दी), तो AI घोटाले पकड़ने में बहुत बेहतर हो गया, लेकिन निर्दोष साइटों पर भरोसा करने में और भी खराब हो गया। वे पते पर बहुत अधिक निर्भर हो गए और वास्तविक सामग्री को अनदेखा कर दिया।
निष्कर्ष (The Bottom Line)
शोध यह निष्कर्ष निकालता है कि वर्तमान AI सुरक्षा गार्ड बहुत आक्रामक हैं। वे "बुरी" चीजों को खोजने में बहुत अच्छे हैं लेकिन एक "स्कैम" और एक "वैध सेवा जो डरावनी दिखती है" के बीच अंतर करने में बहुत खराब हैं।
इसे ठीक करने के लिए, हमें AI को वेबसाइट के पते की जाँच करके नकल करने से रोकना होगा और उन्हें यह सिखाना शुरू करना होगा कि टेक्स्ट और वेबपेज मिलकर जो कहानी बताते हैं, उसे कैसे देखा जाए। नया बेंचमार्क, FraudSMSWalker, इस कौशल को सीखने के लिए डिज़ाइन किया गया है: बिना शॉर्टकट पर निर्भर हुए, साक्ष्य-आधारित और सुरक्षित निर्णय लेना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।