Measuring and Evaluating the Performance of Generative AI Models for Scam Detection
यह शोध पत्र वास्तविक दुनिया के घोटालों (scams) का एक नया बेंचमार्क डेटासेट प्रस्तुत करता है ताकि नौ लार्ज लैंग्वेज मॉडल्स का मूल्यांकन किया जा सके, जो यह प्रदर्शित करता है कि जबकि प्रभावी प्रॉम्पटिंग छोटे मॉडल्स की क्षमता को बढ़ाती है, प्री-ट्रेन्ड एलएलएम्स (LLMs) आमतौर पर अनदेखे घोटाले के परिदृश्यों में फाइन-ट्यून्ड क्लासिफायर्स की तुलना में बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरे बाज़ार के रूप में करें जहाँ हर कोई आपको कुछ बेचने, आपको कोई कहानी सुनाने या आपसे कोई मदद माँगने की कोशिश कर रहा है। इस अराजक बाज़ार में, चतुर ठग भी मौजूद हैं—स्कैमर्स—जो खुद को मिलनसार पड़ोसियों या भरोसेमंद अधिकारियों के रूप में छिपाकर आपका पैसा या रहस्य चुराने की कोशिश करते हैं। वर्षों से, सुरक्षा विशेषज्ञों ने इन ठगों को पकड़ने के लिए डिजिटल बाउंसर बनाने की कोशिश की है। पारंपरिक रूप से, ये बाउंसर सख्त नियम-पालक थे: उन्होंने "इनाम के लिए यहाँ क्लिक करें" जैसे विशिष्ट वाक्यांश याद किए और जो भी इससे मेल खाता था, उसे चिह्नित कर दिया। लेकिन स्कैमर्स रचनात्मक होते हैं; वे अपनी कहानियाँ बदलते रहते हैं, इसलिए पुराने नियम-पालक अक्सर नए तरीकों को पहचानने में चूक जाते हैं।
यहाँ नई पीढ़ी के डिजिटल बाउंसरों का प्रवेश होता है: लार्ज लैंग्वेज मॉडल्स (LLMs)। इन्हें केवल नियम-पालकों के रूप में नहीं, बल्कि 'सुपर-रीडर्स' के रूप में सोचें जिन्होंने इंटरनेट की लगभग हर किताब, वेबसाइट और बातचीत को आत्मसात कर लिया है। वे केवल कीवर्ड्स (keywords) नहीं देखते; वे संदेश के पीछे के इरादे और भावना को समझने की कोशिश करते हैं। वे उन जासूसों की तरह हैं जो लाइनों के बीच पढ़ना जानते हैं ताकि यह पता लगाया जा सके कि क्या कोई झूठ बोल रहा है, भले ही वह झूठा एक पूरी तरह से नई पटकथा का उपयोग कर रहा हो। सबसे बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: क्या ये सुपर-रीडर्स वास्तव में वास्तविक दुनिया में स्कैमर्स को पकड़ सकते हैं, या वे केवल फैंसी चैटबॉट्स हैं जो वास्तविक जीवन की चालों से भ्रमित हो जाते हैं?
यह शोध पत्र उसी प्रश्न की गहरी पड़ताल है। लेखक, जो विश्वविद्यालयों और सुरक्षा कंपनियों के शोधकर्ताओं की एक टीम है, ने नौ अलग-अलग "सुपर-रीडर्स" को परखने का निर्णय लिया। उन्होंने केवल उनसे अनुमान लगाने के लिए नहीं कहा; उन्होंने 2,700 से अधिक वास्तविक दुनिया के उदाहरणों—स्कैम संदेशों, साफ-सुथरे संदेशों और भ्रमित करने वाले संदेशों (जिन पर विशेषज्ञों को भी लेबल लगाने में संघर्ष करना पड़ा)—का उपयोग करके एक विशाल, अद्वितीय "स्कैम परीक्षा" तैयार की। उन्होंने छोटे, कुशल मॉडल्स से लेकर विशाल, शक्तिशाली मॉडल्स तक सब कुछ परखा, और उनसे सवाल पूछने के विभिन्न तरीके भी आजमाए (जैसे उन्हें उदाहरण देना या उन्हें चरण-दर-चरण सोचने के लिए कहना)।
यहाँ उन्हें क्या मिला: सबसे बड़े, सबसे शक्तिशाली मॉडल्स (जैसे कि 70 बिलियन पैरामीटर्स वाला विशाल Llama 3.1 और ChatGPT के नवीनतम संस्करण) वास्तव में सबसे अच्छे जासूस हैं, जो लगभग 65% कठिन मामलों को सही ढंग से पकड़ लेते हैं। हालाँकि, आकार ही सब कुछ नहीं है। शोध पत्र सुझाव देता है कि आप सवाल कैसे पूछते हैं, यह बहुत मायने रखता है। छोटे मॉडल्स के लिए, उन्हें एक छोटा सा "संकेत" या स्कैम के सामान्य संकेतों की सूची देना (जैसे "बहुत अच्छा होना जो सच न लगे" या "तत्काल दबाव") उनके प्रदर्शन को काफी बढ़ा सकता है, जिससे वे लगभग बड़े मॉडल्स जितने सक्षम हो जाते हैं। लेकिन एक पेंच है: ये सुपर-रीडर्स कोई जादुई समाधान नहीं हैं। वे पूर्ण नहीं हैं, और कभी-कभी वे भी इंसानों की तरह भ्रमित हो जाते हैं।
दिलचस्प बात यह है कि शोधकर्ताओं ने इन फैंसी नए मॉडल्स की तुलना BERT नामक एक पुराने, सरल प्रकार के AI से भी की। एक नियंत्रित परीक्षण में, पुराने मॉडल ने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया, लेकिन जब स्कैमर्स ने अपनी रणनीतियाँ बदलीं (उस डेटा का उपयोग किया जिसे मॉडल ने पहले कभी नहीं देखा था), तो पुराना मॉडल लड़खड़ा गया। हालाँकि, विशाल LLMs, नए और अनदेखे तरीकों को संभालने में कहीं अधिक बेहतर थे, जो यह दर्शाता है कि उनका दुनिया का व्यापक ज्ञान उन्हें बेहतर तरीके से सामान्यीकरण (generalize) करने में मदद करता है। शोध पत्र निष्कर्ष निकालता है कि जबकि ये AI मॉडल्स शक्तिशाली उपकरण हैं, सबसे अच्छा दृष्टिकोण केवल एक विशाल मस्तिष्क पर भरोसा करना नहीं है, बल्कि एक हाइब्रिड टीम बनाना है जो बड़े मॉडल्स की गहरी समझ को सरल, पारंपरिक उपकरणों की गति और विश्वसनीयता के साथ जोड़ती है। उन्होंने अपने "परीक्षा प्रश्नों" (डेटासेट) को सार्वजनिक भी कर दिया है, ताकि दूसरों को स्कैम की निरंतर विकसित होती कला के खिलाफ बेहतर बचाव बनाने में मदद मिल सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।