An Expanded Synthetic Conversation Dataset for Multi-Turn Smishing Detection
यह शोध पत्र COVA-X को प्रस्तुत करता है, जो एक विस्तारित सिंथेटिक मल्टी-टर्न स्मिशिंग डेटासेट है जो पूर्ववर्ती डेटा गुणवत्ता और आकार की सीमाओं को हल करता है, और यह प्रदर्शित करता है कि बड़े, परिष्कृत संवादात्मक कॉर्पोरा पर प्रशिक्षित होने पर Longformer मॉडल, डिटेक्शन सटीकता और F1 स्कोर में XGBoost की तुलना में काफी बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि फोन पर दोस्त बनकर बात करने वाले धोखेबाज (scammer) को कैसे पहचाना जाए। अतीत में, आपके पास केवल एक छोटी नोटबुक थी जिसमें लगभग 3,200 नकली फोन बातचीत थी जिसे आप रोबोट को दिखा सकते थे। आपने दो अलग-अलग शिक्षण विधियों का परीक्षण किया:
- "कीवर्ड स्पॉटर" (XGBoost): यह विधि एक जासूस की तरह है जो केवल विशिष्ट संदिग्ध शब्दों (जैसे "लॉटरी" या "दादी") की तलाश करता है। यह तेज़ और अच्छी है, लेकिन यह बातचीत की कहानी को वास्तव में नहीं समझती है।
- "स्टोरी रीडर" (Longformer जैसे Transformers): यह विधि एक बुद्धिमान छात्र की तरह है जो संदर्भ, लहजे और प्रवाह को समझने के लिए पूरी बातचीत को पढ़ता है। हालाँकि, अपने पहले प्रयास में, यह बुद्धिदार छात्र कीवर्ड स्पॉटर से भी खराब प्रदर्शन करता था। क्यों? क्योंकि नोटबुक बहुत छोटी थी, और इस बुद्धिमान छात्र को पेज पर फिट होने के लिए कहानी के अंत को काटने के लिए मजबूर किया गया था (जो सबसे महत्वपूर्ण हिस्सा था)।
बड़ा अपडेट: COVA-X
लेखकों ने इन समस्याओं को ठीक करने का निर्णय लिया। उन्होंने COVA-X नामक एक विशाल नया पुस्तकालय बनाया, जिसने संग्रह को 3,200 बातचीत से बढ़ाकर लगभग 11,000 बातचीत कर दिया। उन्होंने "कहानी काटने" वाली समस्या को भी ठीक किया और त्रुटियों को हटाने के लिए लाइब्रेरी को साफ किया।
यहाँ बताया गया है कि जब उन्होंने इस नए, बड़े, साफ पुस्तकालय के साथ रोबोटों को फिर से प्रशिक्षित किया तो क्या हुआ:
1. "स्टोरी रीडर" आखिरकार जीत गया
बड़े पुस्तकालय के साथ, Longformer (बुद्धिमान छात्र) आखिरकार कीवर्ड स्पॉटर (XGBoost) को हराने में सफल रहा।
- परिणाम: बुद्धिमान छात्र ने लगभग 80% सटीकता प्राप्त की, जबकि कीवर्ड स्पॉटर को लगभग 78% मिली।
- सबक: यह साबित करता है कि लेखकों का अनुमान सही था: स्मार्ट AI मॉडल को अपनी क्षमता दिखाने के लिए बहुत अधिक डेटा की आवश्यकता होती है। एक छोटे डेटासेट के साथ, वे लड़खड़ा जाते हैं; एक विशाल डेटासेट के साथ, वे चमकते हैं।
2. गंदगी की सफाई (एक "क्वालिटी लाइफसाइकिल")
लेखकों ने केवल अधिक किताबें ही नहीं जोड़ीं; उन्होंने महसूस किया कि पहली खेप की किताबें अव्यवस्थित थीं। उन्होंने नकली बातचीत लिखने के तरीके में कई प्रकार की "गड़बड़ियों" को पाया:
- "घोस्ट राइटर" ग्लिच: कभी-कभी AI जो स्कैमर का हिस्सा लिख रहा था, वह गलती से पीड़ित (victim) की लाइनें भी लिख देता था, या टेक्स्ट के अंदर [चीखना] जैसे स्टेज निर्देश लिख देता था।
- "गलत स्क्रिप्ट" ग्लिच: पहले बैच में, AI बार-बार गलत शुरुआती पंक्तियाँ उपयोग कर रहा था (जैसे, एक बैंक स्कैमर का "नमस्ते दादी" कहना, बजाय इसके कि वह कहे "नमस्ते, मैं बैंक से बोल रहा हूँ")।
- "तीन व्यक्ति" वाली समस्या: एक विशिष्ट घोटाला (वर्चुअल किडनैपिंग) में तीन लोग शामिल होते हैं: स्कैमर, पीड़ित, और एक "अपहृत" रिश्तेदार। AI बार-बार एक ही टर्न में तीनों भूमिकाएँ निभाने की कोशिश करता था, जिससे बातचीत भ्रमित करने वाली हो जाती थी।
समाधान: लेखकों ने एक नया "फैक्ट्री" (एक तीन-भूमिका वाला सिस्टम) बनाया, जहाँ "अपह्रत रिश्तेदार" एक अलग अभिनेता था। इससे भ्रमित करने वाली और त्रुटिपूर्ण बातचीत की संख्या 67% से घटकर 46% रह गई। उन्होंने लेबलिंग प्रक्रिया को भी ठीक किया, जिससे गलत उत्तरों की संख्या 50% से घटकर केवल 4% रह गई।
3. अलग घोटाले, अलग प्रतिक्रियाएं
लेखकों ने देखा कि नकली बातचीत अलग-अलग प्रकार के घोटालों के आधार पर अलग तरह से व्यवहार करती है, ठीक वैसे ही जैसे वास्तविक लोग करते हैं:
- वर्चुअल किडनैपिंग: ये "पीड़ितों" को धोखा देने में सबसे सफल (33% सफलता दर) थे क्योंकि AI ने उच्च भावनात्मक घबराहट का अनुकरण किया।
- ग्रैंडपैरेंट स्कैम (दादा-दादी घोटाले): इनमें सबसे अधिक "सत्यापन प्रयास" (63%) देखे गए, जहाँ पीड़ित ने यह जांचने के लिए वापस कॉल करने की कोशिश की कि क्या यह सच है।
- बैंक/मेडिकेयर स्कैम: इनमें सबसे अधिक "त्वरित अस्वीकार" (quick rejections) थे, क्योंकि लोग इन विशिष्ट प्रकार की कॉल्स के प्रति पहले से ही संदिग्ध होते हैं।
4. सफाई का "जादू"
सबसे दिलचस्प खोज यह थी कि जब उन्होंने अव्यवस्थित डेटा को साफ किया, तो तीनों प्रकार के AI मॉडल (कीवर्ड स्पॉटर और दो स्मार्ट छात्र) बेहतर हुए।
- यह सुझाव देता है कि डेटा में मौजूद गंदगी केवल एक प्रकार के मॉडल को भ्रमित करने वाला "शोर" (noise) नहीं था। यह एक वास्तविक समस्या थी जिसने घोटाले के वास्तविक संकेतों को छिपा दिया था। जब उन्होंने डेटा को साफ किया, तो "सिग्नल" सभी के लिए स्पष्ट हो गया।
5. AI की "ब्रेकिंग पॉइंट" (सीमा)
लेखकों ने यह भी पता लगाया कि उनका विशिष्ट AI मॉडल (Qwen 2.5 14B) दबाव में नियमों का पालन करने में कहाँ तक सक्षम है।
- जब बातचीत लंबी और भावनात्मक हो जाती थी (जैसे कि किडनैपिंग घोटाले में), तो AI अपने निर्देशों को अनदेखा करने लगता था। वह नाम भूल जाता था, खुद को दोहराता था, या "बात करना बंद करने" के आदेश का पालन करने में विफल रहता था।
- उन्होंने प्रॉम्प्ट में नियमों को बदलकर इसे ठीक करने की कोशिश की, लेकिन AI उन्हें अनदेखा करता रहा। उन्होंने निष्कर्ष निकाला कि यह उनके निर्देशों की गलती नहीं थी, बल्कि उच्च तनाव के तहत AI के मस्तिष्क की एक सीमा थी।
सारांश
संक्षेप में, यह पेपर कहता है: "यदि आप चाहते हैं कि AI जटिल, मल्टी-टर्न घोटालों को समझे, तो आपको एक विशाल, साफ डेटासेट की आवश्यकता है।" अपने डेटासेट का विस्तार करके और उत्पादन त्रुटियों को ठीक करके, उन्होंने साबित किया कि उन्नत AI मॉडल अब सरल तरीकों से बेहतर प्रदर्शन कर सकते हैं, लेकिन केवल तभी जब डेटा पर्याप्त बड़ा और साफ हो ताकि वे ठीक से सीख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।