The Phish, The Spam, and The Valid: Generating Feature-Rich Emails for Benchmarking LLMs
यह शोधपत्र PhishFuzzer प्रस्तुत करता है, जो एक ओपन-सोर्स फ्रेमवर्क है जो विभिन्न संरचनात्मक स्थितियों के तहत फिशिंग और स्पैम का पता लगाने में अत्याधुनिक LLMs की विश्वसनीयता और मजबूती का कड़ाई से बेंचमार्किंग करने के लिए 23,100 विविध ईमेल का एक बड़े पैमाने पर, मेटाडेटा-समृद्ध डेटासेट और सख्त तीन-वर्ग लेबल उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही विशिष्ट, हाई-टेक नाइट क्लब के बाउंसर हैं। आपका काम तीन प्रकार के लोगों को अंदर जाने से रोकना है:
- द फिशर्स (The Phishers): खतरनाक अपराधी जो नकली वेश धारण किए हुए हैं और आपका बटुआ चुराने की कोशिश कर रहे हैं।
- द स्पैमर्स (The Spammers): परेशानी पैदा करने वाले सेल्समैन जो सस्ती घड़ियों और क्रिप्टो स्कैम के बारे में चिल्ला रहे हैं।
- द वैलिड गेस्ट्स (The Valid Guests): आपके वास्तविक दोस्त और सहकर्मी जो बस आकर बातचीत करना चाहते हैं।
वर्षों से, बाउंसर (ईमेल फिल्टर) एक साधारण चेकलिस्ट का उपयोग कर रहे हैं: "क्या यह व्यक्ति संदिग्ध लग रहा है? क्या इसका नाम खराब है?" लेकिन हाल ही में, अपराधियों ने एक सुपरपावर हासिल कर ली है: AI। अब वे एकदम सटीक, विनम्र और विश्वसनीय पत्र लिख सकते हैं जो पुराने चेकलिस्ट को धोखा देने के लिए पर्याप्त हैं।
यह पेपर एक बिल्कुल नए, अत्यंत सख्त प्रशिक्षण कार्यक्रम के निर्माण के बारे में है, ताकि यह देखा जा सके कि क्या बाउंसर AI-संचालित अपराधियों को संभालने में सक्षम हैं या नहीं।
समस्या: पुराना ट्रेनिंग मैनुअल पुराना हो चुका है
शोधकर्ताओं ने महसूस किया कि जिन "प्रशिक्षण मैनुअल" (डेटासेट) का बाउंसरों ने उपयोग किया है, वे 1990 के दशक की पुरानी, धूल भरी तस्वीरों की तरह हैं। उनमें विवरणों की कमी है, लिखावट अव्यवधर है, और वे यह नहीं दिखाते कि आधुनिक अपराधी AI का उपयोग करके आपके सबसे अच्छे दोस्त की तरह कैसे सुनाई दे सकते हैं।
समाधान: "PhishFuzzer" (द ट्रेनिंग सिम्युलेटर)
टीम ने एक मशीन बनाई जिसे PhishFuzzer कहा जाता है। इसे एक सुपर-पावर्ड 'मैड लिब्स जनरेटर' के रूप में समझें।
- बीज (The Seeds): उन्होंने "बीज" के रूप में उपयोग करने के लिए 3,300 वास्तविक ईमेल (कुछ उनके अपने इनबॉक्स से, कुछ सार्वजनिक अभिलेखागार से) लिए।
- जादू (The Magic): उन्होंने इन बीजों को एक शक्तिशाली AI में डाला। AI ने केवल उनकी नकल नहीं की; इसने प्रत्येक ईमेल के 19,800 नए, थोड़े अलग संस्करण बनाए।
- विविधता (The Variations): इसने मूल "चाल" को समान रखते हुए लंबाई (छोटी बनाम लंबी), प्रेषक (वास्तविक कंपनियां बनाम ऐसी फर्जी कंपनियां जो वास्तविक दिखती हैं), और शब्दों को बदला।
परिणामस्वरूप, 23,100 ईमेल का एक विशाल पुस्तकालय तैयार हुआ जो पूरी तरह से लेबल किया गया है: "यह एक फिश (Phish) है," "यह स्पैम (Spam) है," या "यह वैध (Valid) है।" महत्वपूर्ण रूप से, उन्होंने इसमें मेटाडेटा (metadata) भी जोड़ा—जो अतिथि का आईडी चेक करने, उनकी कार देखने और यह जांचने के डिजिटल समकक्ष जैसा है कि क्या उनके हाथ में कोई संदिग्ध पैकेज है।
परीक्षण: दो सुपर-बाउंसर
उन्होंने आज के दो सबसे स्मार्ट AI बाउंसरों (Qwen और Gemini) को लिया और उन्हें कड़ी परीक्षा में डाला। उन्होंने उन्हें दो तरीकों से ईमेल छांटने के लिए कहा:
- "ब्लाइंड" टेस्ट: केवल पत्र पढ़ना (विषय + मुख्य भाग)।
- "फुल बैकग्राउंड चेक" टेस्ट: पत्र पढ़ने के साथ-साथ प्रेषक की आईडी, लिंक और अटैचमेंट की भी जांच करना।
परिणाम: दो बाउंसरों की कहानी
1. "पैरानॉयड" बनाम "रिलैक्स्ड"
- Gemini एक पैरानॉयड बाउंसर की तरह था। यह खतरनाक फिशर्स को पकड़ने में बहुत अच्छा था। इसने शायद ही कभी किसी अपराधी को अंदर आने दिया। हालांकि, यह बहुत अधिक सख्त था। इसने अक्सर निर्दोष दोस्तों (वैध ईमेल) को अपराधी समझकर बाहर निकाल दिया।
- Qwen एक रिलैक्स्ड बाउंसर की तरह था। यह दोस्तों को अंदर आने देने में बहुत अच्छा था, लेकिन इसने कुछ फिशर्स को अपनी पकड़ से फिसलने दिया।
2. "आईडी चेक" का जादू (Metadata)
जब उन्होंने बाउंसरों को अतिरिक्त जानकारी (URL, प्रेषक के नाम, अटैचमेंट) दी:
- अच्छी खबर: दोनों बाउंसर खतरनाक फिशर्स को पहचानने में बहुत बेहतर हो गए। अतिरिक्त सुरागों ने उन्हें वेशभूषा के पीछे देखने में मदद की।
- बुरी खबर: वे स्पैमर्स को पहचानने में बदतर हो गए।
- उपमा: कल्पना कीजिए कि एक स्पैम ईमेल एक नकली घड़ियाँ बेचने वाला आदमी है। यदि आप केवल उसका भाषण पढ़ते हैं, तो आप जानते हैं कि वह एक स्कैमर है। लेकिन यदि आप भी उसकी शानदार कार और उसका "आधिकारिक" बिजनेस कार्ड (मेटाडेटा) देखते हैं, तो बाउंसर भ्रमित हो जाता है और सोचता है, "खैर, उसके पास एक अच्छी कार है, शायद वह वैध है?" अतिरिक्त विवरणों ने स्पैम को एक सामान्य व्यावसायिक ईमेल जैसा बना दिया, और बाउंसरों ने उन्हें अंदर जाने दिया।
3. "स्पैम बनाम वैध" का ग्रे एरिया (Gray Area)
सबसे बड़ी समस्या अपराधी नहीं थे; बल्कि स्पैम था। शोधकर्ताओं ने पाया कि यहाँ तक कि सबसे स्मार्ट AI भी "परेशान करने वाले मार्केटिंग" (स्पैम) और "वैध न्यूज़लेटर" (वैध) के बीच अंतर करने में संघर्ष करते हैं। यह "मेरी घड़ी खरीदें!" चिल्लाने वाले आदमी और "कॉन्सर्ट के लिए मुफ्त टिकट!" चिल्लाने वाले आदमी के बीच अंतर करने की कोशिश करने जैसा है। कभी-कभी, यह पूरी तरह से इस पर निर्भर करता है कि कौन सुन रहा है। AI इस ग्रे एरिया में फंस गया।
मुख्य निष्कर्ष
यह पेपर हमें दो मुख्य बातें बताता है:
- AI ईमेल की नकल करने में डरावना रूप से कुशल होता जा रहा है। पुराने फिल्टर अब उन्हें नहीं पकड़ सकते। हमें नए उपकरणों की आवश्यकता है जो पूरी तस्वीर को देखें (न कि केवल शब्दों को)।
- अधिक जानकारी हमेशा बेहतर नहीं होती। जबकि अतिथि का आईडी चेक करना अपराधियों को पकड़ने में मदद करता है, यह कभी-कभी बाउंसर को परेशान करने वाले सेल्समैन के प्रति बहुत भरोसेमंद बना देता है।
लेखकों ने अपना पूरा "ट्रेनिंग सिम्युलेटर" और ईमेल की विशाल सूची सभी के लिए मुफ्त कर दी है। यह सुरक्षा कंपनियों को बेहतर, स्मार्ट बाउंसर बनाने की अनुमति देता है जो अंततः AI-संचालित ईमेल हमलों का सामना कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।