← नवीनतम पेपर
🤖 AI

Benchmarking Large Language Models for Zero-shot and Few-shot Phishing URL Detection

यह शोध पत्र ज़ीरो-शॉट और फ्यू-शॉट लर्निंग के माध्यम से परिष्कृत, AI-जनित फ़िशिंग URL का पता लगाने में लार्ज लैंग्वेज मॉडल्स की प्रभावकारिता का मूल्यांकन करने वाला एक व्यापक बेंचमार्क प्रस्तुत करता है, जो यह प्रदर्शित करता है कि फ़िशिंग खतरों के तीव्र प्रसार और लेबल किए गए डेटा की कमी को संबोधित करने के लिए फ्यू-शॉट प्रॉम्प्टिंग कई मॉडल्स में प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Najmul Hasan, Prashanth BusiReddyGari

प्रकाशित 2026-02-04
📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें
CC BY 4.0

मूल लेखक: Najmul Hasan, Prashanth BusiReddyGari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे शहर की तरह है। वर्षों से, द्वारों पर तैनात सुरक्षा गार्ड (पारंपरिक साइबर सुरक्षा उपकरण) एक सरल नियम का उपयोग कर रहे हैं: "यदि किसी व्यक्ति का नाम हमारी 'बद सूची' (Bad List) में है, तो उसे अंदर न आने दें।" यह ज्ञात शरारती तत्वों के लिए बहुत अच्छा काम करता है। लेकिन हाल ही में, एक नए प्रकार का अपराधी आया है। ये अपराधी "जेनरेटिव एआई" (Generative AI) का उपयोग करके एकदम सटीक नकली आईडी बनाने और ऐसे नए, विश्वसनीय भेष बनाने के लिए कर रहे हैं जिन्हें पहले कभी नहीं देखा गया है। पुरानी "बद सूची" उनके खिलाफ बेकार है क्योंकि गार्डों ने कभी ये चेहरे देखे ही नहीं हैं।

यह शोध पत्र एक नए प्रकार के सुरक्षा गार्ड की रिपोर्ट कार्ड की तरह है: लार्ज लैंग्वेज मॉडल्स (LLMs)। ये अत्यंत बुद्धिमान एआई सिस्टम हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ा है। शोधकर्ता यह देखना चाहते थे कि क्या ये एआई गार्ड केवल एक यूआरएल (वेब एड्रेस) को देखकर, भले ही उन्होंने पहले उस विशिष्ट पते को कभी न देखा हो, यह पहचान सकते हैं कि वह नकली है या नहीं।

उन्होंने इसे कैसे परखा, इसके लिए सरल उपमाओं का उपयोग किया गया है:

गार्डों का परीक्षण करने के दो तरीके

शोधकर्ताओं ने एआई गार्डों का दो अलग-अलग "प्रशिक्षण" परिदृश्यों में परीक्षण किया:

  1. जीरो-शॉट (Zero-Shot - "कोल्ड रीड"): कल्पना कीजिए कि आप एक गार्ड को एक अजनबी की फोटो देते हैं और पूछते हैं, "क्या यह व्यक्ति अपराधी है?" बिना उन्हें कोई पूर्व उदाहरण या निर्देश पुस्तिका दिए। गार्ड को पूरी तरह से अपने सामान्य ज्ञान और अंतर्ज्ञान पर निर्भर रहना होगा।
  2. फ्यू-शॉट (Few-Shot - "शो-एंड-टेल"): कल्पना कीजिए कि आप गार्ड को वही फोटो देते हैं, लेकिन इस बार आप उन्हें पहले ज्ञात अपराधियों की तीन तस्वीरें और निर्दोष लोगों की तीन तस्वीरें भी दिखाते हैं। आप कहते हैं, "इन बुरे लोगों को देखो? और इन अच्छे लोगों को देखो? अब, इस नए व्यक्ति को देखो। क्या यह बुरे लोगों जैसा है या अच्छे लोगों जैसा?"

प्रतियोगी

शोध पत्र ने तीन सबसे प्रसिद्ध एआई गार्डों को एक-दूसरे के विरुद्ध खड़ा किया:

  • GPT-4o (OpenAI से)
  • Claude-3.7 (Anthropic से)
  • Grok-3 (xAI से)

उन्होंने इन गार्डों का परीक्षण 10,000 वेब पतों की एक विशाल सूची पर किया (आधे वास्तविक थे, आधे फिशिंग जाल थे) यह देखने के लिए कि कौन अंतर बताने में सबसे बेहतर है।

उन्हें क्या पता चला

परिणाम एक आश्चर्यजनक दौड़ की तरह थे:

  • "शो-एंड-टेल" की जीत हुई: लगभग हर मामले में, गार्डों ने बहुत बेहतर प्रदर्शन किया जब उन्हें पहले कुछ उदाहरण दिए गए (Few-Shot)। यह वैसा ही है जैसे एक जासूस कुछ असली उदाहरण देखने के बाद जालसाजी को पहचानने में बेहतर हो जाता है।
  • विजेता: Grok-3 चैंपियन था। जब उन्हें कुछ उदाहरण दिए गए, तो इसने उच्चतम सटीकता (लगभग 94%) के साथ काम पूरा किया। यह अच्छे लिंक को गलती से "ना" कहे बिना, बुरे लिंक को "ना" कहने में सबसे अच्छा था।
  • एक समझौता (Trade-Off): एक छोटी सी कमी भी थी। जब गार्ड "कोल्ड रीड" से "शो-एंड-टेल" पर स्विच हुए, तो वे अधिक सख्त हो गए। वे गलती से कुछ "अच्छे" लिंक को पकड़ने लगे (जो कि अच्छा है), लेकिन उन्होंने अकेले अनुमान लगाने की तुलना में कुछ अधिक "बले" लिंक भी छोड़ दिए। हालांकि, कुल स्कोर काफी बढ़ गया।
  • "बुरे आदमी" की समस्या: शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है जब शहर ज्यादातर अच्छे लोगों से भरा हो, और केवल 1% लोग बुरे हों (एक वास्तविक परिदृश्य)। इस कठिन स्थिति में भी, एआई गार्ड डटे रहे, विशेष रूप से Grok-3, जो बिना किसी उदाहरण के भी बुरे लोगों को पहचानने में बहुत अच्छा था।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि हमें हर बार नया स्कैम (धोखाधड़ी) आने पर इन एआई गार्डों को भारी मात्रा में नया डेटा देकर फिर से प्रशिक्षित करने की आवश्यकता नहीं है। इसके बजाय, हम बस उन्हें कुछ त्वरित उदाहरण (Few-Shot prompting) दे सकते हैं, और वे नए, परिष्कृत फिशिंग लिंक को पकड़ने के लिए तुरंत अनुकूलित हो सकते हैं।

संक्षेप में: यदि आप चाहते हैं कि कोई एआई नए प्रकार के इंटरनेट स्कैम को पहचाने, तो केवल उससे अनुमान लगाने के लिए न कहें। पहले उसे कुछ उदाहरण दिखाएं कि स्कैम कैसा दिखता है, और वह एक बहुत ही तेज जासूस बन जाएगा।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →