Benchmarking Large Language Models for Zero-shot and Few-shot Phishing URL Detection
تقدم هذه الورقة البحثية معياراً شاملاً لتقييم فعالية النماذج اللغوية الكبيرة في اكتشاف روابط التصيد الاحتيالي المتطورة والمولدة بواسطة الذكاء الاصطناعي من خلال التعلم بصفر من الأمثلة (zero-shot) والتعلم ببضعة أمثلة (few-shot)، مما يثبت أن التلقين ببضعة أمثلة يعزز الأداء بشكل كبير عبر نماذج متعددة لمواجهة التصاعد السريع لتهديدات التصيد الاحتيالي وندرة البيانات المصنفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمدينة ضخمة تعج بالحركة. لسنوات، استخدم حراس الأمن عند البوابات (أدوات الأمن السيبراني التقليدية) قاعدة بسيطة: "إذا كان اسم الشخص موجوداً في 'القائمة السوداء' الخاصة بنا، فلا تسمح له بالدخول". هذا الأسلوب يعمل بشكل رائع مع المشاغبين المعروفين. ولكن مؤخراً، وصل نوع جديد من المجرمين؛ هؤلاء المجرمون يستخدمون "الذكاء الاصطناعي التوليدي" لتزوير هويات مزيفة مثالية وإنشاء تنكرات جديدة ومقنعة تماماً لم يسبق رؤيتها من قبل. أصبحت "القائمة السوداء" القديمة عديمة الفائدة ضدهم لأن الحراس لم يروا وجوههم من قبل.
هذه الورقة البحثية تشبه تقرير درجات لنوع جديد من حراس الأمن: نماذج اللغات الكبيرة (LLMs). هذه أنظمة ذكاء اصطناعي فائقة الذكاء قرأت كل شيء تقريباً على الإنترنت. أراد الباحثون معرفة ما إذا كان بإمكان هؤلاء الحراس الآليين اكتشاف رابط ويب (URL) مزيف بمجرد النظر إليه، حتى لو لم يسبق لهم رؤية هذا العنوان تحديداً من قبل.
إليك كيف اختبروهم، باستخدام تشبيهات بسيطة:
الطريقتان لاختبار الحراس
اختبر الباحثون هؤلاء الحراس الآليين في سيناريوهين مختلفين من "التدريب":
- التعلم من الصفر - Zero-Shot (القراءة الباردة): تخيل أنك تسلم الحارس صورة لشخص غريب وتسأله: "هل هذا الشخص مجرم؟" دون إعطائه أي أمثلة سابقة أو دليل تعليمات. هنا يجب على الحارس الاعتماد كلياً على معرفته العامة وحدسه.
- التعلم من أمثلة قليلة - Few-Shot (العرض والشرح): تخيل أنك تسلم الحارس نفس الصورة، ولكن هذه المرة تعرض عليه أيضاً ثلاث صور لمجرمين معروفين وثلاث صور لأشخاص أبرياء أولاً. ثم تقول له: "أرأيت هؤلاء الأشرار؟ وأرأيت هؤلاء الأخيار؟ الآن، انظر إلى هذا الشخص الجديد. هل يشبه الأشرار أم الأخيار؟"
المتنافسون
وضعت الورقة ثلاثة من أشهر الحراس الآليين في مواجهة بعضهم البعض:
- GPT-4o (من OpenAI)
- Claude-3.7 (من Anthropic)
- Grok-3 (من xAI)
لقد اختبروا هؤلاء الحراس على قائمة ضخمة تضم 10,000 عنوان ويب (نصفها كانت حقيقية والنصف الآخر فخاخ تصيد احتيالي) لمعرفة من يستطيع التمييز بينهم بشكل أفضل.
ماذا وجدوا؟
كانت النتائج أشبه بسباق مفاجئ:
- "العرض والشرح" هو الفائز: في كل حالة تقريباً، كان أداء الحراس أفضل بكثير عندما تم إعطاؤهم بضعة أمثلة أولاً (Few-Shot). الأمر يشبه كيف يصبح المحقق أفضل في كشف التزوير بعد رؤية بعض الأمثلة الحقيقية لما يجب البحث عنه.
- الفائز: كان Grok-3 هو البطل. فعند إعطائه بضعة أمثلة، أنجز المهمة بأعلى دقة (حوالي 94%). لقد كان الأفضل في قول "لا" للروابط السيئة دون أن يقول "لا" للروابط الجيدة عن طريق الخطأ.
- المقايضة: كان هناك ثمن طفيف. عندما انتقل الحراس من "القراءة الباردة" إلى "العرض والشرح"، أصبحوا أكثر صرامة. بدأوا يكتشفون روابط "جيدة" أقل عن طريق الخطأ (وهذا أمر جيد)، لكنهم أيضاً فاتهم بعض الروابط "السيئة" أكثر مما كانوا يفعلون عندما كانوا يخمنون بمفردهم. ومع ذلك، ارتفع إجمالي الدرجة بشكل كبير.
- مشكلة "الرجل الشرير": اختبر الباحثون أيضاً ما يحدث عندما تكون المدينة مليئة بالأخيار، بينما يوجد 1% فقط من الأشرار (سيناريو واقعي). حتى في هذا الموقف الصعب، حافظ الحراس الآليون على ثباتهم، وخاصة Grok-3، الذي كان بارعاً جداً في اكتشاف الأشرار حتى بدون أي أمثلة.
الخلاصة
تخلص الورقة إلى أننا لسنا بحاجة دائماً لإعادة تدريب هؤلاء الحراس الآليين بكميات هائلة من البيانات الجديدة في كل مرة يظهر فيها احتيال جديد. بدلاً من ذلك، يمكننا فقط إعطاؤهم بضعة أمثلة سريعة (Few-Shot prompting)، ويمكنهم التكيف فوراً لاكتشاف روابط التصيد الاحتيالي الجديدة والمتطورة.
باختصار: إذا كنت تريد من الذكاء الاصطناعي اكتشاف نوع جديد من عمليات الاحتيال عبر الإنترنت، فلا تكتفِ بطلب التخمين منه فقط، بل أرِهِ بضعة أمثلة لما يبدو عليه الاحتيال أولاً، وسوف يصبح محققاً أكثر دقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.