The Phish, The Spam, and The Valid: Generating Feature-Rich Emails for Benchmarking LLMs

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الاحتيال، والرسائل المزعجة، والصحيحة: توليد رسائل بريد إلكتروني غنية بالميزات لمعايرة النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تعالج الورقة فجوات حرجة في أبحاث أمن البريد الإلكتروني وجودة مجموعات البيانات الحالية:

• التهديدات المتطورة: يستخدم مجرمو الإنترنت بشكل متزايد النماذج اللغوية الكبيرة (LLMs) لتوليد رسائل بريد إلكتروني احتيالية ومزعجة شديدة الإقناع ومصقولة لغوياً. وتواجه أنظمة الكشف التقليدية القائمة على القواعد ونماذج الميزات الثابتة صعوبة في مواجهة هذه الهجمات التي يتم إعادة صياغتها بواسطة الذكاء الاصطناعي.
• نقص مجموعات البيانات: غالباً ما تكون مجموعات بيانات البريد الإلكتروني العامة الحالية (مثل Enron وSpamAssassin) قديمة (ما قبل عام 2010)، وتفتقر إلى التفاصيل الهيكلية (تفتقر إلى الروابط الكاملة وأسماء المرفقات)، وتفشل في التمييز بوضوح بين ثلاث فئات حيوية: الاحتيال (Phishing)، الرسائل المزعجة (Spam)، والرسائل الصحيحة (Valid).
• محدودية التقييم: هناك نقص في المعايير الصارمة للنماذج اللغوية الكبيرة الحديثة (مثل Qwen وGemini) فيما يتعلق بقدرتها على كشف التهديدات المولدة بواسطة الذكاء الاصطناعي، وتحديداً عند تضمين البيانات الوصفية الهيكلية أو عندما يتم "تغيير شكل" (fuzzed) الرسائل لغوياً (إعادة صياغها).

2. المنهجية: إطار عمل PhishFuzzer

يقترح المؤلفون PhishFuzzer، وهو إطار عمل لتوليد البيانات المعززة بالبيانات الوصفية، المصمم لإنشاء مسار معايير صارم ومفتوح المصدر.

أ. مسار إنشاء مجموعة البيانات

تتضمن العملية أربع خطوات رئيسية لتوليد 23,100 رسالة بريد إلكتروني (3,300 بذرة + 19,800 متغير اصطناعي):

1. إنشاء مجموعة البذور (Seed Dataset):
   • بذور خاصة (N=300): رسائل تم اختيارها يدوياً ومجهولة المصدر من صناديق البريد الشخصية والمؤسسية، متوازنة بين الاحتيال، والرسائل المزعجة، والصحيحة.
   • بذور عامة (N=3,000): مجمعة من مجموعات البيانات العامة القديمة (مثل Nazario وSpamAssassin). كانت هذه البذور تفتقر في الأصل إلى البيانات الوصفية الدقيقة.
2. معايرة النية وتعزيز التصنيف (Intent Benchmarking & Label Augmentation):
   • قام المؤلفون بمعايرة 5 نماذج لغوية كبيرة على مجموعة فرعية مكونة من 99 رسالة لتحديد نية المهاجم (مثل "اتبع الرابط"، "افتح المرفق"). تم اختيار Gemini-2.5-Flash نظراً لدقته العالية (97.98%) واتساقه.
   • استُخدم هذا النموذج لملء الحقول الهيكلية المفقودة (الروابط، أسماء ملفات المرفقات) في البذور العامة، مما يضمن الاتساق المنطقي (على سبيل المثال، يجب أن تحتوي رسائل "اتبع الرابط" على رابط URL).
3. إثراء التصنيف (Label Enrichment):
   • قام النموذج الذي تم التحقق منه بملء حقول النية، والرابط، والمرفقات لجميع البذور العامة البالغ عددها 3,000، ودمجها مع البذور الخاصة لإنشاء مجموعة بذور موحدة مكونة من 3,300 رسالة.
4. توسيع مجموعة البيانات (Seeding):
   • عملت كل بذرة من الـ 3,300 بذرة كنموذج لتوليد 6 متغيرات اصطناعية (الإجمالي K=7 لكل نموذج).
   • أبعاد التباين:
     • نوع الكيان (Entity Type): كيانات معترف بها عالمياً مقابل كيانات مختلقة ولكن واقعية.
     • الطول (Length): قصير (4-8 جمل)، متوسط (10-16)، طويل (25-40).
   • القيود: تم إجبار متغيرات الاحتيال على استخدام نطاقات (domains) مخادعة؛ بينما استخدمت متغيرات الرسائل المزعجة/الصحيحة نطاقات واقعية. قامت هذه العملية بتنقية آثار HTML وضمان نظافة النص المجرد.

ب. مقاييس التقييم

قام المؤلفون بتقييم نموذجين من أحدث النماذج اللغوية الكبيرة (Qwen-2.5-72B و Gemini-3.1-Pro) باستخدام:

• تكوينات المطالبة (Prompt Configurations):
  • أساسي (Basic): الموضوع + نص الرسالة.
  • كامل (Full): الموضوع + نص الرسالة + المرسل + الروابط + المرفقات.
• مقاييس الموثوقية:
  • معدل نجاح المهمة (TSR): عدد المتغيرات التي تم تصنيفها بشكل صحيح لكل نموذج (template).
  • مؤشر الثقة (Conf@K): النسبة المئوية للنماذج التي صنف فيها النموذج جميع K من المتغيرات بشكل صحيح.
  • درجة الانقلاب الكلي (TFS@K): تحصي النماذج التي فشلت في تصنيف جميع K من المتغيرات، مما يعزل نقاط الضعف المنهجية بدلاً من الأخطاء العشوائية.

3. المساهمات الرئيسية

1. إطار عمل PhishFuzzer: مسار مفتوح المصدر لتوليد متغيرات بريد إلكتروني اصطناعية متسقة هيكلياً وغنية بالبيانات الوصفية من بذور واقعية.
2. مجموعة بيانات PhishFuzzer: أول مجموعة بيانات مفتوحة المصدر ثلاثية الفئات (احتيال، رسائل مزعجة، صحيحة) تضم 23,100 رسالة، وتتميز بـ:
   • تتبع صارم للمصدر (بذور خاصة مقابل عامة).
   • بيانات وصفية هيكلية كاملة (الروابط، المرفقات، نطاقات المرسلين).
   • تعليقات توضيحية لنية المهاجم.
3. المعايرة الصارمة للنماذج اللغوية الكبيرة: تقييم شامل يوضح أنه بينما تؤدي النماذج اللغية الكبيرة أداءً جيداً في الكشف عن الاحتيال بنظام "الصفر محاولة" (zero-shot)، إلا أنها تواجه صعوبة في الحدود الذاتية بين الرسائل المزعجة والرسائل الصحيحة.
4. تحليل الفشل المنهجي: تقديم مقياس TFS لتحديد "نقاط العمى" حيث تفشل النماذج باستمرار عبر التباينات اللغوية، مما يكشف عن نقاط الضعف المتأصلة في النماذج.

4. النتائج الرئيسية

قيمت الدراسة النموذجين Qwen-2.5-72B وGemini-3.1-Pro عبر مجموعة بيانات الـ 23,100 رسالة.

• كشف الاحتيال (Phishing Detection):
  • حقق كلا النموذجين درجات F1 عالية للاحتيال (>0.89).
  • كان Gemini-3.1-Pro أكثر صرامة، حيث أخطأ في تصنيف 13 رسالة احتيالية فقط كرسائل "صحيحة" (باستخدام المطالبة الكاملة)، محققاً درجة F1 بلغت 0.958.
  • أدى إضافة البيانات الوصفية الهيكلية إلى تحسين كشف الاحتيال بشكل كبير لكلا النموذجين (تقليل الأخطاء بنسبة ~20-30%).
• كشف الرسائل المزعجة (Spam Detection - نقطة الضعف الحرجة):
  • واجه كلا النموذجين صعوبة كبيرة في التمييز بين الرسائل المزعجة والرسائل الصحيحة (درجات F1 ≤ 0.43).
  • نتيجة غير متوقعة: أدت إضافة البيانات الوصفية إلى تدهور كشف الرسائل المزعجة. أصبحت النماذج أقل حساسية للرسائل المزعجة، وصنفت المزيد منها كرسائل "صحيحة".
  • السبب: الحدود بين التسويق العدواني (Spam) والترويج المشروع (Valid) هي حدود ذاتية للغاية؛ ولم تساعد البيانات الوصفية في حل هذا الغموض الدلالي.
• الموثوقية والمتانة:
  • أظهر Gemini-3.1-Pro مرونة أعلى تجاه التغيير اللغوي (مؤشر الثقة: 62.88% مقابل 55.33% لـ Qwen)، مما يشير إلى أنه يعتمد على المنطق الأساسي بدلاً من الأنماط المعجمية الهشة.
  • أظهر Qwen-2.5-72B علامات على تلوث البيانات (data contamination)، حيث كان أداؤه أسوأ بكثير على البيانات الخاصة غير المرئية مقارنة بالبيانات العامة.
• الفشل المنهجي (TFS):
  • كشف تحليل TFS أن بينما عالجت البيانات الوصفية بعض حالات التصنيف الخاطئ لـ "الصحيح"، إلا أنها خلقت نقاط عمى جديدة حيث تم تصنيف الرسائل المزعجة باستمرار كرسائل "صحيحة".
  • تم تحديد "نقطة عمى" معينة كرسالة شرعية من باحث في MIT تم تصنيفها خطأً كرسالة احتيالية في مجموعات البيانات القديمة، مما يسلط الضوء على أخطاء التصنيف البشري في المعايير العامة.

5. الأهمية والخاتمة

• الآثار الأمنية: تثبت الدراسة أن البيانات الوصفية (الروابط، المرسلين) ضرورية لتعزيز الدفاعات ضد الاحتيال، لكنها غير كافية لحل مشكلة تصنيف الرسائل المزعجة مقابل الصحيحة، والتي تظل تحدياً دلالياً (semantic) لا يمكن للبيانات الوصفية وحدها تجاوزه.
• جودة مجموعة البيانات: تسلط الورقة الضوء على أن مجموعات البيانات القديمة تحتوي على أخطاء تصنيف بشرية وتفتقر إلى الدقة الهيكلية المطلوبة لاختبار الهجمات المدفوعة بالذكاء الاصطناعي الحديث. توفر مجموعة بيانات PhishFuzzer أساساً ضرورياً لأنظمة أمن البريد الإلكتروني من الجيل التالي.
• الاتجاهات المستقبلية: يقترح المؤلفون أن أنظمة الأمن المستقبلية يجب أن تتجاوز مجرد التصنيف بالنماذج اللغوية الكبيرة لتنتقل إلى بنى هجينة تجمع بين الاستدلال الدلالي للنماذج اللغوية الكبيرة والمرشحات الاستدلالية (heuristic filters). كما يدعون إلى معالجة أخطاء التصنيف البشري في مجموعات البيانات العامة لتحسين جودة بيانات التدريب.

باختصار، يوفر PhishFuzzer أداة قوية ومفتوحة المصدر لتقييم أمن البريد الإلكتروني، ويكشف أنه بينما تتفوق النماذج اللغوية الكبيرة في كشف الاحتيال الواضح، فإنها تظل عرضة للتمييز الدقيق والذاتي بين الرسائل المزعلة والاتصالات المشروعة، وهي فجوة لا يمكن للبيانات الوصفية وحدها سدها.