A Synthetic Conversational Smishing Dataset for Social Engineering Detection

إليك ملخص تقني مفصل للورقة البحثية بعنوان "مجموعة بيانات محادثات اصطناعية للاحتيال عبر الرسائل النصية (Smishing) للكشف عن الهندسة الاجتماعية."

1. بيان المشكلة

الاحتيال عبر الرسائل النصية (Smishing) هو تهديد سيبراني متزايد السرعة، يستهدف بشكل خاص كبار السن وغير المدركين للمخاطر السيبرانية. وبينما يركز البحث الحالي على تصنيف الرسائل الفردية كرسائل ضارة أو حميدة، فإن المهاجمين في العالم الحقيقي غالباً ما يستخدمون استراتيجيات هندسة اجتماعية متعددة المراحل. تتضمن هذه الهجمات محادثات ممتدة حيث يبني المهاجمون الثقة تدريجياً ("الترويض/Grooming") قبل استخراج المعلومات الحساسة.

الفجوات الرئيسية المحددة:

• نقص بيانات المحادثات: تتكون مجموعات البيانات الموجودة من رسائل نصية معزولة، مما يفشل في التقاط الديناميكيات الزمنية، وبناء الثقة، والتفاعلات متعددة الأدوار التي تميز الهجمات الحديثة.
• القيود المتعلقة بالخصوصية: يفرض جمع بيانات المحادثات الواقعية التي تشمل الفئات الضعيفة (مثل كبار السن) تحديات أخلاقية وقانونية كبيرة.
• محدودية الكشف: لا يمكن لمصنفات الرسالة الواحدة اكتشاف النوايا الخبيثة التي تتكشف عبر حوار، مما يؤدي إلى ارتفاع معدلات السلبيات الكاذبة في سيناريوهات المحادثة.

2. المنهجية: إطار عمل COVA

يقترح المؤلفون إطار عمل COVA (المساعد الافتراضي للعمليات المعرفية)، وهو إطار يتكون من ثلاث مراحل لتوليد بيانات اصطناعية ووضع خطوط أساس للكشف.

أ. توليد البيانات الاصطناعية (محاكاة متعددة الوكلاء)

بدلاً من استخدام مطالبات (Prompts) أحادية، يستخدم إطار العمل وكيلين من نماذج اللغات الكبيرة (LLM) يعملان بشكل مستقل ويتفاعلان بشكل تكراري:

• وكيل المهاجم (Attacker Agent): تم تكوينه بشخصيات محددة (اسم، دور)، وأنواع احتيال، ومعايير تكتيكية (الاستعجال، طريقة الدفع). ويمتلك مستويات متفاوتة من "المعرفة" بالضحية (اتصال بارد مقابل معرفة جزئية أو كاملة).
• وكيل الضحية (Victim Agent): تم تحديد معاييره ديموغرافياً (العمر 65-85 عاماً)، والسمات الشخصية (مستوى الثقة، المهارة التقنية)، وميول المقاومة.
• عملية التوليد: تسير المحادثة دوراً تلو الآخر؛ حيث يبدأ الضحية، ثم يستجيب المهاجم، ويتبادل الوكلاء الأدوار بناءً على تاريخ المحادثة الكامل.
• البنية التحتية: لتجاوز قيود السلامة في واجهات برمجة التطبيقات التجارية (APIs) التي تمنع لعب دور المحتال، استخدم المؤلفون نموذج Qwen 2.5 14B يعمل محلياً عبر Ollama على وحدة معالجة رسومات NVIDIA RTX 4080 Super. وقد ضمن ذلك خصوصية البيانات وعدم وجود تكلفة.

ب. تكوين مجموعة البيانات

• الحجم: 3,201 محادثة متعددة الأدوار.
• الفئات: 8 أنواع من الاحتيال تؤثر بشكل غير متناسب على كبار السن (الجد/الجدة، الاختطاف الافتراضي، الاحتيال الطبي/Medicare، الرومانسية، انتحال صفة حكومية، الاستثمار، اليانصيب، البنك).
• الإحصائيات: حوالي 25,643 دوراً إجمالياً (بمتوسط 16.2 دوراً لكل محادثة).
• التوسيم وضمان الجودة:
  • تم تعيين التصنيفات الأولية بواسطة مصنف قائم على القواعد، مما أدى إلى معدل عدم تطابق بنسبة 49.8% (على سبيل المثال، تفسير التردد خطأً على أنه امتثال).
  • تم تطوير مسار تدقيق الإصدار الثاني (v2 Audit Pipeline) باستخدام المطابقة المدركة للنفي والتحليل الاستدلالي.
  • فئات النتائج: تم دمج التصنيفات الخمسة الدقيقة الأصلية في 3 فئات قوية للنمذجة:
    1. امتثل (Complied): الضحية يمتثل تماماً.
    2. جزئي (Partial): الضحية يتفاعل ولكن لا يلتزم.
    3. رفض (Rejected): الضحية يرفض أو ينهي المكالمة.

ج. الإعداد التجريبي

قيمت الدراسة 8 نماذج في مهمة التنبؤ بالنتائج ذات الثلاث فئات:

• تعلم الآلة التقليدي: الانحدار اللوجستي (Logistic Regression)، الغابة العشوائية (Random Forest)، SVM الخطي (Linear SVM)، XGBoost.
• نماذج المحولات (Transformers): DistilBERT (66 مليون معلمة)، Longformer (148 مليون معلمة).
• مجموعات الميزات:
  1. الميزات الهندسية: 28 ميزة رقمية (طول المحادثة، عدد مرات المقاومة، الإشارات المالية).
  2. TF-IDF: التمثيلات النصية (unigrams/bigrams) مدمجة مع الميزات الهندسية.
  3. التضمينات السياقية (Contextual Embeddings): استُخدمت لنماذج المحولات.

3. النتائج الرئيسية

• أفضل نموذج أداءً: XGBoost مع TF-IDF + الميزات الهندسية.
  • الدقة: 72.5%
  • مقياس F1 الكلي (Macro F1): 0.691
• مقارنة الأداء:
  • TF-IDF مقابل الميزات الهندسية: تفوقت النماذج التي استخدمت TF-IDF بشكل كبير على تلك التي استخدمت الميزات الهندسية فقط (على سبيل المثال، تحسنت دقة XGBoost من 56.5% إلى 72.5%). يشير هذا إلى أن الأنماط اللغوية أكثر قدرة على التمييز من المقاييس السلوكية المصممة يدوياً.
  • المحولات مقابل تعلم الآلة التقليدي: خلافاً للتوقعات، أدت نماذج المحولات (DistilBERT و Longformer) أداءً أقل مقارنة بـ XGBoost + TF-IDF.
    • DistilBERT (الذي يعتمد على النهاية فقط): دقة 69.8%.
    • Longformer (بدون اقتطاع): دقة 69.8%.
• تحليل الخطأ:
  • عانى النموذج أكثر في التمييز بين فئتي "الجزئي" و "الرفض"، حيث تتضمن كلتا الفئتين تفاعلاً ممتداً قبل اتخاذ القرار النهائي.
  • تحليل الفئات الخمس: انخفض الأداء بشكل كبير عند محاولة تصنيف الفئات الخمس الأصلية بسبب عدم التوازن الشديد في الفئات (على سبيل المثال، وجود عينتين فقط لـ "الرفض السريع" في مجموعة الاختبار).

4. المساهمات الرئيسية

1. أول مجموعة بيانات عامة لمحادثات الاحتيال عبر الرسائل النصية: تقديم مجموعة بيانات مكونة من 3,201 محادثة مصممة خصيصاً لهجمات الهندسة الاجتماعية متعددة الأدوار التي تستهدف كبار السن.
2. إطار عمل التوليد الاصطناعي: مسار (Pipeline) لإنتاج بيانات عبر نماذج اللغات الكبيرة متعددة الوكلاء وقابل لإعادة الإنتاج، يولد ديناميكيات واقعية بين المهاجم والضحية مع تجنب انتهاكات الخصوصية المرتبطة بجمع البيانات الواقعية.
3. معايير مرجعية شاملة: تقييم شامل لـ 8 نماذج، يثبت أن التعلم الآلي التقليدي القائم على TF-IDF يتفوق حالياً على المحولات الدقيقة (fine-tuned transformers) لهذه المهمة وهذا الحجم من البيانات.
4. بروتوكول ضمان الجودة: إظهار ضرورة التدقيق الصارم الذي يتضمن العنصر البشري في توليد البيانات الاصطناعية، مما كشف عن معدل خطأ أولي في التوسيم يقارب 50%.

5. الأهمية والمناقشة

• الإشارات اللغوية حاسمة: تشير النتائج إلى أن كلمات وعبارات محددة (مثل "تحقق"، "رسمي"، "بطاقة") تحمل قوة تنبؤية أكبر لنتائج الاحتيال من الميزات السلوكية المجردة في المحادثات قصيرة إلى متوسطة الطول.
• محدودية المحولات: يُعزى ضعف أداء المحولات إلى عاملين:
  1. قيود طول المدخلات: حتى مع سياق Longformer الممتد، فإن الاقتطاع أو نوافذ السياق المحدودة قد تتجاهل الأدوار النهائية "الحاسمة للنتيجة".
  • ندرة البيانات: مع وجود حوالي 2,500 عينة تدريب فقط، عانت المحولات من فرط التخصيص (Overfitting) (ارتفع فقد التحقق بينما انخفض فقد التدريب)، بينما يعد XGBoost أكثر كفاءة في التعامل مع العينات.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع مجموعة البيانات إلى أكثر من 10,000 محادثة لتدريب المحولات بشكل أفضل، وتطوير التصنيف التدريجي (Incremental Classification) للتدخل في الوقت الفعلي، وإضافة فئات غير اللغة الإنجليزية.

الخاتمة

تسد هذه الورقة فجوة حرجة في أبحاث الأمن السيبراني من خلال توفير مجموعة بيانات ونماذج مرجعية لاكتشاف الاحتيال عبر المحادثات. وتثبت أنه بينما يعد التعلم العميق قوياً، فإن تعلم الآلة التقليدي مع الميزات اللغية القوية (TF-IDF) يظل النهج الأكثر فعالية لاكتشاف نتائج الهندسة الاجتماعية في مجموعات البيانات الحوارية الحالية ذات الحجم الصغير. يضع هذا العمل الأساس لتطوير أنظمة دفاعية في الوقت الفعلي ضد الهجمات متعددة المراحل التي تستهدف الفئات الضعيفة.