ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation
تقدم هذه الورقة ExCyTIn-Bench، وهو أول معيار مصمم لتقييم وكلاء النماذج اللغوية الكبيرة (LLM agents) في التحقيق في التهديدات السيبرانية من خلال توليد 7,542 سؤالاً من سجلات Microsoft Sentinel ورسوم التحقيق البيانية، مما كشف أن النماذج الرائدة الحالية تحقق فقط درجة مكافأة قدرها 0.606 ويسلط الضوء على وجود مجال كبير للتحسين في المستقبل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
النظرة الشاملة: "اختبار قيادة" جديد للمحققين الآليين
تخيل أن لديك أسطولاً من الروبوتات الذكية والجديدة جداً. أنت تريد أن تعرف ما إذا كانت مؤهلة لتكون محققين في الأمن السيبراني. هل يمكنهم النظر إلى جبل من البيانات الفوضوية، والعثور على الأشرار، ومعرفة ما حدث بالضبط أثناء عملية الاختراق؟
يقول مؤلفو هذه الورقة البحثية: "لا يمكننا فقط سؤالهم أسئلة عامة مثل 'ما هو الفيروس؟' لأن هذا يختبر ذاكرتهم فقط. نحن بحاجة لرؤية ما إذا كان بإمكانهم القيام بالعمل فعلياً".
لذلك، قاموا ببناء ExCyTIn-Bench. فكر في هذا كأنه اختبار قيادة عالي المخاطر للوكلاء الآليين (AI agents). بدلاً من السيارة، يقود الوكيل الآلي عبر مسرح جريمة رقمي. وبدلاً من مضمار الاختبار، هناك شبكة حاسوبية لشركة محاكية مليئة بسجلات أمنية وهمية (لكنها واقعية).
كيف بنوا الاختبار (مسرح الجريمة)
لجعل الاختبار عادلاً وواقعياً، لم يقم الباحثون بوضع أسئلة عشوائية فحسب، بل بنوا الاختبار عبر ثلاث خطوات:
- مسرح الجريمة (البيانات): أنشأوا شركة وهمية على منصة "Microsoft Azure" تسمى "Alpine Ski House". قاموا بمحاكاة 8 هجمات سيبرانية مختلفة حدثت بالفعل في العالم الحقيقي (مثل برامج الفدية أو عمليات الاحتيال عبر البريد الإلكتروني). وجمعوا 57 جدولاً مختلفاً من السجلات (مثل تقارير الشرطة، وسجلات الهاتف، وكاميرات المراقبة الأمنية) التي تحتوي على آلاف المدخلات.
- الخريطة (الرسم البياني/Graph): عندما يقوم محقق بشري بالتحقيق، فإنه لا ينظر إلى كل شيء دفعة واحدة، بل يتبع أثراً: التنبيه (أ) يؤدي إلى المستخدم (ب)، والذي يؤدي بدوره إلى الملف المشبوه (ج). قام الباحثون بتحويل هذه المسارات إلى خريطة (رسم بياني).
- العُقد (Nodes): تحتوي الخريطة على نقاط تمثل "التنبيهات" (صافرات إنذار الشرطة) و"الكيانات" (الأشخاص أو أجهزة الكمبيوتر المعنية).
- الحواف (Edges): تُظهر الخطوط التي تربط بينهم كيفية ارتباطهم ببعضهم البعض.
- الأسئلة (الامتحان): بدلاً من أن يكتب إنسان الأسئلة، استخدموا ذكاءً اصطناعياً للنظر في هذه الخريطة وتوليد 7,542 سؤالاً.
- مثال: "لقد رأينا تسجيل دخول مشبوهاً من عنوان IP رقم X. بناءً على الخريطة، ما هو الملف الذي استخدمه المخترق لسرقة كلمات المرور؟"
- يجب على الوكيل الآلي العثور على الإجابة من خلال "القيادة" عبر خطوط الخريطة، والاستعلام من قاعدة البيانات، وربط النقاط ببعضها.
كيف يؤدي الذكاء الاصطناعي الاختبار
يتم وضع الوكيل الآلي في بيئة قاعدة بيانات MySQL (مثل خزانة ملفات ضخمة). هو لا يعرف تخطيط هذه الخزانة، لذا عليه أن:
- يطلب الخريطة: "ما هي الجداول التي لديك؟"
- يقرأ الأدلة: "أرني السجلات الخاصة بعنوان IP هذا."
- يربط النقاط: "حسناً، عنوان IP هذا مرتبط بهذا المستخدم. دعني أتحقق مما فعله هذا المستخدم."
- يقدم الإجابة: "استخدم المخترق الملف
ntdsutil.exe."
إذا حصل الوكيل الآلي على الإجابة الصحيحة، يحصل على نقطة. وإذا تعثر أو طرح أسئلة خاطئة، يحصل على درجة أقل. الاختبار يعطي حتى درجات جزئية إذا وجد الوكيل بعض الأدلة ولكن لم يصل إلى الإجابة النهائية، تماماً كما يمنح المعلم درجات على خطوات الحل.
ماذا وجدوا (النتائج)
اختبر الباحثون العديد من نماذج الذكاء الاصطناعي المختلفة (من شركات كبرى مثل OpenAI وGoogle وAnthropic، بالإضافة إلى النماذج مفتوحة المصدر) في هذا الاختبار.
- إنه صعب: حتى أكثر نماذج الذكاء الاصطناعي ذكاءً واجهت صعوبة. فقد حصل أفضل نموذج (Claude-Opus-4.5) على درجة 0.606 فقط (من أصل 1.0). وهذا يعني أنه لا يزال هناك مجال كبير للتحسين.
- لحظة الاستنتاج ("Aha!" Moment): نماذج الذكاء الاصطناعي التي حققت أفضل أداء هي تلك التي استطاعت التفكير خطوة بخطوة. فهي لم تكتفِ بالتخمين، بل استكشفت قاعدة البيانات، وأدركت أن تخمينها الأول كان خاطئاً، ثم جربت مساراً جديداً، تماماً مثل المحقق البشري.
- النماذج مفتوحة المصدر مقابل شركات التكنولوجيا الكبرى: من المثير للدهشة أن بعض النماذج الصغيرة مفتوحة المصدر قدمت أداءً يقارب أداء النماذج الضخمة والمكلفة، مما يظهر أن الفجوة تتقلص.
لماذا يهم هذا الأمر
يدعي البحث أن هذا هو أول معيار (Benchmark) من نوعه. قبل ذلك، كنا نختبر الذكاء الاصطناعي غالباً حول مدى قدرته على حفظ الحقائق السيبرانية. أما الآن، فلدينا طريقة لاختبار ما إذا كان بإمكان الوكلاء الآليين التحقيق في جريمة عبر فحص الأدلة والاستنتاج عبر سلسلة معقدة من الأحداث.
باختصار: بنى المؤلفون "مسرح جريمة" واقعياً ومجموعة من "ألغاز المحققين" لمعرفة ما إذا كان بإمكان الوكلاء الآليين تعلم العمل كمحققين في الأمن السيبراني. وتظهر النتائج أنه بينما يتحسن الذكاء الاصطناعي، إلا أنه لا يزال أمامه طريق طويل قبل أن يتمكن من استبدال محللي الأمن البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.