CyberThreat-Eval: Can Large Language Models Automate Real-World Threat Research?
تقدم هذه الورقة CyberThreat-Eval، وهو معيار مرجعي مُصنف من قبل خبراء ومستمد من سير عمل استخبارات التهديدات السيبرانية في العالم الحقيقي، والذي يعالج أوجه القصور في التقييمات الحالية من خلال تقييم النماذج اللغوية الكبيرة عبر مسار العمل الكامل من الفرز إلى إعداد التقارير باستخدام مقاييس تركز على المحلل، مما يكشف عن فجوات كبيرة في قدرة النماذج الحالية على التعامل مع الرؤى الأمنية الدقيقة والقابلة للتنفيذ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قبطان سفينة ضخمة (شركة تقنية عالمية) تبحر في محيط عاصف مليء بالقراصنة غير المرئيين (مجرمي الإنترنت). مهمتك هي رصد هؤلاء القراصنة، وفهم خططهم، وتحذير طاقمك قبل أن يهاجموا.
لسنوات طويلة، كانت هذه المهمة تُنجز بواسطة "مراقبين" بشريين (محللي الأمن). يقضون ساعات في قراءة آلاف التقارير الإخبارية والمنتديات والمدونات للعثور على أدلة. إنه عمل مرهق، بطيء، وعرضة للخطأ البشري.
هنا يأتي دور نماذج اللغات الكبيرة (LLMs) — مساعدو الذكاء الاصطناعي الذين يعدون بالقيام بهذا العمل نيابة عنا. لكن هناك عقبة: هل يستطيع مساعدو الذكاء الاصطناعي القيام بالمهمة حقاً، أم أنهم مجرد ببغاوات مزخرفة تكرر ما سمعته؟
هذه الورقة البحثية، بعنوان "CyberThreat-Eval"، تشبه "اختبار قيادة" صارم لهؤلاء المساعدين من الذكاء الاصطناعي. لقد صمم المؤلفون (من مايكروسوفت وهونج كونج لعلوم التكنولوجيا وجامعة هونج كونج) اختباراً جديداً وواقعياً ليروا ما إذا كان بإمكان الذكاء الاصطناعي استبدال المراقبين البشر أو مساعدتهم.
إليك تفصيل نتائجهم، مشروحة ببساطة:
1. الاختبارات القديمة كانت تشبه اختبارات "الاختيار من متعدد"
كانت الاختبارات السابقة للذكاء الاصطناعي في مجال الأمن السيبراني تشبه الاختبارات المدرسية: "من هو الشرير في هذه القصة؟ أ) بوب، ب) أليس، ج) تشارلي".
- المشكلة: العمل الأمني الحقيقي ليس اختباراً. المراقب البشري لا يحصل على قائمة خيارات. بل يحصل على كومة فوضوية من المقالات الإخبارية وعليه أن يكتشف: "هل هذا مهم؟ من الذي يهاجمنا؟ وكيف يفعلون ذلك؟"
- الاختبار الجديد: صمم المؤلفون CyberThreat-Eval، وهو اختبار يحاكي الوظيفة الحقيقية. يتكون من ثلاث مراحل، تماماً مثل يوم عمل المحلل البشري:
- الفرز (المصفاة): غربلة جبل من رسائل البريد العشوائي للعثور على الرسائل القليلة التي قد تمثل تهديدات.
- التعمق (المحقق): إذا وُجد تهديد، يجب على الذكاء الاصطناعي البحث عن المزيد من الأدلة على الإنترنت لبناء صورة كاملة.
- التقرير (الراوي): كتابة تقرير واضح وقابل للتنفيذ للقبطان يشرح من فعل ذلك، وكيف فعله، وماذا يجب فعله بعد ذلك.
2. النتائج: الذكاء الاصطناعي باحث ممتاز، لكنه محقق سيء
اختبر المؤلفون أربعة نماذج مختلفة من الذكاء الاصطناعي. وإليكم ما وجدوه:
مشكلة "الفرز" (كثرة الإنذارات الكاذبة):
تخيل جهاز إنذار للحريق يعمل في كل مرة تحمص فيها الخبز. كان الذكاء الاصطناعي بارعاً في إيجاد التهديدات المحتملة (نادراً ما فاته تهديد حقيقي)، ولكنه أيضاً صنف مقالات غير ضارة على أنها خطيرة.- التشبيه: الأمر يشبه حارس أمن يوقف كل شخص يدخل المبنى، حتى الأشخاص الذين يسلمون البيتزا فقط. هذا يخلق الكثير من العمل للبشر لتنظيف الفوضى خلفه.
مفاجأة "البحث العميق":
عندما طُلب منها البحث عن مزيد من الأدلة، كانت نماذج الذكاء الاصطناعي القياسية (مثل GPT-4o) أفضل في إيجاد روابط جديدة ومفيدة من النماذج المتخصصة التي تم "ضبطها بدقة".- التشبيه: النماذج المتخصصة كانت مثل الخبراء الذين يقرؤون نوعاً واحداً محدداً من الكتب فقط. كانوا يعرفون الكثير عن ذلك الكتاب الواحد لكنهم لم ينظروا خارج مكتبتهم. أما النماذج العامة فكانت مثل الأطفال الفضوليين الذين يركضون في أرجاء المكتبة بأكملها ويجدون جواهر مخفية.
صراع "سرد القصص":
عندما طُلب منها كتابة التقرير النهائي:- جيد في "كيف": كان الذكاء الاصطناعي ممتازاً في شرح آليات الهجوم (مثلاً: "استخدموا فيروساً لكسر الباب").
- سيئ في "من" و"لماذا": واجه الذكاء الاصطناعي صعوبة في شرح من هم الأشرار ودوافعهم. غالباً ما قدم إجابات غامضة أو اختلق معلومات (الهلوسة).
- التشبيه: الذكاء الاصطناعي بارع في وصف مسرح الجريمة (نافذة مكسورة، آثار أقدام طينية) ولكنه سيئ جداً في تحديد المجرم أو دوافعه. قد يقول: "اللص هو رجل يدعى بوب"، بينما اللص الحقيقي هو مجموعة تسمى "نقابة الظل".
3. الحل: "وكيل بحث التهديدات" (TRA)
بما أن الذكاء الاصطناعي ليس مثالياً بمفرده، فقد بنى المؤلفون نظاماً هجيناً يسمى TRA. فكر في هذا كـ فريق من اثنين: الذكاء الاصطناعي والخبير البشري.
كيف يعمل:
- يقوم الذكاء الاصطناعي بالعمل الشاق: يقرأ المقالات، يجد الأدلة، ويصيغ مسودة التقرير.
- خطوة "التحقق من الحقائق": قبل إرسال التقرير إلى القبطان، يقوم النظام تلقائياً بالتحقق من حقائق الذكاء الاصطناعي مقابل قواعد بيانات موثوقة (مثل موسوعة رقمية للمجرمين المعروفين). إذا قال الذكاء الاصطناعي: "الرجل السيئ هو بوب"، يتحقق النظام: "هل بوب موجود فعلاً في قاعدة البيانات؟" إذا لم يكن كذلك، فإنه يضع علامة تحذير.
- الحلقة البشرية: يقوم خبير بشري بمراجعة مسودة الذكاء الاصطناعي. هم لا يبدأون من الصفر؛ بل يقومون فقط بتصحيح أخطاء الذكاء الاصطناعي وإضافة "اللمسة البشرية" (السياق، الدقة، والحدس).
النتيجة: حول هذا النهاق المزدوج "المسودات الأولية" للذكاء الاصطناعي إلى تقارير "جاهزة للنشر". وجد الذكاء الاصطنا_ي تفاصيل فات على الإنسان ملاحظتها، بينما قام الإنسان بتصحيح أخطاء الذكاء الاصطناعي.
الخلاصة الكبرى
الذكاء الاصطناعي ليس مستعداً لاستبدال محللي الأمن البشر بعد. فهو عرضة جداً لتأليف الحقائق وإساءة فهم "الصورة الكبيرة".
ومع ذلك، الذكاء الاصطناعي هو "مساعد خارق" مذهل. إذا دمجته مع خبراء بشريين وزودته بأدوات للتحقق من حقائقه، يمكنه القيام بـ 80% من العمل الممل، مما يسمح للبشر بالتركيز على الـ 20% التي تتطلب تفكيراً عميقاً وحدساً.
باختصار: لا تترك الذكاء الاصطناني يقود السفينة وحده. ولكن اجعله يكون "المساعد الأول" الذي يمسح الأفق، طالما أن القبطان (الإنسان) موجود هناك ليوجه المسار ويتحقق منه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.