DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction
تقدم الورقة البحثية DiagChain، وهو معيار تشخيصي يضم 69 سيناريو متنوعًا وإطار عمل ECRAG لتقييم وكلاء النماذج اللغوية الكبيرة (LLMs) في إعادة بناء سلسلة الهجمات القائمة على الأدلة، كاشفةً أنه في حين تعاني النماذج الأكبر من صعوبة في ترتيب الأدلة، تفشل النماذج الأصغر في عملية دمج الأدلة الأساسية، مما يسلط الضوء على الحاجة إلى التقييم المرحلي بدلاً من الدقة الإجمالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز ما، ولكن بدلاً من مسرح جريمة حقيقي، أنت تنظر إلى مسرح جريمة رقمي. "الأدلة" مبعثرة في كل مكان: ملايين الأسطر من سجلات الكمبيوتر، وتنبيهات الأمان، وسجلات النظام. في عالم الأمن السيبراني، يستخدم الخبراء النماذج اللغوية الكبيرة (LLMs) — وهي روبوتات دردشة ذكية للغاية مدربة على كميات هائلة من النصوص — لتعمل كـ "محققين رقميين". من المفترض أن تقرأ هذه الوكلاء الذكية الأدلة الفوضوية، وتفهم ما حدث، وتكتب قصة الهجوم بالترتيب الصحيح. تسمى هذه العملية "إعادة بناء سلسلة الهجوم" (attack chain reconstruction). الأمر يشبه محاولة مشاهدة فيلم تم تقطيعه إلى آلاف الإطارات العشوائية، ثم الطلب من شخص ما إعادة ترتيب تلك الإطارات لتسلسل القصة الصحيح.
ولكن تكمن المشكلة هنا: معظم الاختبارات التي تُجرى على هؤلاء المحققين الذكيّين تنظر فقط إلى القصة النهائية التي يكتبونها. إذا كانت القصة خاطئة، تقول الاختبار "فشل"، لكنها لا تخبرك لماذا. هل فات المحقق دليلاً ما؟ هل وجدوا الأدلة لكنهم نسوا كتابتها؟ أم أنهم وجدوا الأدلة الصحيحة ولكن وضعوها في الترتيب الخاطئ؟ نحن بحاجة إلى طريقة للنظر داخل عقل المحقق الذكي أثناء عمله لنرى بالضبط أين يتعثر. وهنا يأتي دور الورقة البحثية الجديدة، DiagChain. فهي تقدم أرضية اختبار خاصة مصممة ليس فقط لتقييم الإجابة النهائية، بل لتشخيص الخطوات المحددة التي يفقد فيها المحقق الذكي أثر الجريمة.
قام مؤلفو هذه الورقة، وهم باحثون من جامعة تسينغهوا ومؤسسة CRRC، ببناء معيار جديد يسمى DiagChain لإصلاح هذه الفجوة. لقد أنشأوا مجموعة بيانات تسمى MAIN-69، تتكون من 69 "مسرح جريمة" (سيناريو) تتراوح من البسيطة إلى المعقدة للغاية. تأتي هذه المشاهد من بيانات واقعية مثل سجلات Linux، وأحداث Windows، وتنبيهات السحابة (cloud alerts). ولجعل الاختبار واقعياً، أضافوا مستويات مختلفة من "الضجيج" — مثل إضافة ضوضاء خلفية غير ضارة إلى الأدلة لمعرفة ما إذا كان الذكاء الاصطناعي سيتشتت. كما قاموا بتغيير أطوال سلاسل الهجوم، من نبضات نشاط قصيرة إلى عمليات اختراق طويلة وممتدة.
لاختبار الذكاء الاصطناعي، استخدموا سير عمل خاصاً يسمى ECRAG (التوليد المعزز بالاسترجاع المتمحور حول الأدلة). فكر في هذا الأمر كأنك تعطي المحقق الذكي عدسة مكبرة ودفتر ملاحظات يُحدث نفسه تلقائياً. يجب على الذكاء الاصطناعي البحث عن الأدلة، وتجميعها معاً، وتحديد الجدول الزمني، ثم كتابة القصة، كل ذلك مع التحقق المستمر من عمله. قام الباحثون بعد ذلك بقياس أداء الذكاء الاصطناعي باستخدام خمسة "فحوصات صحية" محددة بدلاً من مجرد درجة نهائية واحدة:
- الاسترجاع (Retrieval): هل وجد الذكاء الاصطناعي الأدلة؟
- التجميع (Grouping): هل وضع الأدلة ذات الصلة في الحاويات الصحيحة؟
- الترتيب (Ordering): هل رتب الأحداث في التسلسل الزمني الصحيح؟
- التأسيس (Grounding): هل استخدم بالفعل الأدلة التي وجدها لدعم قصته؟
- فجوة الإسناد (Attribution Gap): هل وجد دليلاً، ونظر إليه، ثم نسي ذكره في التقرير النهائي؟
كانت النتائج كاشفة. فحتى أكثر إعدادات الذكاء الاصطناعي ذكاءً لم تتمكن إلا من تنفيذ 39.6% فقط من خطوات المرجع البالغ عددها 849 خطوة في مجموعة بيانات MAIN-69 بشكل صحيح تماماً دون ارتكاب خطأ سابق. تشير الورقة إلى أن نوع نموذج الذكاء الاصطناعي يلعب دوراً كبيراً في تحديد مكان فشله. غالباً ما تعاني النماذج الأصغر من الأساسيات: تجد الدليل ولكنها تفشل في دمجه في قصتها النهائية، مما يعني عملياً إسقاط الأدلة. أما النماذج الأكبر والأقوى، فهي أفضل في العثور على الأدلة والاحتفاظ بها، لكنها غالباً ما تتعثر عندما تحاول وضعها في الترتيب الصحيح. إنه يشبه الفرق بين محقق صغير يجد المسدس ولكنه ينسى تدوينه، مقابل محقق عملاق يجد المسدس، وبصمات الأصابع، والخريطة، ولكنه يخلط الجدول الزمني لعملية السطو تماماً.
كما اختبر الباحثون ما يحدث إذا منحوا الذكاء الاصطناي مزيداً من الوقت أو المزيد من "ميزانية البحث" (السماح له بالنظر في المزيد من الأدلة). ووجدوا أن مجرد إعطاء الذكاء الاصطناعي المزيد من الموارد لا يعالج المشكلة تلقائياً. فبينما يساعد النظر في المزيد من الأدلة الذكاء الاصطناعي على العثور على المزيد من الأدلة، إلا أنه لا يضمن أن الذكاء الاصطناعي سينظم هذه الأدلة بشكل صحيح أو سيتوقف عن ارتكاب الأخطاء في عملية التجميع النهائية. في الواقع، بالنسبة لبعض النماذج، جعل النظر في الكثير من الأدلة المهمة أكثر صعوبة دون وجود استراتيجية أفضل.
في النهاية، تجادل الورقة بأننا بحاجة إلى التوقف عن النظر فقط في النتيجة النهائية والبدء في تشخيص العملية. تشير النتائج إلى أن جعل نماذج الذكاء الاصطناعي أكبر لا يحل مشكلة "تجميع السلسلة"؛ بل ينقل الاختناق من "العثود على الأدلة" إلى "تنظيم الأدلة". لبناء وكلاء أمن سيبراني موثوقين حقاً، نحتاج إلى تصميم أنظمة بارعة خصيصاً في أخذ الأدلة التي تجدها ونسجها في قصة متماسكة ومرتبة ومستندة إلى الواقع، بدلاً من مجرد الأمل في أن تكتشف النماذج الأكبر الأمر بمفردها. يقدم المؤلفون الكود الخاص بهم وبياناتهم حتى يتمكن الآخرون من الاستمرار في اختبار وتحسين هؤلاء المحققين الرقميين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.