Evaluating LLM Generated Detection Rules in Cybersecurity
تقدم هذه الورقة إطار عمل مفتوح المصدر ومقاييس مرجعية مصممة لتقييم فعالية قواعد الكشف عن الأمن السيبراني المُنشأة بواسطة النماذج اللغوية الكبيرة من خلال مقارنتها بالقواعد التي أنشأها البشر باستخدام منهجية مجموعة البيانات الاحتياطية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمدينة ضخمة وصاخبة، حيث كل بريد إلكتروني هو رسالة تسافر عبر نظام البريد. في هذه المدينة، يوجد فاعلون سيئون يحاولون التسلل برسائل مزيفة، وعمليات احتيال، وفيروسات متنكرة في شكل ملاحظات ودية. ولإيقافهم، نوظف "محققين" يكتبون قواعد محددة لرصد هؤلاء المشاغبين. على سبيل المثال، قد تقول قاعدة ما: "إذا جاءت رسالة من عنوان مشبوه وتحتوي على مرفق غريب، فقم بتمييزها!". هذه القواعد هي حراس الأمن لمدينتنا الرقمية.
لفترة طويلة، كان المحققون البشر فقط هم من يستطيعون كتابة هذه القواعد. لقد درسوا آلاف الرسائل، وتعلموا حيل المهنة، وكتبوا تعليمات دقيقة للإيقاع بالأشرار. ولكن مؤخرًا، وصل نوع جديد من المحققين: الذكاء الاصطناعي (AI). هؤلاء الوكلاء من الذكاء الاصطناعي يشبهون متدربين فائق السرعة يمكنهم قراءة التعليمات وكتابة قواعدهم الخاصة في ثوانٍ. السؤال الكبير الذي يشغل بال الجميع هو: هل يمكن لهؤلاء المتدربين من الذكاء الاصطناعي القيام بالمهمة حقًا؟ أم أنهم يكتبون فقط قواعد تبدو ذكية ولكنها تفشل في الإمساك بالمجرمين الحقيقيين، أو الأسوأ من ذلك، يبدأون في الصراخ "حريق!" في وجه الأبرياء؟ هذا هو اللغز الذي سعى فريق من الباحثين في "Sublime Security" لحله. لقد أرادوا معرفة ما إذا كان بإمكان الذكاء الاصطناعي كتابة قواعد أمنية بجودة الخبراء البشر، وإذا كان الأمر كذلك، فكم سيكلف الحفاظ على عمل هذا الذكاء الاصطناعي.
تقدم الورقة البحثية طريقة جديدة لاختبار هؤلاء المحققين من الذكاء الاصطناعي، مع التركيز على وكيل ذكاء اصطناعي محدد يسمى ADÉ (يُنطق "آ-دي"). تم تصميم ADÉ ليفحص رسالة إلكترونية خبيثة واحدة ويكتب قاعدة للإمساك برسائل سيئة مماثلة في المستقبل. لم يكتفِ الباحثون بسؤال: "هل نجح الأمر؟"، بل بنوا نظام تسجيل مفصلًا لقياس ثلاثة أشياء: مدى جودة التقاط القاعدة للرسائل السيئة (الدقة)، ومدى احتمالية تعطل القاعدة إذا قام مخترق بتغيير تفصيل صغير (المتانة)، وكم تبلغ التكلفة الاقتصادية لجعل الذكاء الاصطناعي يكتب قاعدة ناجحة (التكلفة الاقتصادية).
لاختبار ADÉ، لعب الباحثون لعبة "الغميضة" الماكرة مع القواعد التي كتبها البشر. فقد أخذوا قائمة من القواعد الممتازة التي صنعها البشر من مجموعة Sublime Security وأخفوا واحدة منها عن ذاكرة ADÉ سرًا. ثم عرضوا على ADÉ رسالة إلكترونية سيئة واحدة كان من المفترض أن تمسكها القاعدة المخفية وسألوه: "هل يمكنك كتابة قاعدة للإمساك بهذه؟". بعد أن كتب ADÉ قاعدته، قارنه الباحثون بالقاعدة البشرية الأصلية باستخدام قاعدة بيانات ضخمة تضم 45,000 رسالة إلكترونية.
كانت النتائج مزيجًا من المهارات المثيرة للإعجاب والقيود المفهومة. فعندما يتعلق الأمر بكتابة قواعد يصعب خداعها (المتانة)، أدى ADÉ أداءً جيدًا بشكل مفاجئ، حيث سجل درجات تقارب تلك التي سجلها الخبراء البشر. على سبيل المثال، في الاختبارات التي تضمنت رسائل إلكترونية تحتوي على كود "JavaScript" مخفي، كانت قواعد ADÉ صعبة التجاوز تمامًا مثل القواعد البشرية. ومع ذلك، كان ADÉ أكثر حذرًا؛ فبينما كتب الخبراء البشر قواعد واسعة النطاق مصممة للإمساك بآلاف الرسائل السيئة بناءً على سنوات من الخبرة، كتب ADÉ قواعد ضيقة جدًا بناءً على الرسالة الوحيدة التي عُرضت عليه فقط. ونتيجة لذلك، أمسك ADÉ بعدد إجمالي أقل من الرسائل السيئة (الإيجابيات الحقيقية)، ولكنه أيضًا ارتكب أخطاء أقل بكثير في تصنيف الرسائل الجيدة (الإيجابيات الكاذبة). في الواقع، في بعض الاختبارات، كانت قواعد ADÉ خالية من الإنذارات الكاذبة، بينما كانت القواعد البشرية أحيانًا تصنف بعض الرسائل البريئة كرسائل سيئة.
كما درست الدراسة "تكلفة" استخدام الذكاء الاصطناعي. فكتابة قاعدة ليست مجانية؛ ففي كل مرة يحاول فيها الذكاء الاصطناعي كتابة كود ويفشل، فإنه يكلف مالاً لتشغيل الكمبيوتر. وجد الباحثون أن ADÉ عادة ما يحتاج من محاولة واحدة إلى 3 محاولات لكتابة قاعدة تجتاز الفحوصات التقنية. وقد تُرجم هذا إلى تكلفة منخفضة جدًا، تتراوح بين 1.51 و5.13 دولارًا لكل قاعدة ناجحة، اعتمادًا على تعقيد المهمة. ومن المثير للاهتمام أن الذكاء الاصطناعي مال إلى كتابة تعليقات أكثر تفصيلًا تشرح منطقه مقارنة بالمؤلفين البشر، مما يجعل القواعد أسهل في القراءة.
في النهاية، تشير الورقة البحثية إلى أن وكلاء الذكاء الاصطناعي مثل ADÉ أصبحوا قادرين على كتابة قواعد أمنية عالية الجودة، خاصة عندما يتعلق الأمر بتجنب الإنذارات الكاذبة والبقاء ضمن الميزانية. ومع ذلك، فهم ليسوا مستعدين تمامًا لاستبدال الخبراء البشر بالكامل. نظرًا لأن الذكاء الاصطناعي لا يرى سوى رسالة واحدة في كل مرة، فإنه يكافح لكتابة القواعد الواسعة والشاملة التي يصنعها البشر. ويخلص الباحثون إلى أنه بينما يعد الذكاء الاصطناعي أداة قوية يمكنها التعامل مع مهام محددة بكفاءة، فإن أفضل أمن يأتي من شراكة حيث يتولى الذكاء الاصطناعي العمل الشاق في كتابة القواعد، بينما يوجه الخبراء البشر الاستراتيجية لضمان أن القواعد تصطاد أوسع شبكة من التهديدات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.