Related Families, Not Label Errors: A Case Study of a Failure Mode in Open-World Malware Evaluation on BODMAS
تُثبت هذه الورقة أن ضعف أداء كشف البرمجيات الخبيثة في العالم المفتوح على معيار BODMAS ليس ناتجاً عن أخطاء في التصنيف أو عيوب في الكاشف، بل بسبب وجود عائلات وثيقة الصلة في مجموعة التدريب تجعل العينات "المستجدة" المحجوزة مألوفة في الواقع لطرق تسجيل الحداثة غير الخاضعة للإشراف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الرقمي، يبني باحثو الأمن برامج مصممة لتعمل كحراس، تقوم بمسح مستمر للبرمجيات الخبيثة التي تهدد أجهزة الكمبيوتر. هذه البرامج مدربة على التعرف على التهديدات المعروفة، لكن التحدي الحقيقي يكمن في "العالم المفتوح"، حيث تظهر أنواع جديدة تماماً من البرمجيات الخبيثة كل يوم. وللاختبار ما إذا كان هؤلاء الحراس مستعدين حقاً للمجهول، يستخدم الباحثون طريقة محددة: يقومون بإخفاء مجموعة كاملة من البرمجيات الخبيعة المعروفة عن برنامج التدريب، ثم يسألون: "هل يمكن لنظامك رصد هذه المجموعة الجديدة كشيء لم يره من قبل؟" إذا حدد النظام المجموعة المخفية كـ "غريب"، فإنه يجتاز الاختبار. يفترض هذا الإجراء أن المجموعة المخفية فريدة حقاً وليس لها أقارب مقربون في بيانات التدريب. وإذا كانت المجموعة المخفية في الواقع "ابنة عم" لمجموعة يعرفها النظام بالفعل، فإن الاختبار ينهار، ليس لأن النظام ضعيف، بل لأن السؤال المطروح معيب.
استقصى فريق من الباحثين مؤخًا فشلاً محيراً في أحد أكثر الاختبارات احتراماً في مجال اكتشاف البرمجيات الخبيثة، والمعروف باسم BODMAS. ووجدوا أنه عندما أزالوا عائلة محددة من البرمجيات الخبيثة تسمى berbew من بيانات التدريب، فشل نظام الكشف بشكل ذريع. فبدلاً من تحديد العينات المخفية كتهديدات جديدة، صنفها النظام بثقة كبرمجيات آمنة ومعروفة. كانت النتائج سيئة للغاية لدرجة أن أداء النظام كان أسوأ من التخمين العشوائي. للوهلة الأولى، بدا هذا وكأنه فشل كارثي لتقنية الكشف. ومع ذلك، اكتشف الباحثون أن الخطأ لم يكن في ذكاء البرنامج، بل في هيكلية الاختبار نفسه. فقد كانت لعائلة berbew المخفية قريبة جداً، وهي عائلة تسمى qukart، ظلت موجودة في بيانات التدريب. ولأن المجموعتين متشابهتان جداً في بصماتهما الرقمية، فقد تعرف النظام بشكل صحيح على أن العينات المخفية تنتمي إلى عائلة يعرفها بالفعل، رغم أنه لم يعرف الاسم المحدد للمجموعة المخفية. لقد عاقب الاختبار النظام لأنه كان دقيقاً بشأن العلاقة بين المجموعتين.
ولإثبات ذلك، أجرى الباحثون تجربة منضبطة. قاموا بإزالة عائلتي berbew و qukart من بيانات التدريب في وقت واحد، مما ضمن عدم ترك أي أقارب مقربين خلفهم. وعندما أعادوا تشغيل الاختبار مرة أخرى، ارتفع أداء النظام على عينات berbew من درجة الفشل إلى الكشف شبه المثالي. أكد هذا التحول الدراماتيكي أن الفشل الأصلي كان ناتجاً عن وجود عائلة ذات صلة في مجموعة التدريب، وليس بسبب خلل في خوارزمية الكشف. وقد كان الباحثون حريصين على استبعاد التفسيرات الشائعة الأخرى؛ حيث قاموا بمراجعة قاعدة البيانات بأكملها، وفحص آلاف الأزواج من عائلات البرمجيات الخبيثة لمعرفة ما إذا كانت أي منها في الواقع نسخاً مكررة بأسماء مختلفة، مما قد يسبب الارتباك، ولم يجدوا أي تكرار بين الأزواج الأكثر إثارة للشك. كما فحصوا اصطلاحات التسمية المستخدمة من قبل شركات مكافحة الفيروسات، والتي غالباً ما تجمع البرمجيات الخبيبة المرتبطة ببعضها تحت اسم سلالة واحدة. واكتشفوا أن هذه الأسماء لم تتنبأ بالمشكلة؛ ففي حالة موثقة، اعتبرت ثلاث عائلات جزءاً من نفس السلالة، لكن اثنتين فقط منهن كانتا قريبتين بما يكفي لإرباك النظام، بينما كانت الثالثة متميزة، مما أظهر أن الاعتماد على الأسماء وحدها كان سيؤدي لدمج المجموعات الخاطئة وتجاهل المشكلة الحقيقية.
وكشفت الدراسة أيضاً أن هذا الارتباك كان خاصاً بالطريقة التي يقيس بها النظام "الجدة" (الشيء الجديد). اختبر الباحثون عدة مناهج رياضية مختلفة لرصد المجهول، ووجدوا أن أي منهج يقارن عينة بملخص عالمي واسع لجميع البرمجيات المعروفة سيفشل عند وجود قريب وثيق. فهذه المناهج سترى العينة المخفية كشيء طبيعي لأنها قريبة من القريب المعروف. ومع ذلك، فإن نهجاً مختلفاً، يقوم بمقارنة العينة فقط بجيرانها الأقرب، قدم أداءً أفضل؛ فهو لم يعطِ الإجابة الصحيحة تماماً، لكنه لم يقلب النتيجة بالكامل، مما يشير إلى أن النظر في التفاصيل المحلية بدلاً من المتوسط العالمي هو استراتيجية أكثر أماناً عند وجود أقارب مقربين. كما لاحظ الباحثون أن النظام الخاضع للإشراف (supervised system)، والذي سُمح له باستخدام أسماء العائلات أثناء التدريب، استطاع الفصل بين المجموعتين بفعالية، مما يثبت أن التصنيفات كانت صحيحة وأن العائلات كانت متميزة، وإن كانت متشابهة جداً.
الدرس الجوهري من هذا العمل هو أن الطريقة التي نختبر بها برامج الأمن تحتاج إلى تغيير. إن مجرد الإبلاغ عن درجة متوسطة واحدة لكيفية اكتشاف النظام للتهديدات الجديدة يخفي هذه الإخفاقات الحرجة. ويجادل الباحثون بأنه قبل إعلان نجاح أي اختبار، يجب أولاً قياس مدى قرب المجموعات المخفية من المجموعات المستخدمة في التدريب. فإذا كان للمجموعة المخفية "ابن عم" قريب في مجموعة التدريب، فإن الاختبار لا يقيس القدرة على إيجاد المجهول حقاً، بل يقيس القدرة على التمييز بين المعروفات المتشابهة جداً. والحل ليس في إزالة هذه العائلات المرتبطة من الاختبار، لأنها تمثل تهديدات واقعية يجب على فرق الأمن التعامل معها. بدلاً من ذلك، ينبغي للباحثين الإبلاغ عن النتائج بشكل منفصل للعائلات التي لديها أقارب مقربون وتلك التي ليس لديها. تضمن هذه الشفافية عدم معاقبة النظام ظلماً لأنه حدد بدقة سلالة معروفة، وتوفر صورة أوضح لمكان وقوف التكنولوجيا حقاً. ومن خلال توثيق نمط الفشل المحدد هذا والخطوات المتخذة لفهمه، يأمل الباحثون في منع الآخرين من تكرار نفس الأخطاء وتشجيع تقييم أكثر صدقاً لمدى قدرة حراسنا الرقميين على رؤية المجهول حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.