Evaluation Pitfalls and Multimodal Baselines for the \dataset{} IoT Malware Dataset

في العالم الرقمي، يعمل باحثو الأمن كأطباء لجهاز المناعة في أجهزة الكمبيوتر؛ حيث يبنون أدوات لرصد البرمجيات الخبيثة، أو ما يعرف بالبرامج الضارة (malware)، قبل أن تتمكن من إلحاق الضرر. ولتدريب هذه الأدوات، يحتاجون إلى مكتبات ضخمة من البيانات: تسجيلات لكيفية سلوك أجهزة الكمبيوتر عندما تكون سليمة، وتسجيلات لكيفية سلوكها عندما تكون مريضة. إن جودة بيانات التدريب هي التي تحدد مدى كفاءة أدوات الأمن الناتجة. فإذا كانت البيانات معيبة، ستفشل الأدوات في العالم الحقيقي، وغالبًا ما ستغفل عن التهديدات الخطيرة أو تطلق إنذارات كاذبة. ويتمثل أحد التحديات الرئيسية في هذا المجال في ضمان أن الطريقة التي يقسم بها الباحثون بياناتهم إلى مجموعات تدريب واختبار لا تؤدي إلى إدخال التحيز عن طريق الخطأ. فإذا رأى برنامج كمبيوتر قطعة معينة من البرمجيات الخبيثة أثناء التدريب، ثم رأى القطعة ذاتها بالضبط أثناء الاختبار، فهو لا يتعلم حقًا كيفية اكتشاف التهديدات الجديدة، بل يقوم ببساطة بحفظ الإجابة. علاوة على على ذلك، يجب على الباحثين أن يقرروا ما إذا كان سيتم تقييم أداة الأمان بناءً على مدى قدرتها على رصد لحظات فردية من النشاط المشبوه، أم بناءً على مدى قدرتها على تحديد برامج كاملة مصابة، وهو ما يمكن أن يكون مهمة مختلفة تمامًا.

لقد وجه فريق من الباحثين من جامعة تاريم اهتمامهم مؤخرًا إلى مكتبة بيانات جديدة وتفصيلية بشكل غير عادي تسمى CIC-YNU-IoTMal2026. وتعد مجموعة البيانات هذه كنزًا لخبراء الأمن لأنها تسجل ثلاثة أنواع مختلفة من المعلومات في وقت واحد لآلاف برامج الكمبيوتر. فهي ترصد حركة مرور الشبكة الواردة والصادرة، والنشاط في النظام مثل استخدام وحدة المعالجة المركزية (CPU)، والقائمة المحددة للأوامر التي يعطيها البرنامج لنظام التشغيل. وقد تم تشغيل هذه البرامج على أربعة أنواع مختلفة من شرائح الكمبيوتر لمعرفة ما إذا كان بإمكان أدوات الأمان العمل عبر أجهزة مختلفة. لم يقم الباحثون ببناء أداة أمنية جديدة، بل عملوا كمدققين؛ حيث فحصوا مجموعة البيانات نفسها لمعرفة ما إذا كانت الطرق القياسية لاختبار أدوات الأمان على هذه البيانات تخفي مشكلات خطيرة. لقد أرادوا معرفة ما إذا كانت الدرجات العالية التي سجلها باحثون آخرون حقيقية أم أنها كانت نتيجة أخطاء دقيقة في كيفية التعامل مع البيانات.

بدأ التدقيق بفحص كيفية تقسيم البيانات. والطريقة الأكثر شيوعًا هي أخذ جميع لحظات النشاط المسجلة وخلطها عشوائيًا، ووضع بعضها في كومة للتدريب وبعضها الآخر في كومة للاختبار. ووجد الباحثون أن هذا النهج كان معيبًا بشكل جوهري بالنسبة لمجموعة البيانات هذه تحديدًا. نظرًا لأن البيانات تسجل برامج كاملة، فإن خلط اللحظات يعني أن كومة الاختبار تحتوي على لحظات من برامج موجودة بالفعل في كومة التدريب. في الواقع، شاركت كل لحظة اختبار برنامجها الأصلي مع مجموعة التدريب، وكانت نسبة صغيرة من لحظات الاختبار عبارة عن نسخ متطابقة تمامًا من لحظات التدريب. وهذا يعني أن أي أداة أمنية تُختبر بهذه الطريقة كانت تُقيّم أساسًا على أسئلة رأت إجاباتها بالفعل. ورغم أن هذا لم يؤدِ إلى تضخيم الدرجات بشكل اصطناعي في مجموعة البيانات هذه، إلا أنه جعل النتائج غير موثوقة للتنبؤ بمدى نجاح الأداة في العمل على برامج جديدة تمامًا وغير مرئية. وخلص الباحثون إلى أن الطريقة الوحيدة العادلة لاختبار هذه الأدوات هي إبقاء البرامج الكاملة معًا، وضمان عدم ظهور أي برنامج في كل من مجموعتي التدريب والاختبار.

وحتى عندما أصلح الباحثون طريقة تقسيم البيانات، اكتشفوا مشكلة ثانية أكثر خداعًا. فمجموعة البيانات تحتوي على آلاف اللقطات الصغيرة من النشاط، وكثير من أدوات الأمان يتم الحكم عليها بناءً على مدى قدرتها على رصد هذه اللقطات الفردية. ووجد الباحثون أن هذه الطريقة تخفي نمط فشل خطير؛ حيث أخفقت أدوات الأمان في رصد حوالي ستة عشر بالمائة من البرامج الخبيثة في مجموعة البيانات. لم تكن هذه البرامج الخبيثة المتجاهلة معقدة، بل كانت ببساطة "خاملة"؛ فقد تم تشغيلها في بيئة الاختبار لكنها فشلت في الاستيقاظ وبدء أنشطتها الخبيثة، لذا بدت تمامًا مثل البرامج غير الضارة. ولأن البرامج الخبيثة التي استيقظت كانت "صاخبة" جدًا وأنتجت مئات من لقطات النشاط، فقد هيمنت على الإحصائيات. وهكذا غطت البرامج الخاملة الهادئة على البرامج الصاخبة، مما جعل أداة الأمان تبدو أفضل بكثير مما هي عليه في الواقع. وشدد الباحثون على أنه للحصول على صورة حقيقية للأمان، يجب تقييم الأداة بناءً على ما إذا كانت تمسك بالبرنامج بأكمله، وليس فقط باللحظات الصاخبة.

كما بحثت الدراسة في كيفية أداء الأدوات عند مواجهة أنواع مختلفة من شرائح الكمبيوتر. تضمنت مجموعة البيانات برامج تعمل على أربعة بنيات مختلفة، واختبر الباحثون ما إذا كانت الأداة المدربة على ثلاث منها يمكنها اكتشاف التهديدات على الرابعة. وكانت النتائج صارخة؛ فعندما تم اختبار الأداة على نوع معين من الشرائح يسمى ARM، وهو شائع في العديد من الأجهزة الصغيرة، انهارت الأداة. أصبحت الأداة غير موثوقة لدرجة أنها صنفت البرامج غير الضارة كبرامج خطيرة بنسبة تقارب ثمانين بالمائة، بينما ظلت تمسك بمعظم البرمجيات الخبيثة الفعلية. لم يكن هذا الفشل بسبب عدم قدرة الأداة على التعرف على البرمجيات الخبيثة، بل لأن البرامج غير الضارة على شريحة ARM كانت تتصرف بشكل مختلف عن البرامج غير الضارة على الشرائح الأخرى. لقد تعلمت الأداة الأنماط الخاطئة لما يجب أن يبدو عليه الشيء "الطبيعي" على تلك الأجهزة المحددة. ووجد الباحثون أن هذه المشكلة يمكن حلها بتكلفة زهيدة جدًا؛ فمن خلال عرض جزء ضئيل فقط من البرامج غير الضارة للشريحة الجديدة على الأداة — أقل من واحد بالمائة من إجمالي البيانات — استعاد أداء الأداة فورًا مستواه القريب من المثالية. وهذا يشير إلى أن الحل للأمن عبر مختلف الشرائح ليس في خوارزميات جديدة معقدة، بل في تعريض الأداة لبعض الأمثلة من البيئة الجديدة.

أخيرًا، نظر الباحثون في الأنواع المختلفة من البيانات المتاحة: حركة مرور الشبكة، ونشاط النظام، وتتبعات الأوامر. ووجدوا أنه في بيئة محكومة، جعل دمج الأنواع الثلاثة من البيانات أدوات الأمان شبه مثالية. ومع ذلك، كانت هذه المثالية هشة؛ فعندما أُجبرت الأدوات على الاعتماد فقط على حركة مرور الشبكة، فقدت البرامج الخاملة. وعندما اعتمدت فقط على تتبعات الأوامر، فشلت تمامًا عندما تغيرت بنية الشريحة. وتبين أن المزيج الأكثر قوة هو مزيج من حركة مرور الشبكة ونشاط النظام، والذي تجنب نقاط الضعف المحددة للطرق الأخرى. كما لاحظ الباحثون أن النوع المحدد للنموذج الرياضي المستخدم لبناء الأداة لم يكن ذا أهمية كبيرة؛ فسواء استخدموا نموذجًا خطيًا بسيطًا أو شبكة عصبية معقدة، كانت النتائج متطابقة تقريبًا. وقد أثبت هذا أن العامل الأكبر في النجاح لم يكن تعقيد الأداة، بل الخيارات المتخذة بشأن كيفية تقسيم البيانات، وكيفية تعريف النجاح، وكيفية التعامل مع الأنواع المختلفة من شرائح الكمبيوتر.

تختتم الورقة البحثية بمجموعة من الإرشادات الواضحة لأي شخص يستخدم مجموعة البيانات هذه. فهم يوصون دائمًا بإبقاء البرامج الكاملة معًا عند تقسيم البيانات، والإبلاغ عن النتائج بناءً على ما إذا كانت البرامج الكاملة قد تم رصدها أم لا، بدلاً من مجرد رصد اللحظات الفردية، وضرورة الشفافية بشأن كيفية التعامل مع البرامج غير المعروفة أو غير المصنفة. كما يحثون الباحثين على اختبار أدواتهم على شرائح كمبيوتر مختلفة، والإبلاغ عن مدى تباين النتائج إذا تم إجراء التجربة عدة مرات. إن الخلاصة الأهم هي أن الطريق نحو أمن أفضل لا يكمن في بناء نماذج أكثر تعقيدًا، بل في طرح أسئلة أفضل واستخدام بيانات أنظف. فمن خلال إصلاح طرق التقييم، يمكن للمجتمع ضمان أن الأدوات التي يبنونها ستعمل بالفعل عندما تكون هناك حاجة ماسة إليها.