Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

تخيل الإنترنت كمدينة ضخمة وصاخبة حيث تنتقل ملايين الرسائل الرقمية بين المباني كل ثانية. وللحفاظ على أمن هذه المدينة، يقف حراس أمن (يُطلق عليهم أنظمة كشف التسلل) عند البوابات، يفحصون كل طرد بحثاً عن أي علامات للمتاعب. لفترة طويلة، اعتمد هؤلاء الحراس على كتاب ضخم وثقيل لـ "الأشرار المعروفين" لرصد التهديدات. لكن المتسللين أذكياء؛ فهم يبتكرون حِيلاً جديدة كل يوم ليست موجودة في الكتاب بعد. لذا، بدأ العلماء في تعليم الحراس كيف يفكرون بأنفسهم باستخدام "التعلم العميق" (Deep Learning)—وهو نوع من عقول الكمبيوتر التي تتعلم الأنماط من خلال النظر في آلاف الأمثلة.

ومع ذلك، هناك عقبة. فهذه العقول الحاسوبية فائقة الذكاء ضخمة وجائعة. فهي تحتاج إلى كميات هائلة من الذاكرة والطاقة، وهو أمر مقبول في خادم عملاق داخل مركز بيانات، ولكنه سيء للغاية للأجهزة الصغيرة التي تعمل بالبطارية والتي تحرس منازلنا وأجهزة التوجيه الخاصة بنا (مثل الحواسيب الصغيرة داخل منظم الحرارة الذكي أو مفتاح الشبكة). لقد حاول العلماء تقليص حجم هذه العقول دون كسرها، باستخدام تقنية تُسمى "التقليم" (Pruning). فكر في التقليم مثل تقليم الشجيرات: أنت تقطع الأغصان (أو في هذه الحالة، الوصلات غير المستخدمة داخل عقل الكمبيوتر) لتجعله أصغر وأسرع. كان الافتراض الكبير في عالم التكنولوجيا دائماً هو: "إذا قطعت 75% من الوصلات، فسيكون العقل أخف بنسبة 75% وسيعمل بشكل أسرع بكثير".

ولكن ماذا لو كان هذا الافتراض خاطئاً؟ ماذا لو، بعد كل هذا القص، ظل العقل يعمل بنفس البطء لأن الطريقة التي بُني بها لا تسمح له فعلياً بتخطي الأماكن الفارغة؟ هذا هو اللغز الذي تسعى هذه الورقة البحثية لحله.

---

تجربة التقليم الكبرى

في هذه الدراسة، قرر باحث يدعى إيشان ميشرا وضع فكرة "القص يجعل الشيء أسرع" تحت الاختبار النهائي. لم يكتفِ بتشغيل الأرقام على حاسوب خارق قوي؛ بل أخذ عقل الكمبيوتر الخاص به ووضعه على Raspberry Pi 5—وهو لوحة حاسوب صغيرة وبأسعار معقولة تشبه لوحة دوائر خضراء، وهي نوع من الأجهزة التي قد تجدها في نظام أمني حقيقي.

قام ببناء "شبكة عصبية عميقة متعددة المصنفات" (Multi-Classifier Deep Neural Network)، وهي طريقة معقدة لقول عقل كمبيوتر بـثلاث طبقات مختلفة من التفكير، كل منها يتحقق من وجود مشاكل. قام بتدريب هذا العقل على مجموعة بيانات تسمى NSL-KDD، وهي بمث সাই تشبه اختباراً تدريبياً مليئاً بالهجمات السيبرانية القديمة والمعروفة. وللتأكد من أن العقل لن يرتبك بسبب وجود أمثلة كثيرة جداً لنوع واحد من الهجمات وأمثلة قليلة لنوع آخر، استخدم حيلة تسمى SMOTE لموازنة بيانات التدريب، وهي عملية إنشاء أمثلة وهمية للهجمات النادرة حتى يتعلمها العقل بشكل صحيح.

ثم جاء وقت التقليم. أخذ العقل المدرب وطبق عليه التقليم متفرق الكتل (block-sparse pruning)، وهو طريقة محددة لقص 74.55% من الوصلات (الأوزان) داخل الشبكة، تاركاً إياها كأصفار. كان الهدف هو معرفة ما إذا كان هذا العقل "الفارغ" سيعمل بشكل أسرع ويشغل مساحة أقل من العقل الأصلي الكامل.

المفاجأة: القص لم يسرّع العمليات

إليك المنعطف المفاجئ: التقليم لم يجعل العقل يعمل بشكل أسرع.

قام الباحث بقياس الوقت الذي استغرقه الكمبيوتر لاتخاذ قرار واحد (زمن استجابة الاستدلال).

• استغرق العقل الأصلي الكامل 0.0103 ± 0.0008 مللي ثانية.
• استغرق العقل المقلّم "الفارغ" 0.0101 ± 0.0002 مللي ثانية.

إحصائياً، هذان الرقمان توأمان. إنهما في الواقع نفس الشيء. استخدمت الورقة اختباراً إحصائياً خاصاً يسمى TOST (اختبارات الجانب الواحد المزدوجة) لإثبات أن الفرق ضئيل جداً لدرجة أنه لا يهم في العالم الحقيقي. والنتيجة؟ التقليم لم يقلل الوقت المستغرق لاتخاذ القرار.

لماذا؟ توضح الورقة أنه بينما كان لدى العقل عدد أقل من الوصلات، إلا أن البرنامج الذي يشغل Raspberry Pi (يسمى TFLite) لم يكن ذكياً بما يكفي لتخطي الأماكن الفارغة. كان الأمر أشبه بطباخ قيل له أن يتجاهل 75% من المكونات الموجودة على الطاولة، لكن الطباخ لا يزال مضطراً للذهاب إلى كل مكان، والنظر إليه، ثم يقرر "أوه، هذا فارغ"، قبل الانتقال للمكان التالي. وقت المشي (زمن الاستجابة) لم يتغير لأن الطباخ كان لا يزال مضطراً لفحص كل مكان.

مفاجأة حجم الملف

تحقق الباحث أيضاً من حجم الملف النهائي عند حفظ العقل لتشغيله على الجهاز. توقع أن تكون النسخة المقلّمة أصغر بكثير. بدلاً من ذلك، انتهى الأمر بكل من العقل الكامل والمقلّم بوزن 105,992 بايت (حوالي 103.51 كيلوبايت).

حدث هذا لأن البرنامج المستخدم لتجهيز الملف للجهاز (عملية تسمى التكميم أو quantization) قام بضغط الأرقام إلى أصغر حجم لها على أي حال، مما جعل الأماكن "الفارغة" في النسخة المقلّمة غير ذات صلة. لذا، في هذا الإعداد المحدد، لم يوفر التقليم أي مساحة تخزين أيضاً.

المشكلة الحقيقية: العقول غير المستقرة

إذا كان التقليم لم يجعله أسرع أو أصغر، فهل أضر بقدرة العقل على رصد المتسللين؟ في الغالب، لا. ظلت الدقة الإجمالية قريبة جداً:

• حقق العقل الكامل 82.3% من الهجمات المعروفة بشكل صحيح.
• حقق العقل المقلّم 81.2% بشكل صحيح.

ومع ذلك، وجدت الورقة شيئاً مثيراً للاهتمام حقاً حول كيفية فشل العقل المقلّم. عندما قام الباحثون بتشغيل التجربة خمس مرات مع نقاط بداية عشوائية مختلفة (تسمى "البذور" أو seeds)، لاحظوا أن العقل المقلّم كان غير مستقر.

بالنسبة لأنواع معينة من الهجمات، مثل هجوم smurf، كان العقل الكامل جيداً باستمرار (كان يصيب بنسبة تقارب 89% من المرات). لكن العقل المقلّم كان مثل الأفعوانية (الرولر كوستر). اعتماداً على أي بذرة عشوائية تم استخدامها، قد يكون رائعاً (85% صح) أو سيئاً للغاية (11% صح). كان الأمر يشبه طالباً قد يتفوق في الاختبار أحياناً ويفشل تماماً أحياناً أخرى، بناءً على كيفية استيقاظه في ذلك الصباح.

وجدت الورقة أيضاً أن كلا العقلين (الكامل والمقلّم) يعانيان مع هجمات معينة مثل back و guess_passwd، حيث يحققان نسبة تقترب من 0% في إصابة الهدف. لم يكن هذا بسبب التقليم؛ بل لأن بيانات التدريب كانت غير متوازنة للغاية، مما جعل العقل يخمن ببساً "طبيعي" لكل شيء ليس متأكداً منه. حدث هذا الفشل في كل مرة، بغض النظر عن البذرة المستخدمة.

ماذا عن الهجمات الجديدة وغير المعروفة؟

تضمنت الاختبارات أيضاً 3,750 سجلاً (16.6% من مجموعة الاختبار) تحتوي على أنواع هجمات لم يرها العقل من قبل. وبما أن العقل لم يتم تدريبه عليها، لم يستطع تسميتها. بدلاً من ذلك، تحقق الباحثون مما إذا كان العقل سيصنفها على الأقل كأشياء "مشبوهة" بدلاً من تجاهلها.

• صنف العقل الكامل حوالي 36.6% من هذه الهجمات غير المعروفة.
• صنف العقل المقلّم حوالي 37.0%.

مرة أخرى، لم يكن هناك فرق حقيقي. لم يساعد التقليم العقل في رصد الحيل الجديدة وغير المعروفة، ولم يجعله أسوأ في رصدها أيضاً.

الخلاصة

هذه الورقة هي بمثابة واقع ملموس لأي شخص يحاول تصغير نماذج الذكاء الاصطناعي للأجهزة الصغيرة. فهي تثبت أن مجرد قطع الوصلات (التقليم) لا يجعل الأشياء أسرع تلقائياً إذا لم يكن البرنامج الذي يشغل النموذج مصمماً للاستفادة من تلك الأماكن الفارغة.

إذا كنت تريد نموذجاً أسرع على جهاز صغير، فلا يمكنك الاعتماد على التقليم وحده. عليك إما استخدام برنامج خاص يعرف كيفية تخطي الأماكن الفارغة، أو استخدام نوع مختلف من التقليم يقوم فعلياً بإزالة أجزاء كاملة من العقل (التقليم المهيكل/structured pruning) بدلاً من مجرد صنع ثقوب فيه.

تخلص الدراسة إلى أنه بينما يمكن للتقليم أن يجعل النموذج أصغر من الناحية النظرية، فإنه في عالم البرمجيات القياسية اليوم، لا يمنحك سرعة أو مساحة إضافية. وإذا قررت استخدامه، فعليك أن تكون حذراً: فقد يجعل أداء نموذجك تجاه تهديدات معينة غير قابل للتنبؤ به، حيث يتأرجح بين الأداء الرائع والسيئ جداً بناءً على كيفية تدريبه.