A Leakage-Free Stacked Ensemble Method for Multiclass Classification

تخيل أنك تحاول تعليم كمبيوتر التعرف على أنواع مختلفة من الحيوانات بمجرد النظر إلى صورها. هذه لغز كلاسيكي في عالم تعلم الآلة يسمى "التصنيف متعدد الفئات" (multiclass classification). الأمر يشبه طلب من طالب فرز كيس مختلط من الكرات الزجاجية، ليس فقط إلى "أحمر" و"أزرق"، بل إلى "أحمر"، "أزرق"، "أخضر"، "أصفر"، "أرجواني"، وهكذا، كل ذلك في وقت واحد. المشكلة هي أن بعض الكرات تبدو متشابهة بشكل مريب، وأحياناً يكون لديك كومة ضخمة من الكرات الحمراء بينما لا تملك سوى القليل من الكرات الخضراء.

لحل هذه المشكلة، يستخدم العلماء غالباً "تعلم التجميع" (ensemble learning)، وهي طريقة منمقة لقول "دعونا نسأل لجنة من الخبراء بدلاً من خبير واحد فقط". تخيل لوحة من القضاة: أحدهم بارع في رصد الأنماط في الأشكال الناعمة والانسيابية (مثل الرسام)، والآخر بارع في اتباع قواعد صارمة وخطوات محددة (مثل المحقق). إذا طلبت منهم التصويت، فستحصل عادةً على إجابة أفضل مما لو سألت شخصاً واحداً فقط. ومع ذلك، هناك فخ ماكر في كيفية تشكيل هذه اللجان؛ فإذا سُمح للقضاة بالتلصص على نموذج الإجابة أثناء تدريبهم، فقد يبدأون في "الغش" عبر حفظ الإجابات بدلاً من تعلم الأنماط فعلياً. هذا ما يسمى "تسرب البيانات" (data leakage)، وهو ما يجعل الكمبيوتر يبدو ذكياً جداً في الفصل الدراسي، لكنه سيئ للغاية في العالم الحقيقي.

تقدم هذه الورقة البحثية طريقة جديدة لبناء تلك اللجنة، تسمى LFS-FRAME. قام المؤلفان، س. ب. شارميلا وأرونا تيواري، بابتكار نظام يجمع بين نوعين مختلفين تماماً من "الأدمغة" الحاسوبية: أحدهما يعتمد على شبكات كولموغوروف-أرنولد (KAN)، وهي تشبه الفنانين الذين يجيدون فهم المنحنيات الناعمة والانسيابية، والآخر يعتمد على XGBoost، وهو مثل المحقق الذي يتبع قواعد صارمة وواضحة. سحر طريقتهم لا يكمن فقط في مزج هذين النوعين، بل في كيفية تدريبهما. فهم يستخدمون استراتيجية "خارج الطية" (out-of-fold) صارمة، وهي تشبه التأكد من أن القضاة يتدربون على مجموعة من الأسئلة التي لم يروها من قبل، حتى لا يتمكنوا من الغش. هذا يضمن أنه عندما يقوم "القاضي الرئيسي" (المصنف التجميعي) بدمج أصواتهم، فإن ذلك يعتمد على آراء صادقة وغير منحازة.

اختبر الباحثون هذا النظام الجديد على مجموعة بيانات صعبة تتضمن 16 فئة مختلفة من البرمجيات الخبيثة (فيروسات الكمبيوتر) المختبئة في ذاكرة الكمبيوتر. ووجدوا أن فريقهم "الخالي من التسرب" كان أفضل بكثير في تصنيف هذه الفئات الماكرة من الطرق السابقة. وبينما عانت التقنيات القديمة عندما زاد عدد الفئات، مما أدى إلى انخفاض الدقة، حافظ LFS-FRAME على قوته. وفي اختبار مع 16 فئة مختلفة، حققت طريقتهم دقة بلغت 81.74%، وعند النظر إلى مجموعات أوسع مكونة من 4 فئات، وصلت دقتها إلى 89.85%. وهذا يشير إلى أنه من خلال إبقاء عملية التدريب صادقة ومزج التعلم الانسيابي بالتعلم القائم على القواعد، يمكننا بناء أجهزة كمبيوتر أكثر موثوقية لتصنيف البيانات المعقدة.

المشكلة: اللجنة الغاشة

لفهم سبب أهمية هذه الورقة، دعونا ننظر إلى المشكلة التي تعالجها. في عالم تعلم الآلة، يعد "التجميع" (stacking) تقنية شائعة حيث تأخذ التنبؤات من عدة نماذج مختلفة وتغذيها في نموذج نهائي لاتخاذ القرار النهائي. فكر في الأمر كفريق رياضي لديه مهاجم، ومدافع، وحارس مرمى. أنت تسألهم جميعاً: "من يجب أن نختاره للفريق؟" ثم يقوم المدرب (المتعلم التجميعي) باتخاذ القرار النهائي بناءً على إجاباتهم.

تنشأ المشكلة عندما يتم تدريب المدرب باستخدام الإجابات التي قدمها اللاعبون أثناء تدريباتهم الخاصة. إذا تدرب اللاعبون على نفس الأسئلة التي يختبرهم المدرب فيها، فقد يقومون بمجرد حفظ الإجابات. هذا هو "تسرب البيانات". المدرب يعتقد أن الفريق عبقري لأنهم حصلوا على 100% في الاختبار التجريبي، ولكن عندما يواجهون مباراة حقيقية بأسئلة جديدة، فإنهم يفشلون فشلاً ذريعاً.

يجادل المؤلفون بأن العديد من طرق التجميع الحالية تعاني من هذا الأمر. فهي تسمح للنماذج الأساسية برؤية البيانات التي يُفترض بها التنبؤ بها، مما يضخم النتائج ويعطي شعوراً زائفاً بالأمان. وهذا أمر خطير بشكل خاص في مشاكل "التصنيف متعدد الفئات"، حيث توجد فئات كثيرة للاختيار من بينها. إذا كان النظام يغش، فقد يبدو رائعاً في اكتشاف 4 أنواع من البرمجيات الخبيثة، ولكنه قد ينهار تماماً عندما يُطلب منه التمييز بين 16 نوعاً.

الحل: قاعدة "عدم التلصص"

تقترح الورقة البحثية نظام LFS-FRAME (إطار العمل التجميعي الخالي من التسرب). الفكرة الجوهرية بسيطة ولكنها قوية: لا يُسمح لأي نموذج برؤية البيانات التي يتنبأ بها.

لقد حققوا ذلك باستخدام تقنية تسمى التدريب خارج الطية (Out-of-Fold - OOF). تخيل أن لديك مجموعة من أوراق اللعب (بياناتك) وقمت بتقسيمها إلى 5 مجموعات (طيات).

1. تأخذ 4 مجموعات لتدريب نماذجك.
2. تترك المجموعة الخامسة مخبأة في صندوق.
3. تطلب من النماذج التنبؤ بأوراق المجموعة الخامسة المخفية. وبما أنهم لم يروا هذه الأوراق من قبل، فإن تنبؤاتهم ستكون صادقة.
4. تكرر هذه العملية، مع تدوير المجموعة المخفية، حتى يتم التنبؤ بكل ورقة بواسطة نموذج لم يكن يعلم بقدومها.

تُستخدم هذه التنبؤات "الصادقة" بعد ذلك لتدريب "القاضي الرئيسي" (المصنف التجميعي). ولأن القاضي الرئيسي تم تدريبه على تنبؤات أجرتها نماذج لم ترَ البيانات المحددة من قبل، فلا يوجد غش. يتعلم النظام كيفية دمج نقاط قوة أعضائه دون الاعتماد على الإجابات المحفوظة.

الفريق: الفنانون والمحققون

لم يكتفِ المؤلفون بإصلاح طريقة التدريب فحسب، بل اختاروا أيضاً فريقاً محدداً جداً من النماذج للعمل معاً. لقد أدركوا أن المشكلات المختلفة تتطلب أنواعاً مختلفة من التفكير.

• الفنان (KAN): استخدموا شبكات كولموغوروف-أرنولد (KANs). فكر في KANs كفنانين بارعين جداً في فهم العلاقات الناعمة والانسيابية. يمكنهم رؤية كيف تتغير المتغيرات معاً في منحنى مستمر. هم رائعون في التقاط "الصورة الكبيرة" والأنماط المعقدة غير الخطية. ومع ذلك، فإنهم يواجهون أحياناً صعوبة مع التغييرات المفاجئة والحادة أو القواعد المحددة جداً.
• المحقق (XGBoost): استخدموا XGBoost، وهي أداة قوية تعتمد على أشجار القرار. فكر في XGBoost كمحقق يتبع قائمة مراجعة صارمة من القواعد: "إذا كان الباب مفتوحاً، افحص النافذة. إذا كانت النافذة مكسورة، اتصل بالشرطة". إنه ممتاز في اتخاذ قرارات حادة وواضحة والتعامل مع الأنماط المحددة القائمة على القواعد.

من خلال الجمع بين الفنان والمحقق، يحصل النظام على أفضل ما في العالمين. يتعامل KAN مع المنحنيات الناعمة والمعقدة، بينما يتعامل XGBoost مع الحدود الحادة والمتميزة. ويتعلم "القاضي الرئيسي" كيفية موازنة حدس الفنان مقابل قواعد المحقق لاتخاذ أفضل قرار نهائي.

النتائج: إثبات النجاح

اختبر المؤلفون نظامهم الجديد على مجموعة بيانات تسمى CIC-MalMem-2022، والتي تحتوي على بيانات الذاكرة من هجمات الكمبيوتر. أنشأوا نسختين من الاختبار: واحدة بـ 4 فئات (فئات عريضة) وأخرى بـ 16 فئة (فئات فرعية محددة جداً).

قارنوا LFS-FRAME بطرق أخرى تم استخدامها سابقاً، مثل:

• HyStack Ensemble: طريقة تجميع سابقة.
• Hybrid CNN-BiLSTM: نهج التعلم العميق.
• SMOTE-DNN: طريقة تحاول موازنة البيانات.
• Random Forest with Hyperparameter Tuning: نهج كلاسيكي قائم على القواعد.

إليكم ما وجدوه:

• في اختبار الـ 4 فئات: حققت الطريقة الجديدة دقة بلغت 89.85%. وهي أفضل قليلاً من طريقة Random Forest (التي حصلت على 89.07%) وأفضل بكثير من طرق التعلم العميق.
• في اختبار الـ 16 فئة (الجزء الصعب): هنا بدأت الطرق الأخرى في الانهيار. مع زيادة عدد الفئات، انخفضت دقة الطرق الأخرى بشكل حاد.
  • انخفضت طريقة HyStack من 85.04% (في 4 فئات) إلى 70.29%.
  • انخفضت طريقة Random Forest من 89.07% إلى 68.2%.
  • كما عانت طرق التعلم العميق أيضاً، حيث انخفضت إلى نطاق 60-70%.
  • ومع ذلك، صمد LFS-FRAME في مكانه، حيث حقق دقة بلغت 81.74% في اختبار الـ 16 فئة.

يشير المؤلفون إلى أن السبب وراء نجاح طريقتهم يعود لسببين: أولاً، من خلال منع تسرب البيانات، ضمنوا أن النظام يتعلم الأنماط فعلياً وليس مجرد حفظ الإجابات. ثان، من خلال مزج التعلم الانسيابي لـ KANs مع قوة XGBoost القائمة على القواعد، خلقوا نظاماً يمكنه التعامل مع تعقيد وجود 16 فئة مختلفة دون ارتباك.

لماذا يهم هذا الأمر

تخلص الورقة إلى أن هذا النهج يقدم طريقة أكثر موثوقية للتعامل مع مشكلات التصنيف المعقدة. في العالم الحقيقي، وخاصة في مجالات مثل الأمن السيبراني حيث تتغير البرمجيات الخبيثة باستمرار، لا يمكنك تحمل تكلفة نظام يبدو ذكياً في المختبر ويفشل في الميدان. من خلال استخدام استراتيجية "خالية من التسرب"، يوفر المؤلفون إطار عمل يعطي تقديراً أكثر صدقاً لمدى جودة أداء النموذج.

وعلى الرغم من أن الطريقة تتطلب قدرة حوسبة أكبر بسبب الخطوات الإضافية اللازمة لضمان عدم تسرب البيانات (تدريب النماذج عدة مرات على مجموعات فرعية مختلفة)، إلا أن المؤلفين يجادلون بأن هذه التكلفة تستحق العناء. فهي تمنع النتائج "المتفائلة بشكل مفرط" التي تعاني منها الطرق الأخرى، وتؤدي إلى نظام قوي، وقابل للتعميم، وجاهز للعالم الحقيقي. وتوضح الدراسة أنه بالنسبة للمشكلات متعددة الفئات الصعبة، فإن دمج أنواع مختلفة من أساليب التعلم في بيئة تدريب صادقة وصارمة هو استراتيجية رابحة.