Improving Requirements Classification with SMOTE-Tomek Preprocessing

ملخص تقني: تحسين تصنيف المتطلبات باستخدام معالجة SMOTE-Tomek المسبقة

بيان المشكلة
تعد هندسة المتطلبات (RE) أمراً حاسماً لترجمة احتياجات أصحاب المصلحة إلى مواصفات النظام، ومع ذلك، غالباً ما تظل عملية تصنيف المتطلبات عملية يدوية وغير متسقة. وبينما يوفر التعلم الآلي (ML) إمكانية الأتمتة، إلا أن تطبيقه يعوقه عدم التوازن الشديد في الفئات في مجموعات البيانات الواقعية، وتحديداً مجموعة بيانات PROMISE واسعة الاستخدام. تحتوي مجموعة البيانات هذه على 969 متطلباً برمجياً مصنفة إلى 12 نوعاً متميزاً (نوع وظيفي واحد و11 نوعاً فرعياً غير وظيفي). التوزيع منحاز للغاية؛ فعلى سبيل المثال، تمثل فئة "القابلية للنقل" (Portability) 1.24% فقط من البيانات، بينما تشكل "الأمن" (Security) نسبة 12.9%. هذا عدم التوازن يتسبب في انحياز نماذج التعلم الآلي القياسية نحو الفئات الأكثر انتشاراً، مما يؤدي إلى ضعف التعميم وانخفاض الأداء في الفئات الأقل انتشاراً. علاوة على ذلك، بينما تقدمت نماذج التعلم العميق (DL) بشكل كبير في معالجة اللغات الطبيعية (NLP)، فإن اعتمادها على مجموعات بيانات ضخمة وموارد حوسبة كبيرة يجعلها أقل عملية لمشاريع هندسة المتطلبات ذات الموارد المحدودة.

المنهجية
تقترح هذه الدراسة استراتيجية معالجة مسبقة هجينة تجمع بين SMOTE (تقنية الإفراط في أخذ عينات الأقلية الاصطناعية) و Tomek Links (SMOTE-Tomek) لمعالجة كل من عدم توازن الفئات والضجيج في البيانات.

• تمثيل البيانات: يتم تحويل متطلبات النصوص غير المهيكلة إلى ناقلات عددية باستخدام تقنية "تردد المصطلح - عكس تردد المستند" (TF-IDF).
• عملية SMOTE-Tomek:
  1. الإفراط في أخذ العينات (Oversampling): تقوم تقنية SMOTE بتوليد عينات اصطناعية للفئات الأقل انتشاراً عبر الاستيفاء الخطي بين العينات الموجودة وأقرب جيرانها، مما يعزز تنوع الفئات دون تكرار بسيط.
  2. التنظيف (Cleaning): تحدد روابط Tomek Links أزواج العينات التي تعد جيراناً أقرب لبعضها البعض ولكنها تنتمي إلى فئات مختلفة (عادة ما تكون عينات حدية أو ضوضائية)، وتقوم بإزالة عضو الفئة الأكثر انتشاراً من هذه الأزواج لتحسين قدرة الفصل بين الفئات.
• إطار التحقق: لضمان التقييم الصارم ومنع تسرب البيانات، تستخدم الدراسة التحقق المتقاطع ذو العشر طيات الطبقي (Stratified 10-fold Cross-Validation). ومن الأهمية بمكان أن يتم تطبيق إعادة أخذ عينات SMOTE-Tomek فقط على طيات التدريب (9 طيات) في كل تكرار، مع ترك طية التحقق (طية واحدة) دون تغيير للحفاظ على التوزيع الأصلي للبيانات.
• النماذج التي تم تقييمها: تقارن الدراسة مجموعة متنوعة من خوارزميات التعلم الآلي الكلاسيكية، بما في ذلك الانحدار اللوجستي (LR)، وأشجار القرار، والغابة العشوائية (Random Forest)، وآلات ناقلات الدعم (بأنوية خطية وRBF)، ونايف بايز (Naive Bayes)، والجار الأقرب (KNN)، وتعزيز التدرج (Gradient Boosting)، وAdaBoost، وCatBoost.

المساهمات الرئيسية

1. التطبيق المنهجي: تطبق الورقة البحثية تقنية SMOTE-Tomek ضمن إطار عمل (K-fold) طبقي مصمم خصيصاً لإبقاء مجموعات التحقق خالية من آثار إعادة أخذ العينات، مما يضمن تقييماً غير منحاز لقدرات التعميم.
2. التقييم المقارن: توفر الدراسة تحليلاً شاملاً للأداء لنماذج التعلم الآلي الكلاسيكية على مجموعة بيانات PROMISE غير المتوازنة، مما يثبت أن النماذج خفيفة الوزن يمكن أن تحقق كفاءة عالية دون العبء الحوسبي للتعلم العميق.
3. تحليل القابلية للتفسير: من خلال استخدام الانحدار اللوجستي، تحلل الدراسة معاملات الميزات لتفسير العلاقة بين كلمات محددة وأنواع المتطلبات، مما يقدم رؤى حول كيفية قيام المعالجة المسبقة بتثبيت تعلم الميزات.

النتائج
أدى دمج SMOTE-Tomek إلى تحسينات ملحوظة عبر مقاييس متعددة، لا سيما بالنسبة للانحدار اللوجستي:

• الانحدار اللوجستي (LR): حقق أعلى أداء، حيث تحسن متوسط الدقة من 58.31% ± 2.05% كخط أساس إلى 76.16% ± 2.58%. كما ارتفع معامل ارتباط ماتيوس (MCC) بنسبة 7% تقريباً (من 0.4181 إلى 0.6736). وقد ساهم تحسين المعلمات الفائقة (C=10، تنظيم L2، ومحلل SAGA) في صقل هذه النتائج.
• النماذج الأخرى: شهدت نماذج Naive Bayes وGradient Boosting أيضاً مكاسب كبيرة، حيث تجاوزت دقتها 70%. وتحسن نموذج SVM الخطي من 71.10% إلى 74.20%.
• النتائج السلبية: على العكس من ذلك، أدت طرق التجميع مثل AdaBoost وRandom Forest إلى أداء ضعيف أو تدهور كبير بعد المعالجة المسبقة (انخفضت دقة AdaBoost إلى 16.10%)، مما يشير إلى أن هذه الخوارزميات المحددة حساسة للغاية للتوزيع المعاد أخذ عيناته في هذا السياق.
• استقرار الميزات: كشف تحليل معاملات الانحدار اللوجستي أن النموذج الأساسي أظهر أوزاناً متغيرة ومتطرفة للفئات الأقل انتشاراً (مما يشير إلى الإفراط في التخصيص للضوضاء). وفي المقابل، أدت طريقة SMOTE-Tomek إلى تثبيت هذه المعاملات، مما أجبر النموذج على الاعتماد على مجموعة أكثر قوة وتعميماً من الميزات اللغوية.

الأهمية والادعاءات
تدعي الورقة أن SMOTE-Tomek توفر حلاً قوياً وقابلاً للتوسع وقابلاً للتفسير لتصنيف المتطلبات في مجموعات البيانات غير المتوازنة. وهي تثبت أن نماذج التعلم الآلي الكلاسيكية، عند اقترانها بالمعالجة المسبقة المناسبة، يمكنها التعامل بفعالية مع تعقيدات مجموعة بيانات PROMISE دون الحاجة إلى موارد حوسبة واسعة النطاق كالتي يتطلبها التعلم العميق. تؤكد الدراسة أنه بينما النتائج واعدة، فإن صغر حجم وتنوع مجموعة بيانات PROMAISE المحدود يظل قيداً. ويضع المؤلفون هذا العمل كنهج عملي للبيئات ذات الموارد المحدودة، ويقترحون أن المنهجية قابلة للتطبيق في مجالات أخرى تواجه تحديات مماثلة في عدم توازن البيانات، مثل تحليل الوثائق القانونية أو الطبية. ويُقترح كعمل مستقبلي استكشاف مجموعات بيانات أكبر ونهج هجينة تجمع بين النماذج خفيفة الوزن والتعلم العميق.