AnoMLP-TCP: An Anomaly Aware Multilayer Perceptron for Test Case Prioritization in Continuous Integration
تقدم الورقة البحثية AnoMLP-TCP، وهو مدرك للأنماال غير الطبيعية من نوع المدرك متعدد الطبقات وخفيف الوزن لتحديد أولويات حالات الاختبار في التكامل المستمر، والذي يحقق أداءً مقارباً للنموذج المرجعي الأكثر تعقيداً AnoLSTM-TCP مع تقليل عدد معاملات النموذج ووقت التدريب والتكلفة الحسابية بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم تطوير البرمجيات الحديث، تقوم الفرق ببناء وتحديث برامجها باستمرار، وغالباً عدة مرات في اليوم الواحد. ولضمان أن هذه التغيات المتكررة لا تؤدي إلى تعطل النظام، يقوم المهندسون بتشغيل مجموعة ضخمة من الفحوصات الآلية تُعرف باسم اختبارات التراجع (regression tests). تعمل هذه الاختبارات كشبكة أمان، حيث تتحقق من أن البرنامج لا يزال يعمل كما هو مخطط له بعد إضافة كل قطعة جديدة من الكود. ومع ذلك، مع ازدياد تعقيد البرمجيات، تصبح مجموعات الاختبار هذه هائلة الحجم. إن تشغيل كل اختبار بمفرده بعد كل تغيير طفيف يستغק وقتاً طويلاً، مما يخلق عنق زجاجة يبطئ عملية التطوير بأكملها؛ حيث ينتظر المطورون ساعات للحصول على التغذية الراجعة، وبحلول الوقت الذي يتم فيه اكتشاف مشكلة ما، يكون تتبع سببها قد أصبح أصعب. ولحل هذه المشكلة، يستخدم الباحثون استراتيجية تسمى "تحديد أولويات حالات الاختبار" (test case prioritization). فبدلاً من تشغيل الاختبارات بترتيب عشوائي أو حسب تاريخ إنشائها الأصلي، تعيد هذه الطريقة ترتيب القائمة بحيث يتم تشغيل الاختبارات الأكثر عرضة للفشل أولاً. والهدف بسيط: العثور على الأخطاء في أسرع وقت ممكن حتى تتمكن الفرق من إصلاحها قبل نهاية اليوم.
لسنوات، اعتمدت أكثر الطرق تقدماً لحل مشكلة الفرز هذه على نماذج ذكاء اصطناعي معقدة تحاكي الطريقة التي تعالج بها الأدمغة البشرية تسلسل المعلومات عبر الزمن. هذه النماذج، المعروفة باسم الشبكات العصبية المتكررة (recurrent neural networks)، قوية ولكنها ثقيلة، وتتطلب قدرة حوسبة ووقت تدريب كبيرين. وقد طرح باحث من جامعة أبوبكر طفيلكو بالاوا في نيجيريا سؤالاً مباشراً: هل كل هذا التعقيد ضروري حقاً؟ تساءل عما إذا كان بإمكان نوع من الذكاء الاصطناعي الأكثر بساطة ومباشرة تحقيق نفس النتائج دون التكلفة الحوسبية الباهظة. وللتحقق من ذلك، طور نهجاً جديداً يسمى AnoMLP-TCP، والذي يستبدل النموذج المعقد "المسافر عبر الزمن" بشبكة "تغذية أمامية" (feedforward network) انسيابية تنظر إلى البيانات دفعة واحدة.
اختبر الباحث فكرته باستخدام بيانات واقعية من ثلاثة مشاريع صناعية مختلفة في شركة ABB Robotics في النرويج. تضمنت هذه المشاريع آلاف الاختبارات الآلية التي تعمل عبر مئات الدورات، مما وفر تاريخاً غنياً حول أي الاختبارات نجحت، وأيها فشلت، ومدة استغراق كل منها. قامت الفرق بتغذية هذا التاريخ في نموذجهم الجديد، جنباً إلى جنب مع إشارة خاصة تضع علامة على الأنماط غير العادية في تاريخ الاختبار. هذه الإشارة، المستمدة من تقنية تسمى "كشف الشذوذ" (anomaly detection)، تساعد النظام على رصد متى يتصرف اختبار ما بشكل غريب، وهو ما يسبق الفشل غالباً. ثم يتعلم النموذج تخصيص درجة أولوية لكل اختبار، متنبئاً بأيها الأكثر عرضة لكسر البرنامج إذا تم تشغيله لاحقاً.
وعندما قارن الباحث نموذجه الجديد الخفيف بالنموذج المعقد والثقيل الذي صُمم ليحل محله، كانت النتائج مفاجئة. فقد أدى النموذج الأبسط أداءً يضاهي النموذج المعقد تماماً. ومن حيث السرعة في العثء على الأخطاء، كان النموذجان متطابقين؛ ففي إحدى مجموعات البيانات، سجل كلاهما معدل نجاح في العث de على الأخطاء يقترب من 96 بالمائة، وفي مجموعة أخرى، وصل كلاهما إلى حوالي 89 بالمائة. ووجد الباحث أن النموذج المعقد لم يقدم أي ميزة في فرز الاختبارات بفعالية. كان الفرق الوحيد هو في تكلفة تشغيلها؛ حيث تطلب النموذج الجديد الأبسط والأصغر حجماً أقل بنسبة 76 بالمائة تقريباً من الإعدادات الداخلية، المعروفة بالمعلمات (parameters)، ليعمل. وبسبب صغر حجمه، تدرب بشكل أسرع بكثير، مستغرقاً أقل من نصف الوقت لكل دورة للتعلم من البيانات مقارنة بنظيره المعقد.
كما بحثت الدراسة فيما يحدث عندما لا تستطيع الفرق تشغيل جميع اختباراتها بسبب قيود الوقت، وهو سيناريو شائع في بيئات التطوير سريعة الوتيرة. وحتى عندما قام الباحث بمحاكاة تشغيل 50% أو 70% أو 90% فقط من الاختبارات، استمر النموذج الجديد في مطابقة أداء النموذج المعقد بشكل مثالي. لقد حدد نفس الاختبارات الحرجة لتشغيلها أولاً، مما ضمن رصد أهم الأخطاء بغض النظر عن مقدار الوقت المتاح. وأشار الباحث إلى أن هذا التكافؤ لم يكن محض صدفة، بل كان نتيجة ثابتة عبر جميع مجموعات البيانات الصناعية الثلاث التي فحصها. كما اكتشف أن النموذج المعقد الذي كان يحاول تحسينه كان يعاني من خلل تقني في تصميمه يحد من قدرته على التمييز بين درجات الاختبار المختلفة، وهي مشكلة تجنبها نموذجه الأبسط تماماً باستخدام بنية رياضية مختلفة.
يشير هذا العمل إلى أنه بالنسبة للمهمة المحددة المتمثلة في تحديد أولويات اختبار البرمجيات في التكامل المستمر، قد لا تحتاج الصناعة إلى أكثر نماذج الذكاء الاصطناعي تطوراً وضخامة. لقد أثبت الباحث أن بنية أبسط وأكثر كفاءة يمكنها القيام بالمهمة بنفس الفعالية. ومن خلال تقليل العبء الحوسبي، يسمح هذا النهج للفرق بتحديث نماذج تحديد الأولويات الخاصة بهم بشكل متكرر وبطاقة أقل، مما يجعل عملية اختبار البرمجيات أكثر مرونة. وتشير النتائج إلى أنه في هذا الركن المحدد من هندسة البرمجيات، فإن الطريق نحو كفاءة أفضل لا يتطلب دائماً بناء آلات أكبر وأكثر تعقيداً، بل يتطلب أحياناً مجرد إيجاد طريقة أكثر وضوحاً ومباشرة للنظر إلى البيانات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.