💬 NLP

Mining Subscenario Refactoring Opportunities in Behaviour-Driven Software Test Suites: ML Classifiers and LLM-Judge Baselines

تقدم هذه الورقة مساراً مؤتمتاً يستخدم التجميع المتين تجاه إعادة الصياغة ومصنف XGBoost لتحديد وتصنيف وترتيب فرص إعادة الهيكلة في مجموعات اختبار التطوير القائم على السلوك، مما يثبت أن المصنف يتفوق بشكل كبير على كل من النماذج القائمة على القواعد ونماذج اللغات الكبيرة المرجعية في اكتشاف المتواليات الفرعية للخطوات القابلة للاستخراج عبر مجموعة ضخمة من ملفات Gherkin.

المؤلفون الأصليون: Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

نُشر 2026-05-15

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك أمين مكتبة يحاول تنظيم مكتبة ضخمة وفوضوية، حيث كل كتاب فيها هو اختبار برمجيات مكتوب بلغة خاصة تسمى Gherkin. تحكي هذه الاختبارات قصة: "بفرض حدوث هذا، وعندما يحدث ذاك، إذن ستكون النتيجة كذا".

مع مرور الوقت، كتب أمناء المكتبة (المطورون) آلاف هذه القصص. لكنهم ارتكبوا خطأً فادحاً: استمروا في نسخ ولصق نفس الفقرات مراراً وتكرارًا. أحياناً يغيرون كلمة هنا أو هناك ("انقر على الزر" مقابل "اضغط على الزر")، لكن المعنى هو نفسه تماماً. هذا يجعل المكتبة متضخمة، وصعبة القراءة، وكابوساً عند التحديث. إذا كنت بحاجة لتغيير طريقة عمل زر ما، فعليك البحث عن مكان الإصلاح وإصلاحه في مئات الأماكن المختلفة.

هذه الورقة البحثية تتحدث عن بناء روبوت أمين مكتبة ذكي يمكنه العثور على هذه الفقرات المتكررة، ومعرفة أي منها يستحق التنظيف، وإخبارك بالضبط كيف تقوم بإصلاحه.

إليك كيف تُقسم الورقة البحثية، باستخدام تشبيهات بسيطة:

1. المشكلة: فوضى "النسخ واللصق"

في الماضي، كان الباحثون يستطيعون فقط رصد ما إذا كانت القصة الكاملة (سيناريو الاختبار الكامل) مكررة. لكن الفوضى الحقيقية تحدث في منتصف القصص.

التشبيه: تخيل روايتين تكون فيهما الفصول الثلاثة الأولى متطابقة، بينما يختلف الباقي. الماسح الضوئي البسيط قد يخطئ في رصد ذلك لأن الكتاب بأكتها ليس نسخة طبق الأصل.
حل الورقة: نظروا إلى قطع صغيرة من النص تسمى "شرائح" (slices) (مجموعات من خطوتين إلى 18 خطوة متتالية). وقد وجدوا أكثر من 5 ملايين من هذه الشرائح في 339 مشروعاً برمجياً مختلفاً.

2. تحدي "إعادة الصياغة"

لا يمكن لروبوت أمين المكتبة أن يبحث فقط عن تطابق النصوص الحرفي. فالمطورون غالباً ما يعيدون صياغة الأشياء.

التشبيه: إذا كتب شخص ما "المستخدم يسجل دخوله" وكتب آخر "العميل يوقع الدخول"، فإن محرك بحث بسيط سيرى شيئين مختلفين. لكن الإنسان يعرف أنهما يعنيان الشيء نفسه.
حل الورقة: استخدموا ذكاءً اصطناعياً خاصاً (يسمى SBERT) يفهم المعنى الكامن وراء الكلمات، وليس مج فقط طريقة كتابتها. يقوم هذا النظام بتجميع الشرائح التي تحمل نفس المعنى معاً، حتى لو اختلفت الكلمات. هذا يشبه تجميع كل المترادفات معاً ليرى أمين المكتبة النمط بوضوح.

3. الطرق الثلاث لإصلاح الفوضى

بمجرد أن يجد روبوت أمين المكتبة شريحة متكررة، عليه أن يقرر كيف يصلحها. تحدد الورقة ثلاثة "أدوات" محددة لهذه المهمة، اعتماداً على مكان التكرار:

الأداة (أ): "الخلفية" (داخل ملف واحد)
- التشبيه: إذا كانت كل القصص في كتاب معين تبدأ بنفس الجمل الثلاث، فأنت لا تعيد كتابتها في كل فصل، بل تكتبها مرة واحدة في أعلى الكتاب كملحوظة "خلفية" (Background).
- متى تُستخدم: عندما تتكرر نفس الخطوات داخل ملف واحد فقط.
الأداة (ب): "الفصل القابل لإعادة الاستخدام" (داخل مشروع واحد)
- التشبيه: إذا كان تسلسل أحداث معين يحدث في 50 كتاباً مختلفاً في نفس المكتبة، فإنك تكتب هذا التسلسل مرة واحدة في كتاب "الفصول القابلة لإعادة الاستخدام". ثم في الكتب الخمسين الأخرى، تكتب فقط "انظر الفصل القابل لإعادة الاستخدام رقم 4".
- متى تُستخدم: عندما تتكرر نفس الخطوات عبر ملفات مختلفة في نفس المشروع البرمجي.
الأداة (ج): "الأمر العالمي" (عبر شركات مختلفة)
- التشبيه: إذا وجدت أن معظم المكتبات في العالم تستخدم نفس العبارة تقريباً لـ "تسجيل الدخول"، فإنك تنشئ مدخلاً في قاموس عالمي لها. وأي مكتبة يمكنها ببساطة أن تقول "استخدم تسجيل الدخول العالمي".
- متى تُستخدم: عندما تتكرر نفس الخطوات عبر مشاريع برمجية مختلفة تماماً مملوكة لأشخاص أو شركات مختلفة.

4. "العقل الذكي" (تعلم الآلة مقابل النماذج اللغوية الكبيرة LLMs)

كان على المؤلفين تعليم الروبوت أي الشرائح المتكررة تستحق الإصلاح فعلياً. فليست كل التكرارات مفيدة؛ فبعضها مجرد أشياء مملة وتافهة (مثل "status 200" والتي تعني فقط "لقد نجح الأمر").

التدريب: استعانوا بثلاثة خبراء بشريين لمراجعة 200 شريحة عشوائية ليقرروا: "هل هذا يستحق الإصلاح؟" و "أي أداة (أ، ب، أو ج) يجب استخدامها؟".
المنافسة: قاموا بتدريب نموذج حاسوبي ذكي (يسمى XGBoost) ليتعلم من هؤلاء البشر. ثم وضعوه في تحدٍ ضد "حكام ذكاء اصطناعي" آخرين (نماذج لغوية كبيرة، أو LLMs).
النتيجة: كان نموذج XGBoost هو الفائز الواضح.
- الخبير البشري (XGBoost): أصاب في قراره بنسبة 89%.
- حكام الذكاء الاصطناعي (LLMs): أصابوا بنسبة 73% و 59% فقط.
- لماذا؟ كانت النماذج اللغوية الكبيرة (LLMs) حذرة للغاية؛ فغالباً ما كانت تقول "لا، لا تصلح هذا" حتى عندما كانت الفكرة جيدة، بينما تعلم النموذج المتخصص بالضبط ما يبحث عنه البشر.

5. النتائج الكبرى

بعد تشغيل هذا الروبوت على مكتبة ضخمة تضم 1.1 مليون خطوة اختبار، إليكم ما وجدوه:

التكرار في كل مكان: حوالي 75% من ملفات الاختبار تحتوي على قطع متكررة يمكن تنظيفها باستخدام الأداة (أ) (الخلفية).
التكرار عبر الملفات شائع: حوالي 60% من المشاريع تحتوي على قطع يمكن تنظيفها باستخدام الأداة (ب) (الفصل القابل لإعادة الاستخدام).
التكرار عبر الشركات نادر ولكنه حقيقي: حوالي 12% فقط من المشاريع لديها قطع متكررة لدرجة أنها يمكن أن تُشارك عبر شركات مختلفة (الأداة ج).
فخ "المالك نفسه": لاحظوا أن العديد من التكرارات "عبر الشركات" كانت في الواقع شركة واحدة (مثل DataDog) تنشر نسخاً عديدة ومختلفة من برامجها بلغات مختلفة. لقد تعلم الروبوت تجاهل هذه الحالات، لأنها ليست "مشتركة" حقاً بين منظمات مختلفة.

6. الخلاصة

توفر هذه الورقة البحثية مخططاً وأداة للعثور تلقائياً على فوضى "النسخ واللصق" في اختبارات البرمجيات.

هي لا تكتفي بالقول: "مهلاً، هناك تكرار".
بل تقول: "هذا هو الجزء المكرر، وهذا هو سبب استحقاقه للإصلاح، وهذا هو التغيير البرمجي الدقيق الذي تحتاجه للقيام بالإصلاح".

لقد نشر المؤلفون جميع أكوادهم، وبياناتهم، و"كتاب القواعد" الذي استخدموه مع البشر، لكي يتمكن أي شخص آخر من استخدام هذا الروبوت لتنظيف مكتبات البرمجيات الخاصة به. لقد أثبتوا أن النموذج المتخصص والمدرب أفضل في هذه المهمة المحددة من نماذج الذكاء الاصطناعي العامة التي نسمع عنها كثيراً اليوم.

ملخص تقني: فرص إعادة صياغة السيناريوهات الفرعية في مجموعات اختبار البرمجيات القائمة على السلوك (BDD)

بيان المشكلة
تراكم مجموعات اختبار التطوير القائم على السلوك (BDD)، المكتوبة بلغة Gherkin، مخاطر صيانة مشابهة لتلك الموجودة في مجموعات اختبارات الوحدة (unit-test corpora)، بما في ذلك النسخ واللصق للإعدادات (copy-paste setup)، والتشابهات القريبة الناتجة عن تغيير المعاملات (parameter-varying near-duplicates)، والانحراف الصامت (silent drift). وبينما حددت الأعمال السابقة التكرار على مستوى الخطوة الواحدة أو صنفت "الروائح الكريهة" (smells) على مستوى السيناريو الكامل، لا تزال هناك فجوة حرجة: وحدة إعادة الصياغة العملية نادراً ما تكون خطوة معزولة، بل هي تسلسل متصل من خطوتين أو أكثر (شريحة - "slice"). وتعمل خوارزميات تنقيب التسلسلات الحالية (مثل PrefixSpan وSPADE) على تسلسلات الرموز الدقيقة وتفشل في التعامل مع تنوعات إعادة الصياغة السطحية الشائعة في خطوات BDD. وعلاوة على ذلك، بينما توجد ثلاث آليات ملموسة لإعادة الصياغة (الخلفية "Background" داخل الملف، والسيناريوهات القابلة لإعادة الاستخدام داخل المستودع، والخطوات العليا المشتركة عبر المؤسسات)، لم يسبق لأي عمل أن أتم عملية تحديد أي التسلسلات الفرعية المتكررة تستحق الاستخراج أو ربطها بالآلية المناسبة.

المنهجية
يقدم المؤلفون منقبًا للترتيب الفرعي (subsequence miner) ثابتاً وقوياً تجاه إعادة الصياغة، تم تطبيقه على مجموعة بيانات تضم 339 مستودعاً من GitHub (تضم 276 مالكاً أصلياً مختلفاً) تحتوي على 1.1 مليون خطوة Gherkin. يتكون خط المعالجة (pipeline) من ثلاث مراحل رئيسية:

التنقيب والتمثيل الرقمي (المراحل 0–4):
- استخراج الشرائح (Slice Extraction): يستخرج النظام جميع نوافذ الخطوات المتصلة بطول $L$ (حيث $L \in [2, 18]$ ) من السيناريوهات، مما ينتج 5,382,249 شريحة.
- القوة تجاه إعادة الصياغة: بدلاً من مطابقة النص الخام، يتم ربط الشرائح بـ "معرفات عناقيد هجينة" مشتقة من مسار cukereuse. ولتعويض الشرائح المتكافئة في إعادة الصياغة التي فاتتها مطابقة معرف العنقود الدقيقة، استخدم المؤلفون مرحلة تمثيل (embedding) باستخدام Sentence-BERT (SBERT)، تم تقليصها عبر UMAP وتجميعها باستخدام HDBSCAN. نتج عن ذلك 33,121 عنقوداً للتكافؤ في إعادة الصياغة.
- تحديد النطاق: يُقاس التكرار عبر ثلاثة نطاقات متداخلة:
  - داخل الملف (RQ1): مرشحات لكتلة Background.
  - داخل المستودع عبر الملفات (RQ2): مرشحات لسيناريو قابل لإعادة الاستخدام يتم استدعاؤه عبر I call feature file.
  - عبر المؤسسات (RQ3): مرشحات لخطوة عليا مخصصة، محددة بالتكرار عبر مالكين أصليين مختلفين (ليس فقط المستودعات لتجنب تضخيم الأعداد من مالك واحد يمتلك أدوات تطوير برمجية متعددة اللغات).
التوسيم البشري (المرحلة 5):
- تم توسيم مجموعة مختارة من 200 شريحة من قبل ثلاثة مؤلفين بناءً على معيار مكتوب.
- يحدد المعيار تصنيفاً من أربع فئات لـ "استحقاق الاستخراج" (نعم، لا، غير مؤكد، ومحدد كنموذج خاص) وتسمية للآلية.
- بلغ اتفاق المقيمين (Fleiss' $\kappa$ ) 0.56 لاستحقاق الاستخراج و0.79 لاختيار الآلية.
النمذجة والخطوط المرجعية (المراحل 6–8):
- المصنف (Classifier): تم تدريب مصنف ثنائي XGBoost للتنبؤ بـ "استحقاق الاستخراج" باستخدام ميزات مثل طول الشريحة ( $L$ )، وعدد مرات الدعم (support counts)، وكسور القيم الشاذة (outlier fractions)، وإشارات النطاق.
- متنبئ الآلية: رأس ثانوي يتنبأ بآلية إعادة الصياغة المحددة.
- الخطوط المرجعية (Baselines): تمت مقارنة المصنف مقابل خط مرجعي قائم على القواعد مضبوط بدقة، واثنين من نماذج اللغة الكبيرة (LLM) ذات الأوزان المفتوحة (gpt-oss-120b و ling-2.6-1t).

النتائج الرئيسية

حجم المجموعة: حدد المنقب 692,020 نمطاً متكرراً متميزاً. من بين هذه الأنماط، 30,955 نمطاً تتكرر عبر $\ge 2$ من المالكين الأصليين المختلفين.
أداء المصنف: حقق مصنف XGBoost درجة F1 خارج النطاق (out-of-fold) بلغت 0.891 (فاصل ثقة 95% [0.852, 0.927]). وقد تفوق بشكل كبير على الخط المرجعي القائم على القواعد (F1 = 0.836, $p=0.017$ ) وعلى كلا حكمي LLM (أفضل F1 لـ LLM كان 0.728, $p < 10^{-4}$ ).
الانتشار: بعد تطبيق بوابة المصنف:
- 75.0% من السيناريوهات تحتوي على مرشح لـ Background داخل الملف.
- 59.5% تحتوي على مرشح لسيناريو قابل لإعادة الاستخدام داخل المستودع.
- 11.7% تحتوي على مرشح لخطوة مشتركة عبر المؤسسات.
محدودية LLM: بينما كانت نماذج LLM دقيقة للغاية في فئة "نعم"، إلا أنها كانت متحفظة في الاستدعاء (recall)، حيث قللت من تقدير استحقاق الاستخراج. كان أداؤها في مهمة اختيار الآلية (بشرط وجود "نعم") عالياً (دقة $\ge 0.95$ )، لكنها فشلت في مضاهاة المصنف في قرار الاستخراج الأساسي.
التصفية: قللت سلسلة تصفية التحقق المكونة من ست قواعد (R1–R6) مجموعة المرشحين من 464,073 إلى 84,564 نمطاً، وذلك أساساً عبر دمج التمثيلات المتداخلة وإزالة المحتوى التافه.

الأهمية والمساهمات
يزعم البحث أنه يقدم أول منقب للترتيب الفرعي القوي تجاه إعادة الصياغة لمواصفات BDD يعمل على نطاق المجموعة بأكملها. وتتمثل مساهماته الرئيسية في:

جرد الشرائح: قائمة مرتبة من 5.4 مليون تسلسل خطوات متصلة تم دمجها في 692,020 نمطاً متكرراً، ومُسندة إلى ثلاث آليات إعادة استخدام محددة مع تنفيذات Cucumber-Java منشورة.
الاكتشاف الآلي: مسار عمل يؤتمت تحديد أي الشرائح تستحق الاستخراج، مما يعالج "التكلفة المحددة" للتعرف اليدوي على الأهداف في تبني BDT واسع النطاق.
الدليل التجريبي: إثبات أن مصنف تعلم آلي متخصص يتفوق بشكل كبير على كل من الاستدلالات القائمة على القواعد وحكام LLM الجاهزة في تحديد ملاءمة إعادة الصياغة لمجموعات اختبار BDD.
قابلية التكرار: تم إصدار جميع الأدوات، بما في ذلك سكربتات التنقيب، والمجموعة الموسومة، والمعيار، والمصنفات المدربة، تحت رخصة Apache-2.0.

يضع المؤلفون هذا العمل كعنصر "أي" (which) في قوس مكون من ثلاث أوراق بحثية: قدمت Mughal (2024) عنصر "كيف" (how) (الآليات)، وقدمت Mughal et al. (2026) عنصر "كم مقدار" (how much) (حجم تكرار الخطوات)، وتقدم هذه الورقة عنصر "أي" (which) (قرارات استخراج كل شريحة). وتخلص الورقة إلى أنه بينما يعد الهيكل المتكرر واسع الانتشار، فإن إشارة عبر المؤسسات تهيمن عليها التكرارات البنيوية (مثل أنماط طلب/استجابة HTTP)، مما يشيد بأن القيمة الأكثر مباشرة تكمن في الماكرو (macros) القصيرة والمتكررة بكثرة.