ملخص تقني: ConformalFL

بيان المشكلة

تنتج عملية تحديد موقع الخطأ القائمة على الطيف (SBFL) تصنيفاً لأسطر البرامج القابلة للتنفيذ بناءً على تغطية الاختبار، لكنها تفشل في تزويد المطور بمعيار ملموس للتوقف. يجب على المطورين تحديد عدد الأسطر التي يجب فحصها قبل التخلي عن التصنيف، وهو قرار تزداد تعقيداته بسبب الاختلافات الهائلة في حجم البرنامج، ودعم الاختبار، وتركيز الدرجات، والتساوي الدقيق في الدرجات. تعتمد الأساليب الحالية غالباً على سياسات (Top-N) ثابتة أو استدلالات غير معايرة تتجاهل هذه الحقائق التشغيلية، ولا تقدم ضماناً رسمياً بشأن خطر فقدان الخطأ.

تعالج الورقة الحاجة إلى طريقة تترجم "خطر الفقدان الهامشي" الذي يختاره المستخدم (على سبيل المثال: "أنا مستعد لتفويت الخطأ بنسبة 10% من الوقت") إلى مجموعة فحص متكيفة مع الخطأ البرمجي. الهدف هو توفير مجموعة مرشحين قابلة للتدقيق وتكتمل فيها حالات تساوي الدرجات (tie-complete)، بحيث تحتوي على الأقل على سطر واحد معطل بضمان احتمالي، دون افتراض أن الطريقة تحسن جودة تصنيف الـ SBFL الأساسي.

المنهجية

تطبق الطريقة المقترحة، ConformalFL، نموذج الانحدار الكمي الموائم (Conformalized Quantile Regression - CQR) للتنبؤ بنقطة قطع الفحص لخطأ برمجي معين بناءً على سمات طيف ما قبل الخطأ.

1. صياغة الهدف

تحدد الطönt هدف التنبؤ كالموقع المدخل المعياري لأول مجموعة درجات معطلة ($y_{entry}$).

• المنطق التشغيلي: يتم ترتيب المرشحين بترتيب تنازلي لدرجة SBFL. تشكل حالات التساوي الدقيقة مجموعات درجات. تتنبأ الطريقة بكسر $b_i$ وتحسب مؤشر القطع $k_i$. تتضمن مجموعة المرشحين الناتجة جميع الأسطر ذات الدرجات التي تساوي أو تزيد عن الدرجة عند الموضع $k_i$.
• التعامل مع تساوي الدرجات: لضمان أن المجموعة "تكتمل بالتساوي" (tie-complete)، إذا وقع موضع القطع ضمن مجموعة تساوي، يتم تضمين المجموعة بأكملها. الهدف هو نقطة دخول مجموعة التساوي المعطلة، وليس نهايتها، لتجنب التكرار غير الضروري لتوسع التساوي.

2. خط أنابيب التنبؤ

• متجه السمات: يستخدم النموذج 20 سمة متاحة قبل الكشف عن الخطأ، بما في ذلك حجم الكود، ومقاييس الاختبار/التغطية، و12 سمة توزيع لدرجات Ochiai (اللحظات، الاعتلال، الفجوات، أعداد التساوي، إلخ). تم استبعاد هوية المشروع وموقع الخطأ من النموذج الأساسي.
• الانحدار الكمي: يقدر مقدر تعزيز التدرج (gradient-boosted regressor) الكمي الشرطي العلوي ($bq_{1-\alpha}$) للهدف $y_{entry}$ بناءً على السمات $x_i$.
• التصحيح الموائم (Conformal Correction): لتحقيق ضمانات تغطية هامشية في العينات المحدودة، تستخدم الطريقة مجموعة معايرة محجوزة. تقوم بحساب البواقي أحادية الجانب ($r_i = y_{entry, i} - bq_{1-\alpha}(x_i)$) وتطبق تصحيحاً بناءً على كمية (quantile) البواقي عند المستوى $(1-\alpha)$.
• القطع النهائي: الميزانية النهائية هي مجموع الكم المتنبأ به وتصحيح الـ Conformal، مع قصها لتكون ضمن النطاق $[0, 1]$. إذا كان حجم عينة المعايرة المطلوبة غير كافٍ (على سبيل المثال، لأهداف التغطية العالية جداً مع مجموعات بيانات صغيرة)، تلجأ الطريقة إلى نتيجة "عدم الضغط" (الفحص الكامل)، مع الإشارة صراحةً إلى أن مستوى المخاطرة المطلوب غير مدعوم.

3. التصميم التجريبي

• مجموعة البيانات: عالم مثبت من 395 خطأ من Defects4J (Java)، تم تقليصه إلى 248 خطأ "موجود فيه مرشح" (تلك التي تحتوي على سطر واحد على الأقل معطل وقابل للتنفيذ مع اختبارات ناجحة وفاشلة معاً).
• البروتوكول: 30 انقساماً طبقياً حسب المشروع (60% تدريب، 20% معايرة، 20% اختبار).
• المقارنات:
  • GBR: مقدر الكم المعزز بالتدرج غير المعاير.
  • Global Conformal: قطع ثابت مستقل عن الميزات مشتق من أهداف المعايرة.
  • السياسات الثابتة: سياسات Top-N والنسب المئوية الثابتة المسجلة مسبقاً (مثل Top-10%).
• اختبارات الضغط: تقييمات (Leave-One-Project-Out)، والتقييم الزمني (التحول الزمني)، واختبار عبر اللغات (النقل إلى Python/BugsInPy).

النتائج الرئيسية

تم التقييم عند مستوى تغطية اسمي قدره 90%:

1. التغطية مقابل عبء العمل:

   • ConformalFL (CQR): حققت تغطية متوسطة بنسبة 91.8% مع فحص 30.2% من المرشحين القابلين للتنفيذ (الوسيط 508.5 سطر).
   • غير المعاير (GBR): حقق تغطية 87.6% عند فحص 15.6%.
   • Global Conformal: حقق 91.8% تغطية ولكن تطلب فحص 44.2%.
   • Fixed Top-10%: حقق 90.1% تغطية عند فحص 28.3%.

2. قيمة المعايرة:

   • أضافت المعايرة حوالي 4.2 نقطة مئوية من التغطية فوق GBR غير المعاير ولكن بتكلفة +14.7 نقطة مئوية في جهد الفحص.
   • مقارنة بقطع Global Conformal الثابت، حافظت CQR على نفس متوسط التغطية مع تقليل الفحص بنسبة 14.0 نقطة مئوية، مما يثرج قيمة القطع المتكيف مع الخطأ بدلاً من الثابت.

3. توزيع عبء العمل:

   • توزيع عبء العمل منحرف للغاية. بينما كان وسيط الفحص ~508 أسطر، كان المتوسط ~1,521 سطراً بسبب الذيل الثقيل.
   • 18.9% من الحالات أدت إلى "عدم الضغط" (الفحص الكامل) بسبب توسع مجموعة التساوي في الدرجات إلى كامل التصنيف. حدث هذا تحديداً عندما وقع القطع على حدود الدرجة الصفرية.

4. اختبارات الضغط:

   • تحول المشروع: تباينت التغطية حسب المشروع (85.7%–100%)، وأدت عينات المعايرة الصغيرة (مثل 5 أخطاء) إلى نتائج فارغة (فحص 100%).
   • عبر اللغات: عند نقلها إلى Python (BugsInPy) دون إعادة تدريب، حافظت CQR على تغطية تجريبية عالية (98.3%) ولكنها عانت من تدهور شديد في عبء العمل، حيث فحصت 66.9% من الجمل البرمجية في المتوسط، مع 53.3% من الحالات تطلبت فحصاً كاملاً.

الأهمية والادعاءات

تقدم الورقة ادعاءات متواضعة ومحددة فيما يتعلق بمساهمة ConformalFL:

• التحكم القابل للتدقيق في المخاطر: المساهمة الأساسية هي رسم خرائط قابل للتدقيق من خطر الفقدان المطلوب إلى مجموعة فحص متكيفة مع الخطأ وتكتمل بالتساوي. توفر ضماناً رسمياً لـ التغطية الهامشية تحت افتراض التبادلية بين أخطاء المعايرة وأخطاء النشر.
• لا سيادة عالمية: تنص الورقة صراحة على أن ConformalFL لا تتفوق تجريبياً على السياسات الثابتة المختارة جيداً (مثل Top-10%) في هذا الاختبار المرجعي. لقد قدمت سياسة Top-10% الثابتة أداءً مماثلاً من حيث التغطية والجهد دون الحاجة إلى معايرة.
• القيود:
  • الطريقة لا تحسن جودة تصنيف SBFL الأساسي.
  • الطريقة لا تضمن التغطية الشرطية لمشاريع أو مجموعات فرعية محددة.
  • الطريقة لا تضمن الصلاحية في ظل تحولات التوزيع (مثل عبر اللغات أو المشاريع الجديدة) حيث تفشل التبادلية.
  • الطريقة لا تقيس وقت تصحيح الأخطاء البشري، حيث لا يتساوى عدد الأسطر مع تكاليف تبديل السياق أو جهد الاستيعاب.

الخلاصة: توفر ConformalFL أداة عملية للفرق التي تمتلك بيانات أخطاء تاريخية لاستبدال الاستدلالات غير المعايرة بقاعدة شفافة توازن صراحة بين خطر الفقدان وجهد الفحص. ومع ذلك، فإن فائدتها محدودة بمتطلبات بيانات معايرة ممثلة وإمكانية حدوث نتائج "عدم الضغط" عندما تكون حالات تساوي الدرجات سائدة أو عينات المعايرة صغيرة.