ConformalFL: Calibrated Inspection Cutoffs for Spectrum-Based Fault Localization

तकनीकी सारांश: ConformalFL

समस्या विवरण (Problem Statement)

स्पेक्ट्रम-आधारित दोष स्थानीयकरण (Spectrum-Based Fault Localization - SBFL) टेस्ट कवरेज के आधार पर निष्पादन योग्य प्रोग्राम लाइनों की एक रैंकिंग तो उत्पन्न करता है, लेकिन यह डेवलपर को एक ठोस 'स्टॉपिंग क्राइटेरिया' (stopping criterion) प्रदान करने में विफल रहता है। डेवलपर्स को यह तय करना होता है कि रैंकिंग को छोड़ने से पहले कितनी लाइनों का निरीक्षण किया जाए, और यह निर्णय प्रोग्राम के आकार, टेस्ट सपोर्ट, स्कोर एकाग्रता (score concentration) और सटीक स्कोर टाय (ties) के बीच के बड़े अंतरों के कारण जटिल हो जाता है। मौजूदा दृष्टिकोण अक्सर निश्चित Top-N नीतियों या अनकैलिब्रेटेड ह्यूरिस्टिक्स (uncalibrated heuristics) पर निर्भर करते हैं जो इन परिचालन वास्तविकताओं को अनदेखा करते हैं और दोष को मिस करने के जोखिम के संबंध में कोई औपचारिक गारंटी नहीं देते हैं।

यह शोध पत्र एक ऐसे तरीके की आवश्यकता को संबोधित करता है जो उपयोगकर्ता द्वारा चुने गए "सीमांत मिस रिस्क" (marginal miss risk) (जैसे, "मैं 10% बार दोष को मिस करने के लिए तैयार हूँ") को एक विशिष्ट, बग-अनुकूल निरीक्षण सेट (inspection set) में अनुवादित कर सके। इसका लक्ष्य एक ऑडिट करने योग्य, 'टाई-कम्प्लीट' (tie-complete) उम्मीदवारों का सेट प्रदान करना है जिसमें एक गारंटीकृत संभाव्यता के साथ कम से कम एक मैप किया गया दोषपूर्ण लाइन शामिल हो, बिना इस धारणा के कि यह विधि अंतर्निहित SBFL रैंकिंग की गुणवत्ता में सुधार करती है।

कार्यप्रणाली (Methodology)

प्रस्तावित विधि, ConformalFL, एक विशिष्ट बग के प्री-फॉल्ट स्पेक्ट्रम फीचर्स के आधार पर निरीक्षण कटऑफ़ (inspection cutoff) का अनुमान लगाने के लिए Conformalized Quantile Regression (CQR) को लागू करती है।

1. लक्ष्य सूत्रीकरण (Target Formulation)

विधि लक्ष्य को प्रारंभिक दोषपूर्ण स्कोर समूह ($y_{entry}$) के सामान्यीकृत प्रविष्टि स्थान (normalized entry position) के रूप में परिभाषित करती है।

• परिचालन तर्क (Operational Logic): उम्मीदवारों को घटते हुए SBFL स्कोर द्वारा क्रमबद्ध किया जाता है। सटीक 'टाय' (ties) स्कोर समूहों का निर्माण करते हैं। विधि एक अंश $b_i$ की भविष्यवाणी करती है और एक कटऑफ़ इंडेक्स $k_i$ की गणना करती है। परिणामी उम्मीदवार सेट में वे सभी लाइनें शामिल होती हैं जिनका स्कोर $k_i$ की स्थिति पर स्थित स्कोर के बराबर या उससे अधिक है।
• टाई हैंडलिंग (Tie Handling): यह सुनिश्चित करने के लिए कि सेट "टाई-कम्प्लीट" हो, यदि कटऑफ़ किसी टाई समूह के भीतर आता है, तो पूरे समूह को शामिल किया जाता है। लक्ष्य दोषपूर्ण टाई समूह का प्रविष्टि बिंदु (entry point) है, न कि अंतिम बिंदु, ताकि टाई विस्तार (tie expansion) की अनावश्यक दोहरी गिनती से बचा जा सके।

2. भविष्यवाणी पाइपलाइन (Prediction Pipeline)

• फीचर वेक्टर (Feature Vector): मॉडल 20 फीचर्स का उपयोग करता है जो दोष प्रकट होने से पहले उपलब्ध होते हैं, जिनमें कोड का आकार, टेस्ट/कवरेज मेट्रिक्स, और Ochiai स्कोर के 12 वितरण फीचर्स (मोमेंट्स, एंट्रॉपी, गैप्स, टाई काउंट आदि) शामिल हैं। प्रोजेक्ट पहचान और दोष स्थान को प्राथमिक मॉडल से बाहर रखा गया है।
• क्वांटाइल रिग्रेशन (Quantile Regression): एक ग्रेडिएंट-बूस्टेड रिग्रेसर फीचर्स $x_i$ दिए जाने पर लक्ष्य $y_{entry}$ के कंडीशनल अपर क्वांटाइल ($bq_{1-\alpha}$) का अनुमान लगाता है।
• कॉन्फ़ॉर्मल करेक्शन (Conformal Correction): परिमित-नमूना मार्जिनल कवरेज गारंटी प्राप्त करने के लिए, विधि एक होल्ड-आउट कैलिब्रेशन सेट का उपयोग करती है। यह एक-तरफा अवशेष (one-sided residuals) ($r_i = y_{entry, i} - bq_{1-\alpha}(x_i)$) की गणना करती है और इन अवशेषों के $(1-\alpha)$-क्वांटाइल के आधार पर एक सुधार लागू करती है।
• अंतिम कटऑफ़ (Final Cutoff): अंतिम बजट, अनुमानित क्वांटाइल और कॉन्फ़ॉर्मल करेक्शन का योग है, जिसे $[0, 1]$ तक क्लिप किया गया है। यदि आवश्यक कैलिब्रेशन सैंपल साइज अपर्याप्त है (जैसे, छोटे डेटासेट के साथ बहुत उच्च कवरेज लक्ष्यों के लिए), तो विधि एक "नो-कंप्रेशन" (no-compression) परिणाम (पूर्ण निरीक्षण) पर डिफ़ॉल्ट होती है, जो स्पष्ट रूप से संकेत देती है कि अनुरोधित जोखिम स्तर समर्थित नहीं है।

3. प्रयोगात्मक डिज़ाइन (Experimental Design)

• डेटासेट: 395 ऐतिहासिक Defects4J बग्स (Java) का एक पिन किया गया यूनिवर्स, जिसे 248 "कैंडिडेट-प्रेजेंट" बग्स (वे जिनमें कम से कम एक मैप किया गया दोषपूर्ण निष्पादन योग्य लाइन और पास/फेल दोनों टेस्ट मौजूद हैं) में कम किया गया है।
• प्रोटोकॉल: 30 प्रोजेक्ट-स्तरीकृत स्प्लिट्स (60% ट्रेनिंग, 20% कैलिब्रेशन, 20% टेस्ट)।
• तुलनाकर्ता (Comparators):
  • GBR: अनकैलिब्रेटेड ग्रेडिएंट-बूस्टेड क्वांटाइल रिग्रेसर।
  • Global Conformal: कैलिब्रेशन लक्ष्यों से प्राप्त एक फीचर-स्वतंत्र निरंतर कटऑफ़।
  • Fixed Policies: पूर्व-पंजीकृत Top-N और निश्चित-प्रतिशत नीतियां (जैसे, Top-10%)।
• स्ट्रेस टेस्ट (Stress Tests): होल्ड-आउट प्रोजेक्ट (Leave-One-Project-Out), क्रोनोलॉजिकल (टेम्पोरल शिफ्ट), और क्रॉस-लैंग्वेज (Python/BugsInPy पर ट्रांसफर) मूल्यांकन।

मुख्य परिणाम (Key Results)

90% कवरेज स्तर पर मूल्यांकन किया गया:

1. कवरेज बनाम वर्कलोड (Coverage vs. Workload):

   • ConformalFL (CQR): 91.8% औसत कवरेज प्राप्त किया जबकि 30.2% निष्पादन योग्य उम्मीदवारों का निरीक्षण किया (मीडियन 508.5 लाइनें)।
   • Uncalibrated (GBR): 15.6% निरीक्षण पर 87.6% कवरेज प्राप्त किया।
   • Global Conformal: 91.8% कवरेज प्राप्त किया लेकिन इसके लिए 44.2% निरीक्षण की आवश्यकता थी।
   • Fixed Top-10%: 28.3% निरीक्षण पर 90.1% कवरेज प्राप्त किया।

2. कैलिब्रेशन वैल्यू (Calibration Value):

   • कैलिब्रेशन ने अनकैलिब्रेटेड GBR की तुलना में लगभग 4.2 प्रतिशत अंक का कवरेज जोड़ा, लेकिन इसके लिए निरीक्षण प्रयास में +14.7 प्रतिशत अंक की लागत लगी।
   • स्थिर Global Conformal कटऑफ़ की तुलना में, CQR ने समान औसत कवरेज बनाए रखा जबकि 14.0 प्रतिशत अंक कम निरीक्षण किया, जो स्थिर कटऑफ़ के बजाय बग-अनुकूल कटऑफ़ के मूल्य को प्रदर्शित करता है।

3. वर्कलोड वितरण (Workload Distribution):

   • वर्कलोड वितरण अत्यधिक विषम (skewed) है। जबकि मीडियन निरीक्षण ~508 लाइनें था, भारी पूंछ (heavy tail) के कारण औसत ~1,521 लाइनें था।
   • 18.9% मामलों में "नो-कंप्रेशन" (पूर्ण निरीक्षण) हुआ क्योंकि स्कोर टाय ने उम्मीदवार सेट को पूरी रैंकिंग तक फैला दिया। यह विशेष रूप से तब हुआ जब कटऑफ़ ज़ीरो-स्कोर बाउंड्री पर आ गया।

4. स्ट्रेस टेस्ट (Stress Tests):

   • प्रोजेक्ट शिफ्ट: प्रोजेक्ट के अनुसार कवरेज भिन्न था (85.7%–100%), और छोटे कैलिब्रेशन सैंपल (जैसे, 5 बग्स) के परिणामस्वरूप वैक्यूअस (vacuous) (100% निरीक्षण) परिणाम निकले।
   • क्रॉस-लैंग्वेज: जब बिना रिट्रेनिंग के Python (BugsInPy) में स्थानांतरित किया गया, तो CQR ने उच्च अनुभवजन्य कवरेज (98.3%) बनाए रखा, लेकिन वर्कलोड में भारी गिरावट आई, जिसने औसतन 66.9% स्टेटमेंट्स का निरीक्षण किया, जिसमें 53.3% मामलों में पूर्ण निरीक्षण की आवश्यकता पड़ी।

महत्व और दावे (Significance and Claims)

यह शोध पत्र ConformalFL के योगदान के संबंध में मध्यम, विशिष्ट दावे करता है:

• ऑडिट करने योग्य जोखिम नियंत्रण (Auditable Risk Control): प्राथमिक योगदान एक अनुरोधित मिस रिस्क से बग-अनुकूल, 'टाई-कम्प्लीट' निरीक्षण सेट का एक ऑडिट करने योग्य मैपिंग है। यह कैलिब्रेशन और डिप्लॉयमेंट बग्स के बीच विनिमय क्षमता (exchangeability) की धारणा के तहत मार्जनल कवरेज की औपचारिक गारंटी प्रदान करता है।
• कोई सार्वभौमिक प्रभुत्व नहीं (No Universal Dominance): शोध पत्र स्पष्ट रूप से कहता है कि ConformalFL इस बेंचमार्क पर अच्छी तरह से चुनी गई निश्चित नीतियों (जैसे, Top-10%) पर अनुभवजन्य रूप से प्रभुत्व नहीं जमाता है। निश्चित Top-10% नीति बिना कैलिब्रेशन के कवरेज और प्रयास के मामले में तुलनीय प्रदर्शन करती है।
• सीमाएं (Limitations):
  • यह विधि अंतर्निहित SBFL रैंकिंग की गुणवत्ता में सुधार नहीं करती है।
  • यह विशिष्ट प्रोजेक्ट या उप-जनसंख्या के लिए कंडीशनल कवरेज की गारंटी नहीं देती है।
  • यह उन वितरण बदलावों (जैसे, क्रॉस-लैंग्वेज या नए प्रोजेक्ट्स) के तहत वैधता की गारंटी नहीं देती है जहाँ विनिमय क्षमता (exchangeability) विफल हो जाती है।
  • यह मानव डिबगिंग समय को माप नहीं करता है, क्योंकि लाइन काउंट का अर्थ संदर्भ-बदलने (context-switching) की लागत या समझ के प्रयास से नहीं है।

निष्कर्ष: ConformalFL उन टीमों के लिए एक व्यावहारिक उपकरण प्रदान करता है जिनके पास ऐतिहासिक दोष डेटा है, ताकि वे अनकैलिब्रेटेड ह्यूरिस्टिक्स को एक पारदर्शी नियम से बदल सकें जो स्पष्ट रूप से मिस रिस्क और निरीक्षण प्रयास के बीच ट्रेड-ऑफ करता है। हालाँकि, इसकी उपयोगिता प्रतिनिधि कैलिब्रेशन डेटा की आवश्यकता और उन स्थितियों में "नो-कंप्रेशन" परिणामों की संभावना द्वारा सीमित है जहाँ स्कोर टाय प्रचलित हैं या कैलिब्रेशन सैंपल छोटे हैं।