How do Execution Features Improve Statistical Fault Localization? An Empirical Study

तकनीकी सारांश: क्या निष्पादन विशेषताएँ (Execution Features) सांख्यिकीय दोष स्थानीयकरण (Statistical Fault Localization) में सुधार करती हैं? एक अनुभवजन्य अध्ययन

समस्या विवरण
स्वचालित दोष स्थानीयकरण (Automated fault localization) बड़े कोडबेस को समझने के लिए आवश्यक है, फिर भी पारंपरिक सांख्यिकीय दोष स्थानीयकरण (SFL) तकनीकें (जैसे, Tarantula, Ochiai) केवल लाइन निष्पादन स्पेक्ट्रा (pass/fail कवरेज) पर निर्भर करती हैं। इस दृष्टिकोण की अंतर्निहित सीमाएँ हैं: यह उन लाइनों के बीच अंतर नहीं कर सकता जो पास और फेल दोनों टेस्ट में निष्पादित होती हैं, और यह यह समझाने में विफल रहता है कि विफलता क्यों होती है (जैसे, विशिष्ट डेटा मान, ब्रांच स्थितियाँ, या चर संबंध)। जबकि पूर्ववर्ती कार्य पर 'एग्जीक्यूशन-फीचर-ड्रिवन-डिबगिंग' (EFDD) ने प्रदर्शित किया था कि सरल कवरेज से परे निष्पादन विशेषताएँ विफलताओं के साथ अधिक मजबूती से सह-संबंधित हैं, यह स्पष्ट नहीं है कि क्या इन विशेषताओं को मानक SFL पाइपलाइनों में एकीकृत करने से स्थानीयकरण सटीकता और डेवलपर प्रयास में ठोस, व्यावहारिक सुधार प्राप्त होता है।

कार्यप्रणाली
यह अध्ययन एक पूर्व-पंजीकृत, नियंत्रित प्रयोगात्मक डिजाइन का उपयोग करता है ताकि यह मूल्यांकन किया जा सके कि क्या निष्पादन विशेषताओं के साथ SFL को बढ़ाने से स्थानीयकरण में सुधार होता है। कार्यप्रणाली इस प्रकार है:

1. डेटासेट: अध्ययन Tests4Py बेंचमार्क से सभी 310 प्रतिलिपि योग्य बग्स का उपयोग करता है, जो संबंधित टेस्ट सूट्स और संदर्भ पैच के साथ वास्तविक दुनिया के पायथन दोषों का एक विविध सेट सुनिश्चित करता है।
2. विशेषता निष्कर्षण (Feature Extraction): EFDD फ्रेमवर्क का उपयोग करते हुए, सिस्टम प्रत्येक टेस्ट रन के लिए निष्पादन विशेषताओं को निकालने हेतु पायथन कोड को इंस्ट्रुमेंट करता है। इन विशेषताओं में लाइन/ब्रांच कवरेज, डेफिनिशन-यूज़ पेयर्स, वेरिएबल वैल्यू प्रेडिकेट्स, स्केलर-पेयर रिलेशंस, कंडीशन आउटकम्स और एक्सेप्शन एक्जिट शामिल हैं। प्रत्येक रन को एक लेबल वाले वेक्टर (pass/fail) के रूप में एनकोड किया जाता है।
3. मॉडल प्रशिक्षण: प्रत्येक विषय (बग) के लिए, उपलब्ध फीचर वेक्टर्स पर एक रैंडम फॉरेस्ट (RF) क्लासिफायर को प्रशिक्षित किया जाता है ताकि उन विशेषताओं की पहचान की जा सके जो पासिंग और फेलिंग रन के बीच अंतर करती हैं। RF का उपयोग सख्ती से एक फीचर-एट्रिब्यूशन डिवाइस के रूप में किया जाता है ताकि महत्व स्कोर (importance scores) उत्पन्न किए जा सकें, न कि अनदेखे डेटा के प्रत्यक्ष भविष्यवक्ता के रूप में।
4. स्कोर संवर्धन (Score Augmentation): अध्ययन मौजूदा SFL सूत्रों को बदलता नहीं है। इसके बजाय, यह प्रत्येक स्रोत लाइन के लिए एक फीचर-व्युत्पन्न भार ($w(l)$) की गणना करता है जो फीचर महत्व को उनके संबंधित लाइनों (जैसे, एक डेफ-यूज़ पेयर दोनों डेफिनेशन और यूज़ लाइनों से मैप होता है) पर मैप करता है। ये भार सामान्यीकृत (normalized) होते हैं और एक भारित मिश्रण (weighted blend) का उपयोग करके बेसलाइन SFL स्कोर ($susp'(l)$) के साथ संयोजित किए जाते हैं:
   $$susp(l) = (1 - \lambda) \cdot \text{norm}(susp'(l)) + \lambda \cdot \text{norm}(susp'(l) \times w(l))$$
   प्राथमिक पैरामीटर $\lambda$ को 0.35 पर सेट किया गया है, जो यह सुनिश्चित करता है कि बेसलाइन SFL मुख्य शब्द बना रहे, जबकि फीचर साक्ष्य को उन लाइनों को पुनर्व्यवस्थित करने की अनुमति मिले जहाँ संकेत संरेखित होते हैं।
5. मूल्यांकन मेट्रिक्स: अध्ययन सिंगल-पैच पूर्वाग्रह से बचने के लिए कई आयामों में प्रदर्शन को मापता है:
   • पैच-लाइन सटीकता: संदर्भ पैच के विरुद्ध टॉप-1, टॉप-5, टॉप-10 सटीकता।
   • डेवलपर प्रयास: लाइन और फंक्शन स्तर पर EXAM स्कोर और बर्बाद हुआ प्रयास (wasted effort)।
   • व्यापक ग्राउंड ट्रुथ: डायनेमिकली खोजे गए "टेस्ट-इम्पैक्ट सेट्स" (ऐसी लाइनें जो विफल होने वाले टेस्ट में देखी गई हैं लेकिन संभावित रूप से संदर्भ पैच के बाहर हैं) का कवरेज।
   • मजबूती (Robustness): पांच बेसलाइन सूत्रों (TARANTULA, OCHIAI, DSTAR, NAISH2, GP13) में निरंतरता।
6. सांख्यिकीय विश्लेषण: एक कन्फाउंडर-एडजस्टेड मिक्सड-इफेक्ट्स मॉडल का उपयोग प्राथमिक विश्लेषण उपकरण के रूप में किया जाता है, जो बग की कठिनाई, प्रोजेक्ट का आकार और टेस्ट-सुइट की विशेषताओं को नियंत्रित करता है। परिणाम वितरण-मुक्त युग्मित परीक्षणों (परम्यूटेशन टेस्ट, विल्कोक्सन साइन्ड-रैंक) द्वारा पुष्ट किए जाते हैं।

प्रमुख योगदान

• अनुभवजन्य मूल्यांकन: एक कठोर, पूर्व-पंजीकृत मूल्यांकन कि क्या निष्पादन-विशेषता भार (execution-feature weighting) EFDD से लाइन-लेवल SFL रैंकिंग में नैदानिक साक्ष्य को स्थानांतरित करता है।
• योगात्मक दृष्टिकोण (Additive Approach): एक नवीन विधि जो अपारदर्शी सीखे गए मॉडलों के स्थान पर निरीक्षण योग्य फीचर-इंपॉर्टेंस वेट्स के साथ स्थापित SFL सूत्रों को मॉड्युलेट करती है।
• व्यापक मेट्रिक्स: एक मूल्यांकन ढांचा जो सरल टॉप-k सटीकता से आगे बढ़कर फंक्शन-लेवल प्रयास, टेस्ट-इम्पैक्ट कवरेज और कई SFL बेसलाइनों में मजबूती को शामिल करता है।
• पुनरुत्पादकता (Reproducibility): एक ओपन लाइसेंस के तहत सोर्स कोड, डेटा, प्रशिक्षित मॉडल और विश्लेषण स्क्रिप्ट का पूर्ण रिलीज।

परिणाम
नोट: चूंकि यह एक पूर्व-पंजीकृत अध्ययन योजना है (जैसा कि निष्कर्ष में भविष्य काल और "विश्लेषण योजना" अनुभाग द्वारा इंगित किया गया है), पेपर अंतिम संख्यात्मक परिणामों की रिपोर्ट करने के बजाय अपेक्षित परिणामों और उनके निर्धारण के लिए कठोर ढांचे को रेखांकित करता है।

पेपर सफलता के विशिष्ट मानदंड परिभाषित करता है:

• सटीकता (HACC): संवर्धित विधि को तब श्रेष्ठ माना जाता है यदि वह अधिकांश बेसलाइन सूत्रों के लिए गैर-नगण्य प्रभाव आकार ($|d| \ge 0.2$) के साथ पांच में से कम से कम चार संदर्भ-पैच मेट्रिक्स (Top-1/5/10, EXAM, wasted effort) में सुधार करती है।
• मजबूती (HROB): सुधार सभी पांच बेसलाइन सूत्रों में सुसंगत होना चाहिए।
• प्रयास और कवरेज: विधि को व्यवस्थित रूप से लाइन/फंक्शन-लेवल प्रयास को कम नहीं करना चाहिए और इसे टेस्ट-इम्पैक्ट सेट्स के कवरेज को बनाए रखना चाहिए या उसमें सुधार करना चाहिए।

अध्ययन को उम्मीद है कि निष्पादन विशेषताएँ विफलता-प्रासंगिक व्यवहार (जैसे विशिष्ट चर स्थितियाँ) को कैप्चर करेंगी जिन्हें लाइन स्पेक्ट्रा मिस कर देते हैं, जिससे संभावित रूप से लाइनों को पुनर्व्यवस्थित किया जा सकेगा ताकि वास्तविक दोष को रैंकिंग में ऊपर लाया जा सके। हालांकि, लेखक ह्यूरिस्टिक मैपिंग नियमों, विरल (sparse) विफल होने वाले टेस्ट, या अस्थिर फीचर महत्व के कारण मिश्रित परिणामों की संभावना को स्वीकार करते हैं।

महत्व और दावे
पेपर दावा करता है कि यदि निष्पादन-विशेषता भार सफल सिद्ध होता है, तो यह प्रमाण प्रदान करता है कि समृद्ध निष्पादन संकेत स्थापित SFL सूत्रों की व्याख्यात्मकता (interpretability) को त्याग बिना सरल लाइन स्पेक्ट्रा से बेहतर स्थानीयकरण में सुधार कर सकते हैं। यह अध्ययन स्थापित SFL सूत्रों के माध्यम से निष्पादन विशेषताओं द्वारा दिए गए विशिष्ट अंतर (delta) को अलग करके, LLM-आधारित स्थानीयकरण जैसे भविष्य के कार्यों के लिए एक आवश्यक पूर्व शर्त के रूप में खुद को स्थापित करता है।

लेखक अपने दावों में विनम्र हैं, स्पष्ट रूप से कहते हैं कि सकारात्मक परिणाम की गारंटी नहीं है। वे इस बात पर जोर देते हैं कि अध्ययन का लक्ष्य कठोर सांख्यिकीय नियंत्रण और परिणाम-तटस्थ गुणवत्ता जांच के माध्यम से वास्तविक लाभ को आर्टिफैक्ट्स (जैसे लंबी फंक्शन या बेंचमार्क की विशिष्टताएं) से अलग करना है। अंतिम लक्ष्य यह निर्धारित करना है कि स्वचालित डिबगिंग पाइपलाइनों में डेवलपर्स की सहायता के लिए निष्पादन विशेषताओं को कब और कैसे प्रभावी ढंग से एकीकृत किया जा सकता है।