Can Causality Cure Confusion Caused By Correlation (in Software Analytics)?

प्रदत्त पाठ के आधार पर, अमिरली रेगन और टिम मेंजीज़ के शोध पत्र "Can Causality Cure Confusion Caused By Correlation (in Software Analytics)?" का विस्तृत तकनीकी सारांश यहाँ दिया गया है।

1. समस्या विवरण (Problem Statement)

सॉफ्टवेयर एनालिटिक्स दोष भविष्यवाणी (defect prediction) और कॉन्फ़िगरेशन ट्यूनिंग जैसे व्याख्यात्मक कार्यों के लिए प्रतीकात्मक मॉडलों (जैसे निर्णय वृक्ष/decision trees) पर बहुत अधिक निर्भर करता है। हालाँकि, ये मॉडल एक गंभीर स्थिरता संकट का सामना करते हैं:

• सहसंबंध बनाम कारणता (Correlation vs. Causation): पारंपरिक मॉडल सहसंबंध-आधारित विभाजन मानदंडों (विचरण न्यूनीकरण, सूचना लाभ) का उपयोग करते हैं जो सांख्यिकीय संबंधों की पहचान तो करते हैं, लेकिन प्रत्यक्ष कारणता ($X \to Y$), प्रतिवर्ती कारणता ($Y \to X$), या कन्फाउंडिंग ($Z \to X, Z \to Y$) के बीच अंतर नहीं कर सकते।
• अस्थिरता (Instability): सहसंबंध-आधारित मॉडल और मौजूदा कारण खोज एल्गोरिदम (causal discovery algorithms) दोनों ही उच्च अस्थिरता से ग्रस्त हैं। डेटा सैंपलिंग या प्रीप्रोसेसिंग में मामूली बदलाव भी मॉडल की संरचना और स्पष्टीकरणों को पूरी तरह से बदल देते हैं।
• अंतराल (The Gap): जबकि कारण खोज एल्गोरिदम इसे ठीक करने का प्रयास करते हैं, वे अक्सर NP-hard होते हैं और ऐसे ह्यूरिस्टिक्स (heuristics) पर निर्भर होते हैं जो अस्थिर ग्राफ ही उत्पन्न करते हैं। इसके विपरीत, सहसंबंध-आधारित मॉडल इसलिए अस्थिर होते हैं क्योंकि वे स्प्यूरियस (spurious) और कन्फाउंडेड फीचर्स को निर्णय नियमों के रूप में ऊपर उठाते हैं।
• मुख्य प्रश्न: क्या निर्णय वृक्षों में कारणता-जागरूक विभाजन मानदंडों (causality-aware split criteria) को शामिल करने से उनके प्रदर्शन या अनुकूलन (optimization) की बलि दिए बिना उनकी स्थिरता और मजबूती (robustness) में सुधार किया जा सकता है?

2. कार्यप्रणाली (Methodology)

यह अध्ययन MOOT रिपॉजिटरी से 120+ बहु-उद्देश्यीय अनुकूलन कार्यों (multi-objective optimization tasks) में स्थिरता का मूल्यांकन करने के लिए एक प्री-रजिस्टर्ड बूटस्ट्रैप-एन्सेम्बल प्रोटोकॉल का उपयोग करता है।

A. प्रयोगात्मक सेटअप (Experimental Setup)

• बेसलाइन मॉडल (EZR): एक हल्का, लेबल-कुशल ढांचा जो सहसंबंध-आधारित विभाजन (विचरण न्यूनीकरण) का उपयोग करके निर्णय वृक्ष बनाता है। यह "विन स्कोर" (दूरी-टू-हेवन मीट्रिक) के लिए अनुकूलन करता है।
• प्रस्तावित मॉडल (Causal-Tree): एक संशोधित प्रतीकात्मक मॉडल जो विचरण न्यूनीकरण के स्थान पर कारणता-जागरूक विभाजन मानदंडों का उपयोग करता है।
  • विभाजन मानदंड (Split Criterion): कुल एंट्रॉपी द्वारा सामान्यीकृत कंडीशनल एंट्रॉपी ($H(Y|X)$) का उपयोग करता है। कम स्कोर उन गुणों को दर्शाते हैं जो लक्ष्य (target) को बेहतर ढंग से समझाते हैं, जो एक कारण संबंध का सुझाव देते हैं।
  • कन्फाउंडर फ़िल्टरिंग (Backdoor Protection): वृक्ष निर्माण से पहले, सिस्टम कंडीशनल म्यूचुअल इंफॉर्मेशन जाँच लागू करता है। यदि किसी फीचर का लक्ष्य के साथ संबंध किसी अन्य चर पर स्थितिजन्य (conditioning) होने पर समाप्त हो जाता है (जो बैकडोर पैटर्न $Z \to [X, Y]$ से मेल खाता है), तो उसे कन्फाउंडर के रूप में चिह्नित किया जाता है और हटा दिया जाता है।
• मानव बेंचमार्क (Human Benchmark): मानव कारण निर्णय (human causal judgment) की स्थिरता के लिए एक आधार स्थापित करने हेतु डोमेन विशेषज्ञों (Subject Matter Experts - SMEs) का एक सर्वेक्षण।

B. अनुसंधान प्रश्न (RQs)

1. RQ1 (मानव बनाम स्वचालित स्थिरता): क्या मानव विशेषज्ञ कारण संबंधों के बारे में स्थिर निष्कर्षों तक पहुँचते हैं, और सहसंबंध-आधारित स्वचालित मॉडलों की तुलना में यह कैसा है?
2. RQ2 (स्थिरता प्रभाव): क्या कारणता-जागरूक विभाजन मानदंडों का उपयोग करने से पारंपरिक सहसंबंध-आधारित वृक्षों की तुलना में अधिक स्थिर मॉडल संरचनाएं और अनुकूलन परिणाम प्राप्त होते हैं?
3. RQ3 (प्रदर्शन ट्रेड-ऑफ): क्या स्थिरता में वृद्धि भविष्य कहने वाली सटीकता (predictive accuracy) या अनुकूलन प्रदर्शन की कीमत पर आती है?

C. मूल्यांकन मेट्रिक्स (Evaluation Metrics)

• स्थिरता (Stability): 20 बूटस्ट्रैप पुनरावृत्तियों में विन-स्कोर असाइनमेंट और फीचर चयन की विचरण (variance) और गिनी इम्प्योरिटी (Gini Impurity) के माध्यम से मापा जाता है।
• प्रदर्शन (Performance): दूरी-टू-हेवन (d2h) मीट्रिक (कमतर बेहतर) और विन स्कोर (0–100) द्वारा मापा जाता है।
• सांख्यिकीय परीक्षण (Statistical Tests): वितरण अंतर के लिए कोलमोगोरोव-स्मिरनोव (KS) परीक्षण और प्रभाव आकार (effect size) के लिए क्लिफ्स डेल्टा (Cliff's Delta)।

3. मुख्य योगदान (Key Contributions)

• कारण विभाजन ढांचा (Causal Splitting Framework): यह शोध पत्र विभाजन के लिए कंडीशनल एंट्रॉपी और कन्फाउंडर फ़िल्टरिंग के लिए कंडीशनल म्यूचुअल इंफॉर्मेशन को मिलाकर निर्णय वृक्षों में कारण तर्क को एकीकृत करने की एक नवीन विधि प्रस्तावित करता है।
• अनुभवजन्य स्थिरता बेंचमार्क (Empirical Stability Benchmark): यह सरल सटीकता मेट्रिक्स से आगे बढ़कर, मानव विशेषज्ञ निर्णयों के विरुद्ध प्रतीकात्मक मॉडलों की स्थिरता को मापने के लिए एक कठोर प्रोटोकॉल स्थापित करता है।
• व्यापक डेटासेट दायरा (Comprehensive Dataset Scope): यह दृष्टिकोण का सामान्यीकरण सुनिश्चित करने के लिए 120+ विविध डेटासेट्स (सॉफ्टवेयर कॉन्फ़िगरेशन, क्लाउड ट्यूनिंग, प्रोजेक्ट हेल्थ, वित्तीय और व्यवहारिक डेटा) में मूल्यांकन करता है।
• कारण खोज से भिन्नता (Differentiation from Causal Discovery): पूर्ण कारण ग्राफ खोज (जो अस्थिर है) के विपरीत, यह दृष्टिकोण स्प्यूरियस संबंधों को हटाने के लिए कारण तर्क को सीधे वृक्ष-निर्माण प्रक्रिया में समाहित करता है ताकि अधिक मजबूत "कॉज़ल ट्री" बनाए जा सकें।

4. परिणाम (अपेक्षित/योजनाबद्ध) (Results - Expected/Planned)

नोट: चूंकि यह एक रजिस्टर्ड रिपोर्ट (अध्ययन डिजाइन चरण) है, इसलिए यह अंतिम अनुभवजन्य परिणामों के बजाय एक विश्लेषण योजना की रूपरेखा तैयार करती है। हालाँकि, अपेक्षित परिणाम निम्नानुसार परिभाषित हैं:

• RQ1: अध्ययन का अनुमान है कि वह मानव विशेषज्ञ के निर्णयों के विचरण की तुलना EZR वृक्षों के विचरण से करेगा। लक्ष्य यह निर्धारित करना है कि क्या मानवीय अंतर्ज्ञान स्वाभाविक रूप से वर्तमान सहसंबंध संबंधी ह्यूरिस्टिक्स की तुलना में अधिक स्थिर है।
• RQ2: परिकल्पना यह है कि कारणता-जागरूक वृक्ष, EZR की तुलना में फीचर चयन और अनुकूलन परिणामों में कम विचरण प्रदर्शित करेंगे, जो उच्च मजबूती (robustness) का संकेत देता है।
• RQ3: अध्ययन का लक्ष्य यह सिद्ध करना है कि बढ़ी हुई स्थिरता महत्वपूर्ण रूप से अनुकूलन प्रदर्शन (d2h स्कोर) को कम नहीं करती है। यदि कारण वृक्ष समान रूप से प्रदर्शन करने वाले और अधिक स्थिर हैं, तो वे SE में व्याख्यात्मक AI के लिए एक बेहतर दृष्टिकोण का प्रतिनिधित्व करते हैं।

5. महत्व (Significance)

• विश्वास और पुनरुत्पादकता (Trust and Reproducibility): वर्तमान सॉफ्टवेयर एनालिटिक्स मॉडलों की अस्थिरता को संबोधित करके, यह कार्य डेटा-संचालित स्पष्टीकरणों में अभ्यासकर्ताओं के विश्वास को बहाल करने का लक्ष्य रखता है।
• कार्यवाही योग्य अंतर्दृष्टि (Actionable Insights): केवल सहसंबंधों को "देखने" से लेकर हस्तक्षेप (interventions) करने (कारण तर्क) तक का सफर, सॉफ्टवेयर इंजीनियरों को अधिक विश्वसनीय कॉन्फ़िगरेशन परिवर्तन और दोष भविष्यवाणी करने की अनुमति देता है।
• पद्धतिगत बदलाव (Methodological Shift): यह SE में शुद्ध सहसंबंध-आधारित लर्नर्स के प्रभुत्व को चुनौती देता है, और एक हाइब्रिड दृष्टिकोण का प्रस्ताव करता है जो स्प्यूरियस संबंधों को छाँटने के लिए कारण फ़िल्टरिंग का लाभ उठाता है, जिससे अधिक सुसंगत और विश्वसनीय निर्णय नियम बनते हैं।
• मानव-केंद्रित एनालिटिक्स (Human-Centered Analytics): मानव विशेषज्ञों के विरुद्ध बेंचमार्किंग करके, यह अध्ययन स्वचालित मशीन लर्निंग और डोमेन अंतर्ज्ञान के बीच के अंतर को पाटता है, यह सुनिश्चित करता है कि स्वचालित स्पष्टीकरण मानवीय कारण समझ के साथ संरेखित हों।

संक्षेप में, यह शोध पत्र प्रस्तावित करता है कि कारणता-जागरूक विभाजन (causality-aware splitting) सहसंबंध द्वारा उत्पन्न भ्रम को "ठीक" कर सकता है, जिससे स्प्यूरियस संबंधों को फ़िल्टर किया जा सके, और इस प्रकार ऐसे प्रतीकात्मक मॉडल बनाए जा सकें जो न केवल व्याख्या योग्य हैं बल्कि वास्तविक दुनिया के सॉफ्टवेयर इंजीनियरिंग कार्यों के लिए स्थिर, मजबूत और विश्वसनीय भी हैं।