Statistical Confidence in Functional Correctness: An Approach for AI Product Functional Correctness Evaluation

1. समस्या विवरण (Problem Statement)

आर्टिफिशियल इंटेलिजेंस (AI) प्रणालियों का मूल्यांकन एक मौलिक प्रतिमान असंगति (paradigmatic incompatibility) का सामना करता है: पारंपरिक सॉफ्टवेयर परीक्षण निश्चित (deterministic) इनपुट-आउटपुट मैपिंग पर निर्भर करते हैं, जबकि AI प्रणालियाँ स्वाभाविक रूप से संभाव्यता आधारित (probabilistic) और अनुकूलनशील (adaptive) होती हैं।

• वर्तमान मानकों की सीमाएँ: जबकि ISO/IEC 25059 जैसे मानक AI के लिए एक गुणवत्ता मॉडल प्रदान करते हैं, वे कार्यात्मक शुद्धता (Functional Correctness) का आकलन करने के लिए व्यावहारिक, सांख्यिकीय रूप से सुदृढ़ तरीकों की कमी रखते हैं। मौजूदा दृष्टिकोण अक्सर पॉइंट एस्टीमेट्स (point estimates) (जैसे, एक एकल औसत सटीकता) पर निर्भर करते हैं, जो प्रदर्शन की परिवर्तनशीलता को छिपा देते हैं और सुरक्षा की झूठी भावना पैदा करते हैं।
• ओरेकल समस्या (The Oracle Problem): AI में, "सही" आउटपुट अक्सर अनिश्चित होता है या केवल एक संभाव्यता सीमा के भीतर अनुमानित होता है, जिससे स्पष्ट पास/फेल मानदंड परिभाषित करना कठिन हो जाता है।
• अंतराल (The Gap): व्यावसायिक आवश्यकताओं को सांख्यिकीय विश्वास अंतराल (statistical confidence intervals) में अनुवादित करने के लिए अनुभवजन्य तरीकों की कमी है, जो मॉडल के औसत प्रदर्शन और उसकी परिवर्तनशीलता दोनों को ध्यान में रखते हैं, विशेष रूप से यह निर्धारित करने के लिए कि क्या कोई सिस्टम तैनाती (deployment) के लिए तैयार है।

2. कार्यप्रणाली: SCFC दृष्टिकोण (Methodology: The SCFC Approach)

लेखक स्टैटिस्टिकल कॉन्फिडेंस इन फंक्शनल करेक्टनेस (SCFC) दृष्टिकोण प्रस्तावित करते हैं, जो कार्यात्मक शुद्धता मूल्यांकन को संचालित करने के लिए डिज़ाइन की गई एक चार-चरणीय कार्यप्रणाली है।

चरण 1: कार्यात्मक शुद्धता विशिष्टता सीमाओं को परिभाषित करना (Define Functional Correctness Specification Limits)

• उद्देश्य: व्यावसायिक आवश्यकताओं को वस्तुनिष्ठ, मापने योग्य स्वीकृति मानदंडों में अनुवादित करना।
• तंत्र: एक लोअर स्पेसिफिकेशन लिमिट (LSL) (जैसे, न्यूनतम रिकॉल) या एक अपर स्पेसिफिकेशन लिमिट (USL) (जैसे, अधिकतम फाल्स पॉजिटिव रेट) स्थापित करना।
• उदाहरण: "सिस्टम को कम से कम 95% फ्रॉड रिकॉल प्राप्त करना चाहिए" ($LSL = 0.95$)।

चरण 2: स्तरीकृत और संभाव्यता आधारित नमूनाकरण करना (Perform Stratified and Probabilistic Sampling)

• उद्देश्य: यह सुनिश्चित करना कि परीक्षण डेटा वास्तविक दुनिया के उत्पादन वितरण (production distribution) का प्रतिनिधित्व करता है ताकि भ्रामक निष्कर्षों से बचा जा सके।
• तंत्र: साधारण यादृच्छिक नमूनाकरण (simple random sampling) के बजाय स्तरीकृत नमूनाकरण (stratified sampling) का उपयोग करें। डोमेन विशेषज्ञ स्तरीकरण चर (जैसे, लेनदेन प्रकार, क्षेत्र) की पहचान करते हैं ताकि यह सुनिश्चित हो सके कि अल्पसंख्यक लेकिन महत्वपूर्ण उपसमूहों का पर्याप्त प्रतिनिधित्व हो। स्ट्रेटा (strata) के भीतर तत्वों का चयन संभाव्यता के आधार पर किया जाता है।

चरण 3: बूटस्ट्रैपिंग लागू करना और विश्वास अंतराल की गणना करना (Apply Bootstrapping and Calculate Confidence Intervals)

• उद्देश्य: प्रदर्शन मीट्रिक की अनिश्चितता और परिवर्तनशीलता को मापना।
• तंत्र: परीक्षण नमूने पर बूटस्ट्रैपिंग (bootstrapping) (प्रतिस्थापन के साथ गैर-पैरामीट्रिक पुन: नमूनाकरण) लागू करें।
  • $S$ पुन: नमूने (जैसे, $S=1000$) उत्पन्न करें जिनका आकार $n$ हो।
  • एक अनुभवजन्य वितरण बनाने के लिए प्रत्येक पुन: नमूने के लिए प्रदर्शन मीट्रिक की गणना करें।
  • एक 95% कॉन्फिडेंस इंटरवल (CI) (जैसे, $[87\%, 91\%]$) प्राप्त करें जो उस सीमा को परिभाषित करता है जहाँ वास्तविक सिस्टम प्रदर्शन होने की संभावना है।

चरण 4: क्षमता सूचकांक ($C_{pk}$) की गणना और विश्लेषण करना (Calculate and Analyze the Capability Index ($C_{pk}$))

• उद्देश्य: औसत प्रदर्शन और परिवर्तनशीलता को एक एकल निर्णय संकेतक में संश्लेषित करना।
• तंत्र: सिक्स सिग्मा $C_{pk}$ फॉर्मूले को अनुकूलित करें। पारंपरिक $C_{pk}$ के विपरीत जो सामान्यता (normality) और मानक विचलन का उपयोग करता है, SCFC बूटस्ट्रैपिंग से प्राप्त कॉन्फिडेंस इंटरवल बाउंड्स का उपयोग करता है।
  • निचली सीमा के लिए सूत्र: $C_{pl} = \frac{\text{Mean} - \text{LSL}}{\text{Mean} - \text{Lower Bound of CI}}$
  • ऊपरी सीमा के लिए सूत्र: $C_{pu} = \frac{\text{USL} - \text{Mean}}{\text{Upper Bound of CI} - \text{Mean}}$
  • अंतिम सूचकांक: $C_{pk} = \min(C_{pl}, C_{pu})$
• व्याख्या:
  • $C_{pk} < 1.0$: अस्वीकार्य (परिवर्तनशीलता सुरक्षा मार्जिन से अधिक है)।
  • $C_{pk} = 1.0$: न्यूनतम क्षमता (सिस्टम सीमा पर है)।
  • $C_{pk} > 2.0$: उत्कृष्ट (आवश्यकताओं को पूरा करने में उच्च विश्वास)।

3. मुख्य योगदान (Key Contributions)

1. ISO/IEC 25059 का संचालन: अंतरराष्ट्रीय मानकों में परिभाषित अमूर्त "कार्यात्मक शुद्धता" उप-विशेषता को लागू करने के लिए एक ठोस, सांख्यिकीय ढांचा प्रदान करता है।
2. पॉइंट एस्टीमेट्स से सांख्यिकीय विश्वास की ओर बदलाव: उद्योग की चर्चा को "सटीकता क्या है?" से बदलकर "इस बात का सांख्यिकीय विश्वास क्या है कि सटीकता व्यावसायिक आवश्यकता को पूरा करती है?" पर ले जाता है।
3. गैर-पैरामीट्रिक क्षमता सूचकांक: एक $C_{pk}$ वेरिएंट पेश करता है जो त्रुटियों के सामान्य वितरण (normal distribution) को मानकर नहीं चलता, जिससे यह विविध AI प्रदर्शन मीट्रिक्स के लिए सुदृढ़ बनता है।
4. अनुभवजन्य सत्यापन: वास्तविक औद्योगिक केस स्टडीज के माध्यम से इस दृष्टिकोण का प्रदर्शन करता है और विशेषज्ञ साक्षात्कार के माध्यम से इसकी उपयोगिता को सत्यापित करता है।

4. परिणाम (Results)

इस दृष्टिकोण का मूल्यांकन दो वास्तविक औद्योगिक मामलों का उपयोग करके किया गया था और चार AI विशेषज्ञों द्वारा इसे मान्य किया गया।

केस स्टडी 1: कार्गो डेक स्पेस एस्टीमेशन (तेल और गैस)

• लक्ष्य: ऑयल प्लेटफॉर्म पर खाली स्थान का अनुमान लगाना (सिमेंटिक सेगमेंटेशन)।
• आवश्यकता: $LSL = 70\%$ (स्वीकृति सीमा के भीतर भविष्यवाणियां)।
• परिणाम: देखी गई औसत सटीकता 83.4% थी। हालांकि, 95% CI $[71.4\%, 92.9\%]$ था।
• $C_{pk}$ गणना: 1.12।
• अंतर्दृष्टि: जबकि माध्य (83%) सुरक्षित लग रहा था, $C_{pk}$ के 1.12 ने खुलासा किया कि निचली सीमा (71.4%) सीमा (70%) के खतरनाक रूप से करीब थी। सिस्टम को केवल निरंतर निगरानी के साथ ही तैनात करने योग्य माना गया।

केस स्टडी 2: क्रेडिट कार्ड फ्रॉड डिटेक्शन (वित्त)

• लक्ष्य: धोखाधड़ी वाले लेनदेन का पता लगाना (बाइनरी क्लासिफिकेशन)।
• आवश्यकता: $LSL = 98\%$ रिकॉल (फाल्स नेगेटिव की उच्च लागत के कारण)।
• परिणाम: देखी गई औसत रिकॉल 99.1% थी। 95% CI $[98.55\%, 99.67\%]$ था।
• $C_{pk}$ गणना: 1.98।
• अंतर्दृष्टि: सिस्टम मजबूत है। यहाँ तक कि CI की निचली सीमा (98.55%) भी आवश्यकता (98%) से काफी ऊपर है, जो तैनाती के लिए उच्च विश्वास का संकेत देती है।

विशेषज्ञ सत्यापन (साक्षात्कार)

• उपयुक्तता (RQ1): विशेषज्ञों ने विशिष्टता सीमाओं, स्तरीकृत नमूनाकरण और बूटस्ट्रैपिंग को परिभाषित करने की उपयोगिता पर एकमत से सहमति व्यक्त की। क्षमता सूचकांक को एक सुदृढ़ सारांश मीट्रिक के रूप में देखा गया, हालांकि कुछ ने उल्लेख किया कि यह उन "सीमांत" मामलों में सबसे अधिक मूल्यवान है जहाँ निर्णय स्पष्ट नहीं होता है।
• स्वीकृति (RQ2): अपनाने की उच्च मंशा। विशेषज्ञों ने इस दृष्टिकोण को MLOps और निरंतर निगरानी के लिए उपयोगी माना। पहचाना गया एकमात्र अवरोध उन अभ्यासकर्ताओं के लिए एक संभावित "लर्निंग कर्व" था जो इस तकनीक से अपरिचित हैं।

5. महत्व (Significance)

• जोखिम का परिमाणीकरण: SCFC दृष्टिकोण हितधारकों को तैनाती विफलता के जोखिम को मापने की अनुमति देता है। यह उन प्रणालियों की तैनाती को रोकता है जिनमें उच्च औसत स्कोर तो है लेकिन उच्च परिवर्तनशीलता है जो उत्पादन में व्यावसायिक सीमाओं का उल्लंघन कर सकती है।
• मानकीकरण: यह AI गुणवत्ता आश्वासन के लिए एक मानकीकृत, गणितीय भाषा प्रदान करता है, जो व्यावसायिक हितधारकों (जो सीमाएं परिभाषित करते हैं) और डेटा वैज्ञानिकों (जो मॉडल का प्रबंधन करते हैं) के बीच के अंतर को पाटता है।
• व्यावहारिक व्यवहार्यता: अध्ययन साबित करता है कि यह दृष्टिकोण कम्प्यूटेशनल रूप से व्यवहार्य है (बूटस्ट्रैपिंग के लिए मॉडल इन्फरेंस को फिर से चलाने की आवश्यकता नहीं है, केवल परिणामों का पुन: नमूनाकरण आवश्यक है) और वास्तविक औद्योगिक परिदृश्यों में लागू करने योग्य है।
• भविष्य की दिशा: यह पेपर AI इंजीनियरिंग संस्कृति को "पॉइंट-एस्टीमेट वैलिडेशन" से "सांख्यिकीय विश्वास वैलिडेशन" की ओर बढ़ने का आह्वान करता है, जो अधिक विश्वसनीय और भरोसेमंद AI सिस्टम के लिए एक रोडमैप प्रदान करता है।