Quality Model for Machine Learning Components

तकनीकी सारांश: मशीन लर्निंग घटकों के लिए गुणवत्ता मॉडल (Quality Model for Machine Learning Components)

समस्या विवरण
मशीन लर्निंग (ML) को अपनाने और MLOps इंफ्रास्ट्रक्चर की उपलब्धता के बावजूद, ML मॉडल विकास और सफल उत्पादन परिनियोजन (production deployment) के बीच एक महत्वपूर्ण अंतर बना हुआ है। अध्ययन संकेत देते हैं कि केवल लगभग 40% ML प्रोटोटाइप ही उत्पादन तक पहुँच पाते हैं। विफलता का एक प्राथमिक कारण यह है कि परीक्षण अभ्यास काफी हद तक मॉडल के गुणों, जैसे कि भविष्य कहनेवाला सटीकता (predictive accuracy), के मूल्यांकन तक सीमित हैं, जबकि व्यापक सिस्टम संदर्भ (जैसे थ्रूपुट, संसाधन खपत, मजबूती) से प्राप्त आवश्यकताओं की अनदेखी की जाती है।

इसके अलावा, मॉडल डेवलपर्स और सिस्टम हितधारकों (stakeholders) के बीच अक्सर एक विच्छेद होता है। मॉडल डेवलपर्स के पास अक्सर सिस्टम संदर्भ या सटीकता से परे परीक्षण करने के लिए आवश्यक कौशल का अभाव होता है, जबकि सिस्टम की आवश्यकताएं अक्सर उनके साथ साझा नहीं की जाती हैं। मौजूदा गुणवत्ता मानक, जैसे कि ISO 25010 और AI सिस्टमों के लिए नया ISO 25059, एक चुनौती पेश करते हैं: वे सिस्टम-स्तरीय विशेषताओं को घटक-स्तरीय (component-level) विशेषताओं के साथ मिला देते हैं। "सह-अस्तित्व" (co-existence) जैसे गुण (संसाधनों को साझा करते समय कुशलतापूर्वक कार्य करने की क्षमता) को एक मॉडल डेवलकर द्वारा घटक स्तर पर नहीं आंका जा सकता है, फिर भी वे घटक पर महत्वपूर्ण बाधाएं लगाते हैं। यह मिश्रण ML घटकों के लिए आवश्यकताओं के निष्कर्षण और परीक्षण में बाधा डालता है, विशेष रूप से उन परिदृश्यों में जहाँ विकास आउटसोर्स किया गया है, अलग-अलग डेटा साइंस टीमों द्वारा किया जाता है, या प्री-ट्रेंड मॉडल्स शामिल हैं।

कार्यप्रणाली (Methodology)
लेखकों ने विशेष रूप से ML घटकों के लिए एक गुणवत्ता मॉडल विकसित किया है, जो एक कठोर, बहु-चरणीय प्रक्रिया के माध्यम से बनाया गया है जिसका उद्देश्य परीक्षण योग्य घटक विशेषताओं को सिस्टम-स्तरीय विशेषताओं से अलग करना है।

1. स्रोत पहचान (Source Identification): प्रक्रिया तीन मानक दस्तावेजों (ISO 25010, ISO 25059, और ISO 25019) और दो प्रासंगिक शैक्षणिक/उद्योग अध्ययनों के साथ शुरू हुई।
2. निष्कर्षण और वि-दोहराव (Extraction and Deduplication): चार शोधकर्ताओं की एक टीम (जिनकी पृष्ठभूमि सॉफ्टवेयर इंजीनियरिंग और डेटा विज्ञान में थी) ने 163 गुणवत्ता गुणों (QAs) को शब्दशः निकाला। कार्ड सॉर्टिंग का उपयोग करके, उन्होंने इन्हें 80 QA समूहों में वर्गीकृत किया ताकि डुप्लिकेट को हटाया जा सके और नामकरण की विसंगतियों को सुलझाया जा सके।
3. एनोटेशन और फ़िल्टरिंग (Annotation and Filtering): प्रत्येक QA समूह को प्रकार के आधार पर एनोटेट किया गया:
   • प्रकार 1: ML घटक पर लागू होता है (घटक स्तर पर परीक्षण योग्य)।
   • प्रकार 2: ML-सक्षम सिस्टम पर लागू होता है लेकिन ML घटक पर आवश्यकताएं रखता है (सिस्टम-व्युत्पन्न)।
   • प्रकार 3: केवल सिस्टम पर लागू होता है (घटक स्तर पर परीक्षण योग्य नहीं)।
     सर्वसम्मति निर्माण के माध्यम से, 44 समूहों को टाइप 1 (या टाइप 1 और 2) के रूप में पहचाना गया, जबकि 10 को टाइप 3 के रूप में पहचाना गया।
4. परिभाषा और वर्गीकरण (Definition and Categorization): टीम ने 44 समूहों को 35 विशिष्ट QAs में परिष्कृत किया, जिनकी परिभाषाएं ML क्षमताओं पर केंद्रित थीं। एक अंतिम कार्ड सॉर्टिंग अभ्यास ने इन्हें 7 श्रेणियों में वर्गीकृत किया, जिसके परिणामस्वरूप 30 गुणवत्ता गुणों का एक अंतिम मॉडल प्राप्त हुआ।

प्रमुख योगदान (Key Contributions)
प्राथमिक योगदान एक ML घटकों के लिए गुणवत्ता मॉडल है जो आवश्यकताओं के निष्कर्षण और बातचीत के लिए एक मार्गदर्शक के रूप में कार्य करता है। यह ML घटक डेवलपर्स और सिस्टम हितधारकों को सिस्टम-व्युत्पन्न आवश्यकताओं को परिभाषित करने और परीक्षण प्रयासों पर ध्यान केंद्रित करने के लिए एक सामान्य शब्दावली प्रदान करता है। यह मॉडल उन विशेषताओं के बीच अंतर करता है जिन्हें घटक स्तर पर परीक्षण किया जा सकता है और जो सिस्टम-स्तरीय हैं, जो ISO 25059 जैसे वर्तमान मानकों की सीमाओं को संबोधित करता है।

मॉडल सात श्रेणियों में संरचित है:

1. व्यवहार विश्लेषण (Behavior Analysis): विश्लेषणीयता (Analyzability), निगरानी क्षमता (Monitorability), परीक्षण क्षमता (Testability), बोधगम्यता (Understandability)।
2. विश्वास (Confidence): व्याख्यात्मकता (Explainability), कार्यात्मक शुद्धता (Functional Correctness), व्याख्यात्मकता (Interpretability)।
3. निरंतरता (Consistency): पुनरावृत्ति (Repeatability), पुनरुत्पादकता (Reproducibility)।
4. निरंतर संचालन (Continued Operation): तैनात करने की क्षमता (Deployability), लचीलापन (Resilience), विश्वसनीयता (Reliability), संसाधन उपयोग (Resource Utilization), मजबूती (Robustness), समय व्यवहार (Time Behavior)।
5. रखरखाव और विकास (Maintenance and Evolution): डोमेन अनुकूलन क्षमता (Domain Adaptability), रखरखाव क्षमता (Maintainability), संशोधनीयता (Modifiability), पोर्टेबिलिटी (Portability), प्रतिस्थापन क्षमता (Replaceability), पुनः प्रशिक्षण क्षमता (Retrainability), पुन: प्रयोज्यता (Reusability)।
6. जिम्मेदार AI (Responsible AI): अनुपालन (Compliance), आर्थिक जोखिम विचार (Economic Risk Consideration), निष्पक्षता (Fairness), स्वास्थ्य और सुरक्षा जोखिम विचार (Health and Safety Risk Consideration), समावेशिता (Inclusivity), सामाजिक और नैतिक जोखिम विचार (Societal and Ethical Risk Consideration)।
7. सुरक्षा और गोपनीयता (Security and Privacy): गोपनीयता (Privacy), प्रतिरोध (Resistance)।

परिणाम और सत्यापन (Results and Validation)
मॉडल की प्रासंगिकता और मूल्य को अगस्त और सितंबर 2025 में आयोजित एक आमंत्रण-मात्र अभ्यासकर्ता सर्वेक्षण के माध्यम से सत्यापित किया गया, जिसमें सरकारी, अनुसंधान और औद्योगिक संगठनों से 22 पूर्ण प्रतिक्रियाएं प्राप्त हुईं।

• वर्तमान परीक्षण अभ्यास (RQ1): सर्वेक्षण से पता चला कि वर्तमान परीक्षण मुख्य रूप से "भविष्य कहनेवाला गुणवत्ता" (विशेष रूप से सटीकता) द्वारा हावी है, जो 19% प्रतिक्रियाएं थी। अन्य विशेषताओं जैसे लेटेंसी (latency) और बायस (bias) का उल्लेख बहुत कम बार (6%) किया गया। यह उस अंतर की पुष्टि करता है जिसे यह मॉडल भरने का लक्ष्य रखता है।
• LLMs बनाम पारंपरिक ML के लिए प्रयोज्यता (RQ2): प्रतिभागियों ने संकेत दिया कि 70% पहचाने गए QA पारंपरिक ML मॉडल और लार्ज लैंग्वेज मॉडल्स (LLMs) दोनों के लिए प्रासंगिक हैं। हालांकि, कुछ विशेषताओं को एक प्रकार के लिए अधिक प्रासंगिक माना गया (जैसे, LLMs के लिए "कैलिब्रेशन", पारंपरिक ML के लिए "लेटेंट वेरिएबल्स"), मॉडल को सभी प्रकार के मॉडलों के लिए व्यापक मार्गदर्शन प्रदान करने वाला पाया गया।
• महत्व और कठिनाई (RQ3):
  • महत्व: विश्वसनीयता (Reliability), परीक्षण क्षमता (Testability), तैनात करने की क्षमता (Deployability), कार्यात्मक शुद्धता (Functional Correctness), और मजबूती (Robustness) को सबसे महत्वपूर्ण माना गया।
  • कठिनाई: "प्रतिरोध" (सुरक्षा) को परीक्षण करने में सबसे कठिन माना गया, इसके बाद लचीलापन (Resilience) और नैतिक जोखिम विचार (Ethical Risk Considerations) आए। इसके विपरीत, संसाधन उपयोग (Resource Utilization) और समय व्यवहार (Time Behavior) को परीक्षण करने में आसान माना गया।
  • सर्वसम्मति: 100% प्रतिभागियों ने सहमति व्यक्त की (मजबूत या अन्यथा) कि इन गुणवत्ता गुणों पर विचार करने से उन समस्याओं का शीघ्र पता लगाने में मदद मिलती है जो उत्पादन तक पहुँचने तक अनसुनी रह जाती हैं।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि यह विशेष रूप से ML घटकों के लिए परीक्षण योग्य गुणवत्ता गुणों पर केंद्रित पहला अनुभवजन्य रूप से विकसित और सत्यापित गुणवत्ता मॉडल है। इसका महत्व निम्नलिखित में निहित है:

1. संचार अंतराल को पाटना: यह सिस्टम हितधारकों और मॉडल डेवलपर्स के बीच आवश्यकताओं को बातचीत करने के लिए एक साझा भाषा प्रदान करता है, विशेष रूप से जब टीमें अलग हों या विकास आउटसोर्स किया गया हो।
2. सिस्टम-निर्देशित परीक्षण को सक्षम करना: यह मॉडल डेवलपर्स को यह आकलन करने की अनुमति देता है कि उनके घटक सिस्टम-व्युत्पन्न आवश्यकताओं (जैसे संसाधन सीमाएं, समय व्यवहार) को कितनी अच्छी तरह पूरा करते हैं, इससे पहले कि उनका एकीकरण किया जाए।
3. व्यावहारिक अनुप्रयोग: मॉडल को सफलतापूर्वक MLTE (ML Test and Evaluation), एक ओपन-सोर्स टूल में एकीकृत किया गया है। MLTE इन गुणवत्ता गुणों द्वारा निर्देशित आवश्यकताओं के निष्कर्षण के लिए इस मॉडल का उपयोग करता है और इसमें प्रत्येक गुण के लिए पुन: प्रयोज्य टेस्ट कोड उदाहरणों के साथ एक टेस्ट कैटलॉग शामिल है।

लेखक एक मध्यम रुख बनाए रखते हैं, यह स्वीकार करते हुए कि मॉडल डेटा गुणवत्ता को कवर नहीं करता है (जिसे वे एक भविष्य के कदम के रूप में प्रस्तावित करते हैं) और स्केलेबिलिटी को जानबूझकर एक सिस्टम-स्तरीय संपत्ति के रूप में रखा गया है न कि घटक संपत्ति के रूप में। इस कार्य का उद्देश्य उद्योग के फोकस को विशुद्ध रूप से भविष्य कहनेवाला मेट्रिक्स से बदलकर सिस्टम संदर्भ के भीतर घटक गुणवत्ता के समग्र दृष्टिकोण की ओर ले जाना है।