Operationalising CAPA for AI: Evidence Requirements and Limits from a Production Case Study
यह शोध पत्र विनियमित विनिर्माण गुणवत्ता अनुशासनों—विशेष रूप से विचलन प्रबंधन, मूल-कारण विश्लेषण और CAPA—को परिचालन टेलीमेट्री को गुणवत्ता रिकॉर्ड मानकर AI प्रणालियों को नियंत्रित करने के लिए अनुकूलित करने का प्रस्ताव करता है, जो एक यूके आव्रजन-कानून केस स्टडी के माध्यम से यह प्रदर्शित करता है कि यह दृष्टिकोण प्रभावी रूप से प्रणालीगत मुद्दों की पहचान करता है और जवाबदेही को क्रियान्वित करता है, हालांकि शासन लूप (governance loop) को पूरी तरह से बंद करने के लिए इसे औपचारिक प्रभावशीलता सत्यापन की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब कोई फैक्ट्री दवा या विमान का पुर्जा बनाती है, तो नियम बहुत सख्त होते हैं। यदि कोई मशीन एक ऐसा बोल्ट बनाती है जो थोड़ा छोटा है, या एक ऐसी गोली जो गलत लेबल वाली है, तो वह गलती केवल एक तकनीकी खराबी नहीं है; वह एक "विचलन" (deviation) है। इन विनियमित दुनियाओं में, कंपनियाँ केवल खराब वस्तु को फेंककर बेहतर होने की उम्मीद नहीं करती हैं। वे उत्पादन रोक देती हैं, ठीक से जाँच करती हैं कि गलती क्यों हुई, मशीन को ठीक करती हैं, और फिर चीजें बनाना शुरू करने से पहले यह साबित करती हैं कि सुधार वास्तव में काम करता है। त्रुटियों को खोजने, उनके वास्तविक कारण को खोजने और समाधान को सत्यापित करने का यह चक्र गुणवत्ता इंजीनियरिंग (quality engineering) कहलाता है, जो एक सदी पुराना अनुशासन है। इसे समस्याओं को पकड़ने के लिए बनाया गया है इससे पहले कि वे लोगों को नुकसान पहुँचाएँ। आज, संगठन इसी तरह के उच्च-जोखिम वाले काम आर्टिफिशियल इंटेलिजेंस (AI) को सौंप रहे हैं। वकील कानूनी दस्तावेजों को छाँटने के लिए AI का उपयोग करते हैं, डॉक्टर स्कैन पढ़ने के लिए इसका उपयोग करते हैं, और बैंक ऋण स्वीकृत करने के लिए इसका उपयोग करते हैं। लेकिन जब ये स्मार्ट सिस्टम गलती करते हैं, तो गुणवत्ता इंजीनियरिंग के पुराने नियम अक्सर गायब होते हैं। हम जानते हैं कि एक टूटे हुए रोबोटिक हाथ को कैसे ठीक किया जाए, लेकिन हम अभी भी यह सीख रहे हैं कि एक ऐसे खराब एल्गोरिदम को कैसे ठीक किया जाए जो चुपचाप हजारों लोगों के लिए गलत दस्तावेज फाइल कर रहा है।
मुसरत कबीर-चिस्टी नामक एक शोधकर्ता ने यह परीक्षण करने का निर्णय लिया कि क्या फैक्ट्री गुणवत्ता नियंत्रण के पुराने, कठोर नियमों को एक लाइव, कामकाजी आर्टिफिशियल इंटेलिजेंस सिस्टम पर लागू किया जा सकता है। उन्होंने एक वास्तविक उदाहरण देखा: एक यूके अप्रवासन कानून फर्म द्वारा उपयोग किया जाने वाला दस्तावेज़-स्वचालन (document-automation) सिस्टम। यह सिस्टम कानूनी कागजात को पढ़ने, यह समझने के लिए बनाया गया था कि प्रत्येक एक क्या है, और उन्हें सैकड़ों अलग-अलग मामलों के सही डिजिटल फोल्डरों में फाइल करने के लिए। सिस्टम पूर्ण नहीं था। प्रवासन और पुनरारंभ के एक विशिष्ट अवधि के दौरान, इसने 42,000 से अधिक क्रियाएं संसाधित कीं। शोधकर्ता ने इस सिस्टम के कंप्यूटर लॉग्स को एक फैक्ट्री गुणवत्ता रिकॉर्ड की तरह माना। कोड या AI के पीछे के गणित को देखने के बजाय, उन्होंने उन वास्तविक गलतियों को देखा जो सिस्टम ने की थीं और वे सुधार जो मनुष्यों को करने पड़े थे। वह देखना चाहती थीं कि क्या गुणवत्ता इंजीनियरिंग के मानक चरणों—त्रुटि खोजना, यह पता लगाना कि यह क्यों हुई, इसे ठीक करना और यह सिद्ध करना कि सुधार काम करता है—को केवल उस डेटा का उपयोग करके पालन किया जा सकता है जो सिस्टम ने स्वयं उत्पन्न किया था।
अध्ययन से पता चला कि सिस्टम के अपने लॉग वास्तव में एक गुणवत्ता रिकॉर्ड के रूप में कार्य करने के लिए पर्याप्त शक्तिशाली थे। शोधकर्ता ने पाया कि सिस्टम ने विशिष्ट प्रकार की त्रुटियां कीं, जैसे कि एक ही दस्तावेज़ को दो बार फाइल करना, किसी फ़ाइल को गलत श्रेणी में रख देना, या दस्तावेज़ की सामग्री को सत्यापित करने में विफल रहना। इन गलतियों को समूहों में बांटकर, उन्होंने पाया कि केवल तीन प्रकार की त्रुटियों ने सभी आवश्यक सुधारों का लगभग 72 प्रतिशत हिस्सा कवर किया। हालांकि, त्रुटियों की एक साधारण गिनती एक भ्रामक कहानी बताती है। यदि आप केवल इस बात को देखते हैं कि कितनी बार गलती हुई, तो आप सोच सकते हैं कि सबसे आम त्रुटि वह है जिसे ठीक करना सबसे महत्वपूर्ण है। लेकिन जब शोधकर्ता ने वास्तविक मामलों के दृष्टिकोण से गलतियों को देखा—कि कितने अद्वितीय क्लाइंट प्रभावित हुए—तो रैंकिंग बदल गई। कुछ त्रुटियां जो बार-बार होती थीं, वास्तव में मामूली थीं और कम लोगों को प्रभावित करती थीं, जबकि अन्य दुर्लभ त्रुटियां इतनी गंभीर थीं कि वे दो अलग-अलग लोगों के पूरे कानूनी मामलों को आपस में मिला सकती थीं। इसने दिखाया कि त्रुटियों को गिनना पर्याप्त नहीं है; आपको उन्हें शामिल व्यक्तियों के लिए कितना खतरनाक है, इसके आधार पर तौलना होगा।
जांच और गहराई तक गई ताकि यह पता लगाया जा सके कि ये त्रुटियां क्यों हुईं। फिशबोन डायग्राम (fishbone diagram) जैसे तरीके का उपयोग करते हुए, शोधकर्ता ने समस्याओं को उनकी जड़ों तक पहुँचाया। आश्चर्यजनक रूप से, सबसे बड़ी समस्याएँ इसलिए नहीं थीं क्योंकि आर्टिफिशियल इंटेलिजेंस मॉडल "मूर्ख" था या भाषा को समझने में असमर्थ था। इसके बजाय, त्रुटियां अक्सर इस कारण से हुईं कि डेटा को कैसे तैयार किया गया था या सिस्टम को कैसे सेट किया गया था। उदाहरण के लिए, कुछ दस्तावेज़ इस तरह से स्कैन किए गए थे कि वे कंप्यूटर के लिए खाली दिखाई दिए, या सिस्टम के पास एक निश्चित प्रकार के फॉर्म को छाँटने के लिए आवश्यक विशिष्ट कोड नहीं था। मूल कारण अक्सर वकीलों से सॉफ्टवेयर में ज्ञान के हस्तांतरण के बीच का अंतर था, न कि AI के मस्तिष्क की विफलता। टीम ने फिर सुधारात्मक कार्रवाई की: उन्होंने डेटा को ठीक किया, खाली स्कैन को पकड़ने के लिए नए नियम जोड़े, और सिस्टम की कॉन्फिडेंस सेटिंग्स (confidence settings) को समायोजित किया। उन्होंने हर बदलाव को लॉग किया, ठीक वैसे ही जैसे एक फैक्ट्री मरम्मत को लॉग करती है।
हालाँकि, अध्ययन में एक महत्वपूर्ण लुप्त कड़ी भी मिली। जबकि टीम ने त्रुटियों को सफलतापूर्वक खोजा, जांच की और सुधार लागू किए, वे पूरी तरह से यह सिद्ध नहीं कर सके कि सुधार लंबे समय के लिए काम करते हैं। क्योंकि डेटा प्रवास और मरम्मत की एक छोटी, तीव्र अवधि से आया था, इसलिए बाद में यह देखने के लिए कोई लंबा समय नहीं बचा कि त्रुटियां रुक गई हैं या नहीं। एक वास्तविक गुणवत्ता चक्र में, आपको प्रतीक्षा करना चाहिए और सत्यापित करना चाहिए कि समस्या वापस नहीं आती है। शोधकर्ताओं ने दिखाया कि वे इस अंतिम चरण तक सब कुछ कर सकते थे, लेकिन अंतिम चरण के लिए एक अलग प्रकार के साक्ष्य की आवश्यकता थी जो केवल लॉग प्रदान नहीं कर सकते थे। वे निश्चितता के साथ यह नहीं कह सकते थे कि कॉन्फिडेंस थ्रेशोल्ड (confidence threshold) को कम करना सुरक्षित था क्योंकि उनके पास सुधार के बाद सिस्टम के अनुमानों के विरुद्ध सही उत्तरों की जांच करने का कोई तरीका नहीं था।
यह कार्य आर्टिफिशियल इंटेलिजेंस के शासन के लिए एक नया तरीका सुझाता है। यह सिद्ध करता है कि हम AI विफलताओं को रहस्यमय 'ब्लैक-बॉक्स' ग्लिच के रूप में नहीं, बल्कि मापने योग्य गुणवत्ता विचलन के रूप में देख सकते हैं जिन्हें स्थापित इंजीनियरिंग विधियों का उपयोग करके ट्रैक, जांच और ठीक किया जा सकता है। सिस्टम के लॉग हमें बता सकते हैं कि क्या गलत हुआ और यह समझने में मदद कर सकते हैं कि किन सुधारों को प्राथमिकता देनी चाहिए। लेकिन यह एक स्पष्ट सीमा भी निर्धारित करता है: सिस्टम का डेटा अकेले लूप को बंद करने के लिए पर्याप्त नहीं है। वास्तव में सुरक्षा सुनिश्चित करने के लिए, संगठनों को विशिष्ट जाँच जोड़नी चाहिए, जैसे कि यह जानना कि कितने मामले प्रभावित हुए और यह सत्यापित करने के लिए एक योजना बनाना कि सुधार समय के साथ टिके रहते हैं। अध्ययन यह दावा नहीं करता है कि उसने AI सुरक्षा की सभी समस्याओं को हल कर दिया है, लेकिन यह चीजें गलत होने पर जिम्मेदारी लेने के लिए एक ठोस, व्यावहारिक तरीका प्रदान करता है। यह दिखाता है कि गुणवत्ता इंजीनियरिंग के अनुशासित अभ्यासों को लागू करके, हम केवल यह आशा करने से आगे बढ़ सकते हैं कि हमारा AI काम करेगा, बल्कि वास्तव में यह जान सकते हैं कि जब यह काम नहीं करता है तो इसे कैसे ठीक किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।