Evaluation Blindness: How Silent Measurement Failures Corrupt AI Systems from Training to Deployment
यह शोध पत्र "इवैल्यूएशन ब्लाइंडनेस" (मूल्यांकन अंधापन) की अवधारणा प्रस्तुत करता है, जहाँ मापन कार्य (मेजरमेंट फंक्शन्स) उन सिस्टम विफलताओं का पता लगाने में विफल रहते हैं जो स्वस्थ प्रतीत होते हैं, और औपचारिक विश्लेषण, केस स्टडीज और वास्तविक दुनिया की घटनाओं के वर्गीकरण के माध्यम से यह प्रदर्शित करता है कि यह मौन भ्रष्टाचार प्रशिक्षण और परिनियोजन (डिप्लॉयमेंट) दोनों चरणों को प्रभावित करता है, जिससे संपूर्ण एआई जीवनचक्र में माप अवसंरचना (मेजरमेंट इंफ्रास्ट्रक्चर) को एक मुख्य शुद्धता संबंधी चिंता के रूप में एक एकीकृत दृष्टिकोण की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट शेफ बना रहे हैं। आप उसे खाना बनाना सिखाते हैं क्योंकि वह अपने बनाए व्यंजनों को चखता है और रेसिपी में सुधार करता है। यदि रोबोट टोस्ट जला देता है, तो आप चाहते हैं कि उसे तुरंत पता चल जाए ताकि वह गर्मी कम कर सके। लेकिन क्या होगा अगर रोबोट की स्वाद कलिकाएं (taste buds) टूट गई हों? क्या होगा अगर वह जले हुए टोस्ट को चखकर सोचे, "आह, एकदम सही!"? रोबोट टोस्ट जलाता रहता है, रसोई में धुआं भर जाता है, और जब तक घर में आग नहीं लग जाती, तब तक किसी को कुछ पता नहीं चलता। यह आधुनिक आर्टिफिशियल इंटेलिजेंस (AI) की डरावनी वास्तविकता है। वैज्ञानिक अविश्वसनीय रूप से स्मार्ट AI सिस्टम बना रहे हैं जो कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं, और यहाँ तक कि कानूनी सलाह भी दे सकते हैं। लेकिन ये सिस्टम जटिल हैं, और कभी-कभी वे उन तरीकों से विफल हो जाते हैं जो उन्हें जाँचने वाले उपकरणों के लिए अदृश्य होते हैं। हम इसे "साइलेंट फेलियर" (मौन विफलता) कहते हैं। यह एक ऐसी कार की तरह है जो टूटे हुए स्पीडोमीटर के साथ चल रही है जो हमेशा "60 मील प्रति घंटा" दिखाता है, भले ही कार वास्तव में 100 की गति से भाग रही हो या 10 की गति से रेंग रही हो। यदि प्रभारी लोग केवल स्पीडोमीटर को देखते हैं, तो उन्हें दुर्घटना होने तक पता ही नहीं चलेगा कि कार मुसीबत में है।
यह शोध पत्र, जिसे शोधकर्ता प्रियंका बजाज द्वारा लिखा गया है, एक विशिष्ट प्रकार की अदृश्य विफलता की जांच करता है जिसे इवैल्यूएशन ब्लाइंडनेस (मूल्यांकन अंधापन) कहा जाता है। यह कहने का एक फैंसी तरीका है कि हमारे "चेक-अप" उपकरण कुछ समस्याओं के प्रति अंधे हैं। यह पत्र तर्क देता है कि यह अंधापन दो बहुत अलग स्थानों पर होता है: जबकि AI को ट्रेन (सिखाया) जा रहा है और उसके डिप्लॉयमेंट (तैनाती/काम करने) के बाद। लेखिका का सुझाव है कि हमने इन दो समस्याओं को अलग-अलग मुद्दों के रूप में माना है, लेकिन वे वास्तव में एक ही संरचनात्मक दोष हैं: माप उपकरण कहता है "सब कुछ ठीक है" भले ही सिस्टम टूटा हुआ हो। वास्तविक दुनिया की आपदाओं को देखकर, जैसे कि एक वकील जो AI द्वारा जनरेट किए गए फर्जी अदालती मामलों के कारण मुसीबत में पड़ा, या एक एयरलाइन चैटबॉट जिसने फर्जी नीतियां बना दीं, यह पत्र दिखाता है कि इन सार्वजनिक विफलताओं में से आधे से अधिक पूरी तरह से अदृश्य थे जब तक कि किसी को नुकसान नहीं पहुँचा। लेखिका विफलताओं को वर्गीकृत करने का एक नया तरीका और एक "फेलियर बजट" (विफलता बजट) प्रणाली प्रस्तावित करती हैं, जो एक सुरक्षा सीमा की तरह है कि एक विशिष्ट AI को कितनी गलतियाँ करने की अनुमति है इससे पहले कि उसे बंद कर दिया जाए, यह इस बात पर निर्भर करता है कि उसका काम कितना खतरनाक है।
द ग्रेट इनविजिबल ग्लिच (महान अदृश्य त्रुटि)
आइए रहस्य के केंद्र में चलते हैं। यह पत्र एक अवधारणा पेश करता है जिसे इवैल्यूएशन ब्लाइंडनेस कहा जाता है। कल्पना कीजिए कि आप एक छात्र के निबंध का मूल्यांकन कर रहे एक शिक्षक हैं। यदि छात्र एक भयानक निबंध लिखता है जो झूठ से भरा है, लेकिन आपका ग्रेडिंग नियम (rubric) टूटा हुआ है और फिर भी उसे "A" ग्रेड दे देता है, तो आपके पास "इवैल्यूएशन ब्लाइंडनेस" है। छात्र असफल हो रहा है, लेकिन आपका माप कहता है कि वह सफल हो रहा है।
AI की दुनिया में, यह तब होता है जब कंप्यूटर प्रोग्राम जिनका उपयोग हम यह जाँचने के लिए करते हैं कि क्या एक AI सही ढंग से काम कर रहा है (जिसे "मेजरमेंट फंक्शन" कहा जाता है), एक ऐसा परिणाम देते हैं जो सामान्य दिखता है, भले ही AI वास्तव में कुछ गलत कर रहा हो। पेपर इसे औपचारिक रूप से परिभाषित करता है: यदि एक AI विफल हो रहा है, लेकिन हमारे उपकरण उस विफलता और एक स्वस्थ स्थिति के बीच अंतर नहीं कर सकते, और कोई अन्य अलार्म नहीं बजता है, तो हमारे पास इवैल्यूएशन ब्लाइंडनेस है।
लेखिका बताती हैं कि यह केवल एक बार होने वाली त्रुटि नहीं है; यह एक संरचनात्मक समस्या है जो AI के जीवन के दो अलग-अलग चरणों में हो सकती है:
ट्रेनिंग टाइम (प्रशिक्षण समय): यह वह समय है जब AI सीख रहा होता है। कल्पना कीजिए कि एक छात्र परीक्षा के लिए पढ़ाई कर रहा है। यदि शिक्षक (AI का रिवॉर्ड सिस्टम) गलती से छात्र को गणित समझने के बजाय उत्तर कुंजी (answer key) याद करने के लिए गोल्ड स्टार दे देता है, तो छात्र अभ्यास परीक्षण में तो पूर्ण अंक प्राप्त करेगा लेकिन वास्तविक परीक्षा में विफल हो जाएगा। पेपर इसका एक ठोस उदाहरण देता है: एक लोकप्रिय ओपन-सोर्स लाइब्रेरी (TRL) में एक बग जहाँ एक गणितीय गणना थोड़ी गलत थी। AI का प्रशिक्षण एकदम सही दिख रहा था—"लॉस" (कितना गलत है इसका स्कोर) कम हो रहा था, और रिवॉर्ड्स बढ़ रहे थे। लेकिन AI वास्तव में गलत चीज़ सीख रहा था क्योंकि पर्दे के पीछे का गणित टूटा हुआ था। किसी ने तब तक ध्यान नहीं दिया जब तक कि किसी ने कोड की मूल निर्देशों से तुलना नहीं की।
डिप्लॉयमेंट टाइम (तैनाती का समय): यह वह समय है जब AI वास्तविक दुनिया में लोगों की मदद करने के लिए बाहर होता है। यहाँ, "अंधापन" तब होता है जब निगरानी उपकरण यह पहचानने में विफल रहते हैं कि AI अपने रास्ते से भटक रहा है। उदाहरण के लिए, यदि कोई AI समय के साथ थोड़ा अलग उत्तर देने लगता है (ड्रिफ्ट) या यदि डेटाबेस जिससे वह जानकारी निकालता है पुराना हो गया है, तो AI गलत सलाह दे सकता है। लेकिन यदि निगरानी प्रणाली केवल यह जाँचती है कि AI "ऑनलाइन" है या नहीं और यह नहीं देखती कि वह "क्रैश" हुआ है या नहीं, तो वह गलती नहीं देख पाएगी। पेपर नोट करता है कि उनके द्वारा अध्ययन की गई वास्तविक दुनिया की घटनाओं में से 53% में विफलता पूरी तरह से साइलेंट (मौन) थी। कोई अलार्म नहीं बजा, कोई एरर मैसेज नहीं आया। विफलता का पता तभी चला जब किसी इंसान को चोट लगी या किसी वकील को दंडित किया गया।
छह तरीके जिनसे AI गलत हो सकता है (मौन रूप से)
इन अदृश्य विफलताओं को समझने में मदद करने के लिए, लेखिका ने एक "टैक्सोनॉमी" बनाई है, जो वर्गीकरण का एक फैंसी शब्द है। उन्होंने 50 वास्तविक दुनिया की विफलताओं को छह श्रेणियों में बांटा है। इन्हें ऐसे समझें जैसे एक रोबोट शेफ बिना सेंसर के कैसे गड़बड़ कर सकता है:
- C1: मॉडल ड्रिफ्ट (धीमा बदलाव): AI समय के साथ अपने व्यवहार को धीरे-धीरे बदल देता है, जैसे रेडियो स्टेशन धीरे-धीरे अपनी फ्रीक्वेंसी बदल देता है जब तक कि संगीत अजीब न लगने लगे। AI को कोई सॉफ्टवेयर अपडेट नहीं मिला; यह बस ड्रिफ्ट हो गया। यह अक्सर मौन होता है क्योंकि AI अभी भी "काम" कर रहा है, बस अलग तरह से।
- C2: इंफ्रास्ट्रक्चर (टूटा हुआ ओवन): AI खुद ठीक है, लेकिन जिस कंप्यूटर या सर्वर पर यह चल रहा है, उसे समस्या हो रही है। शायद ओवन बहुत गर्म है, या बिजली झपक रही है। ये आमतौर पर आसानी से पहचाने जा सकते हैं क्योंकि सिस्टम क्रैश हो जाता है या धीमा हो जाता है, इसलिए ये आमतौर पर "ब्लाइंड" नहीं होते।
- C3: इंटीग्रेशन (खराब अनुवादक): AI सिस्टम के अन्य हिस्सों (जैसे डेटाबेस या टूल) के साथ बात कर रहा है, और वे एक-दूसरे को गलत समझ रहे हैं। शायद AI एक रेसिपी मांगता है, लेकिन डेटाबेस पिछले साल की सामग्री की सूची वापस भेज देता है। AI फिर पुरानी सामग्री के साथ खाना पकाने लगता है। यह अक्सर मौना होता है क्योंकि AI को लगता है कि वह वही कर रहा है जो उसे बताया गया था।
- C4: इवैल्यूएशन (टूटा हुआ रूलर/पैमाना): यह सबसे मेटा और खतरनाक वाला है। वह टूल जिसका उपयोग AI को जाँचने के लिए किया जाता है, वह टूटा हुआ है। यह एक ऐसे स्केल का उपयोग करने जैसा है जो मेज को मापने के लिए खींच लिया गया है; मेज वास्तव में जितनी बड़ी है उससे छोटी दिखती है। यदि आपकी "क्वालिटी चेक" टूटी हुई है, तो आप सोच सकते हैं कि AI परफेक्ट है जबकि वह वास्तव में बहुत बुरा है। पेपर ने पाया कि इस श्रेणी में 100% विफलताएं परिभाषा के अनुसार साइलेंट होती हैं क्योंकि जो चीज़ त्रुटि को पकड़ने वाली है, वही टूटी हुई है।
- C5: सेफ्टी एंड कंप्लायंस (अवैध रेसिपी): AI नियमों को तोड़ता है, जैसे कि ऐसी चिकित्सा सलाह देना जिसकी उसे अनुमति नहीं है या फर्जी कानूनी मामले बनाना। पेपर एक प्रसिद्ध मामले पर प्रकाश डालता है जहाँ एक वकील ने छह फर्जी अदालती मामलों के साथ कोर्ट ब्रीफ लिखने के लिए AI का उपयोग किया। AI ने वही किया जो उसे बताया गया था, लेकिन इंसान ने तथ्यों की जाँच नहीं की। विफलता तब तक मौन थी जब तक जज ने इसे पकड़ा नहीं।
- C6: ऑपरेशनल (गायब मैनुअल): AI और कंप्यूटर ठीक हैं, लेकिन जो लोग इसे चला रहे हैं उनके पास यह जानने की कोई योजना नहीं है कि चीजें गलत होने पर क्या करना है। कोई चेकलिस्ट नहीं है, कोई अलार्म नहीं है, और कोई नहीं जानता कि किसे कॉल करना है। यह मशीन की नहीं, बल्कि प्रक्रिया की विफलता है।
द साइलेंट मेजॉरिटी (मौन बहुमत)
पेपर का एक सबसे बड़ा निष्कर्ष थोड़ा डरावना है: उनके द्वारा अध्ययन की गई वास्तविक दुनिया की विफलताओं में से 53% साइलेंट थीं। इसका मतलब है कि आधे से अधिक समय, सिस्टम चिल्लाकर "मैं टूटा हुआ हूँ!" नहीं कहते थे। वे बस गलत काम करते रहे, जब तक कि किसी ने नुकसान पर ध्यान नहीं दिया।
पेपर का तर्क है कि हम AI विफलताओं को गलत तरीके से देख रहे हैं। हम सोचते हैं, "क्या मॉडल पर्याप्त स्मार्ट है?" लेकिन असली सवाल यह होना चाहिए, "क्या हमारा माप तंत्र (measurement system) मॉडल के गलत होने पर उसे पकड़ने के लिए पर्याप्त स्मार्ट है?" लेखिका का सुझाव है कि हमें अपने निगरानी उपकरणों को सिस्टम का एक महत्वपूर्ण हिस्सा मानना चाहिए, ठीक वैसे ही जैसे कार में इंजन। यदि इंजन शानदार है लेकिन स्पीडोमीटर टूटा हुआ है, तो आप फिर भी खतरे में हैं।
द "फेलियर बजट" (विफलता बजट)
इसे ठीक करने के लिए, लेखिका एक नया विचार प्रस्तावित करती हैं जिसे फेलियर बजट कहा जाता है। कल्पना कीजिए कि आपको अपने काम के आधार पर एक दिन में कुछ गलतियाँ करने की अनुमति है।
- यदि आप कुछ खतरनाक कर रहे हैं, जैसे यह तय करना कि किसे ऋण मिलेगा या चिकित्सा सलाह देना (डिसीजन-क्रिटिकल), तो आपका बजट बहुत छोटा है। आपको शायद 1,000 अनुरोधों में से केवल 1 गलती की अनुमति हो सकती है। यदि आप उस सीमा तक पहुँचते हैं, तो आप रुक जाते हैं और चीजों को ठीक करते हैं।
- यदि आप कुछ कम जोखिम वाला काम कर रहे हैं, जैसे किसी कंपनी के लिए आंतरिक खोज उपकरण (इंटरनल प्रोडक्टिविटी), तो आप अधिक गलतियों का खर्च उठा सकते हैं, शायद 1,000 में 20।
- यदि आप केवल लैब में प्रयोग कर रहे हैं (एक्सपेरिमेंटल), तो आप बहुत सारी गलतियाँ कर सकते हैं, शायद 1,000 में 100, क्योंकि इससे किसी को नुकसान नहीं पहुँचता।
यह ढांचा टीमों को यह तय करने के लिए मजबूर करता है कि AI बनाने से पहले: "हम कितना जोखिम उठाने के लिए तैयार हैं?" और "क्या हमारे पास गलतियों को पकड़ने के लिए सही उपकरण हैं?" यह केवल AI को स्मार्ट बनाने के बारे में नहीं है; यह एक ऐसा सुरक्षा जाल बनाने के बारे में है जो काम के खतरे से मेल खाता हो।
यह क्यों मायने रखता है
पेपर निष्कर्ष निकालता है कि "इवैल्यूएशन ब्लाइंडनेस" AI सुरक्षा का छिपा हुआ दुश्मन है। चाहे वह ट्रेनिंग कोड में कोई बग हो जो AI को गलत सबक सिखाता है, या एक टूटा हुआ निगरानी तंत्र जो सुरक्षा उल्लंघन को मिस कर देता है, परिणाम एक ही है: सिस्टम चुपचाप विफल हो जाता है।
लेखिका यह नहीं कह रही हैं कि AI बर्बाद है। इसके बजाय, वे कह रही हैं कि हमें अपनी मानसिकता बदलने की आवश्यकता है। हम केवल AI को स्मार्ट बनाने पर ध्यान केंद्रित नहीं कर सकते; हमें अपने "चेक-अप" उपकरणों को स्मार्ट बनाने पर ध्यान केंद्रित करना होगा। हमें ऐसे सिस्टम बनाने की आवश्यकता है जो यह पता लगा सकें कि AI कब भटक रहा है, डेटा कब पुराना हो रहा है, या नियम कब तोड़े जा रहे हैं। और हमें यह हर चरण के लिए करना होगा, उसके प्रशिक्षण के पहले दिन से लेकर उसके काम के आखिरी दिन तक।
"फेलियर बजट" का उपयोग करके और विफलताओं के छह प्रकारों को समझकर, हम किसी आपदा के होने का इंतजार करने के बजाय—जिससे हमें पता चले कि हमारा AI शुरू से ही अंधा था—रोक सकते हैं। यह इंजीनियरों, वकीलों और AI बनाने वाले हर व्यक्ति के लिए एक आह्वान है: अपने रूलर की जाँच करें, अपने ब्लाइंड स्पॉट्स को ठीक करें, और सुनिश्चित करें कि आपके सुरक्षा जाल इतने मजबूत हैं कि वे अदृश्य गिरावट को पकड़ सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।