The AI Evaluability Gap: The Missing Layer for Managing Risk and Sustaining Value
यह शोध पत्र "एआई इवैलुएबिलिटी गैप" (AI Evaluability Gap)—जो जोखिम और मूल्य पर उच्च-विश्वास वाले शासन संबंधी निर्णयों का समर्थन करने के लिए पर्याप्त साक्ष्य की कमी है—को वर्तमान एआई शासन में एक महत्वपूर्ण दोष के रूप में पहचानता है, और एक नया ढांचा प्रस्तावित करता है जो "इवैलुएबिलिटी" (मूल्यांकन क्षमता) पर केंद्रित है जो सतत एआई प्रबंधन सुनिश्चित करने के लिए साक्ष्य के छह गुणों के आधार पर परिचालन और निवेश प्रमाणन के बीच अंतर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "The AI Evaluability Gap" (द एआई इवैलुएबिलिटी गैप) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: "अंधा पायलट" (The Blind Pilot)
कल्पना कीजिए कि एक कंपनी ने अपने विमान को उड़ाने के लिए एक नया पायलट (एक AI सिस्टम) काम पर रखा है। कंपनी के सामने दो बड़े सवाल हैं:
- क्या विमान अभी उड़ने के लिए पर्याप्त सुरक्षित है? (जोखिम प्रबंधन/Risk Management)
- क्या इस उड़ान पर ईंधन और क्रू का खर्च लगाना सार्थक है? (मूल्य प्रबंधन/Value Management)
वर्तमान में, अधिकांश कंपनियाँ इन सवालों के जवाब देने के लिए विमान के डैशबोर्ड को देखने की कोशिश करती हैं। लेकिन यह पेपर तर्क देता है कि डैशबोर्ड अक्सर टूटा हुआ या गायब होता है। उनके पास अपने उत्तरों में विश्वास करने के लिए पर्याप्त प्रमाण नहीं हैं।
लेखक इस गायब प्रमाण को "इवैलुएबिलिटी गैप" (Evaluability Gap) कहते हैं। ऐसा नहीं है कि AI अनिवार्य रूप से खतरनाक या बेकार है; बल्कि समस्या यह है कि कंपनी के पास यह निश्चित रूप से जानने के लिए सबूत की कमी है। क्योंकि वे यह साबित नहीं कर सकते कि यह सुरक्षित या मूल्यवान है, इसलिए वे या तो अंधे होकर उड़ते हैं (बड़ा जोखिम उठाते हैं) या अनावश्यक रूप से विमान को खड़ा कर देते हैं (मूल्य खो देते हैं)।
मूल विचार: "इवैलुएबिलिटी" (Evaluability)
यह पेपर एक नया शब्द पेश करता है जिसे "इवैलुएबिलिटी" कहा जाता है। इसे AI की एक विशेषता के रूप में नहीं, बल्कि AI के आसपास मौजूद प्रमाण (evidence) की एक विशेषता के रूप में समझें।
- पुराना तरीका: "क्या AI सटीक है?" (हम स्कोर देखते हैं)।
- नया तरीका (इवैलुएबिलिटी): "क्या हमारे पास भरोसेमंद, अपडेटेड और सत्यापन योग्य रसीदों का एक सेट है जो यह साबित करता है कि AI सटीक है?"
इवैलुएबिलिटी एक सिस्टम की वह क्षमता है जिससे वह उच्च-विश्वास वाले निर्णय लेने के लिए आवश्यक प्रमाण उत्पन्न, सुरक्षित और रिफ्रेश कर सके। यदि आप इसे साबित नहीं कर सकते, तो आप इसका शासन (govern) नहीं कर सकते।
निर्णयों के दो प्रकार
पेपर कहता है कि हमें "सुरक्षा" और "पैसा" को एक समान समझना बंद करना होगा। इनके लिए अलग-अलग प्रकार के प्रमाणों की आवश्यकता होती है:
ऑपरेशनल सर्टिफिकेशन (सुरक्षा जांच - The "Safety Check"):
- सवाल: "क्या हम इसे चालू कर सकते हैं?"
- आवश्यक प्रमाण: संरचनात्मक साक्ष्य। जैसे यह देखना कि ब्रेक काम कर रहे हैं या नहीं, पंख जुड़े हुए हैं या नहीं, और क्या पायलट नियमों का पालन करता है।
- उदाहरण: एक कार का निरीक्षण। आपको यह साबित करने की आवश्यकता है कि कार किसी को मार नहीं देगी।
इन्वेस्टमेंट सर्टिफिकेशन (मूल्य जांच - The "Value Check"):
- सवाल: "क्या हमें इसके लिए भुगतान करना जारी रखना चाहिए?"
- आवश्यक प्रमाण: कारण संबंधी साक्ष्य (Causal evidence)। क्या इस विशिष्ट कार ने वास्तव में हमें पैदल चलने की तुलना में गंतव्य तक तेज़ी से पहुँचाया? क्या इसने हमारा पैसा बचाया?
- उदाहरण: एक व्यावसायिक व्यय रिपोर्ट। आपको यह साबित करने की आवश्यकता है कि कार ने वास्तव में व्यवसाय को बढ़ाने में मदद की, न कि केवल यह कि वह मौजूद है।
जाल (The Trap): एक सिस्टम "ऑपरेशनली सर्टिफाइड" (सुरक्षित) हो सकता है लेकिन "इन्वेस्टमेंट सर्टिफिकेशन" (बेकार) में विफल हो सकता है। वर्तमान में, कंपनियाँ इसलिए फंस जाती हैं क्योंकि उन्हें इन दोनों को अलग करने का तरीका नहीं पता है।
अच्छे प्रमाण के छह तत्व (Six Ingredients of Good Evidence)
"इवैलुएबिलिटी गैप" को भरने के लिए, पेपर कहता है कि आपके प्रमाण में छह विशिष्ट तत्व होने चाहिए। इन्हें एक मजबूत स्टूल के छह पैरों के रूप में सोचें। यदि एक भी गायब है, तो स्टूल गिर जाएगा।
- ऑब्जर्वेबिलिटी (क्या हम इसे देख सकते हैं?):
- उदाहरण: यदि आप खाना बना रहे हैं, तो क्या आप सामग्री को अंदर जाते और भोजन को बाहर आते देख सकते हैं? यदि AI कोई निर्णय लेता है लेकिन यह लॉग नहीं करता कि उसने क्या देखा या उसने क्या किया, तो आपके पास कोई प्रमाण नहीं है।
- एट्रीब्यूटेबिलिटी (क्या यह AI के कारण हुआ?):
- उदाहरण: यदि बिक्री बढ़ी, तो क्या यह AI के कारण थी, या इसलिए कि क्रिसमस का समय था? आपको यह साबित करने की आवश्यकता है कि AI ने ही परिणाम पैदा किया, न कि केवल वे दोनों एक साथ हुए।
- इंटरवेनेबिलिटी (क्या हम इसे रोक या बदल सकते हैं?):
- उदाहरण: यदि AI कार को दीवार में टकराने के लिए चलाने लगे, तो क्या आप ब्रेक लगा सकते हैं? यदि आप इसे बंद नहीं कर सकते या परीक्षण करने के लिए इसमें बदलाव नहीं कर सकते, तो आप इस पर भरोसा नहीं कर सकते।
- वेरिफिएबिलिटी (क्या कोई और इसकी जांच कर सकता है?):
- उदाहरण: यदि आप कहते हैं "मैंने केक बनाया है," तो क्या आपका मित्र आपकी रसीदों और ओवन के लॉग को देखकर इसे सिद्ध कर सकता है? केवल खुद का दावा करना (जैसे "मैंने किया") पर्याप्त नहीं है।
- कैलिब्रेशन (क्या हम अपने आत्मविश्वास के बारे में ईमानदार हैं?):
- उदाहरण: यदि आप कहते हैं, "मुझे 90% यकीन है कि यह पुल टिकेगा," तो क्या वास्तव में यह 90% बार टिकता है? कई सिस्टम "90% निश्चित" कहते हैं लेकिन वे केवल 60% बार सही होते हैं। यह खतरनाक है।
- टेम्पोरल वैलिडिटी (क्या प्रमाण अभी भी ताज़ा है?):
- उदाहरण: पिछले सप्ताह की मौसम रिपोर्ट आज के लिए बेकार है। AI तेज़ी से बदलता है। यदि आपके पास मौजूद प्रमाण पुराना है, तो वह कचरा है। आपको प्रमाण को लगातार रिफ्रेश करने की आवश्यकता है।
"एविडेंस लाइफसाइकिल" (प्रमाण का जीवनचक्र - The Cycle of Trust)
पेपर का तर्क है कि प्रमाण एक बार की चीज़ नहीं है। यह ताज़ा पकी हुई ब्रेड के एक लोफ की तरह है।
- जब आप इसे पकाते हैं (प्रमाण एकत्र करते हैं), तो यह ताज़ा और भरोसेमंद होता है।
- समय के साथ, यह बासी हो जाता है (दुनिया बदलती है, उपयोगकर्ता अनुकूलित होते हैं, AI नई चीजें सीखता है)।
- अंततः, यह खराब (moldy) हो जाता है (प्रमाण अब वैध नहीं रहता)।
समाधान: आप केवल एक बार ब्रेड नहीं बना सकते और साल भर तक उसे खा सकते हैं। आपको लगातार ताज़ा ब्रेड बनाना होगा। इसका अर्थ है निरंतर पुन: प्रमाणीकरण (continuous re-certification)। आपको लगातार यह जांचना होगा कि क्या आपका प्रमाण अभी भी ताज़ा है।
विशेष रूप से AI के लिए यह क्यों महत्वपूर्ण है
AI एक पुल या फैक्ट्री मशीन से अलग है क्योंकि AI तेज़ी से बदलता है।
- दुनिया चलती है: उपयोगकर्ता AI को धोखा देने के तरीके सीख लेते हैं। प्रतिस्पर्धी बदलते हैं। अर्थव्यवस्था बदलती है।
- AI विकसित होता है: AI उन नई चीजों को सीख सकता है जिन्हें करने के लिए उसे प्रशिक्षित नहीं किया गया था।
- परिणाम: जो प्रमाण आज एकदम सही था, वह अगले सप्ताह गलत हो सकता है।
इसीलिए, पेपर कहता है कि हमें यह पूछना बंद करना चाहिए कि "क्या AI सुरक्षित है?" और इसके बजाय यह पूछना शुरू करना चाहिए कि "क्या हमारे पास इस बात का ताज़ा, भरोसेमंद प्रमाण है कि AI सुरक्षित है?"
सारांश
पेपर निष्कर्ष निकालता है कि गवर्नेंस (शासन) एक प्रमाण की समस्या है, न कि केवल एक तकनीक की समस्या।
- केवल बेहतर AI मॉडल न बनाएं।
- उनके आसपास बेहतर प्रमाण प्रणाली (evidence systems) बनाएं।
- सुनिश्चित करें कि आपके पास ऐसा प्रमाण है जो ऑब्जर्वेबल (दृश्य), एट्रीब्यूटेबल (कारण योग्य), वेरिफिएबल (सत्यापन योग्य), कैलिब्रेटेड (परिकलित) और ताज़ा (fresh) हो।
यदि आपके पास प्रमाण है, तो आप आत्मविश्वास के साथ निर्णय ले सकते हैं। यदि नहीं, तो आप अंधे होकर उड़ रहे हैं। "इवैलुएबिलिटी गैप" वह स्थान है जो "हमें लगता है कि हम जानते हैं" और "जानने के लिए हमारे पास प्रमाण है" के बीच का अंतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।