The Checking Problem: What must be true before AI ships in a regulated firm
यह शोध पत्र यह प्रदर्शित करता है कि विनियमित वित्तीय सेवाओं में एंटरप्राइज एआई (enterprise AI) की व्यवहार्यता कच्चे सटीकता (raw accuracy) पर कम और सत्यापन योग्य एट्रिब्यूशन (verifiable attribution) एवं कॉन्फिडेंस सिग्नलिंग (confidence signaling) जैसे मापने योग्य गुणों पर अधिक निर्भर करती है, जो उत्पादन परिनियोजन (production deployment) के लिए आवश्यक मानव समीक्षा के बोझ को काफी कम कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं, और आपने अभी-अभी एक नया, बेहद बुद्धिमान रोबोट सह-पायलट काम पर रखा है जो नेविगेशन में आपकी मदद करेगा। आपने एक त्वरित परीक्षण किया: आपने रोबोट को मानचित्र पर एक तारे की ओर इशारा करने के लिए कहा, और उसने इसे पूरी तरह से कर दिया। आपने हाई-फाइव किया, चालक दल ने खुशी मनाई, और आप लॉन्च करने के लिए तैयार हैं। लेकिन यहाँ एक पेंच है: अंतरिक्ष यात्रा की वास्तविक दुनिया में (या बैंकिंग और वित्त की उच्च-जोखिम वाली दुनिया में), एक एकल सटीक परीक्षण पर्याप्त नहीं है। आपको यह जानने की आवश्यकता है कि क्या वह रोबोट हर बार पूछने पर उसी तारे की ओर सटीक रूप से इशारा कर सकता है, क्या वह आपको दिखा सकता है कि उसने मानचित्र में वह तारा वास्तव में कहाँ देखा था, और क्या वह ईमानदारी से कह सकता है, "मैं इस बारे में निश्चित नहीं हूँ," जब वह भ्रमित हो।
यह शोधकर्ता प्रेरिट आहूजा के एक नए अध्ययन का सार है, जो "एंटरप्राइज एआई" (Enterprise AI) की जटिल वास्तविकता की गहराई में उतरता है। इसे ऐसे समझें कि यह इस बात का विज्ञान है कि क्यों इतनी सी कंपनियां कागजी कार्रवाई करने के लिए एआई का उपयोग करने की कोशिश करती हैं और फिर एक दीवार से टकरा जाती हैं। यह पेपर कुछ प्रमुख विचारों पर केंद्रित है: सटीकता (सही उत्तर प्राप्त करना), पुनरुत्पादकता (दो बार में एक ही उत्तर प्राप्त करना), ग्राउंडेडनेस (अपना काम दिखाने में सक्षम होना), और डिटेक्टेबिलिटी (यह जानना कि आप कब गलत हैं)। बड़ा सवाल केवल यह नहीं है कि "क्या एआई स्मार्ट है?" बल्कि यह है कि "क्या एआई इतना सुरक्षित है कि उसे बिना किसी मानवीय निगरानी के काम करने दिया जा सके?"
द "डेमो ट्रैप" बनाम द "रियल डील"
पेपर एक चालाकी भरी समस्या से शुरू होता है जिसे "डेमोन्स्ट्रेशन ट्रैप" (प्रदर्शन का जाल) कहा जाता है। कल्पना कीजिए कि आप निवेशकों के एक समूह को एक जादू का खेल दिखाते हैं। आप टोपी से एक खरगोश बाहर निकालते हैं, और यह एकदम सही है। वे प्रभावित होते हैं। लेकिन यदि आप वही जादू लगातार 100 बार करने की कोशिश करते हैं, तो शायद खरगोश थक जाए, या टोपी फंस जाए, या आप गलती से जूते बाहर निकाल दें।
विनियमित वित्त (जहाँ नियम सख्त हैं और गलतियों की कीमत लाखों में होती है) की दुनिया में, कंपनियां अक्सर एआई को एक "डेमोन्स्ट्रेशन बार" पास करने देती हैं। यह बार बहुत कम है: एआई को बस एक दस्तावेज़ पर एक बार सही उत्तर देना होता है। अध्ययन में पाया गया कि 72 में से 57 अलग-अलग एआई सेटअप ने इस आसान परीक्षण को पास कर लिया। यह एक जीत जैसा लग रहा था!
लेकिन फिर, पेपर "प्रोडक्शन बार" (उत्पादन मानक) की बात करता है। यह असली परीक्षण है। इस मानक को पार करने के लिए, एक एआई को निम्नलिखित करना होगा:
- हर बार, हर बार 99% समय सही होना चाहिए।
- यदि आप उससे एक ही प्रश्न दो बार पूछते हैं, तो उसे ठीक वही उत्तर देना चाहिए।
- उसे अपने स्रोतों का सटीक उल्लेख करना चाहिए (दिखाना चाहिए कि उसने जानकारी कहाँ से प्राप्त की)।
- उसे एक कॉन्फिडेंस सिग्नल (विश्वास संकेत) देना चाहिए जिसका वास्तव में कोई अर्थ हो (इंसान को बताना, "मैं 90% निश्चित हूँ कि यह सही है" या "मैं अनुमान लगा रहा हूँ")।
जब शोधकर्ताओं ने उन्हीं एआई सेटअपों का परीक्षण इस कठिन मानक के विरुद्ध किया, तो परिणाम चौंकाने वाले थे। केवल 72 में से 32 कॉन्फ़िगरेशन ही इसमें सफल हो पाए। इसका मतलब है कि 43.9% एआई उपकरण जो डेमो में एकदम सही दिख रहे थे, वास्तविक काम करने के लिए पूछे जाने पर पूरी तरह विफल रहे। "जादू का खेल" तब काम नहीं आया जब लाइटें चालू थीं और दर्शक बारीकी से देख रहे थे।
जाँच की लागत: क्यों "सही" होना पर्याप्त नहीं है
यहाँ पेपर का सबसे आश्चर्यजनक हिस्सा है। भले ही कोई एआई ज्यादातर सही हो, फिर भी वह तब तक बेकार हो सकता है जब एक इंसान को उसके हर काम की जाँच करनी पड़े।
शोधकर्ताओं ने "रिव्यू बर्डन" (समीक्षा का बोझ) को मापा। कल्पना कीजिए कि एक मानव समीक्षक एक द्वारपाल है। यदि एआई कहता है, "मैं 99% निश्चित हूँ कि यह सही है," तो द्वारपाल इसकी जाँच करना छोड़ सकता है। लेकिन यदि एआई अपने विश्वास के बारे में कुछ नहीं बताता है, तो द्वारपाल को 100% काम की जाँच करनी होगी।
अध्ययन ने इन तीन अलग-अलग तरीकों से टूल्स का परीक्षण किया:
- साधारण टूल (C1): यह बस कार्य करता है। परिणाम? यह कोई कॉन्फिडेंस सिग्नल नहीं देता। इंसान को आउटपुट की 100% जाँच करनी पड़ती है। यह एक ऐसे रोबोट को काम पर रखने जैसा है जो कभी बोलता नहीं है, इसलिए आपको उसके द्वारा टाइप किए गए हर शब्द को पढ़ना पड़ता है।
- गवर्नड टूल (C2): इस टूल को अपना काम दिखाने और यह बताने के लिए मजबूर किया जाता है कि वह कितना आश्वस्त है। परिणाम? इंसान को केवल 49% आउटपुट की जाँच करने की आवश्यकता होती है। यह एक बड़ी जीत है! टूल अनिवार्य रूप से अधिक सटीक नहीं है, लेकिन यह इंसान को बताता है कि कौन से हिस्से सुरक्षित रूप से अनदेखा किए जा सकते हैं।
- वेरिफाइड टूल (C3): यह टूल कार्य करता है, फिर अपनी गलतियों को सुधारने के लिए अपने ही काम को दोबारा पढ़ता है। आप सोच सकते हैं कि यह सबसे अच्छा है। लेकिन अध्ययन में पाया गया कि यह वास्तव में सबसे खराब सौदा था। इसे चलाने में 2.3 गुना अधिक समय लगा, और इसने चेक रेट को केवल 44% तक कम किया। इससे भी बुरा यह था कि यह एकमात्र सेटअप था जो त्रुटि दर (error rate) को पर्याप्त रूप से कम रखने में विफल रहा।
"रिकॉन्सिलिएशन" का आश्चर्य
पेपर में शामिल एक बहुत ही जीवंत उदाहरण "रिकॉन्सिलिएशन" (मिलान) नामक कार्य है। कल्पना कीजिए कि आपके पास संख्याओं की दो सूचियाँ हैं (जैसे बैंक बैलेंस) और आपको देखना है कि क्या वे मेल खाते हैं।
- एक एआई मॉडल (Open-weights A) डेमो में अद्भुत दिखता था। वह यह पहचान सकता था कि क्या कोई विसंगति है।
- लेकिन जब शोधकर्ताओं ने उससे पूछा कि संख्याएँ कितनी कम या ज्यादा हैं, तो वह मूल रूप से अनुमान लगा रहा था। इस विशिष्ट कार्य पर वह केवल 31.9% बार सही उत्तर दे पाया, भले ही वह अन्य कार्यों पर बेहतरीन प्रदर्शन कर रहा था।
यह साबित करता है कि एक टूल "एक ही काम का माहिर" (one-trick pony) हो सकता है। यह डेमो पास कर सकता है क्योंकि यह समस्या को पहचान लेता है, लेकिन यह प्रोडक्शन टेस्ट में विफल हो जाता है क्योंकि यह समाधान की गणना नहीं कर सकता।
भविष्य के लिए इसका क्या अर्थ है
पेपर एक सरल लेकिन शक्तिशाली बदलाव के साथ समाप्त होता है कि हमें एआई के बारे में कैसे सोचना चाहिए।
- केवल यह न पूछें: "यह कितनी बार सही होता है?"
- इसके बजाय पूछें: "क्या इसे पता है कि यह कब गलत है? क्या यह अपना होमवर्क दिखा सकता है? इसके काम को एक इंसान को कितनी बार चेक करना पड़ेगा?"
अध्ययन सुझाव देता है कि एआई का मूल्य केवल इस बारे में नहीं है कि वह कितना स्मार्ट है, बल्कि इस बारे में है कि वह इंसानों को उबाऊ, दोहराव वाले काम की जाँच करने से कितना बचाता है। यदि एआई आपको यह नहीं बता सकता कि वह कब अनिश्चित है, तो आपको सब कुछ चेक करना होगा, और इसमें बहुत अधिक समय और पैसा खर्च होगा।
शोधकर्ता सावधानी बरतते हुए कहते हैं कि यह एक "पहला माप" है और वास्तविक दुनिया के दस्तावेज़ उनके द्वारा परीक्षण किए गए दस्तावेज़ों की तुलना में अधिक जटिल होते हैं, इसलिए समस्याएँ वास्तविकता में और भी बड़ी हो सकती हैं। लेकिन संदेश स्पष्ट है: इससे पहले कि हम एआई को वास्तविक दुनिया में भेजें, हमें "जादू के खेल" को देखना बंद करना होगा और गणित, स्रोतों और आत्मविश्वास की जाँच करना शुरू करना होगा। क्योंकि अंततः, एक ऐसा टूल जो 99% बार सही होता है लेकिन आपको उसके 100% काम की जाँच करने के लिए मजबूर करता है, वह केवल एक बहुत महंगा, बहुत धीमा टाइपराइटर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।