The geometry of AI validation: Exact certification limits for iid best-of-N search
यह शोध पत्र एक विश्वसनीयता सतह (reliability surface) पर कर्नेल ज्यामिति (kernel geometry) के रूप में सत्यापन को मॉडल करके iid बेस्ट-ऑफ-N खोज के लिए सटीक प्रमाणन सीमाएं स्थापित करता है, एक सटीक अस्पष्टता चौड़ाई (ambiguity width) सूत्र व्युत्पन्न करता है जो के साथ स्केल करता है, और संरचनात्मक कवरेज को परिशुद्धता से अलग करने के लिए एक टू-गेट ऑडिट नियम प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस केवल एक प्रश्न का एक उत्तर के साथ उत्तर देने से आगे निकलकर विकसित हो गया है। आज की प्रणालियाँ अक्सर कई संभावनाओं को उत्पन्न करती हैं, एक-दूसरे के विरुद्ध उनकी तुलना करती हैं, और फिर उपयोगकर्ता को प्रस्तुत करने के लिए सबसे अच्छा विकल्प चुनती हैं। यह प्रक्रिया, जिसे 'सर्च' (खोज) कहा जाता है, जटिल गणितीय समस्याओं को हल करने, कंप्यूटर कोड लिखने या नए अणुओं को डिजाइन करने के लिए उपयोग की जाती है। चूंकि सिस्टम कई विकल्पों में से चुनाव कर रहा है, इसलिए इसके अंतिम आउटपुट की विश्वसनीयता पूरी तरह से इस बात पर निर्भर करती है कि वह चयन कैसे किया गया था। यदि कोई सिस्टम सौ प्रयासों में से सबसे अच्छा उत्तर चुनता है, तो उस उत्तर की गुणवत्ता एक प्रयास से चुने गए उत्तर की गुणवत्ता से भिन्न होती है। वैज्ञानिकों के लिए केंद्रीय चुनौती यह पता लगाना है कि ये चयनित उत्तर वास्तव में सही हैं या नहीं, विशेष रूप से जब सिस्टम को एक यादृच्छिक (रैंडम) के बजाय "सर्वश्रेष्ठ" चुनने के लिए प्रशिक्षित किया गया हो।
यह सत्यापन (वेरिफिकेशन) की समस्या जटिल है क्योंकि चयन की क्रिया उस सत्य की प्रकृति को बदल देती है जिसे मापा जा रहा है। कल्पना कीजिए कि एक वैज्ञानिक एक मॉडल के प्रदर्शन की कुछ विशिष्ट प्रकार के प्रश्नों पर जांच करता है और पाता है कि यह बहुत सटीक है। यदि उस मॉडल का उपयोग पूरी तरह से अलग प्रकार की समस्या को हल करने के लिए किया जाता है, या यदि चयन की प्रक्रिया "सर्वश्रेष्ठ" प्रकार के किसी अन्य उत्तर को खोजने के लिए बदल जाती है, तो पिछले परीक्षण अब लागू नहीं हो सकते। सिस्टम की विश्वसनीयता एक स्थिर संख्या नहीं है जो समान रहती है; यह उत्तर खोजने के लिए उपयोग की जाने वाली विशिष्ट पद्धति से जुड़ी हुई है। यदि सिस्टम को जांचने के लिए उपयोग की जाने वाली पद्धति उस पद्धति के समान क्षेत्र को कवर नहीं करती है जिसका उपयोग इसे तैनात (डिप्लॉय) करने के लिए किया जाता है, तो सिस्टम विश्वसनीय दिखाई दे सकता है जबकि वास्तव में यह नए संदर्भ में अपनी गलतियों के प्रति अंधा हो सकता है।
टेक्निकल यूनिवर्सिटी ऑफ डार्मस्टाट के एक शोधकर्ता, रिकार्डो फिटास ने एक सटीक तरीका विकसित किया है जिससे यह मापा जा सके कि इन AI प्रणालियों को मान्य (वैलिडेट) करते समय कितनी अनिश्चितता शेष रहती है। उनका कार्य एक सामान्य परिदृश्य पर केंद्रित है जहाँ एक AI कई उम्मीदवारों को उत्पन्न करता है और एक स्कोर के आधार पर शीर्ष एक को चुनता है। अध्ययन एक मौलिक प्रश्न पूछता है: यदि हम जानते हैं कि कम संख्या में प्रयासों में से सर्वश्रेष्ठ उत्तर चुनने में सिस्टम कितना विश्वसनीय है, तो क्या हम निश्चित हो सकते हैं कि बहुत बड़ी संख्या में प्रयासों में से सर्वश्रेष्ठ चुनने में यह कितना विश्वसनीय होगा? शोध के अनुसार, उत्तर अक्सर 'नहीं' होता है। बिना सिस्टम को जांचने का तरीका बदले, हम कितना जान सकते हैं, इसकी एक कठिन सीमा है।
अनुसंधान प्रदर्शित करता है कि छोटे खोज आकार (सर्च साइज) पर सिस्टम के प्रदर्शन को जानना, बड़े खोज आकार पर इसके प्रदर्शन के बारे में ज्ञान की गारंटी नहीं देता है। भले ही कोई सिस्टम दस प्रयासों में से सर्वश्रेष्ठ चुनने में पूरी तरह से सटीक प्रदर्शन करता हो, सैद्धांतिक रूप से यह सौ में से चुनने पर बहुत खराब प्रदर्शन कर सकता है, और दोनों ही स्थितियां एक ही परीक्षण डेटा के अनुरूप होंगी। ऐसा इसलिए नहीं है कि परीक्षण खराब तरीके से किए गए थे, बल्कि इसलिए क्योंकि परीक्षणों ने सही दिशा में नहीं देखा था। अध्ययन सिद्ध करता है कि ज्ञान का एक विशिष्ट, अपूरणीय अंतर मौजूद है जब वास्तविक दुनिया का खोज आकार परीक्षण के दौरान उपयोग किए गए खोज आकार से बड़ा होता है। यह अंतर एक प्रकार की संरचनात्मक अंधता (स्ट्रक्चरल ब्लाइंडनेस) का प्रतिनिधित्व करता है: सिस्टम ठीक वैसा ही काम कर सकता है जैसा आपके परीक्षण सुझाव देते हैं, फिर भी यह उन तरीकों से विफल हो सकता है जिनका परीक्षण कभी अनुमान नहीं लगा सकता था।
इसे समझने के लिए, कल्पना करें कि सत्यापन एक अंधेरे कमरे में टॉर्च की रोशनी दिखाने जैसा है। यदि आप केवल कुछ विशिष्ट स्थानों में रोशनी डालते हैं, तो आप उन स्थानों में क्या है उसके बारे में आश्वस्त हो सकते हैं, लेकिन आप यह नहीं जान सकते कि अंधेरे कोनों में क्या है। यदि उस AI सिस्टम को एक ऐसे तरीके से तैनात किया जाता है जिसमें अंधेरे कोनों में देखने की आवश्यकता होती है, तो आपके पिछले परीक्षण कोई सुरक्षा प्रदान नहीं करते हैं। शोधकर्ता ने इस अनिश्चितता के सटीक आकार की गणना की। एक सिस्टम के लिए जो सौ उम्मीदवारों की खोज करता है, यदि आपने केवल सोलह उम्मीदवारों तक की खोजों पर परीक्षण किया है, तो इसके वास्तविक प्रदर्शन के बारे में अनिश्चितता अस्सी-तीन प्रतिशत तक हो सकती है। इसका अर्थ है कि दो पूरी तरह से अलग संस्करणों वाला सिस्टम आपके सभी परीक्षणों में पास हो सकता है, फिर भी एक लगभग पूर्ण हो सकता है जबकि दूसरा बड़े खोज के सामने सामना करने पर लगभग बेकार हो सकता है।
अध्ययन यह भी दिखाता है कि केवल एक ही परीक्षण को बार-बार दोहराने से यह समस्या ठीक नहीं होती है। उसी छोटे खोज आकार पर एक परीक्षण को हज़ार बार चलाने से केवल यादृच्छिक शोर (रैंडम नॉइज़) कम होता है; यह अंधेरे कोनों को प्रकाशित नहीं करता है। अनिश्चितता को कम करने के लिए, आपको परीक्षण को बदलने के लिए एक अलग प्रकार की खोज को देखना होगा। अनुसंधान यह करने के लिए एक स्पष्ट नियम प्रदान करता है: आपको अपने परीक्षणों के दायरे को विस्तारित करना चाहिए ताकि वे वास्तविक दुनिया के तैनाती (डिप्लॉयमेंट) के समान क्षेत्र को कवर कर सकें। यदि आप एक सौ उम्मीदवारों में से खोजने वाले सिस्टम को प्रमाणित करना चाहते हैं, तो आपको ऐसे परीक्षण शामिल करने चाहिए जिनमें सौ उम्मीदवारों की खोज शामिल हो, या कम से कम उसके करीब की संख्या हो।
पेपर इन निष्कर्षों को दो अलग-अलग डोमेन से वास्तविक दुनिया के डेटा का उपयोग करके मान्य करता है: गणितीय तर्क और कंप्यूटर प्रोग्रामिंग। गणित के प्रयोगों में, शोधकर्ताओं ने देखा कि AI मॉडल हजारों उत्पन्न समाधानों में से सर्वश्रेष्ठ उत्तर चुनते समय समस्याओं को कितनी अच्छी तरह हल करते हैं। उन्होंने पाया कि जबकि औसत प्रदर्शन बढ़ता है जैसे-जैसे सिस्टम अधिक उम्मीदवारों की खोज करता है, कुछ विशिष्ट समस्याएं वास्तव में खराब हो जाती हैं। कुछ समस्याएं जो छोटे खोज के साथ सही ढंग से हल की गई थीं, वे गलत हो गईं जब सिस्टम ने अधिक व्यापक रूप से खोज की। इसी तरह, प्रोग्रामिंग प्रयोगों में, शोधकर्ताओं ने कोड जनरेशन कार्यों का विश्लेषण किया। उन्होंने पाया कि भले ही समग्र सफलता दर अच्छी दिख रही थी, व्यक्तिगत कार्य खोज की चौड़ाई बदलने पर नाटकीय रूप से विफल हो सकते थे। ये वास्तविक दुनिया के उदाहरण पुष्टि करते हैं कि अनिश्चितता की सैद्धांतिक सीमाएं केवल गणितीय अमूर्तता नहीं थीं बल्कि वास्तविक AI व्यवहार में भी मौजूद थीं।
इसके अलावा, अध्ययन बेहतर मूल्यांकन के लिए कैसे डिजाइन किया जाए, इसके लिए एक व्यावहारिक समाधान भी प्रदान करता है। यह दो-चरणीय दृष्टिकोण का सुझाव देता है। पहला, शोधकर्ताओं को यह सुनिश्चित करना चाहिए कि उनके परीक्षण वास्तविक दुनिया के कार्य की संरचनात्मक व्यापकता को कवर करें। इसका अर्थ है कि सिस्टम का परीक्षण उसी पैमाने की खोज पर करना है जिसका सामना उसे व्यवहार में करना है। दूसरा, एक बार जब वह संरचनात्मक कवरेज स्थापित हो जाता है, तो वे यादृच्छिक शोर को कम करने और सटीकता में सुधार करने के लिए अधिक स्वतंत्र कार्यों को जोड़ सकते हैं। अनुसंधान बताता है कि अधिक लेबल या डेटा एकत्र करना तभी प्रभावी होता है जब डेटा सही दिशा में एकत्र किया गया हो। उदाहरण के लिए, प्रोग्रामिंग प्रयोगों में, विशेष रूप से शीर्ष-स्कोर वाले उम्मीदवारों के लिए लेबल एकत्र करने से रैंडम उम्मीदवारों के लिए लेबल एकत्र करने की तुलना में त्रुटि दर में काफी कमी आई। यह इस बात पर प्रकाश डालता है कि डेटा की शुद्ध मात्रा से अधिक परीक्षण की दिशा मायने रखती है।
निष्कर्ष इस बात के विरुद्ध चेतावनी के रूप में कार्य करते हैं कि केवल इसलिए कि किसी सिस्टम ने मानक परीक्षणों की एक बैटरी पास कर ली है, वह सुरक्षित है। यदि वे परीक्षण उस विशिष्ट तरीके से मेल नहीं खाते हैं जिस तरह से सिस्टम का उपयोग किया जाएगा, तो सिस्टम में छिपी हुई विफलताएं हो सकती हैं जो केवल तैनाती के समय प्रकट होंगी। अध्ययन यह दावा नहीं करता है कि AI सर्च टूटा हुआ है या इसे सुधारा नहीं जा सकता है; बल्कि, यह स्पष्ट करता है कि सिस्टम के काम करने को सिद्ध करने के नियम पहले की तुलना में अधिक सख्त हैं। यह स्थापित करता है कि सत्यापन एक बार की जांच नहीं है बल्कि एक निरंतर प्रक्रिया है जिसे सिस्टम की क्षमताओं के साथ विकसित होना चाहिए। इन सीमाओं की ज्यामिति को समझकर, डेवलपर्स ऐसे ऑडिट डिजाइन कर सकते हैं जो वास्तव में AI प्रणालियों की विश्वसनीयता को प्रमाणित करें, यह सुनिश्चित करते हुए कि उनके द्वारा दिए गए उत्तर न केवल लैब में, बल्कि वास्तविक दुनिया में भी भरोसेमंद हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।