आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, लार्ज लैंग्वेज मॉडल्स टेक्स्ट जेनरेट करने, समस्याओं को हल करने और कोड लिखने में उल्लेखनीय रूप से कुशल हो गए हैं। वे आत्मविश्वासी और तार्किक लग सकते हैं, फिर भी वे अक्सर सूक्ष्म गलतियाँ करते हैं जिन्हें पहचानना कठिन होता है। इसे ठीक करने के लिए, शोधकर्ताओं ने "वेरिफायर" (सत्यापनकर्ता) विकसित किए हैं—ये माध्यमिक प्रणालियाँ हैं जिन्हें मुख्य मॉडल के काम की जाँच करने और मानवीय उपयोगकर्ता तक पहुँचने से पहले त्रुटियों को पकड़ने के लिए डिज़ाइन किया गया है। ये चेकर कई रूपों में आते हैं: कुछ मॉडल के आउटपुट की तुलना तथ्यों के डेटाबेस से करते हैं, अन्य कोड को चलाकर देखते हैं कि क्या वह क्रैश हो जाता है, और कुछ बस मॉडल को अपने स्वयं के तर्क की समीक्षा करने के लिए कहते हैं। प्रचलित आशा यह रही है कि इन जाँच स्तरों को जोड़कर, हम ऐसी प्रणालियाँ बना सकते हैं जो न केवल प्रवाहपूर्ण हों, बल्कि भरोसेमंद भी हों। हालाँकि, एक महत्वपूर्ण प्रश्न अनुत्तरित रह गया है: ये चेकर वास्तव में क्या गारंटी दे सकते हैं? जब कोई प्रणाली कहती है कि एक परिणाम "सत्यापित" (verified) है, तो क्या इसका अर्थ यह है कि उत्तर निश्चित रूप से सही है, या इसका अर्थ केवल यह है कि उत्तर नियमों के एक विशिष्ट, सीमित सेट के अनुसार सही दिखता है?

याजी यिन का एक नया अध्ययन इस भ्रम को दूर करने के लिए एक नया तरीका प्रस्तावित करता है जिससे इन सत्यापन प्रणालियों की मजबूती को मापा जा सके। लेखक का तर्क है कि वर्तमान क्षेत्र "स्तर" (level) शब्द का उपयोग एक साथ पाँच अलग-अलग अर्थों में कर रहा है, जिससे गलतफहमी का कोहरा छाया हुआ है। कुछ शोधकर्ता "स्तर" का उपयोग यह वर्णन करने के लिए करते हैं कि उन्होंने समस्या को कितनी सूक्ष्मता से विभाजित किया है, अन्य जोखिम का वर्णन करने के लिए, और अन्य यह वर्णन करने के लिए कि कंप्यूटर सिस्टम का कौन सा हिस्सा ऑडिट किया जा रहा है। यह शोध पत्र एक एकल, स्पष्ट पैमाना पेश करता है जिसे 'वेरिफिकेशन ऑटोनॉमी लेवल्स' (Verification Autonomy Levels) कहा जाता है, जो एक विशिष्ट प्रश्न पर केंद्रित है: सत्य कहाँ से आता है, और चेकर क्या वादा करता है? यह पैमाना सबसे कमजोर रूप से शुरू होता है, जहाँ मॉडल केवल यह घोषित करता है कि उसका अपना काम सही है, से लेकर सबसे मजबूत रूपों तक, जहाँ जाँच वस्तुनिष्ठ, अपरिवर्तनीय तथ्यों या गणितीय नियमों पर आधारित होती है जो एक समाधान की पूर्णता को सिद्ध कर सकते हैं।

इस शोध की मुख्य खोज एक मौलिक सीमा है जो लगभग सभी वर्तमान सत्यापन विधियों पर लागू होती है। अध्ययन दर्शाता है कि कई लोकप्रिय चेकर एक प्रस्तावित उत्तर की पुष्टि तो कर सकते हैं कि वह सही है, लेकिन वे यह सिद्ध नहीं कर सकते कि कोई अन्य सही उत्तर छूट तो नहीं गया है। कल्पना कीजिए कि एक सुरक्षा गार्ड स्वीकृत आगंतुकों की सूची की जाँच कर रहा है; यदि गार्ड सूची में एक नाम देखता है, तो वह उन्हें अंदर जाने देता है। लेकिन यदि कोई खतरनाक व्यक्ति आता है जिसका नाम सूची में नहीं है, तो गार्ड को यह पता लगाने का कोई तरीका नहीं है कि कोई छूट गया है, जब तक कि उसके पास उन सभी लोगों की एक पूर्ण, पूर्व-अनुमोदित सूची न हो जो वहाँ होने चाहिए। पेपर इसे "कम्प्लीटनेस ब्लाइंड स्पॉट" (completeness blind spot - पूर्णता का अंधा बिंदु) कहता है। अधिकांश वर्तमान प्रणालियाँ उस गार्ड की तरह काम करती हैं जिसके पास सूची है: वे एक उम्मीदवार समाधान की पुष्टि कर सकती हैं कि वह काम करता है, लेकिन वे यह गारंटी नहीं दे सकतीं कि उन्होंने सभी संभावित समाधान खोज लिए हैं। यह कोई बग नहीं है जिसे मॉडल को बेहतर प्रशिक्षित करके या अधिक डेटा की जाँच करके ठीक किया जा सके; यह इन प्रणालियों के काम करने के तरीके का एक संरचनात्मक फीचर है।

इस परिदृश्य को मैप करने के लिए, लेखक ने छह चरणों वाला एक पैमाना विकसित किया है, जो L0 से L5 तक जाता है। सबसे नीचे, L0 एक ऐसी प्रणाली का प्रतिनिधित्व करता है जहाँ मॉडल बस कहता है, "मैंने इसकी जाँच की, और यह सही है।" यहाँ कोई बाहरी प्रमाण नहीं है, और सत्य की कोई गारंटी नहीं है। ऊपर बढ़ते हुए, L1 और L2 में समस्या से प्राप्त नियमों या ज्ञात, वस्तुनिष्ठ तथ्यों के साथ तुलना पर आधारित जाँच शामिल है। ये एक विशिष्ट उत्तर के सही होने की पुष्टि करने के लिए उपयोगी हैं, लेकिन वे अभी भी ब्लाइंड स्पॉट से ग्रस्त हैं: वे यह सिद्ध नहीं कर सकते कि मॉडल ने कोई बेहतर या अलग उत्तर नहीं छोड़ा है। पैमाना L3 और L4 पर महत्वपूर्ण रूप से उछलता है, जहाँ सत्यापन एक 'डिसाइडेबल सिस्टम' (decidable system) पर आधारित होता है, जैसे कि एक औपचारिक गणितीय प्रमाण या एक सख्त तार्किक नियम। इन मामलों में, प्रणाली न केवल एक उत्तर की पुष्टि कर सकती है, बल्कि यह भी सिद्ध कर सकती है कि एक विशिष्ट, अच्छी तरह से परिभाषित दायरे के भीतर अन्य कोई उत्तर मौजूद नहीं है। उच्चतम स्तर, L5, जो एक ऐसी प्रणाली का प्रतिनिधित्व करेगा जो किसी भी संभावित प्रश्न के लिए पूर्णता सिद्ध करने में सक्षम है, को गणितीय रूप से असंभव दिखाया गया है।

शोध पत्र इन चार बहुत अलग क्षेत्रों में इस ढांचे का परीक्षण करता है: गणित की समस्याओं को हल करना, सुरक्षा खतरों के लिए कंप्यूटर व्यवहार की निगरानी करना, चिकित्सा स्थितियों का निदान करना, और कंप्यूटर कोड लिखना। गणितीय प्रयोगों में, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जो अपने काम की जाँच कर सके। उन्होंने पाया कि जबकि प्रणाली कुछ त्रुटियों को पकड़ सकती थी, इसने कच्चे मॉडल की तुलना में उत्तरों की समग्र सटीकता में सुधार नहीं किया। वास्तव में, सत्यापन प्रक्रिया ने नई त्रुटियाँ पेश करके चीजों को कभी-कभी बदतर भी बना दिया। हालाँकि, प्रणाली एक अलग कार्य में उत्कृष्ट थी: यह विश्वसनीय रूप से रिपोर्ट कर सकती थी कि वह कब अनिश्चित थी या जब उसने किसी विशिष्ट प्रकार की त्रुटि पाई हो, जैसे कि एक छूटा हुआ समाधान जिसे एक सरल जाँच अनदेखा कर देती। मेडिकल डायग्नोसिस (चिकित्सा निदान) अध्ययन में, शोधकर्ताओं ने मॉडल के तर्क की जाँच करने के लिए एक मानक नैदानिक नियम का उपयोग किया। उन्होंने पाया कि एक सरल, नियम-आधारित जाँच उन मामलों को पकड़ सकती थी जहाँ मॉडल आत्मविश्वास के साथ गलत था क्योंकि उसके पास आवश्यक साक्ष्य की कमी थी, एक ऐसी विफलता जिसे मानव समीक्षकों ने भी मिस कर दिया था।

शोध ने कोड जनरेशन (कोड निर्माण) को भी देखा, जहाँ मॉडल कंप्यूटर प्रोग्राम लिखता है। यहाँ, अध्ययन में पाया गया कि मॉडल मानक समस्याओं को हलने में पहले से ही इतना अच्छा था कि सत्यापन की एक परत जोड़ने से इसकी सटीकता में कोई वृद्धि नहीं हुई। "एक्यूरेसी विंडो" (accuracy window) खाली थी; मॉडल उन विशिष्ट कार्यों के लिए अपने शिखर पर था। इस संदर्भ में सत्यापन प्रणाली का मूल्य इसे और अधिक सटीक बनाने में नहीं था, बल्कि एक स्पष्ट संकेत प्रदान करने में था कि कोड कब असुरक्षित या अपूर्ण हो सकता है। लेखक इस बात पर जोर देते हैं कि यह सत्यापन की विफलता नहीं है, बल्कि यह सटीक माप है कि सत्यापन कहाँ मूल्य जोड़ता है। यह तब मूल्य जोड़ता है जब यह त्रुटियों की रिपोर्ट कर सकता है या पूर्णता सिद्ध कर सकता है, न कि तब जब यह उन समस्याओं पर कच्ची सटीकता बढ़ाने की कोशिश करता है जिन्हें मॉडल पहले ही महारत हासिल कर चुका है।

पेपर का एक महत्वपूर्ण हिस्सा "करेक्टनेस" (सटीकता/शुद्धता) और "कम्प्लीटनेस" (पूर्णता) के बीच का अंतर है। 'करेक्टनेस' का अर्थ है कि प्रस्तावित उत्तर सही है। 'कम्पलीटनेस' का अर्थ है कि प्रणाली ने सभी सही उत्तर खोज लिए हैं और वह जानती है कि अन्य कोई नहीं है। अध्ययन दिखाता है कि अधिकांश वर्तमान प्रणालियाँ केवल 'करेक्टनेस' प्रदान करती हैं। वे कह सकती हैं, "यह उत्तर काम करता है," लेकिन वे यह नहीं कह सकतीं, "यही एकमात्र उत्तर है।" पूर्णता प्राप्त करने के लिए, एक प्रणाली को समस्या को एक सख्त, तार्किक प्रारूप में पुनर्गठित करने में सक्षम होना चाहिए जिसे एक मशीन व्यापक रूप से हल कर सके। यह गणित या कोड के विशिष्ट प्रकारों के लिए संभव है, लेकिन समाचारों की तथ्य-जाँच करने या जटिल बीमारियों का निदान करने जैसे खुले कार्यों के लिए असंभव है, जहाँ दुनिया बहुत जटिल है जिसे एक एकल नियम द्वारा पूरी तरह से कैप्चर नहीं किया जा सकता। पेपर तर्क देता है कि हमें यह मानने से बचना चाहिए कि कोई प्रणाली इन ओपन-वर्ल्ड परिदृश्यों में पूर्ण हो सकती है। इसके बजाय, हमें अपने उपकरणों की सीमाओं के बारे में ईमानदार होना चाहिए।

लेखक "ट्रस्ट रिकर्सन" (विश्वास पुनरावृत्ति) के मुद्दे को भी संबोधित करते हैं, जो कि एक चेकर को चेकर को सत्यापित करने के लिए, और एक और चेकर को उस एक को सत्यापित करने के लिए, और इसी तरह की आवश्यकता की समस्या है। पेपर दिखाता है कि विश्वास की यह श्रृंखला अंततः एक ऐसे बिंदु पर रुकनी चाहिए जो किसी अन्य आर्टिफिशियल इंटेलिजेंस पर निर्भर न हो। इसे एक मानव-परिभाषित नियम, एक भौतिक माप, या एक गणितीय प्रमाण पर रुकना चाहिए। यदि श्रृंखला एक अन्य AI मॉडल पर रुकती है, तो सत्यापन गोलाकार (circular) और अविश्वसनीय है। अध्ययन सुझाव देता है कि सबसे अच्छा दृष्टिकोण ऐसी प्रणालियों को डिजाइन करना है जहाँ AI विचारों को उत्पन्न करने के मेरे रचनात्मक कार्य को संभालता है, जबकि एक अलग, कठोर प्रणाली उन विचारों की एक निश्चित मानक के विरुद्ध जाँच करती है। श्रम का यह विभाजन सुनिश्चित करता है कि प्रणाली जानती है कि वह कब अपने सुरक्षित क्षेत्र से बाहर काम कर रही है और कब रुकना है और मानव सहायता मांगनी है।

अंततः, यह पेपर आर्टिफिशियल इंटेलिजेंस सुरक्षा के क्षेत्र के लिए एक वास्तविकता की जाँच (reality check) के रूप में कार्य करता है। यह एक नया शब्दावली प्रस्तावित करता है जो शोधकर्ताओं और डेवलपरों को यह स्पष्ट करने की अनुमति देता है कि उनकी प्रणालियाँ क्या कर सकती हैं और क्या नहीं कर सकतीं। यह यह मान लेने की खतरनाक आदत के खिलाफ चेतावनी देता है कि कोई प्रणाली "सत्यापित" है क्योंकि वह एक परीक्षण में पास हो गई है। इसके बजाय, यह एक अधिक सूक्ष्म दृष्टिकोण का आग्रह करता है: एक प्रणाली एक विशिष्ट उत्तर की पुष्टि करने में उत्कृष्ट हो सकती है, लेकिन इसका मतलब यह नहीं है कि उसने संपूर्ण सत्य खोज लिया है। एक सत्यापन प्रणाली का उच्चतम ग्रेड पूर्णता का वादा नहीं, बल्कि उसकी सीमाओं की एक ईमानदार घोषणा है। इन स्तरों को समझकर, हम ऐसी AI प्रणालियाँ बना सकते हैं जो न केवल स्मार्ट हों, बल्कि इस बारे में भी अधिक पारदर्शी हों कि वे कब सही हैं, कब वे गलत हैं, और कब वे वास्तव में नहीं जानते।