आर्टिफिशियल इंटेलिजेंस की दुनिया में, बड़े भाषा मॉडलों (large language models) को अक्सर एक एकल, सरल प्रश्न से परखा जाता है: क्या यह सही उत्तर दे सकता है? जब कोई उपयोगकर्ता किसी गणितीय समस्या, कोड की एक पंक्ति, या चिकित्सा निदान के लिए समाधान मांगता है, तो मानक परीक्षण यह होता है कि क्या मॉडल एक सही प्रतिक्रिया देता है। यह दृष्टिकोण मशीन को एक ऐसे छात्र की तरह मानता है जो अंतिम परीक्षा दे रहा हो, जहाँ केवल उच्चतम स्कोर ही मायने रखता है। हालाँकि, कई वास्तविक दुनिया की स्थितियों में, एक अकेला उत्तर पर्याप्त नहीं होता है। एक वैज्ञानिक जो एक नई दवा डिजाइन कर रहा है, उसे दस अलग-अलग रासायनिक संरचनाओं को देखने की आवश्यकता हो सकती है जो सभी प्रभावी हों, ताकि वह उस एक को चुन सके जिसे बनाना सबसे आसान हो। एक सॉफ्टवेयर इंजीनियर जो सुरक्षा संबंधी खामी को ठीक कर रहा है, वह कोड को पैच करने के कई अलग-अलग तरीके देखना चाह सकता है ताकि यह देख सके कि कौन सा सबसे सुरक्षित है। इन परिदृश्यों में, मशीन का मूल्य उसके एक आदर्श आउटपुट उत्पन्न करने की क्षमता में नहीं, बल्कि विविध, उपयोगी विकल्पों का एक समृद्ध सेट उत्पन्न करने की उसकी क्षमता में निहित है। शोधकर्ताओं के लिए चुनौती यह रही है कि इस क्षमता को कैसे मापा जाए। पारंपरिक परीक्षण अक्सर यह गिनते हैं कि मॉडल कितनी बार सही हुआ, या वे बस एक सूची में से सबसे अच्छे उत्तर को चुन लेते हैं और बाकी को अनदेखा कर देते हैं। यह पूरी तरह से उस उद्देश्य को चूक जाता है जब लक्ष्य चुनने के लिए विविध और वैध संभावनाओं का एक संग्रह प्राप्त करना हो।

जापान में RIKEN सेंटर फॉर कम्प्यूटेशनल साइंस के शोधकर्ताओं की एक टीम ने इस समस्या को देखने का एक नया तरीका विकसित किया है। उन्होंने एक विशेष परीक्षण क्षेत्र बनाया है, जिसे वे बेंचमार्क कहते हैं, जिसे विशेष रूप से यह देखने के लिए डिज़ाइन किया गया है कि एक आर्टिफिशियल इंटेलिजेंस किसी एक कार्य के लिए कितने विविध उपयोगी उत्तर उत्पन्न कर सकता है। "क्या इसने उत्तर सही दिया?" पूछने के बजाय, उनकी विधि पूछती है, "इसने कितने अलग-अलग, वास्तव में उपयोगी उत्तर खोजे?" उन्होंने इस परीक्षण को पांच बहुत अलग वास्तविक दुनिया की समस्याओं का उपयोग करके बनाया, जो रासायनिक अणुओं को डिजाइन करने से लेकर सॉफ्टवेयर बग्स को ठीक करने और चिकित्सा साक्ष्य खोजने तक विस्तृत हैं। प्रत्येक समस्या के लिए, उन्होंने सटीक रूप से परिभाषित किया कि एक "उपयोगी" परिणाम क्या है और यह कैसे पता लगाया जाए कि दो परिणाम वास्तव में अलग हैं। उदाहरण के लिए, अणु डिजाइन में, दो उत्तर सतही तौर पर अलग दिख सकते हैं, लेकिन यदि वे एक ही मूल रासायनिक संरचना साझा करते हैं, तो वे एक ही उपयोगी परिणाम माने जाते हैं। शोधकर्ताओं ने विभिन्न मॉडलों को इन कार्यों के माध्यम से चलाया, उनसे कई बार प्रयास करने को कहा, और गिना कि उन्होंने कितने अद्वितीय, वैध समाधान संचित किए।

इस अध्ययन के परिणाम इस बारे में एक आश्चर्यजनक सच्चाई प्रकट करते हैं कि ये मशीनें कैसे काम करती हैं। शोधकर्ताओं ने पाया कि जो मॉडल एक उच्च-गुणवत्ता वाला एकल उत्तर देने में सर्वश्रेष्ठ हैं, वे आवश्यक रूप से वे नहीं हैं जो विविध उत्तरों का सबसे अच्छा संग्रह प्रदान करते हैं। वास्तव में, कौन सा मॉडल "सर्वश्रेष्ठ" है, इसकी रैंकिंग इस बात पर निर्भर करती है कि कितने प्रयास करने की अनुमति दी गई है। एक मॉडल जो केवल एक प्रयास में अग्रणी रहता है, वह बीस प्रयासों के बाद पीछे छूट सकता है, जबकि दूसरा मॉडल जो धीमी शुरुआत करता है, अंततः उपयोगी समाधानों की एक विस्तृत श्रृंखला खोज सकता है। यह सुझाव देता है कि इन मॉडलों को चलाने के लिए उपयोग की जाने वाली सेटिंग्स पहले की तुलना में अधिक महत्वपूर्ण हैं। शोधकर्ताओं ने पाया कि "तापमान" (temperature) को बढ़ाने से—एक ऐसी सेटिंग जो मॉडल के आउटपुट को अधिक यादृच्छिक और विविध बनाती है—अक्सर उपयोगी परिणामों का एक बहुत व्यापक संग्रह मिला, भले ही इसने कभी-कभी किसी भी एकल उत्तर की गुणवत्ता को कम कर दिया हो। इसके विपरीत, "सोचने" (thinking) नामक एक विशेषता, जो मॉडल को उत्तर देने से पहले चरण-दर-चरण तर्क करने के लिए प्रोत्साहित करती है, ने व्यक्तिगत उत्तरों की गुणवत्ता में सुधार किया, लेकिन इसने मॉडल को अधिक विशिष्ट समाधान खोजने में हमेशा मदद नहीं की।

शायद सबसे महत्वपूर्ण बात यह है कि अध्ययन ने दिखाया कि केवल यह देखना कि उत्तर सतही तौर पर कितने अलग दिखते हैं, यह बताने के लिए पर्याप्त नहीं है कि वे वास्तव में कितने उपयोगी हैं। विविधता को आंकने का एक सामान्य तरीका यह जांचना है कि उत्तरों के शब्द या वर्ण एक-दूसरे से कितने भिन्न हैं। शोधकर्ताओं ने पाया कि सतही स्तर की यह जांच इस बात का सटीक संकेतक नहीं है कि मॉडल ने वास्तव में नए, वैध समाधान खोजे हैं या नहीं। एक मॉडल दस उत्तर उत्पन्न कर सकता है जो एक-दूसरे से बहुत अलग दिखते हैं, लेकिन वे सभी एक ही अंतर्निहित समाधान का प्रतिनिधित्व करते हैं, जिससे वह विविधता प्रदान करने में विफल रहता है जिसकी उपयोगकर्ता को वास्तव में आवश्यकता होती है। उत्तरों की वास्तविक सामग्री और अर्थ को कार्य के विशिष्ट नियमों के विरुद्ध जांचकर, शोधकर्ताओं ने उनके वास्तविक "कवरेज" को मापने में सफलता प्राप्त की। उन्होंने पाया कि यह गहरा माप अक्सर इस बारे में अलग निष्कर्ष देता है कि कौन से मॉडल और सेटिंग्स बेहतर प्रदर्शन कर रहे हैं।

टीम ने पांच डोमेन में चार अलग-अलग बड़े भाषा मॉडलों का परीक्षण किया: अणु डिजाइन करना, सॉफ्टवेयर रिपॉजिटरी की मरम्मत करना, कोड में बग खोजना, चिकित्सा मामलों का निदान करना और जटिल प्रश्नों का समर्थन करने के लिए साक्ष्य खोजना। उन्होंने प्रत्येक मॉडल को अलग-अलग सेटिंग्स के साथ चलाया, जैसे कि यादृच्छिकता के स्तर को बदलना और "सोचने" की प्रक्रिया को सक्षम या अक्षम करना। फिर उन्होंने यह मापा कि प्रयासों की संख्या बढ़ने के साथ प्रत्येक मॉडल ने कितने विशिष्ट, वैध परिणाम उत्पन्न किए। डेटा ने दिखाया कि अधिकांश कार्यों के लिए, जो मॉडल शुरुआत में सर्वश्रेष्ठ प्रदर्शन करता था, वह वह नहीं था जो कई प्रयासों के बाद सर्वश्रेष्ठ प्रदर्शन करता था। उदाहरण के लिए, अणु डिजाइन करने के कार्य में, एक मॉडल एक प्रयास के बाद अग्रणी था, लेकिन बीस प्रयास करने तक, एक अलग मॉडल ने काफी अधिक अद्वितीय रासायनिक संरचनाएं खोज ली थीं। यह पैटर्न सभी क्षेत्रों में सत्य साबित हुआ, जो इंगित करता है कि एक एकल उत्तर उत्पन्न करने की सर्वोत्तम रणनीति अक्सर एक सेट के उत्तरों के लिए सर्वोत्तम रणनीति से भिन्न होती है।

अध्ययन ने यह भी जांचा कि क्या मॉडल को स्पष्ट रूप से खुद को दोहराने से बचने के लिए कहना मदद करेगा। कुछ मामलों में, शोधकर्ताओं ने मॉडल को नया विचार उत्पन्न करने के लिए मजबूर करके विविधता लाने का प्रयास किया है जो उसने अभी-अभी कहा था उससे अलग हो। शोधकर्ताओं ने पाया कि यह दृष्टिकोण विश्वसनीय रूप से काम नहीं करता है। जबकि इसने साक्ष्य खोजने जैसे कुछ विशिष्ट कार्यों में मदद की, इसने सॉफ्टवेयर मरम्मत जैसे अन्य कार्यों में उपयोगी समाधानों की संख्या को वास्तव में कम कर दिया। यह सुझाव देता है कि केवल विविधता के लिए पूछना नए, वैध आधार खोजने की गारंटी नहीं देता है। इसके बजाय, मॉडल को कॉन्फ़िगर करने का तरीका, विशेष रूप से वे सेटिंग्स जो इसकी यादृच्छिकता को नियंत्रित करती हैं, यह निर्धारित करने में अधिक महत्वपूर्ण भूमिका निभाती है कि क्या यह उपयोगी संभावनाओं की एक विस्तृत श्रृंखला तलाश सकता है।

ये निष्कर्ष हमारे सोचने के तरीके को बदलते हैं कि आर्टिफिशियल इंटेलिजेंस का मूल्यांकन कैसे किया जाए। वर्षों से, ध्यान एक एकल सर्वश्रेष्ठ उत्तर प्राप्त करने पर रहा है। लेकिन जैसे-जैसे इन मशीनों का उपयोग अधिक जटिल कार्यों के लिए किया जा रहा है जहाँ विकल्पों का होना महत्वपूर्ण है, सफलता को मापने का पुराना तरीका अपर्याप्त है। शोधकर्ताओं का कार्य प्रदर्शित करता है कि उम्मीदवारों का एक सीमित सेट अपने आप में अध्ययन का एक सार्थक विषय है। यह केवल एक विजेता की ओर ले जाने वाले प्रयासों का संग्रह नहीं है; यह संभावनाओं का एक परिदृश्य है जिसे मानचित्रित और मापा जा सकता है। अपने नए तरीके का उपयोग करके, जिसे वे 'वैलिडेटेड टास्क कवरेज' (validated task coverage) कहते हैं, उन्होंने दिखाया कि हम सीधे यह मूल्यांकन कर सकते हैं कि एक मॉडल इस परिदृश्य को कितनी अच्छी तरह तलाशता है। परिणाम बताते हैं कि इन उपकरणों का अधिकतम लाभ उठाने के लिए, हमें केवल एक सर्वश्रेष्ठ उत्तर खोजने के बजाय, उनके द्वारा प्रदान किए गए विकल्पों की व्यापकता को महत्व देना शुरू करना पड़ सकता है।

इन शोध के निहितार्थ केवल सही मॉडल चुनने तक ही सीमित नहीं हैं। यह सुझाव देता है कि इन प्रणालियों के साथ हमारी बातचीत का तरीका बदलने की आवश्यकता हो सकती है। यदि किसी उपयोगकर्ता को विविध समाधानों की आवश्यकता है, तो उन्हें अन्वेषण को प्रोत्साहित करने के लिए सेटिंग्स को समायोजित करने की आवश्यकता हो सकती है, भले ही इसका अर्थ यह हो कि व्यक्तिगत उत्तर थोड़े कम आदर्श हो सकते हैं। अध्ययन इन विभिन्न दृष्टिकोणों का परीक्षण और तुलना करने का एक ठोस तरीका प्रदान करता है, जो "रचनात्मकता" या "विविधता" जैसे अस्पष्ट विचारों से आगे बढ़कर उपयोगी परिणामों की एक स्पष्ट, मापने योग्य गणना की ओर ले जाता है। शोधकर्ताओं ने अपने उपकरण और डेटा को जनता के लिए उपलब्ध कराया है, जिससे अन्य लोग इस नए मानक के विरुद्ध नए मॉडलों और सेटिंग्स का परीक्षण कर सकें। यह इस बात के लिए एक द्वार खोलता है कि हम इन मशीनों के बारे में अधिक सूक्ष्म समझ विकसित कर सकें, जिससे ध्यान एक एकल सफलता के बिंदु से हटकर उनकी पूर्ण क्षमता की सीमा पर केंद्रित हो सके।

अंत में, यह शोध दृष्टिकोण में एक शांत लेकिन महत्वपूर्ण बदलाव पेश करता है। यह तर्क देता है कि आर्टिफिशियल इंटेलिजेंस का मूल्य केवल सही होने की उसकी क्षमता में नहीं है, बल्कि कई अलग-अलग तरीकों से उपयोगी होने की उसकी क्षमता में है। विशिष्ट, वैध परिणामों के संचय को मापने वाला परीक्षण बनाकर, शोधकर्ताओं ने इन शक्तिशाली उपकरणों को देखने के लिए एक नया लेंस प्रदान किया है। उन्होंने दिखाया है कि उत्तरों के सर्वोत्तम सेट तक पहुँचने का मार्ग हमेशा एक सर्वश्रेष्ठ एकल उत्तर तक पहुँचने के मार्ग के समान नहीं होता है, और हम जो सेटिंग्स चुनते हैं वे प्राप्त समाधानों की विविधता में गहरा अंतर पैदा कर सकती हैं। यह कार्य यह दावा नहीं करता है कि इसने AI के मूल्यांकन की हर समस्या को हल कर दिया है, लेकिन यह एक ऐसे प्रश्न को पूछने के लिए एक स्पष्ट, पुनरुत्पादक (reproducible) विधि प्रदान करता है जिसे बहुत लंबे समय से अनदेखा किया गया है: यह मशीन वास्तव में कितने उपयोगी चीजें खोज सकती है?