आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक शांत क्रांति उन विशेषज्ञों के काम करने के तरीके को बदल रही है जो उन मशीनों का मूल्यांकन करते हैं जो कोड लिखती हैं, समस्याओं को हल करती हैं और टेक्स्ट जेनरेट करती हैं। वर्षों से, उद्योग एक ही प्रश्न पर केंद्रित रहा है: मॉडल कितना स्मार्ट है? शोधकर्ताओं ने इसे यह देखकर मापा है कि मशीन द्वारा दिया जा सकने वाला सबसे अच्छा उत्तर क्या है या किसी परीक्षण पर उसका औसत स्कोर क्या है। यह दृष्टिकोण इस धारणा पर आधारित है कि यदि कोई मॉडल एक बार सही उत्तर दे सकता है, तो वह सफल है। हालाँकि, जो कोई भी इन उपकरणों का उपयोग वास्तविक इंजीनियरिंग कार्यों के लिए करना चाहता है, उसके लिए यह मीट्रिक सबसे महत्वपूर्ण कारक को छोड़ देता है। एक ऐसा उपकरण जो आधी बार पूरी तरह से काम करता है और बाकी आधी बार बुरी तरह विफल हो जाता है, वह विश्वसनीय सिस्टम बनाने के लिए बेकार है, भले ही उसके बेहतरीन क्षण शानदार हों। नया मोर्चा यह नहीं है कि मशीन कितनी ऊँची छलांग लगा सकती है, बल्कि यह है कि वह कितनी निरंतरता से अपने पैरों पर उतरती है। यह बदलाव कच्चे सामर्थ्य (raw capability) से हटकर सटीकता (precision) पर ध्यान केंद्रित करता है, यह पूछते हुए कि क्या मशीन केवल काम कर सकती है या क्या वह हर बार पूछे जाने पर उसी काम को हर बार एक ही तरह से कर सकती है।

लंदन स्थित एक स्वतंत्र शोधकर्ता जॉर्ज एंड्रिकोपुलस का तर्क है कि आर्टिफिशियल इंटेलिजेंस सिस्टमों की तुलना करने का वर्तमान तरीका गलत चीज़ को माप रहा है। उनका सुझाव है कि जबकि सबसे उन्नत मॉडल अविश्वसनीय रूप से सटीक हो गए हैं—अर्थात उनका औसत आउटपुट लक्ष्य तक पहुँच जाता है—वे अभी तक 'प्रिसिजन' (precision) प्राप्त नहीं कर पाए हैं। इस संदर्भ में, प्रिसिजन का अर्थ है कि जब एक ही अनुरोध बार-बार किया जाता है, तो परिणाम कितने करीब या एक समूह में होते हैं। कल्पना कीजिए कि आप एक मशीन को दस बार एक विशिष्ट इंजीनियरिंग समस्या हल करने के लिए कहते हैं। एक प्रिसाइज सिस्टम आपको नौ या दस बार एक सही और समझदारी भरा उत्तर देगा। एक इम्प्रेसाइज (imprecise) सिस्टम आपको पाँच बार सही उत्तर दे सकता है, लेकिन बाकी पाँच बार वह कुछ अजीब, टूटा हुआ या पूरी तरह से असंबंधित परिणाम दे सकता है। उद्योग वर्तमान में 'बेहतरीन शॉट' का जश्न मनाता है, लेकिन इन उपकरणों के साथ काम करने वाले लोगों को 'समूह' (group) के बारे में जानने की आवश्यकता होती है। यदि शॉट बिखरे हुए हैं, तो उपकरण अविश्वसनीय है, चाहे उस समूह का केंद्र कितना भी अच्छा क्यों न हो।

इसे हल करने के लिए, एंड्रिकोपुलस ने जटिल, गोलाकार ग्रेडिंग सिस्टमों पर निर्भर रहने के बजाय, इस निरंतरता को मापने का एक सरल तरीका विकसित किया है। किसी अन्य आर्टिफिशियल इंटेलिजेंस से काम का न्याय करने के बजाय, जो अपनी स्वयं की त्रुटियाँ पेश कर सकता है, यह विधि उन कार्यों का उपयोग करती है जिनका परिणाम स्पष्ट और बाइनरी (binary) होता है: क्या कोड कंपाइल होता है, क्या टेस्ट पास होते हैं, या क्या फ़ाइल प्रकार सही ढंग से चेक होता है? ये ऐसे तथ्य हैं जिन्हें बिना किसी अनुमान के कंप्यूटर द्वारा सत्यापित किया जा सकता है। इस प्रक्रिया में इन सत्यापन योग्य कार्यों का एक छोटा सेट लेना और प्रत्येक बार मॉडल के एक नए इंस्टेंस पर उन्हें कई बार चलाना शामिल है। यह गिनकर कि मॉडल कितनी बार सफल होता है बनाम कितनी बार विफल होता है, शोधकर्ता परिणामों का आकार देख सकते हैं। यदि मॉडल हर बार पास होता है, या हर बार विफल होता है, तो वह प्रिसाइज है। यदि वह आधी बार पास होता है और आधी बार विफल होता है, तो वह बिखरा हुआ और अप्रत्याशित है।

यह शोधपत्र इन मापों के आधार पर एक स्पष्ट निर्णय नियम प्रस्तुत करता है। यदि कोई मॉडल लगातार एक ही तरीके से विफल होता है, तो वह एक "टाइट ग्रुप" (tight group) है जो बस केंद्र से थोड़ा हट गया है। यह एक अच्छी समस्या है क्योंकि इसका अर्थ है कि एक मानव ऑपरेटर उस गलती को ठीक करने के लिए एक विशिष्ट नियम लिख सकता है, जो प्रभावी रूप से मशीन के "निशाने को शून्य करने" (zeroing the sights) जैसा है। हालाँकि, यदि मॉडल कई अलग-अलग तरीकों से विफल होता है, तो समूह बिखरा हुआ है। इस स्थिति में, नियम लिखने से कोई लाभ नहीं होगा, क्योंकि त्रुटियाँ रैंडम (random) हैं। बिखरे हुए समूह के लिए एकमात्र समाधान मॉडल को बदलना या उसके उत्तर जेनरेट करने के तरीके को समायोजित करना है। यह अंतर महत्वपूर्ण है क्योंकि यह इंजीनियरों को यह बताता है कि उन्हें मशीन के लिए निर्देश लिखने में समय बिताना चाहिए या उन्हें बस एक अलग मशीन पर स्विच कर लेना चाहिए।

एक वास्तविक दुनिया का परीक्षण इस दृष्टिकोण की शक्ति को दर्शाता है। शोधकर्ताओं ने कोडिंग कार्यों का एक विशिष्ट सेट लिया और बिना किसी विशेष निर्देश के एक अग्रणी मॉडल पर पाँच बार चलाया। मॉडल एक विशिष्ट वैलिडेशन कार्य को हर बार विफल करने में असमर्थ रहा। क्योंकि वह हर बार बिल्कुल एक ही तरीके से विफल हुआ, शोधकर्ता जानते थे कि यह एक सुसंगत त्रुटि थी, न कि कोई रैंडम ग्लिच। उन्होंने विफलता का विश्लेषण किया और पाया कि मशीन बहुत बड़े नंबरों को संभालने के दौरान एक विशिष्ट तार्किक गलती कर रही थी। उन्होंने इस लॉजिक को ठीक करने के लिए एक एकल, सरल नियम लिखा। जब उन्होंने नए नियम के साथ उन्हीं पाँच कार्यों को फिर से चलाया, तो मॉडल हर बार पास हो गया। सफलता दर शून्य से बढ़कर सौ प्रतिशत हो गई। इसने सिद्ध किया कि मशीन इतनी प्रिसाइज थी कि उसे ठीक किया जा सकता था; उसे बस अपने निशाने को एडजस्ट करने की आवश्यकता थी।

अध्ययन ने यह भी खुलासा किया कि लिखित नियमों के साथ हम इन सिस्टमों को कितना सुधार सकते हैं, इसकी एक आश्चर्यजनक सीमा है। शोधकर्ताओं ने उन नियमों के आधार पर परीक्षण कार्यों का एक नया सेट बनाने की कोशिश की जो उन्होंने स्वयं लिखे थे, यह उम्मीद करते हुए कि वे उन नियमों से मिलने वाले मूल्य को माप सकें। उन्होंने पाया कि सबसे उन्नत मॉडल पहले से ही इतने सक्षम थे कि वे बिना बताए ही इन अच्छे अभ्यासों का स्वाभाविक रूप से पालन करते थे। मॉडल इन "नियम-आधारित" परीक्षणों को अतिरिक्त निर्देशों के बिना भी पूरी तरह से पास कर रहे थे। इसका अर्थ है कि सामान्य त्रुटियों के लिए, मशीनों ने अनुशासन को स्वयं ही सीख लिया है। इसलिए, एक नियम पुस्तिका का वास्तविक मूल्य मशीन को वह सिखाने में नहीं है जो वह पहले से जानती है, बल्कि उन दुर्लभ, छिपे हुए अंतराल को खोजने में है जहाँ मशीन अभी भी बिखरती है या लगातार विफल होती है। इन अंतरालों का पहले से अनुमान नहीं लगाया जा सकता; इन्हें मशीन के वास्तविक कार्य को मापकर ही खोजा जाना चाहिए।

अंततः, यह शोध आर्टिफिशियल इंटेलिजेंस के बारे में बातचीत को 'कौन सबसे स्मार्ट है' के मुकाबले से बदलकर 'कौन सबसे विश्वसनीय है' के व्यावहारिक मूल्यांकन में बदल देता है। उद्योग ने वर्षों तक ऐसे लीडरबोर्ड बनाने में बिताए हैं जो मॉडलों को उनके शिखर प्रदर्शन के आधार पर रैंक करते हैं, लेकिन वे रैंकिंग उपयोगकर्ता को यह नहीं बताती कि क्या वह उपकरण उनके विशिष्ट प्रोजेक्ट के लिए काम करेगा। समूह की सघनता (tightness) को मापकर, इंजीनियर यह निर्णय लेने के लिए सूचित निर्णय ले सकते हैं कि किन मॉडलों का उपयोग करना है और कहाँ अपना समय निवेश करना है। यदि कोई मॉडल प्रिसाइज है लेकिन लक्ष्य से थोड़ा हट गया है, तो एक मानव इसे एक नियम के साथ ठीक कर सकता है। यदि यह बिखरा हुआ है, तो कोई भी नियम इसे बचा नहीं सकता। इन मशीनों के साथ काम करने का भविष्य केवल एक आदर्श उत्तर खोजने में नहीं है, बल्कि उत्तरों के पैटर्न को समझने में और यह जानने में है कि कब निशाने को एडजस्ट करना है और कब राइफल को बदलना है।