Frontier AI Forecasting Has a Measurement Problem: An Audit of Progress Evidence

हम एक ऐसे युग में रह रहे हैं जहाँ आर्टिफिशियल इंटेलिजेंस (AI) की क्षमताओं की भविष्यवाणी अक्सर मौसम के पूर्वानुमान जैसी सटीकता के साथ की जाती है। विशेषज्ञ यह अनुमान लगाने के लिए देखते हैं कि कंप्यूटर कितनी तेजी से विकसित हो रहे हैं, उन्हें कितना डेटा खिलाया जा रहा है, और वे मानकीकृत परीक्षणों (standardized tests) पर कैसा प्रदर्शन कर रहे हैं, ताकि यह अंदाजा लगाया जा सके कि मशीनें कब मानव-स्तर की तर्कशक्ति तक पहुँचेंगी या उससे भी आगे निकल जाएंगी। ये भविष्यवाणियाँ आमतौर पर कैलेंडर की एक विशिष्ट तिथि के रूप में होती हैं, जो यह सुझाव देती हैं कि एक निश्चित वर्ष तक, एक AI एक जटिल समस्या को हल करने या एक विशिष्ट कार्य करने में सक्षम होगा। इसका तर्क सीधा लगता है: यदि आप माप सकते हैं कि एक कार कितनी तेज चल रही है, तो आप गणना कर सकते हैं कि वह अपने गंतव्य तक कब पहुँचेगी। लेकिन यह दृष्टिकोण एक छिपे हुए अनुमान पर निर्भर करता—कि आज जिस पैमाने से गति को मापा जा रहा है, वह कल वाले पैमाने जैसा ही है, और स्पीडोमीटर सड़क पर मौजूद हर एक कार के लिए सही ढंग से काम कर रहा है।

फैब्रिसियो एफ. कोस्टा का एक नया विश्लेषण इस धारणा को चुनौती देता है। यह शोध पत्र यह तर्क नहीं देता कि AI के भविष्य की भविष्यवाणी करना असंभव है, बल्कि यह कि इसे करने का हमारा वर्तमान तरीका एक कमजोर नींव पर बना है। लेखक ने इन भविष्यवाणियों को बनाने के लिए उपयोग किए गए सार्वजनिक रिकॉर्ड का एक कठोर ऑडिट किया, जिसमें डेटा को ग्राफ पर एक चिकनी रेखा के रूप में नहीं, बल्कि व्यक्तिगत घटनाओं, मापों और स्रोतों के एक संग्रह के रूप में देखा गया। यह जांच प्रकट करती है कि इन प्रणालियों को बनाने के लिए उपयोग किए जाने वाले संसाधनों और उनके वास्तविक प्रदर्शन के बीच का संबंध लोकप्रिय भविष्यवाणियों के सुझावों की तुलना में कहीं अधिक खंडित है। अध्ययन से पता चलता है कि इन भविष्यवाणियों का समर्थन करने वाला साक्ष्य अक्सर अधूरा, असंगत और सूचना के एक एकल स्रोत पर अत्यधिक निर्भर है, जिससे समाचारों में उद्धृत की जाने वाली विशिष्ट तिथियां वैज्ञानिक निष्कर्ष के बजाय केवल एक अनुमान बनकर रह जाती हैं।

समस्या के दायरे को समझने के लिए, सबसे पहले यह देखना चाहिए कि इन भविष्यवाणियों का निर्माण आमतौर पर कैसे किया जाता है। शोधकर्ता आमतौर पर दो चीजों को जोड़ने का प्रयास करते हैं: एक मॉडल को प्रशिक्षित करने के लिए उपयोग की जाने वाली कंप्यूटिंग शक्ति की मात्रा और उसके द्वारा प्राप्त किए गए परिणाम। 'बेंचमार्क' (benchmark) सरल शब्दों में प्रश्नों या कार्यों का एक मानकीकृत सेट है जिसे एक विशिष्ट कौशल को मापने के लिए डिज़ाइन किया गया है, जैसे कि सामान्य ज्ञान का उत्तर देना या गणित की समस्याओं को हल करना। विचार यह है कि जैसे-जैसे आप एक मॉडल को अधिक कंप्यूटिंग शक्ति देते हैं, इन परीक्षणों पर उसका स्कोर एक अनुमानित तरीके से बढ़ता जाता है। यदि आप उस संबंध को मैप कर सकते हैं, तो आप आगे का अनुमान लगा सकते हैं कि स्कोर कब एक निश्चित सीमा तक पहुँचेगा। हालाँकि, इस प्रक्षेपण (projection) के वैध होने के लिए, आपके पास ऐसे डेटा बिंदु होने चाहिए जहाँ एक ही सिस्टम के लिए कंप्यूटिंग शक्ति और परीक्षण स्कोर दोनों ज्ञात हों।

जब लेखक ने बासठ प्रमुख आर्टिफिशियल इंटेलिजेंस प्रणालियों के सार्वजनिक रिकॉर्ड की जांच की, तो एक महत्वपूर्ण अंतर दिखाई दिया। जबकि कई प्रणालियों के लिए उपयोग की गई कंप्यूटिंग शक्ति के बारे में जानकारी उपलब्ध थी, कई सबसे उन्नत, क्लोज्ड-सोर्स (closed-source) मॉडलों के लिए यह जानकारी गायब थी। इसके विपरीत, METR नामक एक विशिष्ट और व्यापक रूप से उद्धृत माप कार्यक्रम के प्रदर्शन स्कोर कई क्लोज्ड मॉडलों के लिए उपलब्ध थे, लेकिन ओपन-सोर्स प्रणालियों के लिए पूरी तरह से अनुपस्थित थे। इसने एक ऐसी स्थिति पैदा कर दी जहाँ रेखा खींचने के लिए आवश्यक दो डेटा बिंदु—"ईंधन" और "गति"—दुर्लभ ही एक ही मशीन के लिए मौजूद थे। साठदो प्रणालियों के पूरे सेट में, केवल सात ऐसी थीं जिनमें कंप्यूटिंग अनुमान और प्रदर्शन स्कोर दोनों दर्ज थे। इसका अर्थ है कि भविष्यवाणियों में दिखने वाली चिकनी वक्र रेखाएं (smooth curves) वास्तव में केवल कुछ ही डेटा बिंदुओं के माध्यम से खींची गई हैं, जबकि बाकी का परिदृश्य एक खाली स्थान है।

समस्या तब और गहरी हो जाती है जब आप यह विचार करते हैं कि ये परीक्षण स्वयं स्थिर नहीं हैं। ठीक वैसे ही जैसे एक स्केल (रूलर) को थोड़े अलग निशानों वाले नए स्केल से बदला जा सकता है, AI को मापने के लिए उपयोग किए जाने वाले बेंचमार्क को मॉडलों को केवल उत्तर याद करने से रोकने के लिए लगातार अपडेट, संशोधित या बदला जाता है। ऑडिट ने यह देखा कि इन परीक्षणों के विभिन्न संस्करण एक-दूसरे से कैसे संबंधित हैं। इसमें पाया गया कि जब आप किसी पुराने संस्करण के परीक्षण के स्कोर की तुलना नए संस्करण से करने का प्रयास करते हैं, तो संबंध हमेशा एक सरल, सीधी वृद्धि नहीं होता है। कभी-कभी, नया परीक्षण कुछ अलग चीज़ को मापता है, या कठिनाई इस तरह बदल जाती है कि स्कोर अप्रत्याशित रूप से उछल जाता है या गिर जाता है। अध्ययन ने एक लोकप्रिय परीक्षण के दो संस्करणों पर सिस्टम के प्रदर्शन को देखकर इसका परीक्षण किया और पाया कि पुराने स्कोर और नए स्कोर के बीच का संबंध इस बात पर बहुत अधिक निर्भर करता है कि उनकी तुलना करने के लिए किस गणितीय विधि का उपयोग किया गया है। कुछ मामलों में, नया संस्करण पुराने की तुलना में बहुत अधिक तीव्र सुधार दिखाता है, जबकि अन्य में, सुधार सपाट दिखता है। यह सुझाव देता है कि स्कोर में वृद्धि का मतलब हमेशा यह नहीं होता कि AI अधिक बुद्धिमान हो गया है; इसका मतलब यह भी हो सकता है कि परीक्षण बदल गया है।

पहचान की गई एक अन्य महत्वपूर्ण समस्या साक्ष्यों का संकेंद्रण (concentration) है। AI प्रगति को ट्रैक करने के लिए उपयोग किए जाने वाले विशिष्ट डेटा बिंदुओं का विशाल बहुमत एक ही माप कार्यक्रम से आता है। ऑडिट में दर्ज बहत्तर प्रमुख मात्रात्मक घटनाओं में से, बावन केवल एक स्रोत से आए थे। यह एक पूरे महाद्वीप के मौसम पैटर्न को केवल एक शहर के थर्मामीटर रीडिंग पर भरोसा करके समझने की कोशिश करने जैसा है। हालांकि वह शहर सटीक हो सकता है, लेकिन वह आपको यह नहीं बताता कि क्या बाकी महाद्वीप भी समान परिस्थितियों का अनुभव कर रहा है। ऑडिट ने यह भी नोट किया कि इनमें से कई माप प्रयोगशाला (laboratory) रिलीज़ से आते हैं न कि वास्तविक दुनिया के फील्ड परीक्षणों से। लैब में, स्थितियाँ नियंत्रित होती हैं, लेकिन वास्तविक दुनिया में, AI अप्रत्याशित वातावरण, विभिन्न उपयोगकर्ताओं और सहायता के विभिन्न स्तरों के साथ बातचीत करता है। शोध पत्र का तर्क है कि एक एकल स्रोत और एक प्रकार के परीक्षण पर निर्भर रहना निश्चितता का एक झूठा अहसास पैदा करता है, जहाँ पूर्वानुमान में विश्वास इसलिए उच्च होता है क्योंकि डेटा सुसंगत दिखता है, भले ही वह वास्तव में स्वतंत्र न हो।

लेखक ने इन विभिन्न मापों को जोड़ने के लिए उपयोग किए जाने वाले सांख्यिकीय परीक्षणों की शक्ति को भी देखा। विश्लेषण ने दिखाया कि वर्तमान डेटा सेट अक्सर बहुत बड़े बदलावों के अलावा कुछ भी पता लगाने के लिए बहुत छोटे हैं। यदि कंप्यूटिंग शक्ति और प्रदर्शन के बीच का संबंध थोड़ा भी बदल जाता, तो वर्तमान रिकॉर्ड इसे पूरी तरह से मिस कर देते। अध्ययन ने गणना की कि इन प्रणालियों के सुधार के तरीके में एक छोटे से बदलाव का विश्वसनीय रूप से पता लगाने के लिए, शोधकर्ताओं को बहुत अधिक प्रणालियों का एक साथ पुराने और नए बेंचमार्क पर परीक्षण करने की आवश्यकता होगी। डेटा के इस बड़े और अधिक विविध सेट के बिना, कोई भी पूर्वानुमान जो यह दावा करता है कि एक विशिष्ट मील का पत्थर कब तक प्राप्त किया जाएगा, वह मूल रूप से केवल एक अनुमान है।

यह शोध पत्र यह सुझाव नहीं देता है कि हमें AI प्रगति को मापने का प्रयास बंद कर देना चाहिए। इसके बजाय, यह एक अधिक ईमानदार और जटिल दृष्टिकोण का आह्वान करता है। AI की सभी क्षमताओं को एक एकल संख्या या एक एकल तिथि में समेटने के बजाय, लेखक एक "पोर्टफोलियो" (portfolio) माप का प्रस्ताव करते हैं। इसमें एक ही समय में विभिन्न चीजों को ट्रैक करना शामिल होगा: एक मॉडल को चलाने के लिए कितनी ऊर्जा और धन की आवश्यकता होती है, यह लंबे समय तक कितना विश्वसनीय है, यह वास्तविक दुनिया के कार्यों में कैसा प्रदर्शन करता है, और यह सुरक्षा जोखिमों को कैसे संभालता है। इसके लिए एक ऐसी प्रणाली की भी आवश्यकता होगी जहाँ विभिन्न शोध समूह एक ही मॉडल का विभिन्न तरीकों से परीक्षण करें ताकि यह सुनिश्चित हो सके कि परिणाम केवल एक विशिष्ट लैब या एक विशिष्ट परीक्षण का परिणाम नहीं हैं। लक्ष्य एक एकल, पूर्ण रूलर (पैमाने) के विचार से हटकर उन उपकरणों के संग्रह की ओर बढ़ना है जो बुद्धिमत्ता के विभिन्न पहलुओं को उनकी अपनी अनिश्चितताओं के साथ माप सकें।

अंततः, अध्ययन निष्कर्ष निकालता है कि कृत्रिम बुद्धिमत्ता के भविष्य के बारे में एक बचाव योग्य पूर्वानुमान को इस बात के प्रति पारदर्शी होना चाहिए कि वह क्या माप रहा है और वह इसे कैसे माप रहा है। इसे यह स्वीकार करना चाहिए कि डेटा कहाँ गायब है, परीक्षण कहाँ बदले गए हैं, और साक्ष्य कहाँ से आ रहे हैं। एक भविष्यवाणी जो केवल एक तिथि देती है और उसके पीछे की माप प्रणाली को नहीं समझाती, वह वैज्ञानिक दावा नहीं है; वह केवल एक अनुमान है। यह शोध पत्र क्षेत्र से आग्रह करता है कि वे पूर्वानुमान के हिस्से के रूप में स्वयं माप प्रणाली को देखें, यह स्वीकार करते हुए कि तिथि केवल उतनी ही सार्थक है जितना कि उसे खोजने के लिए उपयोग किया गया पैमाना। जब तक समुदाय एक ऐसा रिकॉर्ड नहीं बना लेता जहाँ कंप्यूटिंग शक्ति, प्रदर्शन और वास्तविक दुनिया के परिणाम कई अलग-अलग प्रणालियों में लगातार और स्वतंत्र रूप से मापे जाते हों, तब तक किसी भी पूर्वानुमान का सबसे सटीक हिस्सा कैलेंडर पर लिखी तारीख होगी, जबकि सबसे कम सटीक हिस्सा वह होगा जो वास्तव में रास्ते में मापा जा रहा है।