Finite Evidence, Infinite Horizons: The Artificial Age Score as a Case Study in Longitudinal AI Measurement
यह शोध पत्र तर्क देता है कि आर्टिफीशियल एज स्कोर (AAS) द्वारा उदाहरण स्वरूप दर्शाए गए सीमित अनुदैर्ध्य एआई मूल्यांकन रिकॉर्ड, स्पष्ट रूप से निर्धारित निरंतरता मॉडलों के बिना अनंत-क्षितिज प्रणाली गुणों या अभिसरण को निर्धारित नहीं कर सकते, जैसा कि प्रति-उदाहरणों और स्ट्रेस टेस्ट के माध्यम से प्रदर्शित किया गया है जो दिखाते हैं कि केवल सीमित अवलोकन ही निश्चित निष्कर्षों के बजाय केवल सशर्त, मॉडल-आधारित अनुमान प्रदान करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ता लगातार यह मापने की कोशिश कर रहे हैं कि ये प्रणालियाँ समय के साथ कितनी अच्छी तरह सीखती हैं, याद रखती हैं और प्रदर्शन करती हैं। जिस तरह एक शिक्षक भविष्य की सफलता का अनुमान लगाने के लिए पूरे सेमेस्टर में छात्र के ग्रेड को ट्रैक कर सकता है, उसी तरह वैज्ञानिक नए प्रश्नों, अपडेट और बदलते परिवेशों का सामना करते समय एआई प्रणालियों की निगरानी के लिए 'लोंगीट्यूडिनल स्कोर्स' (longitudinal scores) का उपयोग करते हैं। ये स्कोर केवल एक क्षण के स्नैपशॉट मात्र होने के लिए नहीं हैं; इनका उद्देश्य सिस्टम की यात्रा, इसकी स्थिरता और समय बीतने के साथ इसके प्रभावी रूप से काम करने की क्षमता के बारे में एक कहानी बताना है। हालाँकि, इस दृष्टिकोण में एक मौलिक चुनौती छिपी हुई है: हमारे पास केवल अब तक जो हुआ है, उसका एक सीमित रिकॉर्ड ही होता है। हमारे पास पिछले परीक्षणों का इतिहास है, लेकिन हमारे पास भविष्य नहीं है। महत्वपूर्ण प्रश्न यह है कि क्या अतीत के कुछ सीमित परीक्षणों में देखी गई एक पैटर्न वास्तव में हमें यह बता सकती है कि सिस्टम भविष्य में अनंत काल तक कैसा व्यवहार करेगा, या क्या हम केवल एक छोटी कहानी का बहुत अधिक अर्थ निकाल रहे हैं।
विक्टोरिया यूनिवर्सिटी की सेयमा यमन कयादीबी द्वारा किया गया एक नया अध्ययन इस समस्या को सीधे तौरते हुए, 'आर्टिफिशियल एज स्कोर' नामक एक विशिष्ट माप उपकरण को एक केस स्टडी के रूप में उपयोग करके एआई प्रदर्शन की व्याख्या करने के तरीके में एक छिपे हुए अंतर को उजागर करता है। यह शोध यह तर्क नहीं देता कि ये स्कोर बेकार हैं; बल्कि, यह प्रदर्शित करता है कि अवलोकनों के एक सीमित इतिहास से गणना किया गया स्कोर यह सिद्ध नहीं कर सकता कि कोई प्रणाली हमेशा के लिए अस्तित्व में रहेगी, स्थिर रहेगी, या अच्छा प्रदर्शन करेगी। अध्ययन दिखाता है कि एक प्रणाली बीस सत्रों तक पूरी तरह से स्थिर दिखाई दे सकती है और फिर तुरंत विफल हो सकती है, या यह पूरी तरह से जारी रह सकती है, और उन पहले बीस सत्रों से गणना किया गया गणितीय स्कोर दोनों परिदृश्यों में बिल्कुल समान दिखेगा। पेपर का तर्क है कि किसी एआई सिस्टम के अनंत भविष्य के बारे में कोई भी दावा डेटा का परिणाम नहीं है, बल्कि उन अतिरिक्त धारणाओं का परिणाम है जो हम इस बारे में बनाते हैं कि सिस्टम कैसे जारी रहेगा।
इसे समझाने के लिए, शोधकर्ताओं ने एक वास्तविक दुनिया के डेटासेट का परीक्षण किया जिसमें ७४ साप्ताहिक रिलीज के दौरान एक एआई सिस्टम का परीक्षण किया गया था। उन्होंने सिस्टम के दो संस्करणों की तुलना की: एक जो एक बंद वातावरण में संचालित होता था और दूसरा जो उत्तर खोजने के लिए इंटरनेट खोज सकता था। डेटा ने दिखाया कि इंटरनेट एक्सेस वाले संस्करण ने लगातार बेहतर प्रदर्शन किया, जिसके परिणामस्वरूप कम "बर्डन" (burden) स्कोर मिला, जो कम त्रुटियों को दर्शाता है। शोधकर्ताओं ने ठीक से विश्लेषण किया कि यह अंतर क्यों हुआ, यह पाते हुए कि सुधार बहुविकल्पीय प्रश्नों और खुले अंत वाले टेक्स्ट जनरेशन दोनों में बेहतर प्रदर्शन से आया। हालाँकि, जब उन्होंने सरल नियमों का उपयोग करके इन प्रानों के भविष्य के प्रदर्शन की भविष्यवाणी करने की कोशिश की—जैसे कि यह मान लेना कि अगला स्कोर पिछले स्कोर के समान होगा, या यह पिछले चार का औसत होगा—तो उन्होंने पाया कि प्रत्येक भविष्यवाणी नियम ने गलतियाँ कीं। जो नियम एक सिस्टम के लिए सबसे अच्छा काम करता था, वह दूसरे के लिए सबसे अच्छा काम नहीं करता था, जो यह सिद्ध करता है कि स्कोर के भीतर कोई एक एकल, सार्वभौमिक नियम छिपा हुआ नहीं है जो भविष्य को निर्देशित करता है।
अध्ययन ने एक गहरे गणितीय वास्तविकता की भी जांच की: स्कोर के किसी भी सीमित अनुक्रम (sequence) के लिए, यह कल्पना करना संभव है कि अनंत भविष्य के विभिन्न रूप उस अनुक्रम के साथ पूरी तरह फिट बैठते हैं। एक भविष्य ऐसा हो सकता है जहाँ सिस्टम हमेशा के लिए सुधरता रहे, दूसरा ऐसा हो सकता है जहाँ वह तुरंत विफल हो जाए, और तीसरा ऐसा हो सकता है जहाँ वह अच्छे और बुरे प्रदर्शन के बीच झूलता रहे। ये सभी अलग-अलग भविष्य उन पहले बीस सत्रों के लिए बिल्कुल समान स्कोर उत्पन्न करेंगे। शोधकर्ताओं ने सिद्ध किया कि समय के साथ सिस्टम के व्यवहार के बारे में अतिरिक्त नियम जोड़े बिना, स्कोर स्वयं इन संभावनाओं के बीच अंतर नहीं कर सकता। उन्होंने यह भी देखा कि वास्तविक समय का बीतना इन मापों को कैसे प्रभावित करता है। यदि आप प्रत्येक परीक्षण को समय की एक इकाई के रूप में गिनते हैं, तो आपको सिस्टम के कुल वर्कलोड की एक अलग तस्वीर मिल सकती है, बजाय इसके कि आप परीक्षणों के बीच वास्तविक घंटों और दिनों के आधार पर मापें। पेपर दिखाता है कि समय को मापने के ये अलग-अलग तरीके यह बदल सकते हैं कि सिस्टम ने कितना "एक्सपोज़र" या तनाव सहा है, फिर भी कोई भी तरीका यह भविष्यवाणी नहीं कर सकता कि आगे क्या होगा।
अंततः, पेपर यह निष्कर्ष निकालता है कि हमें आर्टिफिशियल इंटेलिजेंस की दीर्घकालिक विश्वसनीयता के बारे में बात करते समय बहुत अधिक सावधान रहना चाहिए। आज जो स्कोर स्थिर दिखता है, वह कल की स्थिरता की गारंटी नहीं है। भविष्य के बारे में दावे करने के लिए, शोधकर्ताओं को उन धारणाओं को स्पष्ट रूप से बताना चाहिए जो वे सिस्टम की वंशावली, उसके वातावरण और उसके संचालन के नियमों के बारे में बना रहे हैं। अध्ययन परिणामों को रिपोर्ट करने का एक नया तरीका प्रस्तावित करता है जो वास्तव में क्या देखा गया, क्या अनुमान लगाया गया और क्या अज्ञात बना हुआ है, को स्पष्ट रूप से अलग करता है। भविष्य को पिछले डेटा से प्राप्त गणितीय निश्चितता के बजाय एक सशर्त संभावना के रूप में मानकर, यह शोध आर्टिफिशियल एज को समझने की सीमाओं के बारे में अधिक ईमानदार और कठोर ढांचा प्रदान करता है। इसके निष्कर्ष एक अनुस्मारक के रूप में कार्य करते हैं कि जबकि हम अतीत को सटीकता के साथ माप सकते हैं, भविष्य एक अलग क्षेत्र है जिसे नेविगेट करने के लिए अपने स्वयं के नियमों और धारणाओं के सेट की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।