Anticipatory Evaluation of Language Models
यह शोध पत्र PRECOG को कार्य विवरणों और प्रदर्शन मेट्रिक्स के एक संग्रह के रूप में प्रस्तुत करता है, यह प्रदर्शित करने के लिए कि बड़े भाषा मॉडल (large language models) केवल कार्य विवरणों और प्रयोगात्मक विन्यासों के आधार पर मूल्यांकन परिणामों का पूर्वानुमान लगा सकते हैं, जिससे एआई अनुसंधान में वर्तमान मूल्यांकन बाधा को दूर करने का एक मार्ग प्रशस्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए, जटिल व्यंजन की योजना बना रहे हैं एक शेफ के रूप में। आमतौर पर, यह जानने के लिए कि क्या आपका व्यंजन हिट होगा, आपको सभी सामग्रियां खरीदनी पड़ती हैं, उन्हें काटना पड़ता है, पकाना पड़ता, चखना पड़ता है, और फिर अपने मेहमानों से फीडबैक मांगना पड़ता है। यह प्रक्रिया महंगी, समय लेने वाली है और इसमें बहुत अधिक परीक्षण और त्रुटि (trial and error) की आवश्यकता होती है।
यह शोध पत्र एक "जादुई स्वाद-परीक्षक" (magic taste-tester) पेश करता है जो दावा करता है कि यह आपको बता सकता है कि आपके व्यंजन को कितनी रेटिंग मिलेगी, इससे पहले कि आप एक भी सामग्री खरीदें।
यहाँ बताया गया है कि शोधकर्ताओं ने क्या किया है, सरल उपमाओं (analogies) का उपयोग करते हुए:
समस्या: "स्वाद-परीक्षण" की बाधा (The "Taste-Test" Bottleneck)
AI की दुनिया में, शोधकर्ता लगातार नए "परीक्षण" (benchmarks) बनाते हैं ताकि वे देख सकें कि उनके कंप्यूटर मॉडल कितने स्मार्ट हैं। लेकिन इन परीक्षणों को बनाना कठिन काम है। आपको प्रश्न लिखने होते हैं, डेटा इकट्ठा करना होता है, और उन पर AI को चलाना होता है। अक्सर, शोधकर्ता एक परीक्षण बनाने में महीनों बिता देते हैं, केवल यह पता लगाने के लिए कि वह बहुत आसान था (AI ने 100% प्राप्त किया और कुछ भी नया नहीं सीखा) या बहुत कठिन था (AI ने 0% प्राप्त किया और परीक्षण बेकार हो गया)।
शोध पत्र इसे "मूल्यांकन बाधा" (evaluation bottleneck) कहता है। आपको यह जानने से पहले कि क्या वह काम सार्थक था, काम करना पड़ता है।
समाधान: "क्रिस्टल बॉल" (PRECOG)
शोधकर्ताओं ने पूछा: क्या हम केवल रेसिपी पढ़कर स्कोर का अनुमान लगा सकते हैं?
उन्होंने एक विशाल लाइब्रेरी बनाई जिसे PRECOG कहा जाता है। इस लाइब्रेरी को एक "रेसिपी कार्ड" (AI परीक्षणों के विवरण) और उन वास्तविक "स्स्कोरों" (जो उन परीक्षणों को अंततः प्राप्त हुए) के विशाल संग्रह के रूप में सोचें।
- इनपुट (Input): वास्तविक परीक्षण प्रश्नों को खिलाने के बजाय, उन्होंने केवल परीक्षण का एक टेक्स्ट विवरण दिया। उदाहरण के लिए: "यह कॉलेज के छात्रों के लिए एक गणित का परीक्षण है। इसमें प्रति प्रश्न 20 बहुविकल्पीय विकल्प हैं। AI को कैलकुलेटर का उपयोग किए बिना उत्तर देना होगा।"
- आउटपुट (Output): AI स्कोर का अनुमान लगाने की कोशिश करता है (जैसे, "मैं भविष्यवाणी करता हूँ कि यह AI 62% सही उत्तर देगा")।
उन्होंने लाइब्रेरी कैसे बनाई
उन्होंने नकली परीक्षण नहीं बनाए। उन्होंने arXiv नामक डेटाबेस से हजारों वास्तविक वैज्ञानिक शोध पत्रों को निकाला।
- उन्होंने पेपर से "रेसिपी" (कार्य का विवरण) ली।
- उन्होंने पेपर से "स्कोर" (परिणाम) लिया।
- उन्होंने परीक्षणों के नाम छिपा दिए ताकि AI केवल उत्तरों को रट न सके; इसे वास्तव में वर्णित "कठिनाई" को समझना था।
अंत में उनके पास लगभग 2,300 विवरण और स्कोर के जोड़े थे, जो रीडिंग कॉम्प्रिहेन्शन से लेकर लॉजिक पजल्स तक सब कुछ कवर करते थे।
परिणाम: यह पूर्ण नहीं है, लेकिन यह अच्छा है
उन्होंने अपने "जादुई स्वाद-परीक्षक" (एक बहुत ही उन्नत AI मॉडल जिसे GPT-5 कहा गया है) का परीक्षण किया कि क्या वह स्कोर का अनुमान लगा सकता है।
- यह एक अनुमान से बेहतर है: यदि आप केवल सभी के लिए औसत स्कोर का अनुमान लगाते, तो आप लगभग 23 अंकों से गलत होते। AI औसतन केवल 14.6 अंकों से गलत था।
- आत्मविश्वास मायने रखता है: जब AI ने कहा, "मुझे इस भविष्यवाणी के बारे में पूरा भरोसा है," तो वह और भी सटीक था, और स्कोर लगभग 10 अंकों के भीतर प्राप्त कर सका।
- यह मनुष्यों को मात देता है: उन्होंने मानव विशेषज्ञों (प्रोफेसरों और छात्रों जिन्होंने AI को अच्छी तरह समझा है) से उसी विवरण के आधार पर स्कोर का अनुमान लगाने के लिए कहा। मनुष्य औसतन 19.6 अंकों से गलत थे। AI केवल 13.6 अंकों से गलत था। विशेषज्ञों की तुलना में AI अनुमान लगाने में बेहतर था।
- यह नई चीजों पर भी काम करता है: उन्होंने उन बिल्कुल नए शोध पत्रों पर परीक्षण किया जो AI के प्रशिक्षित होने के बाद प्रकाशित हुए थे। AI अभी भी अच्छा प्रदर्शन करता रहा, जिससे साबित हुआ कि वह पुराने उत्तरों को रटकर धोखाधड़ी नहीं कर रहा था।
यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
शोध पत्र सुझाव देता है कि यह उपकरण शोधकर्ताओं के लिए एक "योजना सहायक" (planning assistant) हो सकता है।
- एक विशाल डेटासेट बनाने के लिए पैसा और समय खर्च करने से पहले, एक शोधकर्ता AI से पूछ सकता है: "यदि मैं 4 के बजाय 20 विकल्प वाला परीक्षण बनाता हूँ, तो क्या यह बहुत कठिन हो जाएगा?"
- AI कह सकता है, "समान विवरणों के आधार पर, इससे स्कोर काफी कम हो जाएगा। शायद 10 विकल्प आज़माएँ।"
- यह शोधकर्ताओं को यह तय करने में मदद करता है कि कौन से विचार प्रयास करने योग्य हैं और कौन से समय की बर्बादी हो सकते हैं, इससे पहले कि वे कोड की एक भी लाइन लिखें या एक भी डेटा पॉइंट लेबल करें।
निष्कर्ष (The Bottom Line)
पेपर यह दावा नहीं करता है कि यह वास्तविक परीक्षणों की जगह लेता है। आपको वास्तविक उत्तर प्राप्त करने के लिए वास्तविक परीक्षण चलाने होंगे। लेकिन यह दावा करता है कि "रेसिपी" को पढ़ना अब परिणामों का एक "रफ ड्राफ्ट" प्राप्त करने का एक शक्तिशाली तरीका है, जो शोधकर्ताओं को काम शुरू करने से पहले ही ऐसे परीक्षण बनाने से बचने में मदद करता है जो बहुत आसान या बहुत कठिन हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।