Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks
यह शोध पत्र विभिन्न कार्यों में 23 मॉडलों का परीक्षण करके व्यापक रूप से अपनाए जाने वाले कॉमनसेंस बेंचमार्क की भविष्य कहनेवाला वैधता (predictive validity) का मूल्यांकन करता है और पाता है कि ये बेंचमार्क एक एलएलएम (LLM) की डाउनस्ट्रीम वास्तविक-दुनिया के तर्क संबंधी कार्यों पर क्षमता का केवल कार्य-निर्भर प्रमाण प्रदान करते हैं, न कि व्यापक प्रमाण।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक नया छात्र बुद्धिमान है या नहीं। आप उन्हें रोजमर्रा की जिंदगी से जुड़े बहुविकल्पीय प्रश्नों वाला एक मानकीकृत परीक्षण (standardized test) देते हैं, जैसे "यदि मैं एक गिलास गिरा दूँ, तो क्या वह टूट जाएगा?" या "लड़का क्यों रो रहा है?" यदि वे उच्च स्कोर प्राप्त करते हैं, तो आप मान लेते हैं कि वे दुनिया को समझने में अच्छे हैं। एआई (AI) को इसी तरह से टेस्ट किया जाता है। वे "बेंचमार्क" का उपयोग करते हैं—जो कि ऐसे क्विज़ हैं जो यह देखने के लिए डिज़ाइन किए गए हैं कि क्या एआई में "कॉमन सेंस" (सामान्य ज्ञान) है, जो कि दुनिया, लोगों और भौतिकी (physics) के काम करने के बुनियादी, अलिखित नियमों के लिए एक फैंसी शब्द है। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक छात्र ने बहुविकल्पीय प्रश्नोत्तरी में उत्कृष्ट प्रदर्शन किया है, इसका मतलब यह नहीं है कि वह वास्तव में वास्तविक जीवन की स्थिति को संभाल सकता है, जैसे कि एक दोस्त के साथ बातचीत करना या एक टूटे हुए खिलौने को ठीक करना। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या ये टेस्ट स्कोर वास्तव में यह भविष्यवाणी करते हैं कि एआई वास्तविक दुनिया के कार्यों को कितनी अच्छी तरह से संभालेगा, या वे केवल खुद टेस्ट देने में अच्छे हैं?
"बेंचमार्किंग द बेंचमार्क्स" नामक यह शोध पत्र एक जासूसी मिशन पर जाता है ताकि यह पता लगाया जा सके कि क्या ये लोकप्रिय एआई क्विज़ वास्तव में उपयोगी हैं। लेखक, इने गेवर्स और वाल्टर डेलेमैन्स ने इन बेंचमार्क को एक मौसम के पूर्वानुमान की तरह माना। वे जानना चाहते थे: यदि पूर्वानुमान "धूप" (एक उच्च बेंचमार्क स्कोर) कहता है, तो क्या इसका वास्तव में मतलब यह है कि दिन धूप वाला होगा (एआई एक वास्तविक कार्य में सफल होगा)? इसे परखने के लिए, उन्होंने केवल एक टेस्ट नहीं देखा; उन्होंने 23 अलग-अलग एआई मॉडल (सोचिए कि वे 23 अलग-अलग छात्र हैं) एकत्र किए और उन्हें चार प्रसिद्ध 'कॉमन सेंस' क्विज़ दिए, साथ ही उन्हीं क्विज़ के चार "पुनर्गठित" (reworked) संस्करण भी दिए जिन्हें ट्रिकी गलतियों को हटाने के लिए साफ किया गया था। फिर, उन्होंने उन्हीं मॉडलों के प्रदर्शन को आठ अलग-अलग, अधिक जटिल वास्तविक दुनिया की चुनौतियों पर देखा, जैसे कि यह समझना कि क्या कोई कटाक्ष (sarcasm) कर रहा है, बातचीत में छिपे हुए अर्थों को समझना, या किसी भौतिक घटना के बाद क्या होता है इसका अनुमान लगाना।
परिणाम आपको आश्चर्यचकित कर सकते हैं। लेखकों ने पाया कि क्विज़ को साफ करने से उन्हें वास्तविक दुनिया के प्रदर्शन की भविष्यवाणी करने में वास्तव में कोई मदद नहीं मिली। यह एक गणित के टेस्ट की तरह है, जिसमें टाइपो को मिटाकर उसे फिर से प्रिंट किया गया है; जो छात्र पहले भी 'A' ग्रेड पाते थे वे अब भी 'A' पाते हैं, और जो संघर्ष करते थे वे अब भी संघर्ष करते हैं, लेकिन टेस्ट अभी भी आपको यह नहीं बताता कि क्या वे वास्तव में कार ठीक कर सकते हैं। वास्तव में, अधिकांश वास्तविक दुनिया के कार्यों के लिए, क्विज़ स्कोर बहुत खराब भविष्यवक्ता थे। क्विज़ केवल बहुत विशिष्ट कार्यों के लिए सहायक थे: "फॉल्स बिलीफ" (यह समझना कि कोई दूसरा व्यक्ति कुछ ऐसा जान सकता है जो आप नहीं जानते) और "TRIP" (एक घटना के भौतिक चरणों का अनुमान लगाना) को समझना। यहाँ तक कि, संबंध भी पूर्ण नहीं था।
अध्ययन सुझाव देता है कि ये बेंचमार्क किसी एक, व्यापक "कॉमन सेंस" सुपरपावर को नहीं माप रहे हैं। इसके बजाय, वे यह माप रहे हैं कि एक मॉडल एक विशिष्ट प्रकार की बहुविकल्पीय परीक्षा देने में कितना अच्छा है। यदि आप चाहते हैं कि एक एआई कटाक्ष या सामाजिक भावनाओं को समझने में अच्छा हो, तो इन मानक क्विज़ पर उच्च स्कोर करना इसकी गारंटी नहीं देता है। लेखक निष्कर्ष निकालते हैं कि हम केवल एक लीडरबोर्ड को देखकर यह नहीं मान सकते कि शीर्ष एआई हर काम के लिए सबसे बुद्धिमान है। स्कोर कुछ बहुत ही संकीर्ण चीजों के लिए उपयोगी हैं, लेकिन वे सामान्य बुद्धिमत्ता के लिए कोई जादुई क्रिस्टल बॉल नहीं हैं। पेपर का तर्क है कि हमें यह मानना बंद कर देना चाहिए कि टेस्ट के सवालों को ठीक करने से स्वचालित रूप से वास्तविक दुनिया की सफलता की भविष्यवाणी करने की टेस्ट की क्षमता ठीक हो जाती है, और इसके बजाय एआई को उन तरीकों से टेस्ट करने पर ध्यान केंद्रित करना चाहिए जो वास्तव में वास्तविक दुनिया की तरह दिखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।