Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset
यह शोध पत्र मनोवैज्ञानिक विश्लेषण का उपयोग करके यह प्रदर्शित करता है कि 'ह्यूमैनिटीज़ लास्ट एग्जाम' (HLE) मुख्य रूप से विशिष्ट डोमेन-विशिष्ट क्षमताओं के बजाय एक एकल सामान्य तर्क कारक को मापता है, और इसकी मापन सटीकता सीमावर्ती भाषा मॉडलों (फ्रंटियर लैंग्वेज मॉडल्स) के बीच प्रभावी ढंग से अंतर करने के लिए अपर्याप्त है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो यह पता लगाने की कोशिश कर रहे हैं कि आपकी कक्षा में सबसे बुद्धिमान छात्र कौन है। आप उन्हें एक विशाल, 428-प्रश्नों की परीक्षा देते हैं जो प्राचीन इतिहास से लेकर उन्नत भौतिकी तक सब कुछ कवर करती है। यदि कोई छात्र उच्च स्कोर प्राप्त करता है, तो आप मान सकते हैं कि वे हर चीज़ में जीनियस हैं। लेकिन क्या होगा अगर आप और अधिक जानना चाहते हैं? क्या आप यह जानना चाहते हैं कि वे गणित के उस्ताद हैं लेकिन कविता में बहुत खराब हैं, या वे एक विज्ञान के शौकीन हैं जो एक वाक्य भी ठीक से नहीं लिख सकते? इसे जानने के लिए, आप उनके प्रत्येक विषय के लिए उनके "सब-स्कोर" (उप-अंकों) को देख सकते हैं। हम आज इसी तरह आर्टिफिशियल इंटेलिजेंस (AI) का मूल्यांकन करते हैं। हम अपने AI मॉडल की बुद्धिमत्ता देखने के लिए "बेंचमार्क" नामक विशाल परीक्षणों का उपयोग करते हैं। लेकिन यहाँ पेचीदा बात यह है: सिर्फ इसलिए कि एक परीक्षण में "गणित" और "रसायन विज्ञान" जैसे लेबल वाले खंड हैं, इसका मतलब यह नहीं है कि AI के पास वास्तव में अलग-अलग "गणित मस्तिष्क" और "रसायन विज्ञान मस्तिष्क" हैं। शायद इसके पास केवल एक विशाल "तर्क मस्तिष्क" (Reasoning Brain) है जो उसे हर चीज़ में अच्छा प्रदर्शन करने में मदद करता है। यह शोध पत्र परीक्षण डिजाइनरों के लिए एक जासूसी कहानी की तरह है। यह पूछता है: क्या ये विषय लेबल वास्तविक, अलग कौशल हैं, या वे केवल एक एकल, सामान्य क्षमता को विभाजित करने का एक शानदार तरीका हैं? और, इससे भी महत्वपूर्ण बात यह है कि क्या यह परीक्षण वास्तव में सर्वश्रेष्ठ AI मॉडलों के बीच अंतर करने में सक्षम है, या यह धुंधला हो जाता है जब चीजें बहुत कठिन हो जाती हैं?
जिस शोध पत्र की बात हो रही है, उसका शीर्षक "Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset" है, जो "ह्यूमैनिटीज़ लास्ट एग्जाम" (HLE) नामक एक प्रसिद्ध नए AI परीक्षण की गहराई से जांच करता है। शोधकर्ताओं के एक दल ने, जो स्टैनफोर्ड से है, 29 अलग-अलग AI मॉडलों को इस टेक्स्ट-ओनली, बहुविकल्पीय परीक्षा के माध्यम से चलाया, जिसमें 428 कठिन प्रश्न शामिल हैं। उन्होंने केवल सही उत्तरों को नहीं गिना; उन्होंने "आइटम रिस्पॉन्स थ्योरी" (IRT) नामक एक विशेष प्रकार के गणित का उपयोग किया। इसे एक अत्यंत सटीक पैमाने के रूप में समझें जो न केवल ऊंचाई मापता है, बल्कि आपको यह भी बताता है कि विभिन्न ऊंचाइयों पर वह पैमाना कितना सटीक है। वे दो चीजें देखना चाहते थे: पहला, क्या यह परीक्षण वास्तव में आठ अलग-अलग कौशलों (जैसे गणित, जीव विज्ञान, इतिहास) को मापता है, या यह वास्तव में केवल एक बड़े "सामान्य तर्क" कौशल को माप रहा है? दूसरा, "बुद्धिमत्ता के पैमाने" पर यह परीक्षण वास्तव में किन स्तरों पर अंतर करने में सक्षम है?
परिणाम AI समुदाय के लिए एक वास्तविकता का अहसास कराने वाले थे। टीम ने भारी सबूत पाए कि HLE अनिवार्य रूप से केवल एक चीज़ को माप रहा है: एक सामान्य तर्क क्षमता। उन्होंने मैकडॉनाल्ड का नामक एक सांख्यिकीय निकाला, जो कि चौंका देने वाला 0.998 था। इसे समझने के लिए, यदि 1.0 का अर्थ "पूरी तरह से एक एकल कौशल" है, तो यह परीक्षण लगभग पूरी तरह से एक-आयामी (one-dimensional) है। प्रश्नों पर हमारे द्वारा लगाए गए लेबल—जैसे "गणित" या "इंजीनियरिंग"—ने मॉडलों के उत्तर देने के अंतरों को केवल 3.5% ही समझाया। यह ऐसा है जैसे आपने लोगों के एक समूह को लिया और उन्हें "दौड़ने की गति" और "तैरने की गति" के आधार पर वर्गीकृत करने की कोशिश की, लेकिन आपने पाया कि जो लोग दौड़ने में अच्छे थे वे तैरने में भी अच्छे थे, और "तैरने" का लेबल आपको कुछ भी नया नहीं बता सका जो "दौड़ने" ने पहले ही नहीं बताया था। शोधकर्ताओं ने यह भी पाया कि विशिष्ट डोमेन के लिए क्षमता अनुमान कुल स्कोर के लगभग समान थे (सहसंबंध r ≥ 0.81), जिसका अर्थ है कि उप-स्कोर मूल रूप से एक दूसरे के पूरक (redundant) हैं।
इसके अलावा, शोध पत्र ने इस समस्या की भी खोज की कि परीक्षण कहाँ सबसे सटीक है। यह परीक्षण औसत AI मॉडलों और थोड़े बेहतर मॉडलों के बीच अंतर करने में बहुत अच्छा है। हालाँकि, बहुत बुद्धिमान मॉडलों के लिए, इस "सटीकता" (precision) का स्तर तेजी से गिर जाता है। परीक्षण सबसे सटीक क्षमता स्तर के आसपास है, लेकिन शीर्ष स्तर के "फ्रंटियर" मॉडल पर स्थित हैं। इस उच्च-क्षमता वाले क्षेत्र में, परीक्षण धुंधला हो जाता है। यह एक थर्मामीटर की तरह है जो एक ठंडे दिन और एक मध्यम दिन के बीच अंतर बताने में बहुत अच्छा है, लेकिन जब यह "उबलते हुए गर्म" स्तर पर पहुँचता है, तो इसकी सुई अटक जाती है और यह नहीं बता पाती कि तापमान 212°F है या 250°F। दिलचस्प बात यह है कि "इंजीनियरिंग" अनुभाग एकमात्र ऐसा था जिसने इन सुपर-स्मार्ट मॉडलों के लिए अपनी तीक्ष्णता बनाए रखी (यह पर 69.1% जानकारी केंद्रित करता है), लेकिन चूंकि इंजीनियरिंग पूरे परीक्षण का केवल 4% है, इसलिए यह स्थिति को संभालने के लिए पर्याप्त नहीं है।
तो, इसका क्या अर्थ है? लेखक सुझाव देते हैं कि हमें HLE पर विभिन्न विषय स्कोर को इस प्रमाण के रूप में नहीं मानना चाहिए कि एक AI के पास गणित या रसायन विज्ञान में अलग-अलग, स्वतंत्र कौशल हैं। इसके बजाय, हमें इसे सामान्य तर्क के माप के रूप में देखना चाहिए। अधिक महत्वपूर्ण बात यह है कि जैसे-जैसे AI मॉडल स्मार्ट होते जा रहे हैं, यह परीक्षण सबसे बेहतरीन मॉडलों के बीच अंतर करने के लिए उपयोगी नहीं रह जाएगा, क्योंकि इसे सबसे बड़े दिग्गजों के बीच अंतर करने के लिए पर्याप्त "कठिन" प्रश्नों के साथ डिज़ाइन नहीं किया गया था। यह शोध पत्र यह नहीं कहता कि परीक्षण बेकार है, लेकिन यह हमें चेतावनी देता है कि हमें उप-स्कोरों की अत्यधिक व्याख्या करने में सावधान रहने की आवश्यकता है और हमें तीव्र प्रगति के साथ तालमेल बिठाने के लिए नए, और भी कठिन परीक्षणों की आवश्यकता हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।