HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam
यह शोध पत्र HLE-Verified को प्रस्तुत करता है, जो 'ह्यूमैनिटीज़ लास्ट एग्जाम' (Humanity's Last Exam) बेंचमार्क का एक व्यवस्थित रूप से संशोधित और प्रमाणित संस्करण है, जो शोर वाले आइटम्स (noisy items) को समाप्त करने के लिए एक कठोर दो-चरणीय विशेषज्ञ सत्यापन और मरम्मत वर्कफ़्लो का उपयोग करता है, जिससे फ्रंटियर लैंग्वेज मॉडल मूल्यांकनों की सटीकता और विश्वसनीयता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो सुपर-इंटेलिजेंट AI छात्रों के लिए "मानवता की अंतिम परीक्षा" तैयार कर रहे हैं। यह परीक्षा, जिसे HLE (Humanity's Last Exam) कहा जाता है, दुनिया के सबसे स्मार्ट AI को देखने के लिए अंतिम परीक्षण है। इसमें गणित और भौतिकी से लेकर इतिहास और कोडिंग तक सब कुछ शामिल है।
हालाँकि, जब परीक्षा जारी की गई, तो समुदाय ने गौर किया कि परीक्षा खुद ही टूटी हुई थी।
कुछ प्रश्न उलझाने वाली पहेलियों में लिखे गए थे। कुछ के पीछे की किताब में गलत उत्तर छपे थे। कुछ के स्पष्टीकरण समझ में नहीं आ रहे थे। यह एक गणित के टेस्ट जैसा था जहाँ सवाल पूछा गया था "2 + 2," लेकिन उत्तर कुंजी कहती थी "5," और शिक्षक के नोट्स यह समझाने की कोशिश कर रहे थे कि 2 + 2 = 5 क्यों होता है (जादू का उपयोग करके)।
जब AI छात्रों ने इस टूटी हुई परीक्षा को दिया, तो उनके स्कोर वास्तव में उनकी बुद्धिमत्ता को नहीं दर्शाते थे, बल्कि यह दर्शाते थे कि वे भ्रमित शिक्षक के पूछने के इरादे को समझने में कितने अच्छे थे, या वे गलत कुंजी के बावजूद सही उत्तर तक पहुँचने में कितने भाग्यशाली थे।
समाधान: HLE-Verified
इस शोध पत्र के लेखकों (अलीबाबा और Qwen की एक टीम) ने इस गड़बड़ी को ठीक करने का निर्णय लिया। उन्होंने HLE-Verified बनाया।
इसे एक नया टेस्ट न समझें, बल्कि पुराने टेस्ट का एक कठोर "क्वालिटी कंट्रोल" ऑडिट समझें। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने हर प्रश्न का निरीक्षण करने के लिए एक फैक्ट्री लाइन बनाई।
उन्होंने इसे कैसे ठीक किया (दो-चरणों वाली फैक्ट्री)
चरण 1: "गोल्ड स्टैंडर्ड" की जाँच
उन्होंने हर प्रश्न लिया और दो प्रकार के निरीक्षकों से पूछा:
- मानव विशेषज्ञ: वास्तविक वैज्ञानिक और प्रोफेसर जो उस विषय को गहराई से जानते हैं।
- AI निरीक्षक: अन्य शक्तिशाली AI जो समस्या को हल करने की कोशिश कर रहे हैं ताकि वे देख सकें कि क्या उन्हें उत्तर कुंजी के समान उत्तर मिलता है।
यदि कोई प्रश्न स्पष्ट था, उत्तर सही था, और स्पष्टीकरण तर्कसंगत था, तो उसे "गोल्ड स्टार" मिला और वह वैसा ही रहा। (668 प्रश्न इस चरण में बचे रहे)।
चरण 2: "सर्जरी" रूम
उन प्रश्नों के लिए जो टूटे हुए थे लेकिन सुधारने योग्य थे, उन्होंने उन्हें फेंका नहीं। इसके बजाय, उन्होंने सर्जरी की।
- यदि किसी प्रश्न में कोई महत्वपूर्ण विवरण गायब था, तो उन्होंने उसे जोड़ दिया।
- यदि उत्तर गलत था (जैसे, भौतिकी में साइन एरर), तो उन्होंने उसे ठीक किया।
- यदि स्पष्टीकरण निरर्थक था, तो उन्होंने उसे फिर से लिखा।
महत्वपूर्ण रूप से, उन्होंने यह नहीं बदला कि प्रश्न क्या परीक्षण करने की कोशिश कर रहा था। उन्होंने केवल टूटे हुए हिस्सों को ठीक किया ताकि टेस्ट AI के दिमाग को मापे, न कि उसकी टाइपो (typo) को डिकोड करने की क्षमता को। (1,143 प्रश्न इस तरह से ठीक किए गए)।
"अनसर्टेन" (अनिश्चित) बॉक्स
शेष प्रश्नों (689) के लिए जो इतने भ्रमित करने वाले या जटिल थे कि विशेषज्ञ भी सही उत्तर पर सहमत नहीं हो सके, उन्होंने उन्हें हटाया नहीं। इसके बजाय, उन्होंने उन्हें एक विशेष "अनसर्टेन बॉक्स" में रख दिया। उन्होंने उन्हें स्पष्ट रूप से लेबल किया: "हमें अभी नहीं पता कि यह सही है या नहीं; कृपया, भविष्य के विशेषज्ञ, इसे समझने में हमारी मदद करें।"
जब उन्होंने पुन: परीक्षण किया तो क्या हुआ?
टीम ने दुनिया के 8 सबसे स्मार्ट AI मॉडल्स को लिया और उन्हें ओरिजिनल टूटी हुई परीक्षा और नई ठीक की गई परीक्षा दी।
यहाँ उन्हें क्या मिला:
- स्कोर बढ़ गए (बहुत अधिक):
मूल टूटी हुई परीक्षा पर, AI संघर्ष कर रहे थे क्योंकि प्रश्न जाल थे। ठीक की गई परीक्षा पर, उनके स्कोर औसतन 7% से 10% बढ़ गए।
- उपमा: कल्पना कीजिए कि एक धावक ट्रैक पर छिपे हुए गड्ढे के कारण लड़खड़ा रहा है। एक बार जब आप गड्ढा भर देते हैं, तो धावक के पैर तेज़ नहीं होते, लेकिन वे आखिरकार अपनी वास्तविक गति से दौड़ पाते हैं।
- "टूटे हुए" प्रश्न सबसे बड़े अपराधी थे:
उन विशिष्ट प्रश्नों के लिए जिनमें गलत उत्तर या भ्रमित करने वाला टेक्स्ट था, सुधार जबरदस्त था। AI की सटीकता इन आइटम्स पर 30% से 40% बढ़ गई।
- उपमा: यह पता चला कि AI "गणित में खराब" नहीं थे; वे बस एक ऐसी गणितीय समस्या हल करने की कोशिश कर रहे थे जहाँ संख्याएँ अदृश्य स्याही में लिखी गई थीं। एक बार जब स्याही दिखाई देने लगी, तो उन्होंने इसे पूरी तरह से हल कर दिया।
- आत्मविश्वास वास्तविक बन गया:
पहले, जब कोई AI टूटे हुए प्रश्न का सामना करता था, तो वह अक्सर आत्मविश्वास के साथ गलत उत्तर देता था (क्योंकि प्रश्न एक चाल थी)। सुधार के बाद, AI का आत्मविश्वास उसकी वास्तविक क्षमता से मेल खाने लगा। यदि उसे उत्तर पता था, तो वह आत्मविश्वासी था। यदि नहीं, तो वह नहीं था।
यह क्यों मायने रखता है?
यह शोध पत्र हमें एक महत्वपूर्ण सबक सिखाता है: आप यह नहीं माप सकते कि कोई कितना बुद्धिमान है यदि टेस्ट ही टूटा हुआ हो।
- AI डेवलपर्स के लिए: यह दिखाता है कि जब कोई AI कठिन टेस्ट में विफल होता है, तो यह AI की गलती नहीं हो सकती; यह टेस्ट की गलती हो सकती है।
- विज्ञान के लिए: यह साबित करता है कि हमें अपने "रूलर" (मापन यंत्र) की लगातार जाँच करने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि वे मुड़े हुए नहीं हैं।
- सभी के लिए: यह एक याद दिलाता है कि जटिल जानकारी की दुनिया में, सृजन (creation) जितना महत्वपूर्ण सत्यापन (verification) भी है।
संक्षेप में, HLE-Verified AI के इतिहास के सबसे महत्वपूर्ण टेस्ट के लिए "स्पेल-चेक" और "फैक्ट-चेक" है, जो यह सुनिश्चित करता है कि जब हम कहते हैं कि एक AI "स्मार्ट" है, तो हमारा वास्तव में वही अर्थ हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।