Pushing the Boundaries of Multiple Choice Evaluation to One Hundred Options
यह शोध पत्र 100 विकल्पों तक वाले एक विशाल विकल्प मूल्यांकन प्रोटोकॉल को प्रस्तुत करता है ताकि यह उजागर किया जा सके कि कैसे पारंपरिक कम-विकल्प वाले बेंचमार्क शॉर्टकट रणनीतियों और स्थिति संबंधी पूर्वाग्रहों के माध्यम से वास्तविक क्षमताओं को छिपाकर बड़े भाषा मॉडल (LLM) की सक्षमता को बढ़ा-चढ़ाकर दिखाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुविकल्पीय (multiple-choice) परीक्षा दे रहे हैं।
पुराना तरीका (आसान टेस्ट):
आमतौर पर, इन परीक्षाओं में 4 या 5 विकल्प होते हैं। यदि आप 95% या 100% सही उत्तर देते हैं, तो हम मान लेते हैं कि आप एक जीनियस हैं। लेकिन यहाँ एक पेंच है: कभी-कभी, आपको वास्तव में सही उत्तर पता नहीं होता है। हो सकता है कि आप सिर्फ यह अंदाज़ा लगा रहे हों कि "C" ही सही उत्तर है, या आपने किसी छोटे से फॉर्मेटिंग संकेत को पकड़ लिया हो जो उत्तर बता रहा हो। यह "लुका-छिपी" के खेल की तरह है जहाँ छिपने वाले व्यक्ति के सामने केवल चार पर्दे हैं। भले ही आप चीज़ें खोजने में बहुत अच्छे न हों, फिर भी आप किस्मत के सहारे उन्हें ढूँढ ही लेंगे।
नया तरीका (विशाल टेस्ट):
इस शोध पत्र के लेखकों ने पूछा: "क्या होगा अगर हम इस खेल को और कठिन बना दें?" अगर 4 पर्दों के बजाय, वहाँ 100 पर्दे हों?
यदि आप वास्तव में बुद्धिमान हैं, तो आप अभी भी सही पर्दे के पीछे सही व्यक्ति को ढूँढ सकते हैं, भले ही वहाँ 99 अन्य लोग बिल्कुल उसी की तरह दिख रहे हों। लेकिन यदि आप केवल अंदाज़ा लगा रहे थे या आसान खेल जीतने के लिए "ट्रिक्स" का उपयोग कर रहे थे, तो 100 विकल्पों के सामने आप अचानक बुरी तरह विफल हो जाएंगे।
प्रयोग: कोरियाई वर्तनी चुनौती (The Korean Spelling Challenge)
शोधकर्ताओं ने इसे आज़माने के लिए एक विशिष्ट परीक्षण बनाया। उन्होंने AI मॉडल्स से 99 बिल्कुल सही वाक्यों के बीच एक अकेले वाक्य को खोजने के लिए कहा जिसमें वर्तनी (spelling) की गलती छिपी हो।
इसे ऐसे समझें: कल्पना कीजिए कि एक कमरा 100 जुड़वा बच्चों से भरा है। उनमें से एक के गाल पर धूल का एक छोटा सा, लगभग अदृश्य धब्बा है। आपका काम उस गंदे जुड़वा बच्चे की ओर इशारा करना है।
- "आसान" संस्करण: केवल 4 जुड़वा बच्चे हैं। गंदगी को पहचानना आसान है।
- "कठिन" संस्करण: 100 जुड़वा बच्चे हैं। गंदगी अभी भी वहीं है, लेकिन अब 99 साफ जुड़वा बच्चों का "शोर" (noise) भारी पड़ रहा है।
उन्होंने क्या पाया
उन्होंने कई प्रसिद्ध AI मॉडल्स (जैसे Gemini, HyperCLOVAX, और EXAONE) का परीक्षण किया। यहाँ क्या हुआ:
- "बुलबुला" फूट गया:
आसान टेस्ट (4 विकल्प) पर, कई मॉडल्स सुपर-जीनियस की तरह दिखे, जिनका स्कोर लगभग 100% सही था। लेकिन जब टेस्ट 100 विकल्पों पर पहुँचा, तो इनमें से कुछ "जीनियस" अचानक फेल होने की कगार पर पहुँच गए।
- उपमा: यह उस छात्र की तरह है जो 4 प्रश्नों वाली क्विज़ में टॉप करता है लेकिन 100 प्रश्नों वाली फाइनल परीक्षा में फेल हो जाता है क्योंकि वह केवल पैटर्न रट रहा था, वास्तव में विषय को सीख नहीं रहा था। उनके उच्च स्कोर का "बुलबुला" फूट गया।
- "पहला विकल्प" वाला डर (The "First Option" Panic):
जब AI मॉडल्स 100 विकल्पों के कारण भ्रमित हुए, तो वे केवल रैंडम अंदाज़ा नहीं लगाने लगे। वे घबराकर एक पुरानी आदत पर वापस आ गए: पहले कुछ विकल्पों को चुनना।
- उपमा: कल्पना कीजिए कि आप 1,00,000 किताबों वाली लाइब्रेरी में एक विशिष्ट किताब ढूँढ रहे हैं। यदि आप उसे नहीं ढूँढ पाते, तो आप शायद शेल्फ पर रखी पहली किताब उठा लेंगे और उम्मीद करेंगे कि काम बन जाए। AI ने ऐसा ही करना शुरू कर दिया। उसने कंटेंट को पढ़ना बंद कर दिया और क्या (what) के बजाय कहाँ (where) के आधार पर अंदाज़ा लगाना शुरू कर दिया।
- यह "याददाश्त" (Context Length) के बारे में नहीं था:
एक आम चिंता यह है कि AI इसलिए भ्रमित होता है क्योंकि 100 विकल्पों की सूची एक साथ "पढ़ने" के लिए बहुत लंबी है (जैसे कि शॉर्ट-टर्म मेमोरी की सीमा)।
- समाधान: शोधकर्ताओं ने सूची को लंबा बनाने के लिए "फिलर टेक्स्ट" (निरर्थक शब्द) जोड़ा, भले ही विकल्प केवल 4 हों।
- परिणाम: AI लंबाई के कारण भ्रमित नहीं हुआ। वह केवल तब भ्रमित हुआ जब बहुत सारे समान विकल्प मौजूद थे। समस्या यह नहीं थी कि सूची लंबी थी; समस्या यह थी कि विकल्पों में अंतर करना बहुत कठिन था।
यह क्यों महत्वपूर्ण है?
यह शोध पत्र AI की दुनिया के लिए एक चेतावनी है।
- वर्तमान बेंचमार्क "बहुत आसान" हैं: सिर्फ इसलिए कि एक AI मानक टेस्ट पर 99% अंक प्राप्त करता है, इसका मतलब यह नहीं है कि वह वास्तव में बुद्धिमान है। हो सकता है कि वह केवल "4-विकल्प वाले खेल" को खेलने में अच्छा हो।
- वास्तविक जीवन कठिन है: वास्तविक दुनिया में हमारे पास 4 विकल्प नहीं होते। हमारे पास अनंत संभावनाएँ होती हैं। यदि एक AI सही उत्तर और 99 बहुत मिलते-जुलते गलत उत्तरों के बीच अंतर नहीं कर सकता, तो वह वास्तविक दुनिया के उपयोग के लिए भरोसेमंद नहीं है।
- समाधान: हमें AI को "मैसिव ऑप्शन" (विशाल विकल्प) चुनौतियों के साथ स्ट्रेस-टेस्ट करने की आवश्यकता है। यह AI को यह साबित करने के लिए मजबूर करता है कि वह वास्तव में सामग्री को समझता है, न कि केवल अंदाज़ा लगा रहा है या शॉर्टकट का उपयोग कर रहा है।
संक्षेप में: शोध पत्र कहता है, "AI को अंदाज़ा लगाकर पास होने न दें। उन्हें 100 विकल्पों वाला टेस्ट दें ताकि यह देखा जा सके कि वे वास्तव में क्या कर रहे हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।