The Benchmark Illusion: Pruned LLMs Can Pass Multiple Choice but Fail to Answer
यह शोध पत्र एक "बेंचमार्क भ्रम" (benchmark illusion) को उजागर करता है जहाँ प्रून की गई (pruned) लार्ज लैंग्वेज मॉडल्स बहुविकल्पीय मूल्यांकनों पर सक्षम दिखाई देती हैं लेकिन ओपन-एंडेड जनरेशन में विफल हो जाती हैं क्योंकि प्रूनिंग सही उत्तरों को मिटाने के बजाय उन्हें कमतर कर देती है, जो यह सुझाव देता है कि संकुचित मॉडल्स का परीक्षण केवल उनकी पहचान करने की क्षमताओं के बजाय उनकी जनरेटिव क्षमताओं पर किया जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, सुशिक्षित लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल) है जो लगभग किसी भी प्रश्न का उत्तर जानता है। पैसे और जगह बचाने के लिए, आप लाइब्रेरी की "छंटनी" (pruning) करने का निर्णय लेते हैं। आप किताबों और अलमारियों का एक बहुत बड़ा हिस्सा हटा देते हैं, और केवल सबसे आवश्यक चीज़ों को ही रखते हैं।
वह शोध पत्र जिसके बारे में आप पूछ रहे हैं, इस बात की जांच करता है कि इस सिकुड़ी हुई लाइब्रेरी का परीक्षण करने पर क्या होता है।
"बहुविकल्पीय भ्रम" (The "Multiple-Choice Illusion")
यहाँ एक चाल है: जब आप लाइब्रेरियन से कोई प्रश्न पूछते हैं, तो आप उनका परीक्षण दो तरीकों से कर सकते हैं:
- खुला प्रश्न (The Open Question): आप पूछते हैं, "अज़ोरेस की खोज किसने की थी?" और वे याददाश्त से उत्तर देने का इंतज़ार करते हैं।
- बहुविकल्पीय परीक्षण (The Multiple-Choice Test): आप पूछते हैं, "अज़ोरेस की खोज किसने की थी? A) 1427, B) 1500, C) 1600, D) 1700।"
शोध पत्र ने एक आश्चर्यजनक "भ्रम" पाया। छंटनी के बाद, लाइब्रेरियन अक्सर खुले प्रश्न में विफल हो जाते हैं। वे कह सकते हैं, "मुझे लगता है कि यह 15वीं शताब्दी थी," जो कि अस्पष्ट या गलत है। लेकिन, यदि आप उन्हें बहुविकल्पीय परीक्षण देते हैं, तो वे इसे शानदार तरीके से हल कर लेते हैं। वे तुरंत "1427" की ओर इशारा करते हैं और सही उत्तर देते हैं।
मानक बेंचमार्क (वे परीक्षण जिनका उपयोग AI को रेट करने के लिए किया जाता है) आमतौर पर बहुविकल्पीय प्रारूप पर निर्भर करते हैं। यह सुरक्षा का एक झूठा अहसास पैदा करता है। परीक्षण कहता है, "आपकी लाइब्रेरी अभी भी एकदम सही है!" लेकिन वास्तव में, लाइब्रेरियन ने बिना मदद के उत्तर को याद करने (recall) की क्षमता खो दी है। वे उत्तर को पहचान (recognize) तो सकते हैं यदि आप उन्हें वह दिखाएं, लेकिन वे इसे अपने दम पर उत्पन्न (produce) नहीं कर सकते।
"पदोन्नति/अवनति" बनाम "मिटाना" सिद्धांत (The "Demotion" vs. "Erasure" Theory)
लेखकों ने एक महत्वपूर्ण प्रश्न पूछा: क्या छंटनी ने ज्ञान को मिटा दिया (लाइब्रेरियन पूरी तरह से तथ्य भूल गया) या इसने केवल ज्ञान को अवनत (demote) कर दिया (लाइब्रेरियन अभी भी जानता है, लेकिन अब यह उसका पहला अनुमान नहीं रहा)?
उन्होंने पाया कि यह ज्यादातर अवनति (demotion) है।
लाइब्रेरियन के मन को विचारों के एक भीड़भाड़ वाले कमरे की तरह समझें। छंटनी से पहले, सही उत्तर बिल्कुल मुख्य दरवाजे पर खड़ा था और आपकी ओर हाथ हिला रहा था। छंटनी के बाद, सही उत्तर अभी भी कमरे में है, लेकिन उसे तीसरी या चौथी पंक्ति में धकेल दिया गया है।
- ग्रीडी डिकोडिंग (Greedy Decoding - डिफ़ॉल्ट सेटिंग): लाइब्रेरियन केवल दरवाजे पर खड़े व्यक्ति को देखता है। चूंकि सही उत्तर अब पंक्ति 3 में है, इसलिए लाइब्रेरियन दरवाजे के सामने खड़े गलत व्यक्ति को चुन लेता है।
- बहुविकल्पीय (Multiple Choice): आप लाइब्रेरियन को कमरे में मौजूद लोगों की एक सूची थमा देते हैं। भले ही सही व्यक्ति पंक्ति 3 में हो, लाइब्रेरian सूची में उन्हें देख सकता है और उन्हें चुन सकता है।
"अवनति" को कैसे ठीक करें
चूंकि ज्ञान मिटा नहीं है, केवल पीछे धकेला गया है, शोध पत्र दिखाता है कि आप थोड़ी मदद से उत्तर वापस पा सकते हैं:
- व्यापक खोज (Wider Search): केवल दरवाजे के पास न देखते हुए (ग्रीडी डिकोडिंग), यदि आप लाइब्रेरियन को कहते हैं कि वे कमरे में मौजूद शीर्ष 5 लोगों को देखें (बीम सर्च/Beam Search) या कुछ अनुमान लगाएं (सैंपलिंग/Sampling), तो वे सही उत्तर फिर से खोज लेंगे।
- एक छोटा सा संकेत (A Tiny Hint): यदि आप लाइब्रेरियन को इसी तरह के प्रश्न का उत्तर देने का एक उदाहरण देते हैं (इन-कॉन्टेक्स्ट उदाहरण), तो यह उन्हें सही उत्तर को वापस पहली पंक्ति में लाने में मदद करता है।
पेच (The Catch)
यह "अवनति" प्रभाव अक्सर होता है, विशेष रूप से बड़े मॉडलों और उन भाषाओं के साथ जिनमें मॉडल कुशल है। हालांकि, शोध पत्र नोट करता है कि छोटे मॉडलों या बहुत कठिन भाषाओं के लिए, छंटनी कभी-कभी ज्ञान को पूरी तरह से मिटा (erase) देती है। उन मामलों में, भले ही आप लाइब्रेरियन को सूची दिखा दें, वे उत्तर नहीं ढूंढ पाते क्योंकि वह गायब हो चुका है।
निचोड़ (The Bottom Line)
यह शोध पत्र हमें चेतावनी देता है कि संकुचित (compressed) AI मॉडलों को आंकने के लिए "बहुविकल्पीय" स्कोर पर बहुत अधिक भरोसा न करें। एक मॉडल उस परीक्षण में एकदम सही लग सकता है जहाँ आप उसे उत्तर दे रहे हैं, लेकिन वह बुरी तरह विफल हो सकता है जब कोई वास्तविक उपयोगकर्ता सीधे प्रश्न पूछता है। यह जानने के लिए कि क्या एक संकुचित मॉडल वास्तव में उपयोगी है, हमें यह परीक्षण करने की आवश्यकता है कि वह अपने आप क्या उत्पन्न कर सकता है, न कि केवल यह कि वह क्या पहचान सकता है जब हम उसके सामने उत्तर की कुंजी पकड़कर खड़े हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।