The Cost of Down-Scaling Language Models: Fact Recall Deteriorates before In-Context Learning
यह शोध पत्र प्रकट करता है कि जहाँ लार्ज लैंग्वेज मॉडल के आकार को 30% से अधिक कम करने से तथ्य स्मरण (fact recall) की क्षमता काफी बाधित होती है, वहीं इन-कॉन्टेक्स्ट लर्निंग (in-context learning) की क्षमताएं 60-70% की कमी के बावजूद सुदृढ़ बनी रहती हैं, जो यह दर्शाता है कि चाहे यह कमी वेट प्रूनिंग (weight pruning) के माध्यम से प्राप्त की गई हो या छोटे डेंस मॉडल्स को प्रशिक्षित करके, स्केलिंग इन दो मुख्य क्षमताओं को असमान रूप से प्रभावित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक विशाल, अति-उत्साही लाइब्रेरियन (पुस्तकालयाध्यक्ष) है। इस लाइब्रेरियन के पास दो मुख्य महाशक्तियाँ हैं:
- मेमोरी वॉल्ट (स्मृति तिजोरी): उन्होंने अपने ट्रेनिंग डेटा से लाखों किताबें, तथ्य और सामान्य ज्ञान याद कर लिया है। यदि आप उनसे पूछते हैं, "द ईगल हैज़ लैंडेड (The Eagle Has Landed) किसने लिखी थी?", तो वे इसे सीधे अपनी आंतरिक स्मृति से निकाल लेते हैं।
- क्विक लर्नर (तेज़ सीखने वाला): यदि आप उन्हें अभी एक नया, अजीब नियम पुस्तिका थमा देते हैं (जैसे "इस कहानी में, आकाश हरा है"), तो वे उस नए नियम का पालन करने के लिए तुरंत सक्षम हैं, भले ही वह उनके द्वारा पहले से याद किए गए तथ्यों का खंडन करता हो।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या होगा यदि हम इस लाइब्रेरियन को छोटा कर दें?
शोधकर्ताओं ने इस लाइब्रेरियन को छोटा करने के दो तरीके आजमाए:
- डेंस स्केलिंग (Dense Scaling): कम दिमागी शक्ति वाले एक स्वाभाविक रूप से छोटे लाइब्रेरियन को काम पर रखना।
- प्रूनिंग (Pruning): एक विशाल लाइब्रेरियन को लेना और उनके मस्तिष्क के 30%, 50%, या यहाँ तक कि 70% हिस्से को सर्जिकल तरीके से हटा देना ताकि उन्हें अधिक छरहरा और तेज़ बनाया जा सके।
यहाँ एक आश्चर्यजनक खोज हुई है: दोनों महाशक्तियाँ एक ही दर से कम नहीं होती हैं।
1. मेमोरी वॉल्ट सबसे पहले ढह जाता है
जब शोधकर्ताओं ने लाइब्रेरियन के मस्तिष्क के हिस्सों को काटना शुरू किया, तो मेमोरी वॉल्ट सबसे पहले प्रभावित हुआ।
- उपमा: कल्पना कीजिए कि लाइब्रेरियन की याददाश्त किताबों का एक विशाल पुस्तकालय है। यदि आप लाइब्रेरियन के मस्तिष्क का केवल 30% हिस्सा हटा देते हैं, तो वे तथ्य भूलने लगते हैं। वे लेखकों को मिला सकते हैं या तारीखें गलत बता सकते हैं।
- निष्कर्ष: जैसे ही आप मॉडल के 30% से अधिक हिस्से को काट देते हैं, प्रशिक्षण के दौरान सीखे गए तथ्यों को याद रखने की उसकी क्षमता काफी गिर जाती है। यह ऐसा है जैसे लाइब्रेरियन अभी भी वहीं खड़ा है, लेकिन वह अलमारियों पर रखी आधी किताबें भूल गया है।
2. क्विक लर्नर बहुत मजबूत होता है
हालाँकि, क्विक लर्नर की क्षमता अविश्वसनीय रूप से लचीली है।
- उपमा: भले ही आप लाइब्रेरियन के मस्तिष्क का 60% से 70% हिस्सा काट दें, फिर भी वे आपके द्वारा दी गई एक नई निर्देश पुस्तिका को पढ़ सकते हैं और उसका पूरी तरह से पालन कर सकते हैं। यदि आप कहते हैं, "किताबों को भूल जाओ; इस खेल में, उत्तर हमेशा 'नीला' है," तो वे खुशी-खुशी हर बार "नीला" उत्तर देंगे, भले ही अब वे अपने मूल आकार का एक छोटा सा हिस्सा ही क्यों न रह गए हों।
- निष्कर्ष: मॉडल अपने आकार का आधा हिस्सा खो सकता है और फिर भी उस संदर्भ (context) से सीखने में उत्कृष्ट हो सकता है जो आप उसे अभी प्रदान कर रहे हैं। इससे कोई फर्क नहीं पड़ता कि लाइब्रेरियन छोटा है; वे अभी भी माहौल को समझने में बहुत अच्छे हैं।
"ओपन बुक" बनाम "क्लोज्ड बुक" टेस्ट
इसे साबित करने के लिए, शोधकर्ताओं ने दो प्रकार के परीक्षण चलाए:
- क्लोज्ड बुक (मेमोरी टेस्ट): "द ईगल हैज़ लैंडेड किसने लिखी थी?" (कोई संकेत नहीं दिया गया)।
- परिणाम: जैसे ही मॉडल छोटा हुआ, वह विफल हो गया।
- ओपन बुक (कॉन्टेक्स्ट टेस्ट): "यहाँ लेखक के बारे में एक पैराग्राफ है। द ईगल हैज़ लैंडेड किसने लिखी थी?" (संकेत दिए गए)।
- परिणाम: मॉडल एक बहुत छोटे आकार (50-60% छोटा होने के बावजूद) को संभाल सका और संकेत पढ़कर सही उत्तर देने में सक्षम रहा।
- "ओवरराइड" टेस्ट: "यहाँ एक पैराग्राफ है जिसमें कहा गया है कि लेखक 'जैक स्मिथ' है (भले ही असली लेखक जैक हिगिंस है)। इसने क्या लिखा?"
- परिणाम: मॉडल को अपनी स्मृति को अनदेखा करना था और नए टेक्स्ट पर भरोसा करना था। यहाँ भी, मॉडल को 70% तक छोटा किया जा सकता था और फिर भी वह काम कर सकता था।
ऐसा क्यों होता है?
लेखक एक सिद्धांत सुझाते हैं:
- तथ्य भारी होते हैं: लाखों विशिष्ट तथ्यों को संग्रहीत करने के लिए बहुत अधिक "मस्तिष्क स्थान" की आवश्यकता होती है। यदि आप उस स्थान को काट देते हैं, तो तथ्य बाहर निकल जाते हैं।
- सीखना एक उपकरण है: संदर्भ से सीखना एक सार्वभौमिक उपकरण (जैसे स्विस आर्मी नाइफ या ग्रेडिएंट डिसेंट एल्गोरिदम) रखने जैसा है। उपकरण को रखने के लिए आपको बहुत बड़े मस्तिष्क की आवश्यकता नहीं है; आपको बस उस उपकरण की आवश्यकता है। एक छोटा, प्रून किया गया मॉडल भी अपने सामने मौजूद टेक्स्ट से सीखने के लिए "उपकरण" रखता है।
मुख्य निष्कर्ष (The Takeaway)
यदि आप एक ऐसा मॉडल चाहते हैं जो तथ्यों को याद रखे, तो आपको एक बड़ा मॉडल चाहिए (या आपको चैट में उसे तथ्य देने होंगे)। लेकिन यदि आप एक ऐसा मॉडल चाहते हैं जो निर्देशों का पालन कर सके, नए पैटर्न सीख सके, या आपके द्वारा दिए गए टेक्स्ट के आधार पर समस्याओं को हल कर सके, तो आप प्रदर्शन खोए बिना उस मॉडल को उसके आकार के एक अंश तक छोटा कर सकते हैं।
शोध पत्र निष्कर्ष निकालता है कि हम अपने AI सिस्टम को बहुत सस्ता और तेज़ बना सकते हैं (उन्हें छोटा करके) उन कार्यों के लिए जो पढ़ने और संदर्भ को समझने पर निर्भर करते हैं, बिना इस बात की चिंता किए कि वे "तुरंत सोचने" की अपनी क्षमता खो देंगे। हालाँकि, यदि हमें उन्हें अपनी आंतरिक स्मृति पर निर्भर रहने की आवश्यकता है, तो हमें सावधान रहना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।