Super Weights in LLMs and the Failure of Selective Training
यह शोध पत्र यह प्रदर्शित करता है कि "सुपर वेट्स" (Super Weights) की अवधारणा सभी LLMs में सामान्य रूप से लागू नहीं होती है और इन व्यक्तिगत रूप से पहचाने गए महत्वपूर्ण मापदंडों को अलग से प्रशिक्षित करने का प्रयास प्रदर्शन की विनाशकारी विफलता का कारण बनता है, जो यह सिद्ध करता है कि प्रभावी फाइन-ट्यूनिंग विशिष्ट उच्च-महत्व वाले वेट्स को लक्षित करने के बजाय संरचित लेयर-व्यापी अपघटन (layer-wide decompositions) पर निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) है जिसने पहले से ही पढ़ना, लिखना और तर्क करना सीख लिया है। हाल ही में, कुछ वैज्ञानिकों ने इस मस्तिष्क के भीतर कुछ "जादुई बटन" खोजे। उन्होंने इन्हें सुपर वेट्स (Super Weights) कहा।
यहाँ अजीब बात यह है: यदि आप इनमें से केवल एक जादुई बटन को हटा देते हैं, तो रोबोट का मस्तिष्क पूरी तरह से अनियंत्रित हो जाता है। इसका प्रदर्शन इतनी बुरी तरह गिर जाता है जैसे कि वह बोलना ही भूल गया हो। यह इतना चौंकाने वाला था कि सभी ने मान लिया कि ये बटन मस्तिष्क के सबसे महत्वपूर्ण हिस्से हैं।
तो, एक स्वाभाविक प्रश्न उठा: यदि ये बटन इतने महत्वपूर्ण हैं, तो क्या होगा यदि हम केवल इन्हीं को प्रशिक्षित करें?
विचार यह था: "आइए बाकी मस्तिष्क को फ्रीज कर दें और केवल इन सुपर वेट्स को नई चीजें सीखने दें। चूंकि ये 'सितारे' हैं, इसलिए वे अपने आप रोबोट की गलतियों को ठीक करने में सक्षम होने चाहिए, है ना?"
जवाब एक कड़ा, ज़ोरदार 'नहीं' है।
वास्तव में, यह शोध पत्र दिखाता है कि केवल इन सुपर वेट्स को प्रशिक्षित करने की कोशिश करना एक आपदा है। यह एक टूटी हुई कार के इंजन को केवल स्टीयरिंग व्हील घुमाकर ठीक करने की कोशिश करने जैसा है। आप कितनी भी कोशिश कर लें, कार आगे नहीं बढ़ेगी।
"जादुई बटन" का प्रयोग
शोधकर्ताओं ने OLMo नामक एक मॉडल (एक 1 बिलियन पैरामीटर वाला और एक 7 बिलियन वाला) लिया। उन्होंने केवल सुपर वेट्स को अपडेट करके मॉडल को एक नया कार्य सिखाने की कोशिश की (बहुविकल्पीय प्रश्नों के उत्तर देना)।
उन्होंने अलग-अलग संख्या में बटन आज़माए:
- उन्होंने केवल 100 सुपर वेट्स को प्रशिक्षित किया।
- उन्होंने 1,000 को आज़माया।
- उन्होंने यहाँ तक कि 8,192 को भी आज़माया (जो पहले प्रयास से 81 गुना अधिक है)।
परिणाम? मॉडल की सटीकता गिरकर रैंडम-गेसिंग (अंदाज़ लगाने) के स्तर पर आ गई।
- 1-बिलियन मॉडल के लिए, इसने लगभग 25% सही उत्तर दिए (जो आपको तब मिलता है जब आप 4 विकल्पों वाले प्रश्न पर केवल अंदाज़ा लगाते हैं)।
- 7-बिलियन मॉडल के लिए, यह भी गिरकर लगभग 25-26% पर आ गया।
यहाँ तक कि जब उन्होंने इन बटनों और उनके निकटतम पड़ोसियों (लगभग 36,000 पैरामीटर्स का एक छोटा "पड़ोस") को मिलाकर प्रशिक्षित करने की कोशिश की, तब भी यह विफल रहा। मॉडल सीखने में असमर्थ रहा।
"यह बटन की समस्या नहीं है, रणनीति की समस्या है" वाला मोड़
आप सोच सकते हैं, "ठीक है, शायद समस्या यह है कि वे केवल बटनों का एक बहुत छोटा, विरल (sparse) सेट प्रशिक्षित कर रहे थे। शायद यदि वे कोई भी छोटा सेट प्रशिक्षित करते, तो वह विफल हो जाता।"
पेपर कहता है: नहीं, यह भी नहीं है।
यह साबित करने के लिए, शोधकर्ताओं ने एक चतुर कंट्रोल टेस्ट किया। उन्होंने उतनी ही संख्या में बटन चुने (4,096), लेकिन "सुपर" बटन चुनने के बजाय, उन्होंने मस्तिष्क के उसी हिस्से से रैंडम (यादृच्छिक) बटन चुने।
- परिणाम: मॉडल वास्तव में बेहतर हो गया! इसने 64.18% स्कोर किया (60.65% के बेसलाइन से बेहतर)।
यह साबित करता है कि विफलता इसलिए नहीं थी क्योंकि वे बहुत कम पैरामीटर्स को प्रशिक्षित कर रहे थे। विफलता विशेष रूप से सुपर वेट्स को लक्षित करने के कारण थी। वे विशिष्ट निर्देशांक (coordinates) अकेले प्रशिक्षण के लिए टूट चुके हैं।
वे क्यों विफल होते हैं? "एम्प्लीफायर" (प्रवर्धक) की उपमा
सुपर वेट्स को एक साउंड सिस्टम में विशाल वॉल्यूम नॉब्स (वॉल्यूम के बटन) की तरह समझें। उन्हें इतना तेज़ रखा गया है कि वे सिग्नल को बहुत अधिक बढ़ा देते हैं।
- यदि आप उन्हें हटा देते हैं: साउंड सिस्टम शांत हो जाता है (मॉडल टूट जाता है)।
- यदि आप अकेले उन्हें एडजस्ट करने की कोशिश करते हैं: यह एक बुरा सपना है। क्योंकि वे पहले से ही बहुत तेज़ हैं, एक छोटा सा बदलाव भी वॉल्यूम को आसमान की ऊंचाइयों तक भेज देता है, जिससे फीडबैक लूप और डिस्टॉर्शन पैदा होता है। सिस्टम अस्थिर हो जाता है और क्रैश हो जाता है।
पेपर सुझाव देता है कि जब आप इन नॉब्स को अलग से प्रशिक्षित करने की कोशिश करते हैं, तो गणित नियंत्रण से बाहर हो जाता है। इन स्थानों पर "कर्वेचर" (सीखने वाली ढलान) इतनी बड़ी है कि ऑप्टिमाइज़र (सीखने वाली चीज़) भ्रमित हो जाती है और मॉडल ढह जाता है।
असली हीरो: LoRA
तो, हम इन मॉडल्स को बिना तोड़े नई चीजें कैसे सिखा सकते हैं? पेपर LoRA (लो-रैंक अडैप्टेशन) नामक एक विधि की ओर इशारा करता है।
कल्प_ना कीजिए कि LoRA किसी मैकेनिक की तरह नहीं है जो व्यक्तिगत बोल्ट को ठीक करने की कोशिश कर रहा है, बल्कि एक कंडक्टर की तरह है जो ऑर्केस्ट्रा का नेतृत्व कर रहा है।
- सुपर वेट नॉब्स को सीधे छूने के बजाय, LoRA नॉब्स तक पहुँचने से पहले संगीत की एक छोटी, संरचित परत जोड़ता है।
- यह अटेंशन लेयर्स में हर एक स्थिति को एक लो-रैंक संरचना का उपयोग करके अपडेट करता है, लेकिन यह कुल पैरामीटर्स के केवल 0.16% को ही प्रशिक्षित करता है।
- परिणाम: मॉडल पूरी तरह से सीख जाता है!
- 1-बिलियन मॉडल पर, इसने 66.88% सटीकता प्राप्त की।
- 7-बिलियन मॉडल पर, इसने 77.3% सटीकता प्राप्त की।
इससे भी बेहतर? शोधकर्ताओं ने LoRA के उन हिस्सों को "फ्रीज" करने की कोशिश की जो सुपर वेट स्थानों के अनुरूप थे (यह देखने के लिए कि क्या वे विशिष्ट स्थान ही समस्या थे)। इससे कोई फर्क नहीं पड़ा। मॉडल फिर भी शानदार काम करता रहा। यह साबित करता है कि अपडेट की संरचना (पूरे ऑर्केस्ट्रा का नेतृत्व करने वाला कंडक्टर) ही मायने रखती है, न कि बटनों का विशिष्ट स्थान।
मूल पेपर के "जादू" के बारे में क्या?
पेपर ने सुपर वेट्स की मूल खोज की भी जाँच की। पिछले अध्ययन ने केवल एक उदाहरण को देखकर उन्हें खोजा था। नए पेपर ने 1,000 अलग-अलग उदाहरणों की जाँच की।
- उन्होंने पाया कि 9 विशिष्ट बटन 100% मामलों में महत्वपूर्ण थे।
- यह पुष्टि करता है कि सुपर वेट्स वास्तविक, संरचनात्मक मस्तिष्क के हिस्से हैं, न कि केवल एक विशिष्ट प्रश्न के संयोग।
निचोड़ (Bottom Line)
पेपर एक स्पष्ट संदेश देता है: सिर्फ इसलिए कि मस्तिष्क का एक हिस्सा महत्वपूर्ण है, इसका मतलब यह नहीं है कि आप उसे अकेले प्रशिक्षित कर सकते हैं।
- सुपर वेट्स को हटाना मॉडल को तोड़ देता है।
- सुपर वेट्स को अकेले प्रशिक्षित करना मॉडल को तोड़ देता है।
- छोटे हिस्सों के एक रैंडम सेट को प्रशिक्षित करना ठीक-ठाक काम करता है।
- एक संरचित, लो-रैंक दृष्टिकोण (LoRA) के साथ पूरे सिस्टम को प्रशिक्षित करना सबसे अच्छा काम करता है।
यह पता चलता है कि इन मॉडल्स का "जादू" उन कुछ विशेष बटनों में नहीं है जिन्हें आप ट्यून कर सकते हैं। यह पूरे नेटवर्क के एक साथ मिलकर काम करने में है। आप केवल एक पेंच घुमाकर इंजन को ठीक नहीं कर सकते; आपको पूरी मशीन को सामंजस्य में ट्यून करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।