Mapping the Schedule x Bit-Width Boundary in Sub-100M Quantisation-Aware Training
यह शोध पत्र प्रदर्शित करता है कि सब-100M डिकोडर लैंग्वेज मॉडल्स के लिए, इष्टतम लर्निंग-रेट वॉर्मडाउन शेड्यूल (33%) काफी हद तक बिट-विड्थ (FP16, INT8, INT6) और मॉडल साइज से स्वतंत्र है, जिसमें INT4 50M पैरामीटर्स से नीचे एक शोर-प्रधान (noise-dominated) शासन से 50M और उससे ऊपर एक निर्णायक इष्टतम शेड्यूल में एक विशिष्ट संक्रमण प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छोटे, बुद्धिमान रोबोट (एक "लैंग्वेज मॉडल") को बात करना सिखा रहे हैं। आप चाहते हैं कि यह रोबोट एक बहुत छोटी बैटरी (जैसे स्मार्टवॉच या फोन) पर चल सके, इसलिए आपको इसके दिमाग को सिकोड़ना होगा। दिमाग को सिकोड़ने की इस प्रक्रिया को क्वांटाइजेशन (quantization) कहा जाता है। आप अपने रोबोट के दिमाग को 8 बिट, 6 बिट या यहाँ तक कि 4 बिट तक सिकोड़ सकते हैं।
मुख्य सवाल जो यह शोध पत्र पूछता है, वह यह है: क्या रोबोट के दिमाग को सिकोड़ने से उसे सिखाने का तरीका बदलना चाहिए?
विशेष रूप से, शोधकर्ता जानना चाहते थे कि क्या "पाठ योजना" (लर्निंग रेट शेड्यूल) को तब अलग करने की आवश्यकता है जब रोबोट छोटा (कम प्रिसिजन वाला) हो, तुलना में जब वह पूर्ण आकार का (उच्च प्रिसिजन वाला) हो। कई लोगों ने अनुमान लगाया था कि क्योंकि एक छोटा दिमाग "अस्थिर" होता है, इसलिए प्रशिक्षण के अंत में आपको इसे स्थिर होने में मदद करने के लिए एक बहुत ही कोमल, लंबे "कूल-डाउन" (ठंडा होने के) काल की आवश्यकता होगी।
यहाँ उन्होंने क्या पाया, सरल उपमाओं का उपयोग करते हुए:
1. मुख्य खोज: "एक ही आकार सबके लिए" वाली पाठ योजना
शोधकर्ताओं ने 720 अलग-अलग परिदृश्यों के साथ एक विशाल प्रयोग चलाया, जिसमें विभिन्न आकार के रोबोट (15 मिलियन से 100 मिलियन "न्यूरॉन्स" तक) और विभिन्न मस्तिष्क संकुचन स्तरों (8-बिट, 6-बिट और यहाँ तक कि 4-बिट) का परीक्षण किया गया।
परिणाम: उन्होंने पाया कि पाठ योजना को बदलने की आवश्यकता नहीं है। चाहे रोबोट का दिमाग पूर्ण आकार का हो या उसका सिकुड़ा हुआ 6-बिट दिमाग, प्रशिक्षण समाप्त करने का सबसे अच्छा तरीका बिल्कुल समान है: एक "कूल-डाउन" अवधि जो कुल प्रशिक्षण समय का 33% होती है।
- उपमा: कल्पना कीजिए कि आप एक बच्चे को साइकिल चलाना सिखा रहे हैं। आप सोच सकते हैं कि यदि बच्चा एक भारी, भद्दा हेलमेट (सिकुड़ा हुआ दिमाग) पहने हुए है, तो आपको उन्हें स्थिर रखने के लिए अंत में बहुत लंबे समय तक साइकिल पकड़ कर रखनी होगी। शोधकर्ताओं ने पाया कि ऐसा नहीं है। चाहे वे भारी हेलमेट पहनें या बिल्कुल भी हेलमेट न पहनें, उन्हें छोड़ने और उन्हें धीरे-धीरे रुकने देने का सबसे अच्छा समय बिल्कुल समान होता है।
2. अपवाद: "नन्हा" रोबोट ज़ोन
एक पेच है। यह "एक ही आकार सबके लिए" वाला नियम 8-बिट और 6-बिट रोबोट्स के लिए पूरी तरह काम करता है। लेकिन जब उन्होंने 4-बिट रोबोट्स (सबसे आक्रामक रूप से सिकुड़े हुए) का परीक्षण किया जो बहुत छोटे (50 मिलियन न्यूरॉन्स से कम) भी थे, तो नियम उलझ गए।
- उपमा: यदि रोबोट छोटा भी है और उसने बहुत भारी, भद्दा हेलमेट (4-बिट) भी पहना हुआ है, तो प्रशिक्षण इतना शोर भरा (noisy) हो जाता है कि यह बताना मुश्किल हो जाता है कि सबसे अच्छी पाठ योजना कौन सी है। यह एक बच्चे को साइकिल चलाने सिखाने जैसा है जबकि वह वॉशिंग मशीन के अंदर घूम रहा हो। डेटा इतना "शोर भरा" था कि कोई एक पाठ योजना विजेता के रूप में उभर नहीं सकी।
- सीमा: जैसे ही रोबोट 50 मिलियन न्यूरॉन्स से बड़ा हो जाता है, शोर साफ हो जाता है, और "33% कूल-डाउन" नियम फिर से स्पष्ट विजेता बन जाता है, यहाँ तक कि 4-बिट रोबोट्स के लिए भी।
3. "ग्रिड" का रहस्य (दिमाग क्यों नहीं फंस गया?)
शोधकर्ताओं के पास एक सिद्धांत था कि आपने दिमाग को सिकोड़ने के बारे में क्यों नहीं सोचा। उन्हें लगा कि जब आप दिमाग को 6 बिट तक सिकोड़ते हैं, तो वजन (आंतरिक संख्याएँ) प्रशिक्षण के बहुत शुरुआती चरण में ही एक "ग्रिड" पर तुरंत चिपक (snap) सकती हैं (जैसे चुंबक धातु की शीट पर चिपक जाता है)। यदि वे जल्दी चिपक जाते हैं, तो वे पहले से ही स्थिर हैं, इसलिए लंबे कूल-डाउन की आवश्यकता नहीं है।
उन्होंने इसका परीक्षण किया: उन्होंने यह देखने के लिए प्रशिक्षण के दौरान रोबोट के दिमाग के स्नैपशॉट लिए कि क्या 6-बिट वजन पूर्ण-आकार के वजन की तुलना में ग्रिड के अधिक करीब थे।
परिणाम: वे नहीं थे। 6-बिट वजन पूर्ण-आकार के वजन की तरह ही ग्रिड से दूर थे।
- उपमा: उन्हें लगा कि 6-बिट रोबोट जल्दी ही एक धातु के ट्रैक पर चिपक रहा है। इसके बजाय, उन्होंने पाया कि 6-बिट रोबोट उसी खुले स्थान में तैर रहा था जहाँ पूर्ण-आकार का रोबोट था। यह कारण कि पाठ योजना काम करती है, एक रहस्य है जिसे उन्होंने अभी तक हल नहीं किया है, लेकिन वे यह जानते हैं कि यह इसलिए नहीं है क्योंकि रोबोट जल्दी से ट्रैक से चिपक गया था।
4. निर्माता के लिए व्यावहारिक सलाह
इन निष्कर्षों के आधार पर, यह शोध पत्र इन छोटे, बैटरी से चलने वाले AI मॉडल बनाने वाले किसी भी व्यक्ति को सरल सलाह देता है:
- शेड्यूल के बारे में बहुत अधिक न सोचें: यदि आप 100 मिलियन न्यूरॉन्स से कम के मॉडल को 8-बिट या 6-बिट प्रिसिजन के साथ प्रशिक्षित कर रहे हैं, तो बस उसी मानक पाठ योजना का उपयोग करें जिसका उपयोग आप एक पूर्ण-आकार के मॉडल के लिए करेंगे। आपको इसे बदलने की आवश्यकता नहीं है।
- 4-बिट नियम: यदि आप 50 मिलियन न्यूरॉन्स से बड़े मॉडल पर अत्यधिक 4-बिट संपीड़न का उपयोग कर रहे हैं, तो मानक 33% कूल-डाउन का पालन करें।
- नन्हा 4-बिट ज़ोन: यदि आप 50 मिलियन न्यूरॉन्स से छोटे मॉडल पर 4-बिट का उपयोग कर रहे हैं, तो एक "परफेक्ट" शेड्यूल खोजने में समय बर्बाद न करें। परिणाम इतने शोर भरे हैं कि कोई भी उचित शेड्यूल काम कर जाएगा। बस एक चुनें और आगे बढ़ें।
सारांश
यह शोध पत्र सिद्ध करता है कि छोटे लैंग्वेज मॉडल्स के लिए, दिमाग को सिकोड़ने के लिए अलग शिक्षण शैली की आवश्यकता नहीं होती है। आप पूर्ण-प्रिसिजन, 8-बिट और 6-बिट मॉडल्स के लिए एक ही "कूल-डाउन" रणनीति का उपयोग कर सकते हैं। एकमात्र समय जब यह भ्रमित करने वाला होता है, वह है जब आप सबसे छोटे मॉडल्स को सबसे चरम संकुचन (4-बिट) के साथ मिलाते हैं, जहाँ प्रशिक्षण इतना शोर भरा हो जाता है कि यह बताना मुश्किल हो जाता है कि सबसे अच्छा क्या है।
शोधकर्ताओं ने इस विचार को भी गलत साबित किया कि मॉडल जल्दी से अपनी जगह पर "चिपक" जाते हैं; वे स्वतंत्र रूप से तैरते हैं, और यह कारण कि शिक्षण शैली काम करती है, अभी भी एक रहस्य बना हुआ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।