Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention
यह शोध पत्र फुल-स्टैक FP4 पेश करता है, जो एक मॉड्यूलर फ्रेमवर्क है जो NVFP4 क्वांटाइजेशन को लीनियर प्रोजेक्शन से आगे बढ़ाकर स्थिर ऑप्टिमाइज़र स्टेट्स, रूट/म्यून (Root/Muon) गणनाओं और मिक्स्ड-प्रिसिजन अटेंशन तक विस्तारित करता है, जिससे एक एकल RTX 5090 पर महत्वपूर्ण मेमोरी और स्पीडअप लाभ के साथ लगभग BF16 प्रीट्रेनिंग प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, डिजिटल मस्तिष्क को बोलना, लिखना और सोचना सिखाने की कोशिश कर रहे हैं। यह "मस्तिष्क" एक लार्ज लैंग्वेज मॉडल (LLM) है, और सीखने के लिए इसे सूचनाओं के पहाड़ों को प्रोसेस करना पड़ता है। लेकिन इसमें एक पेंच है: यह जितना अधिक सीखता है, उतना ही अधिक यह कंप्यूटर मेमोरी और बिजली का भूखा होता जाता है। यह एक छोटे, पुराने लैपटॉप पर एक विशाल, हाई-डेफिनिशन मूवी चलाने की कोशिश करने जैसा है; स्क्रीन धुंधली हो जाती है, और पंखा जोर-जोर से शोर करने लगता है। इस समस्या को हल करने के लिए, वैज्ञानिक उन संख्याओं को छोटा करने की कोशिश कर रहे हैं जिनका उपयोग कंप्यूटर गणित करने के लिए करता है। अत्यंत सटीक, भारी संख्याओं (जैसे कि एक विस्तृत तस्वीर) के बजाय, वे छोटी, हल्की संख्याओं (जैसे कि एक पिक्सेलेटेड स्केच) का उपयोग करने की ओर बढ़ रहे हैं। इसे "लो-प्रिसिजन ट्रेनिंग" कहा जाता है। हाल ही में, "FP4" (4-बिट फ्लोटिंग पॉइंट) नामक एक नए प्रकार का छोटा नंबर आया है, जो इन विशाल मस्तिष्कों को बहुत छोटा और तेज़ बनाने का वादा करता है। लेकिन समस्या यह है कि जबकि मस्तिष्क के मुख्य हिस्से इन छोटी संख्याओं को संभाल सकते हैं, इसके "सहायक" हिस्से—जैसे कि सीखने के लिए इसकी याददाश्त और वाक्यों को समझने के लिए की जाने वाली जटिल गणित—इन छोटी संख्याओं के उपयोग से क्रैश हो जाते हैं या भ्रमित हो जाते हैं। यह एक रेस कार इंजन होने के बावजूद उसे साइकिल की चेन पर चलाने की कोशिश करने जैसा है; इंजन तैयार है, लेकिन मशीन का बाकी हिस्सा उसका साथ नहीं दे पा रहा है।
यह पेपर Full-Stack FP4 नामक एक चतुर नए टूलकिट का परिचय देता है, जो इन डिजिटल मस्तिष्कों के लिए एक मास्टर मैकेनिक की तरह काम करता है। शोधकर्ताओं ने महसूस किया कि आप मस्तिष्क के हर हिस्से के लिए एक ही छोटे-नंबर वाले नियमों का उपयोग नहीं कर सकते। कुछ हिस्से, जैसे कि मुख्य कनेक्शन, छोटी संख्याओं को ठीक से संभाल सकते हैं। लेकिन अन्य हिस्से, जैसे कि वह "मेमोरी" जिसका उपयोग कंप्यूटर कल सीखी गई बातों को याद रखने के लिए करता है, बहुत संवेदनशील होते हैं और उन्हें विशेष देखभाल की आवश्यकता होती है। टीम ने एक मॉड्यूलर सिस्टम बनाया है जहाँ वे मस्तिष्क के विभिन्न हिस्सों के लिए अलग-अलग "रेसिपी" का उपयोग करते हैं। मुख्य कनेक्शनों के लिए, वे LoRA-SVD नामक एक ट्रिक का उपयोग करते हैं, जो सबसे महत्वपूर्ण विवरणों के लिए एक हाई-रेजोल्यूशन स्केच रखने और बाकी के लिए पिक्सेलेटेड ब्लॉक्स का उपयोग करने जैसा है। मेमोरी के लिए, उन्होंने संख्याओं को छोटे बक्सों में दबाने से पहले उन्हें "स्मूथ आउट" करने का एक तरीका बनाया ताकि वे खो न जाएं। उस गणित के लिए जो मस्तिष्क को सही शब्दों पर ध्यान केंद्रित करने में मदद करता है (अटेंशन), उन्होंने तय किया कि वे सबसे संवेदनशील हिस्सों को हाई-डेफिनिशन में रखेंगे जबकि बाकी को पिक्सेलेटेड रहने देंगे।
जब उन्होंने एक 3-बिलियन पैरामीटर वाले मॉडल (एक मध्यम आकार का डिजिटल मस्तिष्क) पर 64 बिलियन शब्दों के ट्रेनिंग डेटा का उपयोग करके इस पूर्ण सिस्टम का परीक्षण किया, तो परिणाम प्रभावशाली थे। "Full-Stack FP4" मस्तिष्क लगभग उतनी ही अच्छी तरह से सीख पाया जितना कि पारंपरिक, भारी-भरकम संस्करण। उनके सीखने के स्कोर के बीच का अंतर केवल 0.838% था, जो कि न के बराबर है। वास्तव में, जब उन्होंने परीक्षण किया कि यह मस्तिष्क उन सवालों के जवाब देने में कितना अच्छा है जो इसने पहले कभी नहीं देखे, तो नया छोटा-नंबर वाला संस्करण सही शब्दों का अनुमान लगाने में वास्तव में थोड़ा बेहतर था, भले ही वह बहुत कम मेमोरी का उपयोग कर रहा था। एक शक्तिशाली ग्राफिक्स कार्ड (एक RTX 5090) पर, इस नए तरीके ने कुछ कार्यों के लिए मस्तिष्क की सीखने की प्रक्रिया को 2.5 से 2.8 गुना तेज़ बना दिया और मानक उच्च-परिशुद्धता विधि की तुलना में 38% से 42% कम मेमोरी का उपयोग किया।
शोधकर्ता सावधानी बरतते हुए नोट करते हैं कि हालांकि यह 3 बिलियन पैरामीटर तक के मॉडल के लिए बहुत अच्छा काम करता है, लेकिन उन्होंने अभी तक यह साबित नहीं किया है कि क्या यह और भी बड़े मस्तिष्क या बहुत लंबे प्रशिक्षण समय के लिए काम करेगा। उन्होंने यह भी पाया कि आप हर चीज़ पर छोटे नंबरों को थोप नहीं सकते; यदि आप इन विशेष रेसिपी के बिना मस्तिष्क के सबसे संवेदनशील हिस्सों को सबसे छोटे नंबरों का उपयोग करने के लिए मजबूर करते हैं, तो सीखना टूट जाता है। लेकिन फिलहाल के लिए, यह "Full-Stack" दृष्टिकोण दिखाता है कि हम अलग-अलग हिस्सों को उनकी वास्तविक आवश्यकता के अनुसार सटीकता का स्तर देकर, "वन साइज फिट्स ऑल" के बजाय स्मार्ट, तेज़ और सस्ता AI बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।