← नवीनतम पेपर
🤖 machine learning

Pretraining large language models with MXFP4

यह शोध पत्र यह पहचान करता है कि वेट ग्रेडिएंट्स (Wgrad) का क्वांटाइजेशन बड़े भाषा मॉडलों के फुल-पाइपलाइन FP4 प्रशिक्षण में अस्थिरता का प्राथमिक कारण है और यह प्रदर्शित करता है कि अभिसरण स्थिरता (convergence stability) को बहाल करने के लिए स्टोकेस्टिक राउंडिंग के बजाय डिटरमिनिस्टिक हेडामार्ड रोटेशन आवश्यक हैं।

मूल लेखक: Musa Cim, Poovaiah Palangappa, Miro Hodak, Ravi Dwivedula, Meena Arunachalam, Mahmut Taylan Kandemir

प्रकाशित 2026-05-12
📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें
CC BY 4.0

मूल लेखक: Musa Cim, Poovaiah Palangappa, Miro Hodak, Ravi Dwivedula, Meena Arunachalam, Mahmut Taylan Kandemir

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, बुद्धिमान छात्र (एक लार्ज लैंग्वेज मॉडल) को कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। आमतौर पर, इस छात्र को प्रभावी ढंग से सीखने में मदद करने के लिए, आप उन्हें उच्च-गुणवत्ता वाली, विस्तृत स्याही (जिसे FP8 प्रिसिजन कहा जाता है) में लिखे गए नोट्स देते हैं। यह अच्छा काम करता है, लेकिन ये नोट्स भारी होते हैं, जो उनके बैग में बहुत जगह घेर लेते हैं और उनके पढ़ने की गति को धीमा कर देते हैं।

शोधकर्ताओं ने देखना चाहा कि क्या वे केवल 4 बिट जानकारी वाले अति-हल्के नोट्स (MXFP4) का उपयोग कर सकते हैं। ये नोट्स बहुत छोटे और तेज़ हैं, जो यह वादा करते हैं कि छात्र बहुत तेज़ी से सीख पाएगा। हालाँकि, एक समस्या है: जब उन्होंने पूरे सीखने की प्रक्रिया के लिए इन छोटे नोट्स का उपयोग करने की कोशिश की, तो छात्र अक्सर भ्रमित हो गया, बेतुकी अनुमान लगाने लगा और कुछ भी सीखने में विफल रहा (जिसे ट्रेनिंग "डाइवर्ज" होना कहते हैं)।

यह शोध पत्र पूछता है: ऐसा क्यों होता है, और हम इसे कैसे ठीक करें?

प्रयोग: एक तीन-चरणीय परीक्षण

शोधकर्ताओं ने यह पता लगाने के लिए कि समस्या वास्तव में कहाँ है, एक नियंत्रित प्रयोग स्थापित किया। उन्होंने सीखने की प्रक्रिया को तीन चरणों में विभाजित किया और धीरे-धीरे भारी नोट्स को हल्के नोट्स से बदला, एक समय में एक चरण करके:

  1. फॉरवर्ड पास (Fprop): छात्र प्रश्न पढ़ता है।
  2. एक्टिवेशन ग्रेडिएंट्स (Dgrad): छात्र यह समझता है कि उसने प्रश्न को कितना गलत समझा।
  3. वेट ग्रेडिएंट्स (Wgrad): छात्र अपने मस्तिष्क (यानी "वेट्स") को अपडेट करता है ताकि अगली बार के लिए सबक याद रख सके।

निष्कर्ष:

  • चरण 1 और 2: जब उन्होंने केवल पढ़ने और गलतियों को समझने के लिए हल्के नोट्स का उपयोग किया, तो छात्र ठीक रहा। उन्होंने भारी नोट्स की तरह ही लगभग उतना ही सीखा, बस उन्हें कुछ अतिरिक्त अभ्यास प्रश्नों की आवश्यकता पड़ी।
  • चरण 3 (समस्या): जैसे ही उन्होंने मस्तिष्क को अपडेट करने (Wgrad) के लिए हल्के नोट्स का उपयोग किया, छात्र नियंत्रण से बाहर होने लगा। शोधकर्ताओं ने पाया कि यह विशिष्ट चरण ही "कमजोर कड़ी" है। यह एक जटिल गणितीय सुधार को कागज के एक छोटे, मुड़े हुए टुकड़े पर लिखने की कोशिश करने जैसा है; विवरण खो जाते हैं, और छात्र गलत सबक सीख जाता है।

विफल समाधान: यादृच्छिकता (Randomness) जोड़ना

जब छात्र विफल होने लगा, तो शोधकर्ताओं ने एक सामान्य तकनीक आजमाई: स्टोकेस्टिसिटी (Stochasticity) (यादृच्छिकता जोड़ना)।

  • उपमा: कल्पना कीजिए कि छात्र भ्रमित है, तो आप उससे कहते हैं, "बस रैंडमली अंदाज़ा लगाओ!" या "पहिया घुमाकर अपना उत्तर तय करो।"
  • परिणाम: यह काम नहीं आया। वास्तव में, हल्के नोट्स में यादृच्छिकता जोड़ने से त्रुटियां और बढ़ गईं। रैंडम अनुमानों के "शोर" (noise) ने हल्के नोट्स में पहले से मौजूद छोटी त्रुटियों को और बढ़ा दिया, जिससे ट्रेनिंग पूरी तरह से क्रैश हो गई।

जीतने वाला समाधान: डिटर्मिनिस्टिक शफल (Deterministic Shuffle)

शोधकर्ताओं ने फिर एक अलग दृष्टिकोण अपनाया: डिटर्मिनिस्टिक हैडामार्ड रोटेशन (Deterministic Hadamard Rotations)।

  • उपमा: इसके बजाय कि आप रैंडमली अंदाज़ा लगाएं, कल्पना कीजिए कि छात्र के पास एक विशेष, कठोर रूलर (पैमाना) है जो नोट्स लिखने से पहले उन्हें पूरी तरह से व्यवस्थित करता है। यह रूलर रैंडमनेस नहीं जोड़ता; यह केवल जानकारी को एक विशिष्ट, अनुमानित तरीके से व्यवस्थित करता है ताकि छोटे नोट्स मुड़े हुए या खोए हुए न रहें।
  • परिणाम: यह पूरी तरह से काम कर गया। इस विशिष्ट, अनुमानित "पुनर्व्यवस्थित करने वाले" तरीके का उपयोग करके, छात्र पूरे प्रोसेस (पढ़ना, विश्लेषण करना और अपडेट करना) के लिए छोटे, तेज़ नोट्स का उपयोग कर सका बिना भ्रमित हुए।

मुख्य निष्कर्ष

यह शोध पत्र दो मुख्य बातें बताता है:

  1. बॉटलनेक (Bottleneck): 4-बिट ट्रेनिंग विफल होने का मुख्य कारण यह नहीं है कि नोट्स सामान्य रूप से बहुत छोटे हैं; बल्कि यह है कि मस्तिष्क-अपडेट करने वाला चरण (Wgrad) उन नोट्स की छोटी त्रुटियों के प्रति बहुत संवेदनशील है।
  2. समाधान: 4-बिट ट्रेनिंग को सफल बनाने के लिए, आपको अधिक रैंडमनेस की आवश्यकता नहीं है। आपको संरचना (Structure) की आवश्यकता है। एक विशिष्ट, अनुमानित गणितीय शफल (हैडामार्ड रोटेशन) का उपयोग करके, आप प्रक्रिया को स्थिर कर सकते हैं।

प्रतिफल (Payoff):
जब उन्होंने इस "पुनर्व्यवस्थित करने वाले रूलर" के साथ समस्या को ठीक किया, तो सिस्टम सीखने के प्रत्येक चरण में 20% तेज़ हो गया। क्योंकि छात्र बिना अतिरिक्त अभ्यास प्रश्नों के स्थिरता से सीख सका, इसलिए पूरी प्रक्रिया पुराने, भारी-स्याही वाले तरीके की तुलना में शुरू से अंत तक लगभग 10% तेज़ पूरी हुई।

संक्षेप में: आप सुपर-फास्ट, छोटे नोट्स का उपयोग कर सकते हैं, लेकिन केवल तभी जब आप उन्हें लिखने से पहले पूरी तरह से व्यवस्थित करें। यदि आप केवल रैंडमनेस डाल देंगे, तो यह सब कुछ तोड़ देगा।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →