🤖 AI

Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

यह शोध पत्र गैर-समान (non-uniform) E2M1 FP4 प्रारूपों में एक मौलिक "श्रिंकेज बायस" (Shrinkage Bias) की पहचान करता है जो प्रशिक्षण अस्थिरता का कारण बनता है, और UFP4 प्रस्तावित करता है, जो एक समान 4-बिट (E1M2/INT4) प्रशिक्षण रेसिपी है जो मौजूदा E2M1-आधारित दृष्टिकोणों की तुलना में विभिन्न मॉडल स्केल्स पर बेहतर प्रीट्रेनिंग प्रदर्शन प्राप्त करने के लिए रैंडम हैडामार्ड ट्रांसफॉर्म (Random Hadamard Transform) का लाभ उठाती है।

मूल लेखक: Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

प्रकाशित 2026-06-19

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अविश्वसनीय रूप से जटिल लेगो (LEGO) किला बनाने की कोशिश कर रहे हैं (एक लार्ज लैंग्वेज मॉडल)। निर्माण को तेज़ और सस्ता बनाने के लिए, आप मानक, भारी और सटीक ईंटों का उपयोग करना बंद करने और एक नए, अत्यंत हल्के और छोटे 4-बिट ईंटों के सेट पर स्विच करने का निर्णय लेते हैं।

समस्या यह है कि वर्तमान "मानक" हल्के ईंटों (जिन्हें E2M1 कहा जाता है) का आकार थोड़ा अजीब और असंतुलित है। इस पेपर के लेखकों ने खोजा कि इन ईंटों में एक छिपा हुआ दोष है: ये हर बार उपयोग किए जाने पर चीजों को थोड़ा छोटा कर देते हैं।

इस खोज और समाधान का विवरण यहाँ दिया गया, जिसे सरल भाषा में समझाया गया है:

1. समस्या: "सिकुड़ने वाली" ईंटें

मानक E2M1 ईंटों को असमान अंतराल वाली ईंटों के रूप में सोचें। कुछ अंतराल बहुत छोटे हैं, जबकि अन्य बहुत बड़े हैं।

दोष: इस असमान अंतराल के कारण, जब आप डेटा के एक टुकड़े को इन ईंटों में फिट करने की कोशिश करते हैं, तो गणित उसे ऊपर की ओर राउंड करने के बजाय थोड़ा नीचे की ओर राउंड करने के लिए मजबूर करता है।
परिणाम: यह एक "सिकुड़ने वाला पूर्वाग्रह" (Shrinkage Bias) पैदा करता है। यह एक लीक होती बाल्टी की तरह है; हर बार जब आप मॉडल के एक लेयर (परत) के माध्यम से एक संदेश भेजते हैं, तो संदेश थोड़ा छोटा और कमजोर हो जाता है।
संचयी प्रभाव (Compounding Effect): सैकड़ों परतों वाले एक गहरे मॉडल में, यह मामूली सिकुड़न बार-बार होती है। जब तक संदेश अंत तक पहुँचता है, वह इतना सिकुड़ चुका होता है कि मॉडल अपना नियंत्रण खोने लगता है (ट्रेनिंग अस्थिर हो जाती है)।

2. "जादुई घुमाव" जिसने इसे और खराब कर दिया

इंजीनियरों ने डेटा के बहुत बड़ा या अजीब (आउटलेयर्स) होने की समस्या को ठीक करने के लिए एक ट्रिक का उपयोग किया जिसे रैंडम हैडामार्ड ट्रांसफॉर्म (RHT) कहा जाता है।

उपमा: कल्पना करें कि आपके पास रेत का एक ढेर है जहाँ अधिकांश रेत एक बड़े टीले के रूप में है (आउटलेयर्स)। RHT एक मिक्सर की तरह है जो रेत को चारों ओर घुमाता है ताकि वह पूरी ट्रे में समान रूप से फैल जाए।
टकराव: जब आप रेत को मिलाते हैं (RHT) और फिर उसे इन असंतुलित E2M1 ईंटों में डालने की कोशिश करते हैं, तो रेत सबसे खराब अंतराल में जाकर गिरती है। ये असमान अंतराल वाली ईंटें मिश्रित रेत को पकड़ लेती हैं और उसे पहले की तुलना में और भी अधिक सिकोड़ देती हैं। पेपर ने पाया कि यह मानक रेसिपी इस मिक्सर का उपयोग करके "लीकी बकेट" (लीक होती बाल्टी) की समस्या को और भी बदतर बना देती है।

3. समाधान: "समान" ईंटें (UFP4)

लेखक एक नया नुस्खा प्रस्तावित करते हैं जिसे UFP4 कहा जाता है। असंतुलित E2M1 ईंटों का उपयोग करने के बजाय, वे एक नया सेट उपयोग करते हैं जिसे E1M2/INT4 कहा जाता है।

अंतर: ये नई ईंटें पूरी तरह से समान (uniform) हैं। इनके बीच के अंतराल बिल्कुल एक समान आकार के हैं।
यह क्यों काम करता है: क्योंकि अंतराल समान हैं, इसलिए कोई "सिकुड़ने वाला पूर्वाग्रह" नहीं है। जब "मिश्रित रेत" (RHT डेटा) इन समान ईंटों में गिरती है, तो यह बिना किसी आकार के नुकसान के बिल्कुल फिट बैठ जाती है।
रणनीति: इन नई समान ईंटों के साथ, लेखकों ने महसूस किया कि वे निर्माण प्रक्रिया के हर हिस्से (फॉरवर्ड पास, बैकवर्ड पास और वेट अपडेट्स) पर सुरक्षित रूप से "मिक्सर" (RHT) का उपयोग कर सकते हैं। पहले, उन्हें सावधान रहना पड़ता था और मिक्सर का उपयोग केवल एक ही जगह पर करना पड़ता था ताकि मॉडल टूट न जाए। अब, वे इसे हर जगह उपयोग कर सकते हैं।

4. प्रमाण

टीम ने तीन अलग-अलग आकारों के AI मॉडलों (छोटे, मध्यम और विशाल) पर इस नए नुस्खे का परीक्षण किया।

परिणाम: UFP4 (समान ईंटों) के साथ बनाए गए मॉडल, पुराने E2M1 (असंतुलित ईंटों) से बने मॉडलों की तुलना में, भारी और मानक (BF16) ईंटों के प्रदर्शन के बहुत करीब रहे।
निष्कर्ष: समान ग्रिड (grid) मॉडल को अपने सिग्नल को खोए बिना लंबे समय तक और अधिक स्थिरता के साथ प्रशिक्षित होने की अनुमति देता है।

सारांश

यह पेपर तर्क देता है कि उद्योग एक लीक होती बाल्टी को पैच (मरम्मत) करने की कोशिश कर रहा है, लेकिन बाल्टी का आकार ही गलत है। एक ऐसी बाल्टी में स्विच करके जिसमें बिल्कुल समान अंतराल हो (यूनिफॉर्म ग्रिड), वे आखिरकार उन शक्तिशाली मिक्सिंग टूल्स (RHT) का उपयोग कर सकते हैं जो पहले बहुत खतरनाक थे, जिससे AI ट्रेनिंग तेज़, सस्ती और अधिक स्थिर हो जाती है।

मुख्य बात: पुराने, असंतुलित 4-बिट फॉर्मेट को केवल पैच न करें; सिग्नल को सिकुड़ने से रोकने के लिए एक नए, समान 4-बिट फॉर्मेट पर स्विच करें।

तकनीकी सारांश: LLM FP4 प्रीट्रेनिंग में श्रिंकेज बायस (Shrinkage Bias) का पुनर्मूल्यांकन

समस्या विवरण (Problem Statement)

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) का पैमाना बढ़ रहा है, प्रीट्रेनिंग की कम्प्यूटेशनल और मेमोरी लागतों के कारण लो-प्रिसिजन फॉर्मेट्स की ओर बदलाव आवश्यक हो गया है। जबकि FP8 को व्यापक रूप से अपनाया गया है, उभरता हुआ हार्डवेयर (जैसे, NVIDIA Blackwell/Rubin, AMD MI350) नेटिव FP4 कम्प्यूटेशन का समर्थन करता है। वर्तमान FP4 ट्रेनिंग रेसिपीज़, जैसे कि NVFP4, मुख्य रूप से E2M1 फॉर्मेट (2 एक्सपोनेंट बिट्स, 1 मैंटिसा बिट) के साथ रैंडम हैडामार्ड ट्रांसफॉर्म (RHT) पर निर्भर करती हैं ताकि आउटलायर सेंसिटिविटी (outlier sensitivity) को कम किया जा सके।

हालाँकि, ये E2M1-आधारित रेसिपीज़ ट्रेनिंग अस्थिरता और BF16 बेसलाइन्स के सापेक्ष महत्वपूर्ण लॉस डिग्रेडेशन (loss degradation) से ग्रस्त हैं। यह पेपर एक मौलिक, पहले अनदेखी की गई सीमा की पहचान करता है: श्रिंकेज बायस (Shrinkage Bias)। यह नॉन-यूनिफॉर्म क्वांटाइजेशन फॉर्मेट्स जैसे E2M1 में निहित एक व्यवस्थित नकारात्मक राउंडिंग एरर (negative rounding error) है। E2M1 के रिप्रेजेंटेबल बिन्स (representable bins) की ज्यामितीय विषमता (geometric asymmetry) एक सुसंगत "श्रिंकेज" (सिकुड़न) का कारण बनती है जो राउंड-टू-नियरएस्ट-ईवन (RTNE) राउंडिंग के तहत होती है। महत्वपूर्ण रूप से, पेपर तर्क देता है कि जबकि RHT आउटलायर्स को बिखेरने और कोडबुक यूटिलाइजेशन को बेहतर बनाने के लिए डिज़ाइन किया गया है, यह अनजाने में E2M1 में इस बायस को बढ़ा देता है क्योंकि यह टेंसर मास को फॉर्मेट के सबसे विषम (asymmetric) राउंडिंग बिन्स में स्थानांतरित कर देता है, जिससे गहरे नेटवर्क में मल्टीप्लिकेटिव सिग्नल डिके (multiplicative signal decay) होता है।

कार्यप्रणाली (Methodology)

1. श्रिंकेज बायस का सैद्धांतिक विश्लेषण

लेखक श्रिंकेज बायस को RTNE बिन्स की ज्यामितीय विषमता के कारण नॉर्मलाइज्ड मैग्नीट्यूड स्पेस में एक नेगेटिव एक्सपेक्टेड एरर के रूप में औपचारिक रूप देते हैं।

ज्यामितीय उत्पत्ति (Geometric Origin): E2M1 जैसे नॉन-यूनिफॉर्म ग्रिड्स में, रिप्रेजेंटेबल वैल्यूज के बीच की दूरी बदल जाती है (जैसे, 0.5 से 1.0 से 1.5 तक)। एक लेवल $q_i$ के लिए, बाएँ और दाएँ बिन की चौड़ाई ( $\ell_i$ और $r_i$ ) अक्सर असमान होती है। यदि $r_i > \ell_i$ है, तो यूनिफॉर्म लोकल डेंसिटी के तहत कंडीशनल एक्सपेक्टेड एरर नकारात्मक ( $\frac{\ell_i - r_i}{2} < 0$ ) होता है।
सिस्टमेटिक प्रभाव (Systemic Impact): जीरो-मीन नॉइज़ (zero-mean noise) के विपरीत, जो कैंसिल आउट हो जाता है, यह बायस मैट्रिक्स मल्टीप्लिकेशन (GEMMs) में एक व्यवस्थित एटेन्यूएशन फैक्टर ( $\alpha < 1$ ) के रूप में कार्य करता है। $K$ लेयर्स में, ये फैक्टर्स मल्टीप्लिकेटिव रूप से संचित होते हैं ( $\prod \alpha_k \approx \exp(-\sum \delta_k)$ ), जिससे व्यवस्थित सिग्नल डिके होता है।
RHT इंटरैक्शन: RHT टेंसरों को "डायनेमिक-रेंज-लिमिटेड" से "लोकल-रेसोल्यूशन-लिमिटेड" में बदल देता है। जबकि यह बकेट यूटिलाइजेशन को बेहतर बनाता है, यह डेटा को उन मिड-मैग्निट्यूड क्षेत्रों में धकेलता है जहाँ E2M1 की विषमता सबसे अधिक स्पष्ट होती है, जिससे श्रिंकेज बायस बढ़ जाता है।

2. UFP4 रेसिपी

इस निष्कर्ष के आधार पर कि यूनिफॉर्म ग्रिड्स इस ज्यामितीय त्रुटि को दरकिनार कर देते हैं, लेखक UFP4 (यूनिफॉर्म FP4) प्रस्तावित करते हैं, जो एक E1M2/INT4-स्टाइल यूनिफॉर्म ग्रिड पर आधारित ट्रेनिंग रेसिपी है।

यूनिफॉर्म ग्रिड: E2M1 के विपरीत, E1M2 ग्रिड लेवल्स के बीच समान अंतराल ( $\ell_i = r_i$ ) बनाए रखता है, जिससे ज्यामितीय स्रोत (geometric source) समाप्त हो जाता है।
पूर्ण RHT कवरेज: क्योंकि यूनिफॉर्म ग्रिड अनबायस्ड है, UFP4 सभी तीन ट्रेनिंग GEMM पाथ्स: फॉरवर्ड (FPROP), डेटा ग्रेडिएंट (DGRAD), और वेट ग्रेडिएंट (WGRAD) पर सुरक्षित रूप से RHT लागू कर सकता है। पिछली E2M1 रेसिपीज़ ने नॉन-लीफ पाथ्स में एरर को बढ़ने से रोकने के लिए वेट-ग्रेडिएंट पाथ तक RHT को सीमित रखा था।
स्टोकेस्टिक राउंडिंग (SR): ग्रेडिएंट एक्सपेक्टेशन्स को बनाए रखने के लिए केवल अपस्ट्रीम ग्रेडिएंट ($dY$) पर SR लागू किया जाता है, जबकि अन्य जगहों पर RTNE का उपयोग किया जाता है।

मुख्य योगदान (Key Contributions)

श्रिंकेज बायस की पहचान: पेपर औपचारिक रूप से परिभाषित और प्रदर्शित करता है कि नॉन-यूनिफॉर्म फॉर्मेट्स (E2M1) अपनी ज्यामितीय विषमता के कारण स्वाभाविक रूप से व्यवस्थित नकारात्मक राउंडिंग एरर से ग्रस्त होते हैं, जो कि डिस्ट्रीब्यूशन-इंड्यूस्ड क्वांटाइजेशन एरर से अलग है।
अस्थिरता का एकीकृत स्पष्टीकरण: यह मौजूदा E2M1-आधारित रेसिपीज़ की ट्रेनिंग अस्थिरता के लिए एक सैद्धांतिक और अनुभवजन्य स्पष्टीकरण प्रदान करता है, यह दिखाते हुए कि कैसे श्रिंकेज बायस मल्टीप्लिकेटिव रूप से संचित होता है और RHT द्वारा बढ़ाया जाता है।
UFP4 का प्रस्ताव: एक नई 4-बिट ट्रेनिंग रेसिपी जो यूनिफॉर्म ग्रिड्स (E1M2/INT4) का उपयोग करती है, जो सभी ट्रेनिंग GEMMs में व्यापक RHT को सक्षम बनाती है, जिससे बेहतर बकेट यूटिलाइजेशन को उच्च क्वांटाइजेशन क्वालिटी में बदला जा सके।
औद्योगिक-स्तर का सत्यापन: इस दृष्टिकोण को Dense 1.5B, MoE 7.9B, और MoE 124B मॉडल्स पर सत्यापित किया गया है, जो यह दर्शाता है कि यूनिफॉर्म ग्रिड्स व्यावहारिक फर्स्ट-क्लास FP4 ट्रेनिंग फॉर्मेट्स हैं।

प्रयोगात्मक परिणाम (Experimental Results)

क्वांटाइजेशन और GEMM डायग्नोस्टिक्स

RHT का प्रभाव: आउटलायर-हेवी टेंसरों पर, RHT दोनों फॉर्मेट्स के लिए प्रभावी बकेट रेशियो में सुधार करता है। हालाँकि, परिणामी सिग्नल-टू-क्वांटाइजेशन-नॉइज़ रेशियो (SQNR) अलग होता है: E1M2, RHT के बाद बेहतर SQNR दिखाता है, जबकि E2M1 अक्सर डिग्रेड (नेगेटिव $\Delta$ SQNR) होता है क्योंकि शिफ्ट किया गया डेटा विषम बिन्स में लैंड करता है।
GEMM आउटपुट: सिंगल-GEMM टेस्ट में, E1M2 फॉरवर्ड और बैकवर्ड पाथ्स में RHT के साथ आउटपुट SQNR को बनाए रखता है या सुधारता है, जबकि E2M1, विशेष रूप से बैकवर्ड पाथ्स में, गिरावट का सामना करता है।

एंड-टू-एंड प्रीट्रेनिंग

लॉस डिग्रेडेशन: लॉन्ग-रन प्रीट्रेनिंग टास्क पर, UFP4 (E1M2) मजबूत E2M1 बेसलाइन्स की तुलना में लगातार कम BF16-सापेक्ष लॉस डिग्रेडेशन प्राप्त करता है।
- Dense 1.5B: रिलेटिव एरर 1.2570% (E2M1) से घटकर 0.9673% (UFP4) रह गया।
- MoE 7.9B: 2.3596% से घटकर 1.8469% हो गया।
- MoE 124B: 1.7308% से घटकर 1.3863% हो गया।
स्केलिंग लॉज़: UFP4 का लाभ मॉडल स्केल (10M से 324M पैरामीटर्स) में बना रहता है। फिट की गई लॉस कर्व्स दिखाती हैं कि E1M2 का BF16 के साथ गैप E2M1 के गैप से छोटा रहता है, और FP4 पेनल्टी कंप्यूट स्केल के साथ नहीं बढ़ती है।
एब्लेशन स्टडीज (Ablation Studies):
- RHT स्कोप: फुल RHT कवरेज (सभी तीन GEMMs) UFP4 के लिए सबसे अच्छे परिणाम देता है, जबकि RHT को सीमित करना (जैसा कि E2M1 रेसिपीज़ में किया गया है) प्रदर्शन को सीमित करता है।
- रेंज रिस्ट्रिक्शन: E2M1 के डायनेमिक रेंज को प्रतिबंधित करके (जैसे, मैक्स वैल्यू को कैप करना) एक यूनिफॉर्म ग्रिड का अनुकरण करने के प्रयास विफल रहे, क्योंकि उन्होंने डायनेमिक रेंज की बलि दी लेकिन बायस को पूरी तरह से खत्म नहीं कर पाए।

दक्षता (Efficiency)

कर्नेल फ्यूजन (Kernel Fusion): लेखक प्रदर्शित करते हैं कि RHT को FP4 क्वांटाइजेशन के साथ कुशलतापूर्वक फ्यूज किया जा सकता है। टेस्ट किए गए हार्डवेयर (SM90/SM100) पर, फ्यूज्ड RHT+क्वांटाइजेशन लेटेंसी स्टैंडअलोन क्वांटाइजेशन की तुलना में केवल ~1.06x–1.07x है, जबकि अनफ्यूज्ड इम्प्लीमेंटेशन के लिए यह ~1.4x–1.6x है।

महत्व और दावे (Significance and Claims)

पेपर यह तर्क देता है कि E2M1 को एकमात्र व्यवहार्य FP4 ट्रेनिंग फॉर्मेट के रूप में मानने का वर्तमान उद्योग मानक इसकी ज्यामितीय सीमाओं के कारण उप-इष्टतम (suboptimal) है। इस कार्य का महत्व यहाँ है:

यथास्थिति को चुनौती देना: यह सुझाव देता है कि भविष्य के ML एक्सेलरेटर्स को केवल E2M1 पर निर्भर रहने के बजाय, E2M1 के साथ प्रथम श्रेणी के ट्रेनिंग प्रिमिटिव के रूप में E1M2/INT4-स्टाइल यूनिफॉर्म 4-बिट ग्रिड्स का समर्थन करना चाहिए।
फॉर्मेट-रेजीम मिसमैच: यह उजागर करता है कि आउटलायर मिटिगेशन तकनीकों (जैसे RHT) की प्रभावशीलता अंडरलाइंग ग्रिड ज्योमेट्री पर निर्भर करती है। RHT यूनिफॉर्म ग्रिड्स के लिए फायदेमंद है लेकिन नॉन-यूनिफॉर्म ग्रिड्स के लिए हानिकारक है।
व्यावहारिक रेसिपी: UFP4 एक ठोस, स्केलेबल रेसिपी प्रदान करता है जो जटिल एस्टीमेटर संशोधनों की आवश्यकता के बिना, केवल ग्रिड ज्योमेट्री को पोस्ट-RHT टेंसर डिस्ट्रीब्यूशन के साथ संरेखित करके, FP4 और BF16 ट्रेनिंग के बीच के अंतर को कम करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि E2M1 रेंज-लिमिटेड वर्कलोड और इन्फरेंस के लिए उपयुक्त है, ट्रेनिंग हार्डवेयर को यूनिफॉर्म ग्रिड्स को सपोर्ट करने के लिए विकसित होना चाहिए ताकि FP4 प्रीट्रेनिंग की पूरी क्षमता का लाभ उठाया जा सके।