🤖 AI

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling

यह शोध पत्र FOCUS को प्रस्तुत करता है, जो एक पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो 'कपल्ड-रिलैक्सेशन स्केलिंग' (Coupled-Relaxation Scaling) के माध्यम से सीखने योग्य क्वांटाइजेशन स्केल्स को हार्डवेयर बाधाओं से अलग करने और सूक्ष्म वेट अनुकूलन (weight adaptation) के लिए 'डुअल-ग्रैनुलैरिटी स्केलिंग' (Dual-Granularity Scaling) का उपयोग करके लार्ज लैंग्वेज मॉडल्स के लिए FP4 सटीकता को बढ़ाता है, जिससे बिना किसी अतिरिक्त इन्फरेंस ओवरहेड के अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

प्रकाशित 2026-08-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ज्ञान के एक विशाल, जटिल पुस्तकालय को एक छोटे से, पोर्टेबल बैकपैक में फिट करने की कोशिश कर रहे हैं। यह "लार्ज लैंग्वेज मॉडल्स" (LLMs) के लिए दैनिक संघर्ष है, जो वे सुपर-स्मार्ट कंप्यूटर दिमाग हैं जो कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं, और मनुष्यों की तरह चैट कर सकते हैं। समस्या यह है कि ये दिमाग इतने विशाल हैं कि उन्हें चलाने के लिए भारी मात्रा में मेमोरी और शक्ति की आवश्यकता होती है, जिससे उन्हें रोजमर्रा के उपकरणों पर उपयोग करना महंगा और धीमा हो जाता है। इसे ठीक करने के लिए, वैज्ञानिक "क्वांटाइजेशन" (quantization) नामक एक ट्रिक का उपयोग करते हैं। इसे एक हाई-डेफिनिशन, 4K मूवी को एक लो-रेज़ोल्यूशन फॉर्मेट में बदलने की तरह समझें ताकि वह पुराने फोन पर फिट हो सके। लक्ष्य डेटा को छोटा करना है बिना उसकी कहानी खोए। हाल ही में, "FP4" नामक एक नया, सुपर-टाइनी फॉर्मेट उभरा है, जिसे आधुनिक कंप्यूटर चिप्स द्वारा समर्थित किया गया है, जो इन मॉडल्स को और भी अधिक सिकोड़ने का वादा करता है। हालांकि, इसमें एक पेंच है: डेटा को इतना छोटा करने से अक्सर मॉडल कुछ चीजें "भूल" जाता है या भ्रमित हो जाता है, जिससे सटीकता कम हो जाती है। बड़ा सवाल यह है: हम मॉडल की बुद्धिमत्ता को खराब किए बिना उसे इस छोटे आकार तक कैसे सिकोड़ें?

यह पेपर ठीक इसी समस्या को हल करने के लिए एक चतुर नई विधि पेश करता है जिसे FOCUS कहा जाता है। शोधकर्ताओं ने महसूस किया कि इन मॉडल्स को सिकोड़ने का वर्तमान तरीका बहुत कठोर था। कल्पना कीजिए कि आप एक सूटकेस पैक कर रहे हैं। मानक नियम कहता है: "आपको अपने कपड़ों को पैक करने के लिए बिल्कुल समान, पहले से बने छोटे बक्सों का उपयोग करना होगा, और आपको उन्हें बाद में अनपैक करने के लिए भी उन्हीं बक्सों का उपयोग करना होगा।" पेपर का तर्क है कि यह मूर्खतापूर्ण है। जबकि आपको कपड़ों को स्टोर करने के लिए छोटे बक्सों का उपयोग करना होगा (क्योंकि वही आपके सूटकेस में फिट होते हैं), आपको शुरुआत में कपड़ों को कैसे मोड़ना है, यह समझने के लिए उन्हीं छोटे बक्सों का उपयोग करने की आवश्यकता नहीं है। आप पैकिंग की योजना बनाने के लिए एक बड़े, लचीले मापने वाले टेप का उपयोग कर सकते हैं, और फिर परिणाम को छोटे बक्सों में फिट कर सकते हैं।

FOCUS इस अंतर्दृष्टि का उपयोग करके मॉडल्स को छोटे FP4 फॉर्मेट के लिए तैयार करने के तरीके में सुधार करता है। यह दो मुख्य ट्रिक्स पेश करता है:

कपलड-रिलैक्सेशन स्केलिंग (Coupled-Relaxation Scaling - CRS): यह वह "लचीला मापने वाला टेप" है। पुराने तरीके में, कंप्यूटर को संख्याओं को सिकोड़ने का निर्णय लेने के लिए एक बहुत ही मोटा, कम-परिशुद्धता वाला रूलर (पैमाना) उपयोग करना पड़ता था, और उसे उन संख्याओं को वापस जोड़ने के लिए भी उसी मोटे रूलर का उपयोग करना पड़ता था। FOCUS कहता है, "आइए संख्याओं को सिकोड़ने की गणितीय गणना के लिए एक सुपर-प्रिसाइज, फुल-साइज़ रूलर का उपयोग करें, और फिर परिणाम को मोटे बॉक्स में दबा दें।" यह कंप्यूटर को डेटा को बेहतर तरीके से पैक करने का तरीका खोजने की अनुमति देता है बिना छोटे फॉर्मेट के नियमों को तोड़े।
डुअल-ग्रैनुलैरिटी स्केलिंग (Dual-Granularity Scaling - DGS): यह छोटी वस्तुओं को पैक करने के बारे में है। पुराना तरीका 32 संख्याओं के एक पूरे समूह को एक बड़े टुकड़े के रूप में मानता था, जिसमें सभी के लिए एक ही रूलर का उपयोग किया जाता था। लेकिन क्या होगा यदि उस समूह में कुछ संख्याएँ बहुत बड़ी हों और अन्य बहुत छोटी हों? FOCUS उस बड़े समूह को छोटे उप-समूहों में विभाजित करता है (जैसे एक बड़े पिज्जा को स्लाइस में काटना) और प्रत्येक स्लाइस को अपना कस्टम रूलर देता है। यह कंप्यूटर को डेटा के विशिष्ट विवरणों के अनुकूल होने की अनुमति देता है, बजाय इसके कि सब कुछ एक 'वन-साइज-फिट्स-ऑल' बॉक्स में जबरदस्ती डाला जाए।

परिणाम प्रभावशाली हैं। जब शोधकर्ताओं ने कई अलग-अलग AI मॉडल्स (जैसे Qwen और LLaMA) पर FOCUS का परीक्षण किया, तो इसने लगातार अन्य सभी तरीकों को पछाड़ दिया। उदाहरण के लिए, Qwen3-4B नामक एक मॉडल पर, FOCUS ने NVFP4 का उपयोग करते समय मूल मॉडल की सटीकता का 98.2% हिस्सा सफलतापूर्वक प्राप्त किया, और MXFP4 के साथ 96.2%। यह एक महत्वपूर्ण उछाल है क्योंकि पिछले तकनीकें अक्सर 90% या 94% से ऊपर रहने के लिए संघर्ष करती थीं।

महत्वपूर्ण रूप से, पेपर दिखाता है कि FOCUS मॉडल को धीमा या उपयोग करने में कठिन नहीं बनाता है। भले ही कंप्यूटर मॉडल को तैयार करने के दौरान (ट्रेनिंग या कैलिब्रेशन चरण के दौरान) अतिरिक्त गणित करता है, अंतिम मॉडल किसी भी अन्य FP4 मॉडल की तरह ही तेजी से चलता है। एक सिंगल हाई-एंड GPU पर Qwen3-4B मॉडल को तैयार करने में लगभग 19 मिनट लगते हैं, जो वास्तव में कुछ प्रतिस्पर्धी तरीकों की तुलना में तेज़ है। शोधकर्ता इस बात पर जोर देते हैं कि यह एक "पोस्ट-ट्रेनिंग" विधि है, जिसका अर्थ है कि उन्हें मॉडल को फिर से शुरू से सिखाने की आवश्यकता नहीं है; वे बस पैकिंग निर्देशों को थोड़ा ट्यून करते हैं।

संक्षेप में, FOCUS सुझाव देता है कि संकुचन (shrinkage) की गणना करने के तरीके पर नियमों को ढीला करके (जबकि अंतिम स्टोरेज फॉर्मेट को सख्त रखते हुए), हम इन विशाल AI दिमागों को छोटे स्थानों में बिना उनकी बुद्धिमत्ता खोए फिट कर सकते हैं। यह एक शर्ट को पूरी तरह से मोड़ने के लिए एक बड़ी मेज का उपयोग करने जैसा है, भले ही आपके पास उसे स्टोर करने के लिए केवल एक छोटा दराज हो। पेपर साबित करता है कि यह दृष्टिकोण पुराने, कठोर तरीकों की तुलना में बेहतर काम करता है, जो उन उपकरणों पर शक्तिशाली AI चलाने का एक मार्ग प्रदान करता है जो वर्तमान में इसे संभालने में सक्षम नहीं हैं।

तकनीकी सारांश: FOCUS – कपल्ड-रिलैक्सेशन और ड्यूल-ग्रैनुलैरिटी स्केलिंग के माध्यम से FP4 अनुकूलन

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) अपने विशाल पैरामीटर काउंट के कारण महत्वपूर्ण परिनियोजन (deployment) चुनौतियों का सामना करते हैं, जिसके लिए कुशल संपीड़न तकनीकों की आवश्यकता होती है। जबकि पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) एक मानक दृष्टिकोण बन गया है, 4-बिट फ्लोटिंग-पॉइंट (FP4) स्वरूपों जैसे MXFP4 और NVFP4 तक क्वांटाइजेशन को ले जाना कठिन बना हुआ है। ये स्वरूप आधुनिक एक्सीलरेटर्स (जैसे, NVIDIA Blackwell) पर ब्लॉक-वाइज स्केलिंग स्कीमों (जैसे, 32 या 16 मानों को साझा करने वाला एक लो-प्रिसिजन स्केल) के माध्यम से नेटिव हार्डवेयर सपोर्ट प्रदान करते हैं।

हालाँकि, FP4 प्रिसिजन के तहत मॉडल की सटीकता बनाए रखना एक निरंतर बाधा है। मौजूदा विधियों में एक महत्वपूर्ण सीमा क्वांटाइजेशन स्केल ( $S_q$ ) और डीक्वांटाइजेशन स्केल ( $S_{dq}$ ) के बीच टाइट कपलिंग (tight coupling) है। वर्तमान दृष्टिकोण दोनों स्केल्स को एक ही डिस्क्रीट, लो-प्रिसिजन हार्डवेयर फॉर्मेट (जैसे, MXFP4 के लिए E8M0) और एक ही ब्लॉक ग्रैनुलैरिटी का पालन करने के लिए मजबूर करते हैं। यह उप-इष्टतम (suboptimal) है क्योंकि:

रिडंडेंट कंस्ट्रेंट्स (Redundant Constraints): केवल डीक्वांटाइजेशन स्केल ( $S_{dq}$ ) ही स्टोर और इन्फरेंस के दौरान उपयोग किया जाता है, इसलिए इसे हार्डवेयर बाधाओं का पालन करने की आवश्यकता है। क्वांटाइजेशन स्केल ( $S_q$ ), जो केवल ऑफलाइन क्वांटाइजेशन प्रक्रिया के दौरान सर्वोत्तम FP4 वेट असाइनमेंट निर्धारित करने के लिए उपयोग किया जाता है, बाद में हटा दिया जाता है और इसे इन बाधाओं का पालन करने की आवश्यकता नहीं है।
डिस्क्रीट ऑप्टिमाइज़ेशन स्पेस (Discrete Optimization Space): $S_q$ को एक डिस्क्रीट लो-प्रिसिजन फॉर्मेट में मजबूर करके, मौजूदा विधियाँ ऑप्टिमाइज़ेशन लैंडस्केप को प्रतिबंधित करती हैं, जिससे ग्रेडिएंट-आधारित लर्निंग के लिए इष्टतम वेट असाइनमेंट खोजने में बाधा आती है।
ग्रैनुलैरिटी मिसमैच (Granularity Mismatch): एक सिंगल ब्लॉक-लेवल स्केल एक ब्लॉक के भीतर स्थानीय वेट वेरिएशंस को कैप्चर नहीं कर सकता, जिससे क्वांटाइजेशन एरर होता है।

कार्यप्रणाली (Methodology)

लेखक FOCUS प्रस्तावित करते हैं, जो एक पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो इन्फरेंस ओवरहेड पेश किए बिना FP4 सटीकता को अनुकूलित करने के लिए क्वांटाइजेशन स्केल की "स्वतंत्रता" का लाभ उठाता है। यह फ्रेमवर्क दो प्रमुख आयामों पर कार्य करता है: प्रिसिजन (Precision) और ग्रैनुलैरिटी (Granularity)।

1. बेसलाइन: एंड-टू-एंड स्केल लर्निंग

लेखक पहले एक बेसलाइन स्थापित करते हैं जहाँ मॉडल के वेट्स फ्रीज (frozen) हैं, और ब्लॉक-वाइज स्केल्स को नॉलेज डिस्टिलेशन लॉस (KL-Top) का उपयोग करके एंड-टू-एंड सीखा जाता है। पारंपरिक PTQ के विपरीत, यह बेसलाइन नॉन-डिफरेंशिएबल क्वांटाइजेशन ऑपरेशंस को संभालने के लिए स्ट्रेट-थ्रू एस्टीमेटर (STE) का उपयोग करके ग्रेडिएंट डिसेंट के माध्यम से स्केल्स को ऑप्टिमाइज़ करती है। हालाँकि, यह बेसलाइन अभी भी $S_q = S_{dq}$ को लागू करती है, जिससे टाइट कपलिंग बनी रहती है।

2. कपल्ड-रिलैक्सेशन स्केलिंग (Coupled-Relaxation Scaling - CRS)

प्रिसिजन कंस्ट्रेंट को संबोधित करने के लिए, FOCUS एक लर्न करने योग्य फुल-प्रिसिजन कोएफिशिएंट, $c_i$ को पेश करके क्वांटाइजेशन स्केल को हार्डवेयर-मैन्डेटेड फॉर्मेट से अलग (decouple) करता है।

मैकेनिज्म: CRS एक लर्न करने योग्य फुल-प्रिसिजन कोएफिशिएंट, $c_i$ को पेश करके क्वांटाइजेशन स्केल को हार्डवेयर-मैन्डेटेड फॉर्मेट से अलग करता है।
फॉर्मूलेशन: क्वांटाइजेशन स्केल को $S_q = S_{dq} \cdot c_i$ के रूप में परिभाषित किया गया है, जहाँ $S_{dq}$ एक हार्डवेयर-कंप्लायंट स्केल (E4M3 या E8M0 में क्वांटाइज किया गया) है और $c_i$ एक फुल-प्रिसिजन (FP16) लर्न करने योग्य पैरामीटर है जिसे 1 पर इनिशियलाइज़ किया गया है।
प्रभाव: यह टाइट कपलिंग को कम करता है, जिससे $S_q$ का ऑप्टिमाइज़ेशन एक डिस्क्रीट लो-प्रिसिजन स्पेस से एक कंटीन्यूअस फुल-प्रिसिजन स्पेस में स्थानांतरित हो जाता है। यह मॉडल को बेहतर FP4 वेट असाइनमेंट खोजने की अनुमति देता है जबकि यह सुनिश्चित करता है कि $S_{dq}$ हार्डवेयर आवश्यकताओं के अनुरूप रहे। कोएफिशिएंट $c_i$ को ट्रेनिंग के बाद हटा दिया जाता है।

3. ड्यूल-ग्रैनुलैरिटी स्केलिंग (Dual-Granularity Scaling - DGS)

ग्रैनुलैरिटी कंस्ट्रेंट को संबोधित करने के लिए, FOCUS प्रत्येक हार्डवेयर ब्लॉक (MXFP4 के लिए आकार 32, NVFP4 के लिए आकार 16) को छोटे सब-ब्लॉक्स (जैसे, आकार 8) में विभाजित करता है। प्रत्येक सब-ब्लॉक को एक स्वतंत्र फुल-प्रिसिजन रिलैक्सेशन कोएफिशिएंट ( $c_k$ ) सौंपा जाता है।

मैकेनिज्म: DGS प्रत्येक हार्डवेयर ब्लॉक को छोटे सब-ब्लॉक्स में विभाजित करता है। प्रत्येक सब-ब्लॉक को एक स्वतंत्र फुल-प्रिसिजन रिलैक्सेशन कोएफिशिएंट ( $c_k$ ) सौंपा जाता है।
फॉर्मूलेशन: एक सब-ब्लॉक $k$ के लिए क्वांटाइजेशन $\bar{W}_k = Q(W_k / (S_{dq} \cdot c_k))$ बन जाता है, जबकि डीक्वांटाइजेशन स्केल $S_{dq}$ पूरे ब्लॉक में साझा रहता है।
प्रभाव: यह क्वांटाइजेशन स्केल को डीक्वांटाइजेशन स्केल की तुलना में सूक्ष्म ग्रैनुलैरिटी पर संचालित करने की अनुमति देता है, जिससे ब्लॉक के भीतर स्थानीय वेट वेरिएशंस को कैप्चर किया जा सके जिन्हें एक सिंगल ब्लॉक-लेवल स्केल मिस कर सकता है। CRS की तरह, इन कोएफिशिएंट्स को भी पोस्ट-ट्रेनिंग के बाद हटा दिया जाता है।

4. परिनियोजन और अनुकूलता (Deployment and Compatibility)

FOCUS संरचनात्मक रूपांतरणों (जैसे, हैडामार्ड रोटेशन) पर निर्भर नहीं करता है जो अक्सर इन्फरेंस ओवरहेड या फ्रेमवर्क संशोधनों की आवश्यकता पैदा करते हैं। तैनात किया गया अंतिम मॉडल पूरी तरह से स्टैंडर्ड FP4 वेट्स और हार्डवेयर-कंप्लायंट डीक्वांटाइजेशन स्केल्स से बना होता है, जो मौजूदा इन्फरेंस इंजनों के साथ निर्बाक अनुकूलता और शून्य अतिरिक्त इन्फरेंस लागत सुनिश्चित करता है।

मुख्य योगदान (Key Contributions)

इनसाइट आइडेंटिफिकेशन: पेपर पहचानता है कि क्वांटाइजेशन स्केल, डीक्वांटाइजेशन स्केल के विपरीत, हार्डवेयर बाधाओं से मुक्त है, और प्रिसिजन और ग्रैनुलैरिटी दोनों में इस स्वतंत्रता का लाभ उठाने का प्रस्ताव करता है।
कपल्ड-रिलैक्सेशन स्केलिंग (CRS): यह तकनीक एक लर्न करने योग्य फुल-प्रिसिजन कोएफिशिएंट पेश करके क्वांटाइजेशन और डीक्वांटाइजेशन स्केल्स के बीच कपलिंग को कम करती है, जिससे कंटीन्यूअस ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन संभव होता है।
ड्यूल-ग्रैनुलैरिटी स्केलिंग (DGS): यह विधि सब-ब्लॉक स्तर पर क्वांटाइजेशन स्केल्स असाइन करती है, जो उन स्थानीय वेट वेरिएशंस को कैप्चर करती है जिन्हें ब्लॉक-वाइज स्केलिंग कैप्चर नहीं कर पाता।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: व्यापक प्रयोग प्रदर्शित करते हैं कि FOCUS कई LLM परिवारों (Qwen, LLaMA) में बिना किसी इन्फरेंस ओवरहेड के MXFP4 और NVFP4 दोनों फॉर्मेट्स के तहत SOTA FP4 सटीकता प्राप्त करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच LLMs (Qwen3-4B/8B, LLaMA-3.1-8B, LLaMA-3.2-1B/3B) पर WikiText2, C4, और पांच ज़ीरो-शॉट रीजनिंग बेंचमार्क (ARC, HellaSwag, PIQA, Winogrande) का उपयोग करके FOCUS का मूल्यांकन किया।

एक्यूरेसी रिकवरी: NVFP4 के तहत Qwen3-4B पर, FOCUS FP16 ज़ीरो-शॉट सटीकता का 98.2% रिकवर करता है, जो RTN, GPTQ, MR-GPTQ, 4over6, और RaZeR जैसे बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
परप्लेक्सिटी (Perplexity): FOCUS लगभग सभी सेटिंग्स में सबसे कम परप्लेक्सिटी प्राप्त करता है। Qwen3-8B के लिए, यह WikiText2 (NVFP4) पर 9.47 परप्लेक्सिटी तक पहुँचता है, जो FP16 बेसलाइन (9.73) के लगभग बराबर है।
रीजनिंग क्षमताएं: चेन-ऑफ-थॉट कार्यों (GSM8K, MMLU) पर, FOCUS लगातार प्रतिस्पर्धी विधियों से बेहतर प्रदर्शन करता है, अन्य FP4 क्वांटाइजेशन अप्रोच की तुलना में मल्टी-स्टेप रीजनिंग क्षमताओं को बेहतर ढंग से सुरक्षित रखता है।
दक्षता (Efficiency): क्वांटाइजेशन प्रक्रिया बहुत हल्की है। एक सिंगल NVIDIA H20 GPU पर, Qwen3-4B को क्वांटाइज़ करने में 19 मिनट लगते हैं, जो पिछले SOTA मेथड (MR-GPTX) की तुलना में 34% तेज़ है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि FOCUS क्वांटाइजेशन स्केल की भूमिका पर पुनर्विचार करके FP4 क्वांटाइजेशन में एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है। यह पहचानकर कि क्वांटाइजेशन स्केल को स्टोर करने या हार्डवेयर बाधाओं का पालन करने की आवश्यकता नहीं है, लेखक एक महत्वपूर्ण, पहले से अनछुए ऑप्टिमाइज़ेशन स्पेस को अनलॉक करते हैं।

इसका महत्व FP4 इन्फरेंस के लिए स्टेट-ऑफ-द-आर्ट सटीकता प्राप्त करने में निहित है, जबकि शून्य इन्फरेंस ओवरहेड और निर्बाक हार्डवेयर अनुकूलता बनाए रखी जाती है। रूपांतरण-आधारित विधियों के विपरीत जो कंप्यूटेशनल लागत बढ़ाते हैं या फ्रेमवर्क अनुकूलन की आवश्यकता रखते हैं, FOCUS पूरी तरह से स्केल ऑप्टिमाइज़ेशन स्पेस के भीतर कार्य करता है। लेखक दावा करते हैं कि उनका दृष्टिकोण प्रभावी रूप से FP4 और फुल-प्रिसिजन (FP16) मॉडल्स के बीच के प्रदर्शन अंतर को पाटता है, जिससे व्यावहारिक परिनियोजन के लिए उच्च-दक्षता वाली W4A4 इन्फरेंस अधिक व्यवहार्य हो जाती है।