Is Finer Better? The Limits of Microscaling Formats in Large Language Models
यह शोध पत्र यह प्रकट करता है कि माइक्रोसकेलिंग क्वांटाइजेशन में घटते ब्लॉक आकार, संकीर्ण टेंसर वितरण और सीमित स्केल डायनेमिक रेंज के बीच परस्पर क्रिया के कारण विरोधाभासी रूप से मॉडल के प्रदर्शन को खराब कर सकते हैं, जिससे लेखक स्केल्स के लिए एक नए FP8 अनसाइंड E5M3 फॉर्मेट का प्रस्ताव देते हैं जो वैश्विक स्केलिंग ऑपरेशन्स की आवश्यकता को समाप्त करते हुए सटीकता बनाए रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: मॉडल को छोटा करना
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) ज्ञान का एक विशाल पुस्तकालय है। इसे एक छोटे बैकपैक में फिट करने के लिए (ताकि यह फोन पर तेज़ी से चल सके या ऊर्जा बचा सके), वैज्ञानिक किताबों को छोटा करने की कोशिश कर रहे हैं। वे ऐसा डेटा को "क्वांटाइज़" (quantize) करके करते हैं, जिसका अर्थ है संख्याओं को राउंड ऑफ करना ताकि कम बिट्स का उपयोग हो सके (जैसे "3.14" को केवल "3" लिखना)।
हाल ही में, माइक्रोस्केलिंग (Microscaling) नामक एक नई तकनीक लोकप्रिय हुई है। पूरे पुस्तकालय को मापने के लिए एक ही बड़े पैमाने का उपयोग करने के बजाय, उन्होंने किताबों के छोटे समूहों के लिए छोटे, व्यक्तिगत पैमाने का उपयोग करना शुरू कर दिया। तर्क यह था: "समूह जितना छोटा होगा, हम उसके अंदर की किताबों को उतनी ही सटीकता से माप पाएंगे।"
आश्चर्य: छोटा होना हमेशा बेहतर नहीं होता
इस शोध पत्र के शोधकर्ताओं ने एक अजीब गड़बड़ी (glitch) खोजी। उन्हें उम्मीद थी कि समूहों (या "ब्लॉक्स") को छोटा करने से मॉडल हमेशा अधिक स्मार्ट होगा। लेकिन उन्होंने पाया कि कुछ मॉडलों के साथ इसके विपरीत हुआ।
उपमा: बिना निशान वाला स्केल (रूलर)
कल्पना कीजिए कि आप एक बहुत छोटे कंकड़ को माप रहे हैं।
- पुराना तरीका: आप एक बड़ा स्केल इस्तेमाल करते हैं जिसमें हर इंच पर निशान होते हैं। आप कंकड़ को ठीक से नहीं माप पाते, इसलिए आप अंदाज़ा लगाते हैं।
- नया तरीका (माइक्रोस्केलिंग): आप एक छोटा स्केल बदलते हैं जो कंकड़ के आकार के हिसाब से बिल्कुल सटीक है। यह बेहतर होना चाहिए, है ना?
- समस्या: उस छोटे स्केल में एक खराबी है। उसका "शून्य बिंदु" (zero point) और उसके सबसे छोटे निशान एक-दूसरे से बहुत दूर हैं। यदि कंकड़ बहुत छोटा है, तो स्केल उसे देख ही नहीं पाएगा। वह बस कहेगा, "यह शून्य है।"
शोधकर्ताओं ने पाया कि जब डेटा के "ब्लॉक्स" बहुत छोटे हो जाते हैं, तो उन्हें मापने के लिए इस्तेमाल किया जाने वाला "स्केल" (जिसे scale कहा जाता है) अपनी सटीकता खो देता है। वह बहुत छोटी संख्याओं को दर्शाने में सक्षम नहीं रहता। इसलिए, भले ही आप एक छोटा समूह माप रहे हों, आप वास्तव में अधिक जानकारी खो रहे हैं क्योंकि आपका स्केल उन नन्ही चीज़ों के लिए बहुत अनाड़ी है।
इस कारण से एक घटना हुई जिसे लेखक "परप्लेक्सिटी इन्वर्जन" (Perplexity Inversion) कहते हैं। आमतौर पर, जैसे-जैसे आप ब्लॉक्स को छोटा करते हैं, मॉडल बेहतर होता जाता है। लेकिन इस गड़बड़ी के साथ, एक बार जब ब्लॉक्स बहुत छोटे हो जाते हैं, तो मॉडल अचानक खराब होने लगता है।
ऐसा क्यों होता है?
शोधकर्ताओं ने गणित की गहराई में जाकर अपराधी को खोज निकाला: द स्केल (The Scale)।
इस प्रणाली में, प्रत्येक संख्या समूह के पास एक "स्केल" संख्या होती है जो कंप्यूटर को बताती है कि उस समूह के नंबर कितने बड़े हैं।
- चौड़े समूह (Wide Groups): यदि एक समूह में बड़ी और छोटी दोनों संख्याएँ हैं, तो स्केल बड़ा होता है। यहाँ स्केल ठीक से काम करता है।
- संकीकर समूह (Narrow Groups): यदि किसी समूह में केवल बहुत छोटी संख्याएँ हैं (जैसे 0.0001), तो उन्हें सटीक रूप से मापने के लिए स्केल को बहुत छोटा होना पड़ेगा।
- गड़बड़ी (The Glitch): वर्तमान हार्डवेयर एक विशिष्ट प्रकार के स्केल (जिसे FP8 E4M3 कहा जाता है) का उपयोग करता है जिसकी एक सीमित रेंज है। यह बहुत छोटे स्केल को संभालने में सक्षम नहीं है। जब ब्लॉक का आकार छोटा होता है, तो उसके अंदर की संख्याएँ इतनी छोटी हो जाती हैं कि स्केल की "सबसे छोटी सेटिंग" भी उनके मुकाबले बहुत बड़ी होती है। कंप्यूटर सब कुछ शून्य मानकर राउंड ऑफ कर देता है, और मॉडल जानकारी भूल जाता है।
समाधान: एक बेहतर स्केल
लेखकों ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने इसे ठीक करने के लिए एक बेहतर उपकरण बनाया।
उन्होंने एक नया फॉर्मेट प्रस्तावित किया जिसे FP8 Unsigned E5M3 (UE5M3) कहा जाता है।
- सुधार: पुराने स्केल को ऐसे सोचें जिसमें "आकार" (exponent) के लिए 4 निशान और "विस्तार" (mantissa) के लिए 3 निशान थे।
- अपग्रेड: उन्होंने एक अप्रयुक्त बिट (एक छोटा स्विच) लिया और उसे एक अतिरिक्त "आकार" के निशान में बदल दिया। अब स्केल के पास आकार के लिए 5 निशान और विस्तार के लिए 3 निशान हैं।
यह कैसे मदद करता है:
यह नया स्केल बहुत अधिक छोटी संख्याओं को बिना शून्य में बदले माप सकता है। यह स्केल के "निचले हिस्से" को बढ़ा देता है ताकि यह उन नन्हे कंकड़ों को स्पष्ट रूप से देख सके।
परिणाम
शोधकर्ताओं ने कई AI मॉडलों (जैसे Llama और Granite) पर इस नए स्केल का परीक्षण किया।
- सुधार के बिना: जब उन्होंने ब्लॉक्स को बहुत छोटा किया, तो मॉडल भ्रमित हो गए और अधिक गलतियाँ करने लगे।
- नए स्केल (UE5M3) के साथ: मॉडल सटीक रहे, भले ही ब्लॉक्स बहुत छोटे थे। वास्तव में, इसने एक जटिल वर्कअराउंड (जुगाड़) के समान प्रदर्शन किया जहाँ उन्हें मापने से पहले संख्याओं को मैन्युअल रूप से खींचना (stretch) पड़ता था, लेकिन बिना उस अतिरिक्त, महंगे चरण के।
सारांश
यह शोध पत्र हमें सिखाता है कि AI संपीड़न (compression) में, छोटा होना हमेशा बेहतर नहीं होता। यदि आप अपने डेटा समूहों को बहुत अधिक छोटा कर देते हैं, तो आप उस मापने वाले उपकरण को तोड़ सकते हैं जिसका उपयोग आप उन्हें पढ़ने के लिए करते हैं। उस मापने वाले उपकरण के डिज़ाइन में थोड़ा सा बदलाव करके (रेंज के लिए एक अतिरिक्त बिट जोड़कर), उन्होंने इस गड़बड़ी को ठीक कर दिया, जिससे AI मॉडल बिना अपनी बुद्धिमत्ता खोए अधिक कुशलता से संकुचित हो सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।