← नवीनतम पेपर
🤖 machine learning

BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models

यह शोधपत्र बिट-प्लेन डिकंपोजिशन क्वांटाइजेशन (BPDQ) का प्रस्ताव करता है, जो एक नवीन विधि है जो अत्यंत कम बिट-चौड़ाई (2-3 बिट्स) पर बड़े भाषा मॉडलों की सटीकता में उल्लेखनीय सुधार करने के लिए परिवर्तनीय क्वांटाइजेशन ग्रिड और द्वितीय-क्रम अनुकूलन (second-order optimization) का उपयोग करती है, जिससे एक एकल उपभोक्ता GPU पर 72B मॉडल का कुशल परिनियोजन सक्षम होता है।

मूल लेखक: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

प्रकाशित 2026-05-18
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास ज्ञान का एक विशाल, अविश्वसनीय रूप से विस्तृत पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जिसे आप अपनी जेब में ले जाना चाहते हैं। समस्या यह है कि पुस्तकालय इतना भारी और बड़ा है कि वह आपके बैकपैक में नहीं समाता, और आपका फोन किताबों को पर्याप्त तेज़ी से पढ़ नहीं सकता।

इस समस्या को हल करने के लिए, वैज्ञानिक क्वांटाइजेशन (quantization) का उपयोग करते हैं। इसे ऐसे समझें जैसे आप पुस्तकालय की जटिल, हाई-डेफिनिशन किताबों को एक सरल, लो-रेज़ोल्यूशन संस्करण में अनुवादित कर रहे हैं जो कम जगह लेता है। आमतौर पर, वे किताबों को 4-बिट तक सिकोड़ने की कोशिश करते हैं (जैसे किसी 4K मूवी को एक स्टैंडर्ड DVD में बदलना)। यह अच्छी तरह काम करता है। लेकिन जब वे उन्हें और भी अधिक सिकोड़कर 2-बिट (जैसे उस मूवी को एक छोटे, दानेदार GIF में बदलना) करने की कोशिश करते हैं, तो कहानी बिखर जाती है। अर्थ खो जाता है, और पुस्तकालय बेकार हो जाता है।

समस्या: "कुकी कटर" का जाल (The "Cookie Cutter" Trap)

यह शोध पत्र बताता है कि इन मॉडलों को 2-बिट तक सिकोड़ने के लिए मौजूदा तरीके एक फिक्स्ड ग्रिड (fixed grid) का उपयोग करते हैं।

कल्पना कीजिए कि आप पत्थरों के कई अजीब आकार के समूहों (मॉडल के डेटा) को एक बॉक्स में पैक करने की कोशिश कर रहे हैं।

  • पुराना तरीका (फिक्स्ड ग्रिड): आपके पास एक कठोर कुकी कटर है। पत्थर का आकार चाहे जो भी हो, आप उसे चार पूर्व-निर्धारित स्लॉटों: 0, 1, 2, या 3 में से किसी एक में फिट होने के लिए मजबूर करते हैं। यदि किसी पत्थर को पूरी तरह फिट होने के लिए "2.5" की आवश्यकता है, तो पुराना तरीका उसे "2" या "3" बनाने के लिए मजबूर करता है, जिससे एक खाली जगह या दरार बन जाती है। क्योंकि हर समूह के लिए "कुकी कटर" का आकार एक जैसा ही रहता है, इसलिए बिट्स के इतने छोटे होने पर मॉडल बहुत अधिक विवरण खो देता है।

समाधान: BPDQ (द "कस्टम मोल्ड" अप्रोच)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे बिट-प्लेन डीकंपोजिशन क्वांटाइजेशन (Bit-Plane Decomposition Quantization - BPDQ) कहा जाता है।

हर किसी के लिए एक एकल, कठोर कुकी कटर का उपयोग करने के बजाय, BPDQ हर एक समूह के लिए एक कस्टम मोल्ड (सांचा) बनाता है।

  • यह कैसे काम करता है: यह डेटा को "बिट-प्लेन्स" (केक की परतों की तरह) में तोड़ देता है और सांचे को आकार देने के लिए लचीले गुणांकों (एडजस्टेबल नॉब्स) का उपयोग करता है।
  • परिणाम: डेटा को 0, 1, 2, या 3 के कठोर स्लॉटों में फिट होने के लिए मजबूर होने के बजाय, अब डेटा एक लचीले मान सेट जैसे 0, 1.2, 3.5, या 4.1 में फिट हो सकता है, जो इस बात पर निर्भर करता है कि उस विशिष्ट समूह के पत्थरों को किस चीज़ की आवश्यकता है।

यह पद्धति एक "वेरिएबल ग्रिड" (variable grid) कहलाती है। यह इस नियम को तोड़ती है कि सभी समूहों को एक ही टेम्पलेट की स्केल-अप कॉपी दिखनी चाहिए। यह मॉडल को सही फिट खोजने के लिए बहुत अधिक स्वतंत्रता देता है, जिससे डेटा में "दरारें" (त्रुटियां) कम हो जाती हैं।

"सेकंड-ऑर्डर" का जादू

यह सुनिश्चित करने के लिए कि ये कस्टम मोल्ड एकदम सही हों, यह विधि हेसियन-इंड्यूस्ड ज्योमेट्री (Hessian-induced geometry) नामक चीज़ का उपयोग करती है।

  • उपमा: कल्पना कीजिए कि आप प्लेटों के ढेर को संतुलित करने की कोशिश कर रहे हैं। एक साधारण तरीका केवल प्लेटों को देखता है और अनुमान लगाता है कि उन्हें कहाँ रखना है। हालाँकि, BPDQ एक "स्मार्ट बैलेंस" का उपयोग करता है जो पूरे ढेर के वजन और डगमगाहट को समझता है। यह केवल एक प्लेट को ठीक नहीं करता; यह पूरे ढेर को समायोजित करता है ताकि यह सुनिश्चित हो सके कि एक हिस्से को ठीक करने से दूसरा हिस्सा गिर न जाए। यह "सेकंड-ऑर्डर" जानकारी मॉडल को डेटा को सिकोड़ते समय अपनी गलतियों को सुधारने की अनुमति देती है।

परिणाम: विशाल को छोटे फोन में फिट करना

लेखकों ने एक विशाल मॉडल Qwen2.5-72B (जिसे चलाने के लिए आमतौर पर सुपरकंप्यूटर की आवश्यकता होती है) पर इसका परीक्षण किया।

  • उपलब्धि: BPDQ का उपयोग करके, वे इस विशाल मॉडल को 2-बिट तक सिकोड़ने और इसे एक सिंगल कंज्यूमर ग्राफिक्स कार्ड (एक RTX 3090, जो आपको एक हाई-एंड गेमिंग पीसी में मिल सकता है) पर चलाने में सक्षम थे।
  • प्रदर्शन: इस अत्यधिक संपीड़न के बावजूद, मॉडल ने गणित की समस्याओं (GSM8K) पर अपनी मूल बुद्धिमत्ता का 83.85% बनाए रखा।
  • तुलना: अन्य तरीके 2-बिट पर बुरी तरह विफल रहे, और उन्हीं गणितीय समस्याओं पर उनकी सटीकता लगभग 0% तक गिर गई। यह एक ऐसी किताब को पढ़ने की कोशिश करने जैसा था जो ऐसी भाषा में लिखी गई है जिसे आप नहीं जानते, जबकि BPDQ ने भाषा को पठनीय बनाए रखा।

यह क्यों महत्वपूर्ण है

शोध पत्र का दावा है कि 2-बिट पर पिछले तरीके मुख्य रूप से इसलिए विफल नहीं हुए कि गणित गलत था, बल्कि इसलिए कि "कुकी कटर" (फिक्स्ड ग्रिड) बहुत कठोर था। एक वेरिएबल ग्रिड में स्विच करके जो डेटा के अनुकूल होता है, BPDQ विशाल, स्मार्ट AI मॉडलों को गणित या तर्क जैसी जटिल कार्यों के लिए आवश्यक "ब्रेनपावर" खोए बिना बहुत छोटे, सस्ते हार्डवेयर पर चलाने की क्षमता को अनलॉक करता है।

संक्षेप में: BPDQ चौकोर खांचों को गोल खांचों में जबरदस्ती फिट करने से रुकता है क्योंकि यह उन खांचों को लचीला बनाता है, जिससे विशाल AI मॉडल को छोटे स्थानों में फिट होने की अनुमति मिलती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →