Reliability Scaling Laws for Quantized Large Language Models
यह शोध पत्र अनिश्चितता, अंशांकन (कैलिब्रेशन) और सुदृढ़ता के व्यापक मूल्यांकन के माध्यम से क्वांटाइज़्ड लार्ज लैंग्वेज मॉडल्स की विश्वसनीयता की जांच करता है, जो यह प्रकट करता है कि जबकि प्रदर्शन कुल मॉडल बिट्स के साथ निरंतर बढ़ता है, विश्वसनीयता 4-बिट क्वांटाइजेशन पर चरम पर होती है और क्वांटाइजेशन वास्तव में प्राकृतिक इनपुट व्यवधानों के विरुद्ध सुदृढ़ता को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट दिमाग (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिख सकता है, सामान्य ज्ञान के सवालों के जवाब दे सकता है और इंसानों की तरह चैट कर सकता है। लेकिन यह दिमाग बहुत बड़ा है—यह एक पूरे कमरे जितनी जगह घेरता है और बहुत अधिक बिजली खाता है। इसे आपकी जेब में फिट करने और एक साधारण लैपटॉप पर चलाने के लिए, वैज्ञानिक इसे "छोटा" करने की कोशिश करते हैं। वे ऐसा क्वांटाइजेशन (quantization) के जरिए करते हैं, जो एक हाई-डेफिनिशन फोटो को एक छोटी फाइल साइज में कंप्रेस करने जैसा है। आप थोड़ा सा विवरण खो देते हैं, लेकिन तस्वीर अभी भी पहचान में आने योग्य होती है, और इसे ले जाना बहुत आसान हो जाता है।
लंबे समय तक, लोगों ने सोचा कि नियम सरल था: "फाइल जितनी बड़ी होगी (डेटा के जितने अधिक बिट्स होंगे), रोबोट उतना ही स्मार्ट होगा।" लेकिन टेक्निकल यूनिवर्सिटी ऑफ म्यूनिख और प्रुना एआई (Pruna AI) के शोधकर्ताओं द्वारा किए गए एक नए अध्ययन से पता चलता है कि यह नियम केवल आधा सच है। उन्होंने पाया कि हालांकि एक बड़ा दिमाग सही उत्तर पाने में बेहतर होता है, लेकिन यह जरूरी नहीं कि उसे यह भी पता हो कि वह कब गलत हो सकता है या अव्यवस्थित, वास्तविक दुनिया की गलतियों (typos) को कैसे संभालना है।
"स्वीट स्पॉट" की खोज
शोधकर्ताओं ने विभिन्न स्तरों के संपीड़न (compression) का उपयोग करके इन सिकुड़े हुए रोबोटों का परीक्षण किया: 16-बिट (विशाल, अनकंप्रेस्ड संस्करण), 8-बिट, 4-बिट, 3-बिट, और यहाँ तक कि 2-बिट (सबसे छोटा, सबसे अधिक कंप्रेस्ड संस्करण)। उन्होंने दो चीजें मापीं:
- सटीकता (Accuracy): क्या उसने सामान्य ज्ञान के सवाल का सही जवाब दिया?
- विश्वसनीयता (Reliability): यदि प्रश्न में कोई टाइपो (लिखने की गलती), अजीब इमोजी, या स्लैंग शब्द थे, तो क्या रोबोट अभी भी समझ में आने योग्य था? क्या उसे पता था कि वह भ्रमित है?
यहाँ उन्हें जो मोड़ मिला वह यह है: सटीकता बिट्स जोड़ने के साथ बढ़ती जाती है। यह एक सीधी रेखा है। लेकिन विश्वसनीयता एक रोलरकोस्टर की तरह है।
अध्ययन से पता चलता है कि रोबोट का सबसे विश्वसनीय संस्करण सबसे बड़ा नहीं है, न ही सबसे छोटा। यह 4-बिट वाला संस्करण है।
इसे यात्रा के लिए पैकिंग करने जैसा समझें।
- 16-बिट मॉडल आपके पूरे वार्डरोब को लाने जैसा है, जिसमें आपके पास मौजूद जूतों की हर जोड़ी शामिल है। आपके पास सब कुछ है, लेकिन यह भारी है और पैक करने में धीमा है।
- 2-बिट मॉडल सब कुछ एक छोटे, मुड़े हुए मोज़े में ठूस देने जैसा है। यह बहुत हल्का है, लेकिन आपको अपने मोज़े नहीं मिलते, और आपकी शर्ट फट जाती है।
- 4-बिट मॉडल एक परफेक्ट 'कैरी-ऑन बैग' है। यह ले जाने में इतना हल्का है, लेकिन आपके पास अभी भी आपका पसंदीदा पहनावा, आपके जूते और आपका टूथब्रश है। पता चलता है कि इन एआई रोबोटों के लिए, उन्हें 4 बिट तक सिकोड़ने से वे "अव्यवस्थित" इनपुट (जैसे टाइपो या स्लैंग) के प्रति आश्चर्यजनक रूप से अधिक मजबूत हो जाते हैं।
"अव्यवस्थित इनपुट" का परीक्षण
वास्तविक जीवन आदर्श नहीं होता। लोग सटीक वाक्य नहीं लिखते। वे इमोजी का उपयोग करते हैं, टाइपो करते हैं, अक्षरों को संख्याओं से बदल देते हैं (जैसे "hello" के बजाय "h3ll0"), और "lol" या "rofl" जैसे स्लैंग का उपयोग करते हैं।
शोधकर्ताओं ने इनपुट टेक्स्ट को खराब करने के 15 अलग-अलग तरीके बनाए, जैसे किसी अक्षर को प्रतीक में बदलना या रैंडम इमोजी जोड़ना। उन्होंने पाया कि जब रोबोट को 4 बिट तक कंप्रेस किया गया था, तो उसने वास्तव में विशाल, अनकंप्रेस्ड संस्करणों की तुलना में इन अव्यवस्थित इनपुट को बेहतर तरीके से संभाला। यह ऐसा था जैसे कंप्रेशन प्रक्रिया ने अनजाने में रोबोट को अधिक लचीला और टाइपो से कम भ्रमित होने के लिए प्रशिक्षित कर दिया हो।
हालाँकि, यदि आप रोबोट को बहुत अधिक दबाते हैं (2 बिट तक), तो वह टूटने लगता है। वह भ्रमित हो जाता है, उसका आत्मविश्वास डगमगा जाता है, और वह तथ्य गढ़ने लगता है। अध्ययन स्पष्ट रूप से इस विचार को खारिज करता है कि "छोटा हमेशा बेहतर होता है" या "बड़ा हमेशा सुरक्षित होता है।" वास्तव में, सबसे बड़े मॉडल (जैसे 70-बिलियन पैरामीटर वाले) ने हमेशा सबसे अच्छी विश्वसनीयता नहीं दिखाई; कभी-कभी, एक मध्यम आकार का मॉडल जिसे 4 बिट तक कंप्रेस किया गया था, सबसे भरोसेमंद था।
हिस्से काटने के बारे में क्या?
शोधकर्ताओं ने एक अलग छोटा करने की विधि भी आजमाई जिसे प्रूनिंग (pruning) कहा जाता है, जो डेटा को कंप्रेस करने के बजाय रोबोट के दिमाग के पूरे हिस्सों को काटने जैसा है। उन्होंने पाया कि प्रूनिंग, क्वांटाइजेशन की तुलना में उतनी अच्छी तरह काम नहीं करती है। यह एक बैकपैक को हल्का करने के लिए उसके स्ट्रैप (पट्टियाँ) काटने जैसा है; निश्चित रूप से, यह हल्का है, लेकिन यह बिखर जाएगा। क्वांटाइजेशन (डेटा को कंप्रेस करना) ने रोबोट के दिमाग को बरकरार रखते हुए उसे कुशल बनाया, जबकि प्रूनिंग ने इसे कम विश्वसनीय बना दिया।
वे कितने आश्वस्त हैं?
लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने हजारों प्रयोग चलाए। उन्होंने चार अलग-अलग रोबोट दिमाग परिवारों (LLaMA, OPT, Qwen) और छह अलग-अलग कंप्रेशन विधियों का परीक्षण किया। उन्होंने TriviaQA (सामान्य ज्ञान के प्रश्न) और CoQA (संवादात्मक प्रश्न) जैसे वास्तविक डेटासेट पर परिणामों को मापा।
उन्होंने पाया कि "4-बिट स्वीट स्पॉट" कोई इत्तेफाक नहीं था। यह विभिन्न मॉडल आकारों (1 बिलियन से 70 बिलियन पैरामीटर तक) और विभिन्न प्रकार के कार्यों में लगातार दिखाई दिया। हालाँकि उन्होंने भविष्य की भविष्यवाणी करने वाला कोई गणितीय नियम साबित नहीं किया, लेकिन उनका डेटा मजबूती से सुझाव देता है कि मेमोरी की एक निश्चित मात्रा के लिए, एक मॉडल को 4 बिट तक कंप्रेस करना स्मार्ट होने और विश्वसनीय होने के बीच का सबसे अच्छा संतुलन प्रदान करता है।
निचोड़
यदि आप एक भरोसेमंद एआई बनाना चाहते हैं जो आपके फोन में फिट हो सके और टाइपो तथा इमोजी से भरे टेक्स्ट मैसेज को संभाल सके, तो केवल सबसे बड़ा मॉडल खोजने की कोशिश न करें, और न ही इसे इतना दबाएं कि यह बहुत छोटा हो जाए। शोध बताता है कि 4-बिट क्वांटाइजेशन जादुई क्षेत्र है। यह एआई कंप्रेशन का 'गोल्डिलॉक्स' (Goldilocks) है: न बहुत बड़ा, न बहुत छोटा, बल्कि वास्तविक दुनिया में रोबोट को स्मार्ट, तेज़ और विश्वसनीय बनाए रखने के लिए बिल्कुल सही।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।