Format failure hides inside accuracy: the GGUF quantization level that breaks is not predictable from its label
यह शोध पत्र प्रदर्शित करता है कि GGUF क्वांटाइजेशन स्तरों में एकदिष्ट (monotonic) प्रदर्शन गिरावट नहीं दिखती है, क्योंकि विशिष्ट बिट-चौड़ाई अप्रत्याशित रूप से फॉर्मेट विफलताओं और गैर-उत्तरों की उच्च दर को ट्रिगर कर सकती हैं जो उनके लेबल या पड़ोसी परिशुद्धता स्तरों से अनुमानित नहीं होते हैं, जिससे मानक सटीकता बेंचमार्क विकृत हो जाते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक कंप्यूटर प्रोग्राम कितना स्मार्ट है और उसे चलाने के लिए कितनी जगह (स्पेस) की आवश्यकता है, इसके बीच एक निरंतर तनाव बना रहता है। इन प्रोग्रामों को लैपटॉप या फोन जैसे रोजमर्रा के उपकरणों के लिए उपयोगी बनाने के लिए, इंजीनियर अक्सर उन्हें छोटा कर देते हैं, जिसे 'क्वांटाइजेशन' (quantization) कहा जाता है। कल्पना कीजिए कि आप एक उच्च-रिज़ॉल्यूशन वाली तस्वीर को एक छोटी फ़ाइल में कंप्रेस कर रहे हैं; छवि अभी भी पहचानने योग्य रहती है, लेकिन स्थान बचाने के लिए कुछ बारीक विवरण खो जाते हैं। इसी तरह, एक एआई मॉडल को छोटा करने से उस संख्या की सटीकता कम हो जाती है जिसका उपयोग वह सोचने के लिए करता है, जिससे मेमोरी बचाने के लिए थोड़ी सी बुद्धिमत्ता का त्याग किया जाता है। वर्षों से, उद्योग एक सरल धारणा पर काम करता रहा है: कि यह ट्रेड-ऑफ अनुमानित होता है। यदि आप एक मॉडल को एक विशिष्ट "चार-बिट" आकार तक छोटा करते हैं, तो आप उम्मीद करते हैं कि आपको सटीकता का एक सुसंगत और प्रबंधनीय नुकसान होगा, चाहे वह मॉडल बहुत छोटा हो या बहुत बड़ा। यह विश्वास डेवलपर्स को अपने सभी अनुप्रयोगों के लिए एक मानक सेटिंग चुनने की अनुमति देता है, इस भरोसे के साथ कि फ़ाइल पर लगा लेबल पूरी कहानी बताता है।
एक हालिया अध्ययन इस आरामदायक निश्चितता को चुनौती देता है, और यह खुलासा करता है कि एआई को छोटा करने की वास्तविकता लेबल के सुझावों की तुलना में कहीं अधिक जटिल है। हारबिन इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं ने परीक्षण किया कि जब छोटे, निर्देश मानने वाले (instruction-following) एआई मॉडल को GGUF नामक एक लोकप्रिय प्रारूप का उपयोग करके कंप्रेस किया जाता है, तो वास्तव में क्या होता है। उन्होंने 0.5-बिलियन-पैरामीटर वाले बहुत छोटे संस्करण से लेकर 3-बिलियन-पैरामीटर वाले संस्करण तक चार अलग-अलग मॉडलों की जांच की, और गणित की समस्याओं को हल करने से लेकर विज्ञान के बहुविकल्पीय प्रश्नों के उत्तर देने तक, चार अलग-अलग प्रकार के कार्यों में उनका परीक्षण किया। केवल अंतिम स्कोर को देखने के बजाय, उन्होंने एक विशिष्ट प्रकार की विफलता पर ध्यान दिया: जब मॉडल प्रश्न का उत्तर देना पूरी तरह से बंद कर देता है। उन्होंने पाया कि जैसे-जैसे ये मॉडल छोटे होते जाते हैं, उनके टूटने का बिंदु न केवल अप्रत्याशित है, बल्कि असंगत भी है। एक लेबल जो एक मॉडल के लिए पूरी तरह से काम करता है, वह दूसरे को पूरी तरह से विफल कर सकता है, और वह कंप्रेशन स्तर जो क्रैश का कारण बनता है, हमेशा वह नहीं होता जो सबसे अधिक मेमोरी बचाता है।
शोधकर्ताओं ने पाया कि सबसे सामान्य सेटिंग, चार-बिट कंप्रेशन स्तर, सबसे छोटे मॉडलों के लिए एक जाल की तरह व्यवहार करता है। जब उन्होंने एक अत्यंत छोटे 0.5-बिलियन-पैरामीटर वाले मॉडल का इस स्तर पर परीक्षण किया, तो वह पूछे गए विज्ञान के प्रश्नों में से लगभग 20 प्रतिशत पर कोई उपयोगी उत्तर देने में विफल रहा। इसके विपरीत, एक थोड़ा बड़ा 3-बिलियन-पैरामीटर वाला मॉडल उसी सेटिंग को बिना किसी परेशानी के संभाल लेता है। यहाँ तक कि अधिक आश्चर्यजनक बात यह थी कि विफलता गुणवत्ता की सीढ़ी में एक सहज गिरावट नहीं थी। सबसे छोटे मॉडल के लिए, चार-बिट सेटिंग सबसे खराब थी, जिससे त्रुटियों में भारी उछाल आया, फिर भी और भी अधिक कंप्रेस्ड तीन-बिट और दो-बिट सेटिंग्स ने चार-बिट संस्करण की तुलना में बेहतर प्रदर्शन किया। इसका अर्थ यह है कि केवल एक "कोर्सर" (coarser) या छोटी फ़ाइल में जाने से प्रदर्शन में अनुमानित गिरावट की गारंटी नहीं मिलती है; कभी-कभी, नीचे की ओर एक विशिष्ट कदम अचानक पतन का कारण बनता है, जबकि अगला कदम कुछ सुधार वापस ले आता है।
यह अनिश्चितता इस बात तक फैली हुई है कि मॉडल अपने स्वयं के आत्मविश्वास की रिपोर्ट कैसे करते हैं। अध्ययन में पाया गया कि सबसे छोटे मॉडल, चार-बिट सेटिंग में मजबूर होने पर, खतरनाक रूप से अति-आत्मविश्वासी हो जाते हैं। वे गलत उत्तर देते हुए भी बहुत उच्च स्तर का विश्वास व्यक्त करेंगे, या इससे भी बदतर, कोई उत्तर ही नहीं देंगे। यह उन लोगों के लिए एक छिपा हुआ खतरा पैदा करता है जो इन प्रणालियों को तैनात कर रहे हैं: एक मानक सटीकता परीक्षण इस विफलता को पूरी तरह से मिस कर सकता है यदि यह केवल गलत उत्तरों को त्रुटियों के रूप में गिनता है, क्योंकि यह गलत उत्तर देने और उत्तर देने से इनकार करने के बीच अंतर नहीं करता है। शोधकर्ताओं ने दिखाया कि यदि हम इन 'साइलेंट फेलियर्स' (silent failures) को त्रुटियों के रूप में गिनते हैं, तो सबसे छोटे मॉडल पर चार-बिट सेटिंग का उपयोग करने की लागत काफी बढ़ जाती है, जो क्षमता में 9 प्रतिशत की हानि से बढ़कर लगभग 11 प्रतिशत हो जाती है। यह अंतराल निर्देशों के अनुपालन में कमी का प्रतिनिधित्व करता है, जहाँ मॉडल तथ्यों को भूलने के बजाय प्रारूप (format) का पालन करना भूल जाता है।
अध्ययन ने इस बारे में भी एक प्रति-सहज (counterintuitive) निष्कर्ष पर प्रकाश डाला कि कंप्रेशन की वास्तविक लागत कहाँ निहित है। इंजीनियर अक्सर यह मान लेते हैं कि प्रदर्शन में सबसे बड़ी गिरावट तब होती है जब आप फ़ाइल के आकार में सबसे बड़ी कटौती करते हैं। हालाँकि, डेटा ने इसके विपरीत दिखाया। आठ-बिट फ़ाइल से पांच-बिट फ़ाइल तक के कदम ने मेमोरी का एक बड़ा हिस्सा बचाया—छोटे मॉडल के लिए 100 मेगाबाइट से अधिक—जबकि सटीकता के मामले में लगभग कुछ भी खर्च नहीं हुआ। असली नुकसान पांच बिट से चार बिट के अंतिम, छोटे कदम में हुआ। यह अंतिम कदम केवल लगभग 21 मेगाबाइट जगह बचाता है लेकिन त्रुटियों में भारी उछाल लाता है। यह सुझाव देता है कि कई छोटे मॉडलों के लिए, मानक चार-बिट सेटिंग सबसे कुशल विकल्प नहीं है; एक पांच-बिट सेटिंग बहुत कम गलतियों के साथ लगभग उतनी ही मेमोरी बचत प्रदान कर सकती है।
अंततः, यह शोध प्रदर्शित करता है कि एक फ़ाइल लेबल इस बात का विश्वसनीय विनिर्देश (specification) नहीं है कि एक मॉडल कैसा व्यवहार करेगा। मॉडल कब टूटेगा, यह कंप्रेशन स्तर के बजाय स्वयं विशिष्ट मॉडल पर निर्भर करता है। एक सेटिंग जो 3-बिलियन-पैरामीटर वाले मॉडल के लिए काम करती है, वह 0.5-बिलियन-पैरामीटर वाले मॉडल को पूरी तरह से विफल कर सकती है, और कंप्रेशन लैडर पर उसके पड़ोसियों से इसका अनुमान लगाने का कोई तरीका नहीं है। अध्ययन निष्कर्ष निकालता है कि डेवलपर्स एआई को छोटा करने के लिए एक एकल, सार्वभौमिक नियम पर भरोसा नहीं कर सकते। इसके बजाय, उन्हें प्रत्येक विशिष्ट मॉडल का ठीक उसी स्तर पर परीक्षण करना चाहिए जिस स्तर पर वे उसका उपयोग करने जा रहे हैं, क्योंकि कंप्रेशन की लागत एक निश्चित कीमत नहीं है बल्कि एक परिवर्तनशील कीमत है जो सिस्टम के आकार और आर्किटेक्चर के साथ बदलती रहती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।