ARCHead: Activation-Metric Residual Correction for Large Language Model Output Heads
ARCHead एक नवीन एक्टिवेशन-मेट्रिक रेसिडुअल करेक्शन विधि है जो एक क्वांटाइज्ड लो-रैंक कोर और ग्रुप-वाइज INT4 रेसिडुअल्स का उपयोग करके लार्ज लैंग्वेज मॉडल आउटपुट हेड्स को संकुचित करती है, जिससे लगभग लॉसलेस परप्लेक्सिटी और न्यूनतम थ्रूपुट प्रभाव बनाए रखते हुए महत्वपूर्ण स्टोरेज रिडक्शन (3.7–3.9x) प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल पुस्तकालय को एक छोटे से बैकपैक में फिट करने की कोशिश कर रहे हैं। यह उन इंजीनियरों के लिए दैनिक चुनौती है जो लार्ज लैंग्वेज मॉडल्स (LLMs) पर काम करते हैं, जो चैटबॉट्स और रचनात्मक लेखकों के पीछे के सुपर-स्मार्ट AI दिमाग हैं। ये मॉडल अरबों छोटे गणितीय स्विचों से बने होते हैं जिन्हें "वेट्स" (weights) कहा जाता है। इन्हें सामान्य कंप्यूटरों पर तेज़ और सस्ता चलाने के लिए, वैज्ञानिक एक तरकीब का उपयोग करते हैं जिसे क्वांटाइजेशन (quantization) कहा जाता है। क्वांटाइजेशन को एक हाई-डेफिनिशन, 4K मूवी को लो-रेज़ोल्यूशन, 1080p संस्करण में अनुवाद करने के रूप में समझें। आप पिक्चर क्वालिटी का थोड़ा सा हिस्सा खो देते हैं, लेकिन फ़ाइल का आकार नाटकीय रूप से सिकुड़ जाता है, जिससे इसे ले जाना आसान हो जाता है।
हालाँकि, इसमें एक पेंच है। इंजीनियर AI के मुख्य "सोचने वाले" हिस्सों (ट्रांसफॉर्मर ब्लॉक्स) को कंप्रेस करने में बहुत कुशल हो गए हैं, लेकिन वे अक्सर अंतिम हिस्से को—जो वास्तव में अगला शब्द चुनता है—अनकंप्रेस्ड छोड़ देते हैं। यह अपने हल्के, कंप्रेस्ड कपड़ों से भरा बैकपैक पैक करने जैसा है, लेकिन अपना भारी, भारी-भरकम विंटर कोट कंप्रेस करना भूल जाना। इस "कोट" को LM-head (लैंग्वेज मॉडलिंग हेड) कहा जाता है। यह एक विशाल, सघन मानचित्र है जो AI के विचारों को उसके शब्दकोश के हर संभावित शब्द से जोड़ता है। क्योंकि यह बहुत बड़ा है और इसे इसके मूल, भारी प्रारूप में ही छोड़ दिया गया है, यह बहुत अधिक जगह घेर लेता है, कभी-कभी तो सभी कंप्रेस्ड कपड़ों के संयोजन से भी अधिक। यदि आप इन AI मॉडल्स को वास्तव में छोटा करना चाहते हैं, तो आपको इस भारी कोट को बिना फटे मोड़ने का तरीका खोजना होगा।
यहीं पर ARCHead नामक एक नई विधि आती है। शोधकर्ताओं ने महसूस किया कि इस भारी कोट को केवल एक मानक "लो-बिट" कंप्रेशन (जैसे सब कुछ छोटी 4-बिट संख्याओं में बदलना) के साथ दबाना बहुत ही भद्दा औजार होगा। यह एक नाजुक, जटिल मूर्ति को बस उसे कुचलकर एक बॉक्स में फिट करने जैसा था; परिणाम एक विकृत कचरा था जिसने AI को लड़खड़ा दिया और मूर्खतापूर्ण गलतियाँ करने पर मजबूर कर दिया।
इसके बजाय, ARCHead एक चतुर, दो-चरणीय रणनीति का उपयोग करता है जो एक हथौड़े के बजाय एक मास्टर टेलर (दर्जी) की तरह काम करती है। पहले, यह भारी कोट लेता है और उसका एक "कंकाल" (skeleton) संस्करण बनाता है—एक लो-रेज़ोल्यूशन स्केच जो बहुत कम बिट्स का उपयोग करके सामान्य आकार को कैप्चर करता है। लेकिन एक स्केच परफेक्ट नहीं होता। इसलिए, दूसरा चरण जादू है: ARCHead एक "करेक्शन लेयर" (सुधार परत) जोड़ता है। यह केवल रैंडम शोर नहीं है; यह एक स्मार्ट, लो-रैंक पैच है जो विशेष रूप से उन स्थानों को ठीक करता है जहाँ AI का मस्तिष्क सबसे अधिक सक्रिय होता है। कल्पना कीजिए कि आपके पास चेहरे का एक रफ स्केच है, और आप जानते हैं कि व्यक्ति को पहचानने के लिए कौन सी विशेषताएं (जैसे आँखें या मुस्कान) सबसे महत्वपूर्ण हैं। ARCHead केवल उन महत्वपूर्ण विशेषताओं में सूक्ष्म, सटीक विवरण जोड़ता है, और कम महत्वपूर्ण बैकग्राउंड को अनदेखा कर देता है।
इसके परिणाम प्रभावशाली हैं। जब टीम ने इसे Qwen3-8B-Base नामक मॉडल पर टेस्ट किया, तो उन्होंने पाया कि ARCHead इस "कोट" के लिए आवश्यक स्टोरेज को लगभग 4 गुना कम कर सकता है (विशेष रूप से, इसने मूल भारी संस्करण के स्थान का केवल 25.6% उपयोग किया)। इससे भी बेहतर बात यह है कि AI का प्रदर्शन लगभग वैसा ही रहा। "परप्लेक्सिटी" (एक स्कोर जो यह मापता है कि AI कितना भ्रमित है) मूल के बहुत करीब रहा, जिसका सापेक्ष स्कोर 1.007 था, जबकि मानक कंप्रेशन विधियों के लिए यह बहुत खराब 1.15 था।
पेपर यह भी दिखाता है कि यह विधि एक परफेक्ट "ड्रॉप-इन" रिप्लेसमेंट की तरह काम करती है। यदि आपके पास पहले से ही अन्य लोकप्रिय टूल्स जैसे AWQ या bitsandbytes का उपयोग करके एक कंप्रेस्ड AI मॉडल है, तो आप उनके भारी, अनकंप्रेस्ड कोट को बिना कुछ बिगाड़े एक ARCHead वाले कोट से बदल सकते हैं। यह बहुत कम अतिरिक्त भ्रम (क्रॉस-एन्ट्रॉपी में लगभग 0.006 से 0.007) जोड़ता है, जो लगभग नगण्य है, लेकिन बहुत सारा स्थान बचाता है। शोधकर्ताओं ने मापा कि इससे AI की गति धीमी नहीं हुई; जनरेशन रेट लगभग बिल्कुल समान रहा, जिसमें 2% से भी कम का बदलाव आया।
संक्षेप में, ARCHead पहिये का पुनरुद्धार करने या पूरे AI को शुरू से कंप्रेस करने की कोशिश नहीं करता है। इसके बजाय, यह उस विशिष्ट, परेशान करने वाली समस्या को हल करता है जिसे अन्य तरीके अनदेखा कर देते हैं—वह "बचा हुआ" भारी कोट। एक स्मार्ट, एक्टिविटी-अवेयर करेक्शन सिस्टम का उपयोग करके, यह साबित करता है कि आप बातचीत की गुणवत्ता से समझौता किए बिना इन विशाल AI मॉडल्स को बहुत छोटा और ले जाने में आसान बना सकते हैं। यह एक व्यावहारिक, सुव्यवस्थित कदम है, जो सुझाव देता है कि सही फोल्डिंग तकनीक के साथ, हमारे डिजिटल मस्तिष्क के सबसे भारी हिस्से भी आपकी जेब में समा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।