GLASS: Global-Local Aggregation for Inference-time Sparsification of LLMs
GLASS एक प्रशिक्षण-मुक्त (training-free) फ्रेमवर्क है जो रैंक एकत्रीकरण (rank aggregation) के माध्यम से स्थानीय प्रॉम्प्ट-विशिष्ट सक्रियणों (local prompt-specific activations) और वैश्विक मॉडल-अंतर्निहित पूर्वग्रहों (global model-intrinsic priors) को एकत्रित करके बड़े भाषा मॉडलों के लिए इन्फरेंस-टाइम स्पारसिफिकेशन (inference-time sparsification) में सुधार करता है, जिससे डायनेमिक FFN प्रूनिंग स्थिर होती है और विशेष रूप से लघु-प्रॉम्प्ट, दीर्घ-रूप परिदृश्यों में जनरेशन फिडेलिटी और डिकोडिंग गति में उल्लेखनीय वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान लाइब्रेरी (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो कहानियाँ लिख सकती है, सवालों के जवाब दे सकती है और समस्याओं को हल कर सकती है। लेकिन यह लाइब्रेरी इतनी बड़ी है कि यह आपके फोन या लैपटॉप में नहीं समा सकती। यह बहुत भारी है, बहुत धीमी है, और इसे चलाने के लिए बहुत अधिक ऊर्जा की आवश्यकता है।
इसे अपने डिवाइस पर चलाने के लिए, आपको इसे "प्रून" (छंटनी) करने की आवश्यकता है—यानी, आपको इसे सोचने के दौरान अपने आंतरिक मस्तिष्क कोशिकाओं (न्यूरॉन्स) में से 50% को अनदेखा करने के लिए कहना होगा ताकि यह तेजी से चले और कम मेमोरी का उपयोग करे।
समस्या: छोटे प्रॉम्प्ट्स का "अनुमान लगाने वाला खेल"
मौजूदा तरीके यह तय करने की कोशिश करते हैं कि किन मस्तिष्क कोशिकाओं को रखना है, यह देखते हुए कि आपने सबसे पहले क्या टाइप किया है (प्रॉम्प्ट)। वे कहते हैं, "ठीक है, आपने एक छोटा सा सवाल पूछा है, इसलिए हम इन विशिष्ट न्यूरॉन्स को सक्रिय रखेंगे।"
यह तर्क देना ऐसा ही है जैसे कि आप अपने घर के दरवाजे से पहला कदम रखते ही पूरे रोड ट्रिप की योजना बनाने की कोशिश कर रहे हों।
- छोटे प्रॉम्प्ट्स (Short Prompts): यदि आप एक छोटा प्रश्न पूछते हैं, तो मॉडल के पास यह जानने के लिए पर्याप्त जानकारी नहीं होती कि लंबी उत्तर देने के लिए कौन से न्यूरॉन्स वास्तव में महत्वपूर्ण होंगे।
- लंबे उत्तर (Long Answers): जैसे- ही मॉडल एक लंबी कहानी लिखना शुरू करता है, न्यूरॉन्स की "महत्ता" बदल जाती है। जो न्यूरॉन्स छोटे प्रश्न के लिए महत्वपूर्ण लग रहे थे, वे कहानी के बाकी हिस्से के लिए बेकार हो सकते हैं।
- परिणाम: मॉडल भ्रमित हो जाता है, गलतियाँ करता है, और लेखन की गुणवत्ता गिर जाती है क्योंकि इसने गलत न्यूरॉन्स को रखा और सही वाले को बंद कर दिया।
समाधान: GLASS (ग्लोबल-लोकल एग्रीगेशन)
लेखक GLASS नामक एक नया तरीका प्रस्तावित करते हैं। GLASS को एक स्मार्ट मैनेजर के रूप में समझें जो केवल एक स्रोत के बजाय दो अलग-अलग सूचना स्रोतों का उपयोग करके निर्णय लेता है।
- लोकल व्यू (द "राइट नाउ" सिग्नल): यह इस पर ध्यान देता है कि आपने अभी क्या टाइप किया है। यह पूछता है, "इस विशिष्ट प्रश्न के आधार पर, अभी कौन से न्यूरॉन्स चमक रहे हैं?" यह संदर्भ के लिए अच्छा है लेकिन छोटे प्रश्नों के लिए अविश्वसनीय है।
- ग्लोबल व्यू (द "इंट्रिन्सिक" सिग्नल): यह इस पेपर का बड़ा नवाचार है। आपके प्रश्न को देखने से पहले ही, शोधकर्ताओं ने एक विशेष परीक्षण चलाया जहाँ उन्होंने मॉडल को एक खाली प्रॉम्प्ट (केवल एक खाली स्थान) के साथ खुद से बात करने दिया। उन्होंने पूछा, "यह मॉडल हमेशा किन न्यूरॉन्स का उपयोग करता है, चाहे कुछ भी हो?" इससे मॉडल की सबसे महत्वपूर्ण, विश्वसनीय मस्तिष्क कोशिकाओं का एक "चीट शीट" तैयार हुआ।
GLASS कैसे काम करता है: "रैंकिंग" का उदाहरण
GLASS केवल एक या दूसरे को नहीं चुनता है। यह रैंक एग्रीगेशन नामक एक चतुर वोटिंग सिस्टम का उपयोग करता है।
कल्प la कल्पना करें कि आप एक खेल के लिए टीम चुन रहे हैं:
- लोकल कोच कहता है: "खिलाड़ी A इस विशिष्ट खेल के लिए महान है।"
- ग्लोल कोच कहता है: "खिलाड़ी A हमारे पास मौजूद सर्वश्रेष्ठ खिलाड़ी है, उनके पूरे करियर के आधार पर, चाहे जो भी हो।"
यदि आप केवल लोकल कोच की बात सुनते हैं, तो आप एक ऐसे खिलाड़ी को चुन सकते हैं जो एक प्ले के लिए अच्छा है लेकिन पूरे खेल के लिए बुरा है। यदि आप केवल ग्लोबल कोच की बात सुनते हैं, तो आप एक स्टार खिलाड़ी को चुन सकते हैं जो विशिष्ट रणनीति में फिट नहीं बैठता है।
GLASS दोनों को मिलाता है। यह "लोकल" सूची और "ग्लोबल" सूची लेता है और उन्हें मर्ज करता है। यदि एक न्यूरॉन को दोनों कोचों द्वारा उच्च रैंक दी गई है, तो वह निश्चित रूप से बना रहता है। यदि एक कोच अनिश्चित है (जैसे कि जब प्रॉम्प्ट छोटा होता है), तो दूसरे कोच की राय काम आती है।
"नुल प्रॉम्प्ट स्टिमुलेशन" (NPS) ट्रिक
बिना किसी बड़े डेटासेट जैसे किताबों या विकिपीडिया लेखों की आवश्यकता के यह "ग्लोबल" चीट शीट प्राप्त करने के लिए, लेखकों ने नुल प्रॉम्प्ट स्टिमुलेशन नामक एक ट्रिक का उपयोग किया।
- मॉडल को कोई किताब पढ़ने देने के बजाय, उन्होंने बस उसे शून्य से टेक्स्ट जेनरेट करने दिया (एक "नुल" प्रॉम्प्ट)।
- यह मॉडल को पूरी तरह से अपने आंतरिक वायरिंग पर निर्भर रहने के लिए मजबूर करता है। यह एक संगीतकार से बिना शीट म्यूजिक के स्केल बजाने के लिए कहने जैसा है ताकि यह देखा जा सके कि वे स्वाभाविक रूप से किन उंगलियों का उपयोग करते हैं। यह मॉडल के सबसे महत्वपूर्ण न्यूरॉन्स का एक शुद्ध, निष्पक्ष मानचित्र देता है।
परिणाम: तेज़ और स्मार्ट
पेपर ने कई अलग-अलग मॉडल्स (जैसे Llama, Gemma, और Mistral) पर GLASS का परीक्षण किया और पाया:
- बेहतर गुणवत्ता: जब उन्हें छोटे प्रॉम्प्ट से लंबी कहानियाँ लिखने के लिए कहा गया, तो GLASS ने पिछले तरीकों की तुलना में बहुत कम गलतियाँ कीं। यह पूर्ण, अन-प्रून्ड मॉडल की गुणवत्ता के बहुत करीब था।
- तेज़ गति: एक सैमसंग गैलेक्सी S25 अल्ट्रा (एक हाई-एंड फोन) पर, GLASS ने कुछ मामलों में मॉडल को 11 गुना तक तेज़ बना दिया। ऐसा इसलिए हुआ क्योंकि मॉडल इतना छोटा हो गया कि वह पूरी तरह से फोन की फास्ट मेमोरी में समा सके, जिससे डेटा को बार-बार अंदर और बाहर स्वैप करने की धीमी प्रक्रिया से बचा जा सका।
संक्षेप में
GLASS एक "प्लग-एंड-प्ले" टूल है जो बड़े AI मॉडल्स को छोटे उपकरणों पर चलाने में मदद करता है। यह छोटे प्रश्नों पर "गलत अनुमान लगाने" की समस्या को ठीक करता है, जो मॉडल जो अभी कर रहा है उसे उसके स्वाभाविक रूप से कुशल होने के साथ जोड़कर, यह सुनिश्चित करता है कि AI स्मार्ट और तेज़ बना रहे, भले ही वह सीमित संसाधनों के साथ काम कर रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।