Adaptive Layer Selection for Layer-Wise Token Pruning in LLM Inference
यह शोध पत्र ASL को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) विधि है जो अटेंशन स्कोर वेरिएंस के आधार पर टोकन प्रूनिंग के लिए इष्टतम परत (optimal layer) को अनुकूल रूप से चुनती है, जिससे विविध कार्यों में अनुमान गति (inference speed) और सटीकता को संतुलित किया जाता है और यह मौजूदा अत्याधुनिक लेयर-वाइज प्रूनिंग दृष्टिकोणों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक चतुर जासूस (एक Large Language Model या LLM) हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं। इसे करने के लिए, आपके पास एक विशाल फाइलिंग कैबिनेट (जिसे KV Cache कहा जाता है) है जहाँ आप उन सभी सुरागों के नोट्स रखते हैं जिन्हें आपने अब तक पढ़ा है।
यदि रहस्य एक छोटी कहानी है, तो कैबिनेट छोटा और प्रबंधित करना आसान है। लेकिन यदि यह एक 1,00,000 पन्नों का उपन्यास है, तो आपका कैबिनेट इतना बड़ा हो जाता है कि वह आपके पूरे कार्यालय को घेर लेता है, आपकी गति धीमी कर देता है, और उस एक विशिष्ट सुराग को ढूँढना कठिन बना देता है जिसकी आपको केस सुलझाने के लिए आवश्यकता है।
समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) फाइलिंग सिस्टम
हाल ही में, बुद्धिमान लोगों ने इस कैबिनेट को सिकोड़ने का एक तरीका खोजा। उन्होंने निर्णय लिया कि अधिकांश नोट्स को फेंक दिया जाए और केवल "महत्वपूर्ण" नोट्स रखे जाएं। इसे Token Pruning कहा जाता है।
हालाँकि, मौजूदा तरीकों में एक बड़ी खामी है: वे कठोर (rigid) हैं।
कल्पना कीजिए कि एक नियम है जो कहता है: "चाहे रहस्य कुछ भी हो, ठीक पेज नंबर 15 पर पहुँचते ही 90% नोट्स फेंक दो।"
- एक आसान रहस्य के लिए (जैसे "कुकी किसने चुराई?"), आपने पेज 5 तक ही उत्तर पा लिया होगा। पेज 15 पर नोट्स फेंकना ठीक है, आप सुरक्षित हैं।
- एक कठिन रहस्य के लिए (जैसे "1,00,000 पन्नों के ढेर में छिपी चाबी ढूँढें"), आपको नहीं पता होगा कि कौन सा नोट महत्वपूर्ण है जब तक कि आप पेज 50 तक न पहुँच जाएँ। यदि आप पेज 15 पर नोट्स फेंक देते हैं, तो आप गलती से चाबी भी फेंक देंगे, और आप केस हार जाएंगे।
मौजूदा तरीके एक निश्चित "पेज नंबर" (AI के एक विशिष्ट लेयर) चुनते हैं जहाँ से नोट्स हटाना शुरू किया जाए। यह आसान कार्यों के लिए बहुत अच्छा काम करता है लेकिन कठिन कार्यों के लिए बुरी तरह विफल हो जाता है।
समाधान: ASL (अनुकूली जासूस - The Adaptive Detective)
लेखकों ने इस पेपर में ASL (Adaptive Selection Layer) नामक एक नया तरीका प्रस्तावित किया है। एक कठोर नियम का पालन करने के बजाय, ASL जासूस को एक स्मार्ट सहायक देता है जो यह देखता है कि जासूस कैसे सोच रहा है।
यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:
1. "भ्रम" का मीटर (The "Confusion" Meter)
कल्प laइए कि जासूस उपन्यास पढ़ रहा है।
- शुरुआत में: जासूस भ्रमित है। वह हर वाक्य को समान रूप से देख रहा है, यह सोचते हुए, "क्या यह सुराग है? या वह वाला? या यह वाला?" उसका ध्यान बिखरा हुआ है।
- बाद में: जासूस को समझ आने लगता है। उसकी आँखें एक विशिष्ट पैराग्राफ पर टिक जाती हैं। वह बाकी चीजों को देखना बंद कर देता है। उसका ध्यान केंद्रित (focused) हो जाता है।
मौजूदा तरीके केवल यह अनुमान लगाते हैं कि सब कुछ पढ़ना कब बंद करना है। ASL वास्तव में फोकस को मापता है।
2. वेरिएंस चेक (The Variance Check)
ASL सुरागों की "रैंक" (rank) को देखता है।
- यदि जासूस भ्रमित है, तो सुरागों की रैंकिंग एक पेज से दूसरे पेज पर बहुत अधिक बदलती रहती है। (आज का शीर्ष सुराग कल का सबसे निचला सुराग बन जाता है)। यह उच्च वेरिएंस (high variance) है।
- जब जासूस को असली सुराग मिल जाता है, तो रैंकिंग स्थिर हो जाती है। वही कुछ चुनिकी सुराग शीर्ष पर बने रहते हैं। यह कम वेरिएंस (low variance) है।
ASL इस "स्थिरता" का एक स्कोर रखता है।
- यदि स्कोर अस्थिर है: "सब कुछ पढ़ते रहो! हमें अभी यकीन नहीं है।"
- यदि स्कोर स्थिर हो जाता है: "आहा! जासूस ने महत्वपूर्ण सुरागों को पकड़ लिया है। अब बाकी के नोट्स को फेंकने और कैबिनेट को सिकोड़ने का यह सही समय है।"
यह क्यों एक गेम चेंजर है
लचीली फाइलिंग प्रणाली:
- आसान कार्य: जासूस जल्दी ही उत्तर को पकड़ लेता है। ASL स्थिरता को जल्दी पहचान लेता है, कैबिनेट को तुरंत सिकोड़ देता है, और आपको एक सुपर-फास्ट उत्तर मिलता है।
- कठिन कार्य: जासूस कई पन्नों को स्कैन करते हुए संघर्ष करता है। ASL अस्थिरता को देखता है, कैबिनेट को भरा हुआ रखता है, और तब तक इंतजार करता है जब तक कि जासूस वास्तव में सुनिश्चित न हो जाए। आपको एक धीमा लेकिन सही उत्तर मिलता है।
परिणाम:
"तेज़ लेकिन मूर्ख" या "धीमा लेकिन स्मार्ट" विकल्प चुनने के बजाय, ASL हर एक प्रश्न के लिए परफेक्ट बैलेंस ढूंढता है।
- यह मेमोरी बचाता है (कार्यालय को छोटा रखता है)।
- यह संभव होने पर गति को उच्च रखता है।
- यह सुनिश्चित करता है कि कठिन कार्यों के लिए सटीकता बनी रहे।
संक्षेप में
मौजूदा तरीकों को एक ट्रैफिक लाइट के रूप में सोचें जो एक निश्चित मील के पत्थर पर लाल हो जाती है, चाहे ट्रैफिक कैसा भी हो। यदि ट्रैफिक कम है, तो आप अनावश्यक रूप से रुक जाते हैं। यदि ट्रैफिक भारी है, तो आप बहुत देर से रुकने के कारण दुर्घटनाग्रस्त हो जाते हैं।
ASL एक स्मार्ट ट्रैफिक कंट्रोलर है जो कारों को देखता है। यह लाइट तभी लाल करता है जब ट्रैफिक वास्तव में साफ हो चुका होता है। यह स्थिति के अनुसार ढल जाता है, जिससे यह सुनिश्चित होता है कि आप कभी भी बहुत लंबा इंतजार न करें और कभी भी किसी टक्कर का शिकार न हों।
यह AI मॉडल्स को भारी मात्रा में टेक्स्ट (जैसे पूरी किताबें या लंबी बातचीत) को संभालने की अनुमति देता है, बिना मेमोरी खत्म हुए, जबकि वे सबसे पेचीदा सवालों के सही जवाब भी दे पाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।