What Layers When: Learning to Skip Compute in LLMs with Residual Gates
GateSkip एक स्थिर, फाइन-ट्यून करने योग्य गेटिंग मैकेनिज्म है जो डिकोडर-ओनली लैंग्वेज मॉडल्स में टोकन-वाइज लेयर स्किपिंग को सक्षम बनाता है, जिससे सटीकता में न्यूनतम कमी के साथ इन्फरेंस के दौरान महत्वपूर्ण कंप्यूटेशनल बचत संभव होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, 1,000 पन्नों का कानूनी अनुबंध पढ़ रहे हैं।
पढ़ते समय, आपका मस्तिष्क स्वाभाविक रूप से दो तरह से काम करता है: जब आप "The party of the first part shall..." जैसा वाक्य देखते हैं, तो आप इसे सरसरी तौरकी नज़र से पढ़ सकते हैं क्योंकि यह एक मानक भराऊ (filler) है। लेकिन जब आप "The total penalty is $50 million" जैसा वाक्य देखते हैं, तो आपका मस्तिष्क पूरी तरह सतर्क हो जाता है, और अपना सारा ध्यान इस बात पर केंद्रित कर देता है कि आप एक भी विवरण चूक न जाएं।
वर्तमान में, आर्टिफिशियल इंटेलिजेंस (LLMs) इस तरह से काम नहीं करता है। चाहे वह एक उबाऊ "the" हो या एक महत्वपूर्ण "million dollars", AI हर एक शब्द के लिए समान मात्रा में "मस्तिष्क शक्ति" (कंप्यूटेशन) का उपयोग करता है। यह अविश्वसनीय रूप से बर्बादी भरा है।
GateSkip एक नई विधि है जिसे AI को एक "फोकस फिल्टर" देने के लिए डिज़ाइन किया गया है, जिससे यह उबाऊ हिस्सों को सरसरी तौर पर पढ़ सके और अपनी ऊर्जा केवल महत्वपूर्ण चीजों पर खर्च कर सके।
उपमा: स्मार्ट टोल बूथ
कल्पना कीजिए कि एक राजमार्ग (Residual Stream) है जहाँ कारें (Information/Tokens) यात्रा कर रही हैं। इस राजमार्ग पर, कई विशाल, महंगे टोल प्लाजा (Attention and MLP Layers) हैं जहाँ हर कार को रुकना पड़ता है, भुगतान करना पड़ता है और पूरी तरह से निरीक्षण से गुजरना पड़ता है।
एक मानक AI मॉडल में, प्रत्येक कार—यहाँ तक कि एक छोटी साइकिल या एक अकेला यात्री भी—प्रत्येक टोल प्लाजा पर रुकती है। यह यात्रा को बहुत धीमा और महंगा बना देता है।
GateSkip प्रत्येक टोल प्लाजा पर एक "स्मार्ट गेट" पेश करता है:
- निरीक्षण (The Gate): महंगे निरीक्षण क्षेत्र में प्रवेश करने से पहले, एक त्वरित, हल्का सेंसर (Gate) कार को देखता है। वह पूछता है: "क्या इस वाहन में कुछ महत्वपूर्ण है, या यह सिर्फ खाली जगह है?"
- निर्णय (The Skip):
- यदि सेंसर एक सोने से लदा भारी ट्रक (एक उच्च-महत्वपूर्ण शब्द जैसे "million" या एक जटिल गणितीय समस्या) देखता है, तो वह गेट खोल देता है और कार को पूर्ण निरीक्षण के लिए जाने देता है।
- यदि सेंसर रुई का एक छोटा सा टुकड़ा (एक कम-महत्वपूर्ण शब्द जैसे "the" या "of") देखता है, तो वह कार से कहता है: "आप इस प्लाजा के लिए पर्याप्त महत्वपूर्ण नहीं हैं। बस हाईवे पर बने रहें और इस स्टॉप को छोड़ दें।"
- बजट (The Quantile): यह सुनिश्चित करने के लिए कि राजमार्ग बहुत अधिक भीड़भाड़ वाला न हो जाए, सिस्टम के पास एक "बजट" होता है। यह कहता है, "हमारे पास इस प्लाजा पर 80% कारों का निरीक्षण करने के लिए पर्याप्त पैसा है।" सिस्टम फिर सभी कारों को रैंक करता है और केवल शीर्ष 80% को आगे जाने देता है, जबकि शेष 20% को आगे बढ़ने के लिए छोड़ देता है।
यह एक बड़ी बात क्यों है?
आमतौर पर, जब वैज्ञानिक AI को तेज़ बनाने के लिए कुछ हिस्सों को छोड़ने की कोशिश करते हैं, तो AI बहुत जल्दी "मूर्ख" हो जाता है—यह हर तीसरे शब्द को छोड़ने के माध्यम से पढ़ने सीखने जैसा है; अंततः, आप संदर्भ खो देते हैं।
GateSkip विशेष है क्योंकि:
- यह सुचारू है, झटकेदार नहीं: "कठोर" निर्णय लेने के बजाय जो AI को प्रशिक्षण के दौरान भ्रमित कर सकते हैं, यह एक "सॉफ्ट" गणितीय दृष्टिकोण का उपयोग करता है जो AI को बिना उसका दिमाग खराब किए यह सीखने में मदद करता है कि कैसे स्किप करना है।
- यह वास्तव में AI को स्मार्ट बना सकता है: आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि कुछ कार्यों पर, "फोकस" करने का प्रभाव वास्तव में AI को मूल संस्करण की तुलना में बेहतर प्रदर्शन करने में मदद करता है, क्योंकि इसने सही जानकारी को प्राथमिकता देना सीख लिया।
- यह दूसरों के साथ तालमेल बिठाता है: यह एक नए प्रकार के ईंधन एडिटिव की तरह है; यह इंजन को खराब नहीं करता है। आप इसे अन्य दक्षता युक्तियों (जैसे "क्वांटाइजेशन", जो कारों को छोटा बनाने जैसा है) के साथ अन्य दक्षता युक्तियों के साथ उपयोग कर सकते हैं ताकि AI और भी तेज़ हो सके।
परिणाम
संक्षेप में, GateSkip AI को एक ऐसे कर्मचारी में बदल देता है जो रेत के हर एक कण को तीव्रता से घूरता है, बजाय एक स्मार्ट पाठक के जो फालतू बातों को सरसरी तौर पर पढ़ता है और अर्थ पर ध्यान केंद्रित करता है। यह AI को बहुत तेज़ी से चलाने और बहुत कम बिजली का उपयोग करने की अनुमति देता है, जबकि यह पहले की तरह ही स्मार्ट (या उससे भी स्मार्ट) बना रहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।