Attention Drift: What Autoregressive Speculative Decoding Models Learn
यह शोध पत्र "अटेंशन ड्रिफ्ट" (attention drift) को ऑटोरेग्रेसिव स्पेकुलेटिव डिकोडिंग मॉडल्स में एक प्रमुख सीमा के रूप में पहचानता है जहाँ अन-नॉर्मलाइज़्ड रेसिडुअल पाथ्स (un-normalized residual paths) के कारण अटेंशन प्रॉम्प्ट से हटकर जनरेटेड टोकन्स की ओर स्थानांतरित हो जाता है, और पोस्ट-नॉर्म (post-norm) एवं प्रति-हिडन-स्टेट RMSNorm (per-hidden-state RMSNorm) जैसे आर्किटेक्चरल सुधारों का प्रस्ताव करता है जो विभिन्न कार्यों और कॉन्टेक्स्ट लेंथ्स में एक्सेप्टेंस लेंथ्स (acceptance lengths) में महत्वपूर्ण सुधार करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बुद्धिमान, लेकिन धीमी गति से काम करने वाले लाइब्रेरियन (जिसे टारगेट मॉडल कहा जाता है) की मदद कर रहे हैं जो एक कहानी लिख रहा है। समय बचाने के लिए, आप एक तेज़ लेकिन कम अनुभवी सहायक (जिसे ड्राफ्टर कहा जाता है) को नियुक्त करते हैं ताकि वह लाइब्रेरियन के सोचने से पहले ही अगले कुछ शब्दों का अनुमान लगा सके। यदि सहायक सही अनुमान लगा लेता है, तो लाइब्रेरियन बस "अच्छा काम किया" कहता है और आगे बढ़ जाता है, जिससे उन शब्दों को सोचने की धीमी प्रक्रिया बच जाती है। इसे स्पेक्टेटिव डिकोडिंग (Speculative Decoding) कहा जाता है।
हालाँकि, इस शोध पत्र ने इन सहायकों के काम करने के तरीके में एक अजीब सी गड़बड़ी खोजी है, जिसे लेखक "अटेंशन ड्रिफ्ट" (Attention Drift) कहते हैं।
समस्या: सहायक खुद में ही खो जाता है
कल्पना कीजिए कि लाइब्रेरियन एक ड्रैगन के बारे में कहानी सुना रहा है। सहायक को लाइब्रेरियन के निर्देशों (प्रॉम्प्ट) पर अपनी नज़रें टिकाए रखनी चाहिए ताकि वह अगले शब्दों का अनुमान लगा सके।
लेकिन यहाँ क्या होता है:
- शुरुआत: बिल्कुल शुरुआत में, सहायक लाइब्रेरियन के निर्देशों को देखता है।
- ड्रिफ्ट (भटकाव): जैसे ही सहायक अपने स्वयं के शब्द अनुमानित करना शुरू करता है, वह विचलित हो जाता है। वह लाइब्रेरियन के मूल निर्देशों को देखना बंद कर देता है और अपने ही द्वारा लिखे गए शब्दों को गहराई से देखने लगता है।
- परिणाम: सहायक अपने ही हालिया आउटपुट के प्रति जुनूनी हो जाता है। वह कहानी के संदर्भ (context) को भूल जाता है। यदि आप कहानी पेश करने के तरीके को बदलते हैं (टेम्प्लेट परटर्बेशन) या कहानी को बहुत लंबा कर देते हैं, तो सहायक पूरी तरह से भ्रमित हो जाता है और सही अनुमान लगाना बंद कर देता है।
लेखक इसे अटेंशन ड्रिफ्ट कहते हैं। सहायक का ध्यान मूल सामग्री से "ड्रिफ्ट" होकर उसके अपने ही हालिया विचारों पर अटक जाता है।
ऐसा क्यों होता है? "वॉल्यूम नॉब" की उपमा
लेखकों ने यह पता लगाने के लिए गणित का उपयोग किया कि ऐसा क्यों होता है। उन्होंने सहायक के मस्तिष्क (इसके आंतरिक डेटा स्टेट्स) में एक छिपा हुआ "वॉल्यूम नॉब" (आवाज़ नियंत्रित करने वाला बटन) पाया।
- वर्तमान डिज़ाइन (Pre-norm): कल्पना कीजिए कि सहायक के पास एक माइक्रोफ़ोन है जो हर बार बोलने पर तेज़ होता जाता है।
- शब्द 1: सामान्य आवाज़।
- शब्द 2: थोड़ी तेज़।
- शब्द 10: चिल्लाता हुआ।
- शब्द 20: बहरा कर देने वाला।
क्योंकि सहायक के साथ हर नया शब्द अनुमानित करते समय उसका आंतरिक "वॉल्यूम" (हिडन स्टेट्स का परिमाण) बढ़ता जाता है, इसलिए उसे ऐसा महसूस होने लगता है कि वह लाइब्रेरियन के ऊपर जटिलता की कई परतें जोड़ रहा है। वह एक साधारण अनुमान लगाने वाले के बजाय, एक पूरी तरह से नए, गहरे मॉडल की तरह व्यवहार करने लगता है जो पिछले अनुमानों को "परिष्कृत" करने की कोशिश कर रहा है। यह बढ़ता हुआ वॉल्यूम उसे अपना संतुलन खोने और मूल निर्देशों को भूल जाने पर मजबूर कर देता है।
समाधान: "रीसेट बटन" (Post-norm)
लेखकों ने एक सरल समाधान प्रस्तावित किया: पोस्ट-नॉर्म (Post-norm)।
इसे एक "वॉल्यूम रीसेट" बटन के रूप में सोचें जो सहायक द्वारा प्रत्येक शब्द का अनुमान लगाने के बाद लगाया जाता है।
- सहायक द्वारा अगला शब्द अनुमानित करने से पहले, सिस्टम उसके आंतरिक वॉल्यूम की जाँच करता है और उसे एक मानक स्तर पर वापस सामान्य (normalize) कर देता है।
- यह "वॉल्यूम" को बहरा कर देने वाला होने से रोकता है।
- यह सहायक को ज़मीन से जुड़े रहने और हर अनुमान को एक ताज़ा, स्वतंत्र भविष्यवाणी के रूप में मानने के लिए मजबूर करता है, न कि पिछले अनुमानों के एक अराजक ढेर के रूप में।
उन्होंने सहायक के शुरू करने से पहले ही लाइब्रेरियन से आने वाले डेटा के लिए भी एक समान "रीसेट" जोड़ा, जिससे यह सुनिश्चित हुआ कि शुरुआती सिग्नल बहुत तेज़ या असंतुलित न हो।
परिणाम: एक अधिक मजबूत सहायक
"रीसेट बटन" (Post-norm) जोड़ने से सहायक अपने काम में बहुत बेहतर हो गया:
- कम विचलित: इसने मूल निर्देशों से भटकना बंद कर दिया।
- अधिक मजबूत: यदि आप कहानी का प्रारूप बदलते हैं (जैसे टैग हटाना या अभिवादन बदलना), तो भी यह क्रैश नहीं हुआ। इसने पुराने संस्करण की तुलना में 2 गुना बेहतर प्रदर्शन किया।
- लंबी कहानियाँ: यह बिना भ्रमित हुए बहुत लंबी कहानियों को संभाल सकता है।
- तेज़ प्रशिक्षण: क्योंकि सहायक अधिक स्थिर था, इसलिए वे इसे छोटी अनुक्रमों (sequences) पर प्रशिक्षित कर सके, और बाद में यह लंबे अनुक्रमों पर भी अच्छी तरह काम करता है।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि वास्तविक दुनिया की जटिल स्थितियों में ये सहायक केवल इसलिए विफल नहीं होते क्योंकि वे "मूर्ख" हैं। बल्कि, ऐसा इसलिए होता है क्योंकि उनका आंतरिक डिज़ाइन उन्हें काम करते समय "तेज़" और आत्ममुग्ध बना देता है। केवल एक साधारण आर्किटेक्चरल सुधार के माध्यम से उनके आंतरिक वॉल्यूम को स्थिर रखकर, वे बहुत अधिक विश्वसनीय, सुसंगत और तेज़ बन जाते हैं।
संक्षेप में: शोध पत्र ने पाया कि AI ड्राफ्टर्स अपने काम से विचलित हो जाते हैं क्योंकि उनका आंतरिक "वॉल्यूम" बढ़ता रहता है। एक सरल संरचनात्मक सुधार के साथ उस वॉल्यूम को कम करने से, वे बड़े मॉडल को लिखने में मदद करने के लिए बहुत बेहतर हो जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।