Feed-Forward Steering in Transformer Residual Dynamics
यह शोध पत्र फीड-फॉरवर्ड नेटवर्क को स्थानीय स्टीयरिंग फील्ड्स के रूप में मॉडल करके ट्रांसफॉर्मर्स के केवल-अटेंशन आधारित डायनेमिकल सिद्धांतों का विस्तार करता है, जो यह प्रदर्शित करता है कि उनके स्पर्शरेखीय घटक (tangential components) अवशिष्ट गति (residual motion) और मॉडल प्रदर्शन के लिए आवश्यक हैं, साथ ही अटेंशन और एफएफएन (FFN) ब्लॉक्स को समानांतर करने की व्यवहार्यता निर्धारित करने के लिए एक प्रमुख मीट्रिक के रूप में कम्यूटेटर दोषों (commutator defects) की पहचान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर मस्तिष्क के भीतर चल रही एक विशाल, अदृश्य नृत्य पार्टी को देख रहे हैं। यह संगीत और चमकती रोशनी वाली पार्टी नहीं है, बल्कि शब्दों और संख्याओं की पार्टी है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से उन "ट्रांसफॉर्मर्स" (Transformers) में जो चैटबॉट्स और सर्च इंजन को शक्ति देते हैं, सूचना का एक निरंतर प्रवाह होता है जिसे "रेसिडुअल स्ट्रीम" (residual stream) कहा जाता है। इस स्ट्रीम को एक नदी के रूप में सोचें जो शब्दों का प्रतिनिधित्व करने वाली छोटी नावें (टोकन) ले जा रही है। लंबे समय तक, वैज्ञानिकों का मानना था कि इन नावों को चलाने वाली एकमात्र चीज़ "अटेंशन" (Attention) नामक एक तंत्र है। आप अटेंशन को एक विशाल, अदृश्य चुंबक के रूप में देख सकते हैं जो नावों को एक-दूसरे की ओर खींचता है यदि वे समान चीजों के बारे में बात कर रहे हों। यदि एक नाव कहती है "राजा," तो चुंबक "रानी" कहने वाली नाव को अपनी ओर खींच सकता है। इस खींचने वाले बल को "एग्रीगेशन" (aggregation) कहा जाता है, और यही कारण है कि एक साथ रहने वाले शब्द एक ही दिशा में गुच्छे बनाने लगते हैं।
हालाँकि, इस डांस फ्लोर का एक और हिस्सा भी है: फीड-फॉरवर्ड नेटवर्क, या FFN। यदि अटेंशन वह चुंबक है जो नावों को एक साथ खींचता है, तो FFN उस नाव के ठीक बगल में खड़ा एक स्थानीय डीजे या व्यक्तिगत कोच है, जो उस विशिष्ट नाव द्वारा कही जा रही बात के आधार पर उसे एक विशिष्ट दिशा में धकेलता है। वर्षों तक, शोधकर्ताओं ने सोचा कि FFF केवल एक सहायक था, शायद केवल नावों की गति को समायोजित करता था या उनके वॉल्यूम को ठीक करता था। लेकिन एक नया शोध पत्र एक बड़ा सवाल पूछता है: क्या FFN केवल एक वॉल्यूम नॉब है, या यह वास्तव में वह स्टीयरिंग व्हील है जो तय करता है कि नावें कहाँ जाएँगी? इसे समझना इसलिए महत्वपूर्ण है क्योंकि यदि हम जानते हैं कि ये नावें वास्तव में कैसे चलती हैं, तो हम AI को तेज़, स्मार्ट और गलतियाँ करने पर उसे ठीक करना आसान बना सकते हैं।
शोध पत्र की बड़ी खोज: डीजे ही कप्तान है
"फीड-फॉरवर्ड स्टीयरिंग इन ट्रांसफॉर्मर रेसिडुअल डायनेमिक्स" शीर्षक वाला यह शोध पत्र सुझाव देता है कि पुराना दृष्टिकोण पहेली का एक महत्वपूर्ण हिस्सा भूल गया था। लेखक इस डांस फ्लोर को देखने का एक नया तरीका प्रस्तावित करते हैं: अटेंशन वह "एग्रीगेशन" है जो सभी को एक साझा समूह की ओर खींचता है, लेकिन FFN एक "स्टीयरिंग फील्ड" है जो सक्रिय रूप से व्यक्तिगत नावों को नई दिशाओं में धकेलता है। वे इन शब्द-नावों की गति को एक भौतिकी (physics) की समस्या के रूप में देखते हैं, जहाँ नावें एक गोले (जैसे ग्लोब की सतह) पर चलते हुए कणों की तरह हैं।
शोधकर्ताओं ने पाया कि FFN केवल नावों को आगे या पीछे नहीं धकेलता (जो केवल उनकी गति या आकार को बदलता), बल्कि FFN का सबसे महत्वपूर्ण काम उन्हें तिरछा, या "टैन्जेंटियल" (tangentially) रूप से धकेलना है। कल्पना कीजिए कि ग्लोब पर एक नाव है; उसे उत्तर ध्रुव की ओर धकेलने से केंद्र के सापेक्ष उसका आकार बदल जाता है, लेकिन उसे तिरछा धकेलने से मानचित्र पर उसकी वास्तविक दिशा बदल जाती है। शोध पत्र दिखाता है कि यह तिरछा धक्का ही वास्तव में शब्द के अर्थ और पथ को बदलता है।
उन्होंने क्या किया और उन्हें क्या मिला
इसे सिद्ध करने के लिए, टीम ने GPT-2, Pythia, Mistral, और Llama-3 जैसे कई प्रसिद्ध AI मॉडलों पर प्रयोगों की एक श्रृंखला चलाई। उन्होंने AI को एक विज्ञान प्रयोगशाला की तरह माना जहाँ वे इसके हिस्सों को चालू या बंद कर सकते थे या इसके काम करने के तरीके को बदल सकते थे।
सबसे पहले, उन्होंने जांचा कि क्या केवल अटेंशन ही यह समझा सकता है कि नावें कहाँ गईं। उन्होंने एक बड़ा "एंगुलर-अलाइनमेंट डेफिसिट" (angular-alignment deficit) पाया। सरल शब्दों में, यदि उन्होंने केवल अटेंशन चुंबक को काम करने दिया, तो नावें गलत दिशा में चली गईं, जैसा कि वास्तविक AI उन्हें भेजता है। यह घाटा बड़े, नए मॉडलों में बढ़ता गया, जो GPT-2 में लगभग 0.41 से बढ़कर Llama-3-8B में 0.63 हो गया। यह सुझाव देता है कि FFN के स्टीयरिंग के बिना, AI रास्ता भटक जाएगा।
इसके बाद, उन्होंने FFN पर एक "सर्जरी" की। उन्होंने FFN के धक्के को दो भागों में विभाजित किया: "रेडियल" (radial) भाग (आगे/पीछे धकेलना) और "टैन्जेंटियल" (tangential) भाग (तिरछा धकेलना)।
- जब उन्होंने केवल रेडियल भाग को रखा, तो AI का प्रदर्शन पूरी तरह से ध्वस्त हो गया, ठीक वैसे ही जैसे FFN को हटाने पर होता।
- जब उन्होंने केवल टैन्जेंटियल भाग को रखा, तो AI लगभग पूरी तरह से काम करता रहा, जिसमें गुणवत्ता में केवल मामूली गिरावट आई।
यह एक निर्णायक प्रमाण था। इसने साबित कर दिया कि FFF का मुख्य काम शब्दों की दिशा को मोड़ना है, न कि केवल उनका आकार बदलना।
उन्होंने यह भी देखा कि क्या होता है जब अटेंशन चुंबक बहुत ज़ोर से खींचता है, जिससे सभी नावों को एक छोटे से गुच्छे में समेटने की कोशिश होती है (एक समस्या जिसे "रैंक कोलैप्स" कहा जाता है)। उन्होंने पाया कि FFN एक प्रति-बल (counter-force) के रूप में कार्य करता है। जबकि अटेंशन नावों को एक साथ दबाने की कोशिश करता है, FFF उन्हें अलग करता है, जिससे समूह विविध बना रहता है और उन्हें एक जैसा होने से रोकता है। यह एक ऐसे डीजे की तरह है जो देखता है कि लोग केंद्र में भीड़ लगा रहे हैं और फिर एक ऐसी बीट बजाना शुरू कर देता है जिससे लोग फिर से फैलने लगें।
एक व्यावहारिक ट्रिक: डांस की गति बढ़ाना
इस शोध पत्र का सबसे रोमांचक हिस्सा एक व्यावहारिक ट्रिक है जिसे उन्होंने खोजा। एक मानक AI में, नावें पहले अटेंशन चुंबक द्वारा खींची जाती हैं, और फिर FFN कोच उन्हें धक्का देता है। यह एक के बाद एक (क्रमवार) होता है। शोधकर्ताओं ने पूछा: "क्या होगा यदि हम चुंबक और कोच को एक साथ (समानांतर में) काम करने दें?"
आमतौर पर, आप ऐसा नहीं कर सकते क्योंकि कोच को यह देखने की आवश्यकता होती है कि चुंबक ने नाव को पहले कहाँ खींचा। लेकिन टीम ने यह मापने के लिए एक "डेफिसिट स्कोर" मापा कि प्रत्येक परत (layer) के लिए क्रम कितना मायने रखता है। उन्होंने पाया कि कुछ परतों के लिए, क्रम अधिक मायने नहीं रखता था। इन "लो-डेफिसट" (low-defect) परतों की पहचान करके, वे अटेंशन और FFN दोनों को एक साथ चला सके।
- GPT-2-large में, वे गुणवत्ता में लगभग कोई कमी नहीं (केवल +0.02 की हानि) के साथ प्रक्रिया को लगभग 1.24 गुना तेज़ करने में सफल रहे।
- Mistral में, उन्हें +0.009 की मामूली हानि के साथ 1.10 गुना की गति मिली।
हालाँकि, यदि उन्होंने उन परतों पर ऐसा करने की कोशिश की जहाँ क्रम महत्व रखता था (हाई-डेफिसिट लेयर्स), तो AI का प्रदर्शन गिर गया। यह सुझाव देता है कि हालांकि हम पूरे AI को तुरंत समानांतर में नहीं चला सकते, लेकिन हम विशिष्ट हिस्सों को तेज़ कर सकते हैं यदि हमें पता हो कि स्टीयरिंग कैसे काम करती है।
इसका क्या अर्थ है
यह शोध पत्र यह दावा नहीं करता कि उसने AI की हर समस्या हल कर ली है, लेकिन यह इंजन के प्रति हमारे दृष्टिकोण को बदल देता है। यह सुझाव देता है कि FFF केवल एक सहायक नहीं है; यह एक दिशात्मक स्टीयरिंग फील्ड है जो AI के विचारों की ज्यामिति (geometry) को आकार देता है। यह AI को एक ही दिशा में फंसने से बचाता है और उसे जटिल विचारों के माध्यम से नेविगेट करने की अनुमति देता है। यह समझकर कि FFF "गैस पेडल" के बजाय "स्टीयरिंग व्हील" है, शोधकर्ता तेज़, अधिक कुशल AI मॉडल बना सकते हैं जो अपना रास्ता नहीं भटकते। ये निष्कर्ष कई मॉडलों पर सावधानीपूर्वक माप और सिमुलेशन पर आधारित हैं, जो यह सुझाव देते हैं कि यह "एग्रीगेशन-स्टीयरिंग" दृष्टिकोण यह समझने का एक मजबूत तरीका है कि ये डिजिटल मस्तिष्क कैसे चलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।