🤖 machine learning

Analogies between Transformer Layers and Power Method

यह शोध पत्र ट्रांसफॉर्मर परतों और पावर मेथड के बीच एक सादृश्य स्थापित करता है, जो यह प्रदर्शित करता है कि टोकन, वैल्यू (value) और आउटपुट वेट मैट्रिसेस (output weight matrices) के गुणनफल के मुख्य आइजनवेक्टर (principal eigenvector) के साथ संरेखित होते हैं, जो एक ऐसी घटना है जिसे साझा-भार वाले मॉडलों (shared-weight models) में विश्लेषणात्मक रूप से सिद्ध किया जा सकता है और जिसका उपयोग ट्रांसफॉर्मर के आउटपुट को मनचाहे दिशाओं की ओर मोड़ने के लिए किया जा सकता है।

मूल लेखक: Chenglong Li, Claudio Altafini

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenglong Li, Claudio Altafini

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके पेपर की व्याख्या दी गई है।

मुख्य विचार: ट्रांसफॉर्मर एक "पावर मेथड" मशीन के रूप में

एक ट्रांसफॉर्मर (AI चैटबॉट्स के पीछे का मस्तिष्क) को एक जटिल न्यूरल नेटवर्क के बजाय, एक विशाल, बहु-मंजिला इमारत के रूप में कल्पना करें। इस इमारत की प्रत्येक मंजिल एक "लेयर" (परत) है। जब जानकारी का एक टुकड़ा (एक "टोकन", जैसे वाक्य में एक शब्द) इमारत में प्रवेश करता है, तो वह नीचे की मंजिल से ऊपर की मंजिल तक जाता है, और हर पड़ाव पर प्रोसेस होता है।

इस पेपर के लेखकों ने एक आश्चर्यजनक रहस्य खोजा है: इन लेयर्स के माध्यम से एक टोकन जिस तरह से आगे बढ़ता है, वह गणितीय रूप से क्लासिक मैथ ट्रिक "पावर मेथड" (Power Method) के लगभग समान है।

उपमा: चुंबकीय दिशा-सूचक यंत्र (The Magnetic Compass)

"पावर मेथड" को एक कंपास की तरह समझें जो उत्तर (North) खोजने की कोशिश कर रहा है।

सेटअप: आपके पास एक कंपास की सुई (टोकन) है जो एक रैंडम दिशा में इशारा कर रही है।
प्रक्रिया: आप कंपास को एक मानचित्र पर रखते हैं जिसके नीचे एक विशाल, अदृश्य चुंबक छिपा हुआ है। चुंबक सुई को थोड़ा "उत्तर" की ओर खींचता है।
नॉर्मलाइजेशन (Normalization): सुई के हिलने के बाद, आप उसे एक ही लंबाई बनाए रखने के लिए मजबूर करते हैं (आप इसे बढ़ने या घटने नहीं देते, बस इसे घुमाते हैं)।
परिणाम: यदि आप इसे बार-बार करते हैं, तो सुई अंततः डगमगाना बंद कर देती है और लगभग पूरी तरह से उत्तर की ओर इशारा करती है।

पेपर का तर्क है कि ट्रांसफॉर्मर की प्रत्येक लेयर बिल्कुल यही करती है।

"चुंबक" एक विशिष्ट गणितीय मैट्रिक्स (संख्याओं का ग्रिड) है जो लेयर के वेट्स (weights) द्वारा बनाया जाता है।
"उत्तर" वह प्रिंसिपल आइजनवेक्टर (Principal Eigenvector) है। यह डेटा स्पेस में एक विशेष, प्रमुख दिशा है।
"नॉर्मलाइजेशन" वह लेयर नॉर्मलाइजेशन (Layer Normalization) चरण है, जो टोकन के आकार को स्थिर रखता है।

इसलिए, जैसे-जैसे एक टोकन ट्रांसफॉर्मर में ऊपर की ओर बढ़ता है, उसे लगातार इस प्रमुख दिशा की ओर "झुकाया" या खींचा जाता है, ठीक वैसे ही जैसे कंपास की सुई को।

दो प्रकार की इमारतें

पेपर दो अलग-अलग प्रकार की ट्रांसफॉर्मर इमारतों को देखता है, और वे अलग तरह से व्यवहार करती हैं।

1. "यूनिवर्सल" इमारत (Shared Weights)

कुछ ट्रांसफॉर्मर, जैसे ALBERT, हर एक मंजिल के लिए बिल्कुल एक ही ब्लूप्रिंट का उपयोग करते हैं। "चुंबक" हर स्तर पर समान है।

क्या होता है: क्योंकि चुंबक हर जगह एक जैसा है, टोकन को हर स्टेप पर एक ही दिशा में खींचा जाता है। यह एक ऐसी सीढ़ी पर चलने जैसा है जहाँ हर कदम एक ही दीवार की ओर थोड़ा झुका हुआ है।
परिणाम: जब तक टोकन शीर्ष पर पहुँचता है, वह उस एक प्रमुख दिशा के साथ लगभग पूरी तरह से संरेखित (aligned) हो जाता है। पेपर गणितीय रूप से सिद्ध करता है कि इस मामले में, सभी टोकन अंततः एक ही दिशा में संरेखित होने के लिए अभिसरित (converge) होते हैं (एक अवस्था जिसे "कंसेंसस" कहा जाता है)।

2. "कस्टम" इमारत (Layer-Varying Weights)

अधिकांश लोकप्रिय ट्रांसफॉर्मर, जैसे GPT-2, BERT और GPT-Neo, हर मंजिल के लिए अलग ब्लूप्रिंट रखते हैं। "चुंबक" लेयर-दर-लेयर बदलता रहता है।

क्या होता है: मंजिल 1 पर, चुंबक टोकन को "उत्तर" की ओर खींचता है। मंजिल 2 पर, चुंबक बदल जाता है और उसे "उत्तर-पूर्व" की ओर खींचता है। मंजिल 3 पर, यह "दक्षिण" की ओर खींचता है।
परिणाम: क्योंकि लक्ष्य (target) बदलता रहता है, टोकन कभी भी एक एकल दिशा के साथ पूरी तरह से संरेखित नहीं हो पाता। हालाँकि, पेपर दिखाता है कि प्रत्येक स्टेप पर, टोकन अभी भी वर्तमान मंजिल की प्रमुख दिशा के साथ संरेखित होने की कोशिश करता है। यह एक हाइकर (पर्वतारोही) की तरह है जो एक गाइड का अनुसरण करने की कोशिश कर रहा है जो बार-बार अपनी राय बदल रहा है कि कौन सा रास्ता "सबसे अच्छा" है। हाइकर किसी पूर्ण गंतव्य तक नहीं पहुँचता, लेकिन फिर भी वह हर क्षण एक विशिष्ट दिशा में धकेला जा रहा होता है।

"स्टीयरिंग" (Steering) का तरीका

इस खोज का सबसे रोमांचक हिस्सा इसका व्यावहारिक अनुप्रयोग है। लेखकों ने महसूस किया कि चूंकि "पावर मेथड" चुंबक की ताकत (स्पेक्ट्रल गैप) पर निर्भर करता है, हम इस सिस्टम को हैक कर सकते हैं।

उपमा:
कल्पना करें कि आप "कस्टम बिल्डिंग" (जैसे GPT-2) में हैं। टोकन इधर-उधर भटक रहे हैं क्योंकि हर मंजिल के चुंबक कमजोर और विरोधाभासी हैं। लेकिन, आपको टोकन के बाहर निकलने से ठीक पहले, अंतिम मंजिल के चुंबक को बदलने की अनुमति है।

चाल (The Move): आप अंतिम मंजिल के चुंबक को एक सुपर-स्ट्रॉन्ग, कस्टम-मेड चुंबक से बदल देते हैं जो ठीक उसी दिशा में इशारा करता है जहाँ आप टोकन को भेजना चाहते हैं (जैसे, "सहायक बनें" या "रचनात्मक बनें")।
प्रभाव: क्योंकि यह नया चुंबक अन्य सभी से बहुत अधिक शक्तिशाली है (एक बड़ा "स्पेक्ट्रल गैप" बनाता है), यह पिछले सभी भ्रमों को ओवरराइड कर देता है। टोकन तुरंत आपके द्वारा चुने गए दिशा के साथ संरेखित हो जाता है।

पेपर का दावा है कि यह हमें किसी भी विशिष्ट दिशा की ओर बड़े लैंग्वेज मॉडल के आउटपुट को स्टीयर (नियंत्रित) करने की अनुमति देता है, जिसे हम केवल अंतिम लेयर की गणित को बदलकर कर सकते हैं।

निष्कर्षों का सारांश

तंत्र (Mechanism): ट्रांसफॉर्मर एक बार-बार किए जाने वाले गणितीय अभ्यास (पावर मेथड) की तरह काम करते हैं जो डेटा को एक "मुख्य दिशा" के साथ संरेखित करने की कोशिश करता है।
साझा वेट्स (ALBERT): यदि लेयर्स समान हैं, तो टोकन उस मुख्य दिशा की ओर पूरी तरह से अभिसरित (converge) होते हैं।
अलग-अलग वेट्स (GPT/BERT): यदि लेयर्स अलग हैं, तो टोकन पूरी तरह से अभिसरित नहीं होते हैं, लेकिन वे अभी भी हर स्टेप पर वर्तमान लेयर की मुख्य दिशा के साथ संरेखित होने की प्रवृत्ति दिखाते हैं।
हैक: अंतिम लेयर में एक मजबूत, कस्टम "किक" जोड़कर, हम टोकन को किसी भी दिशा में संरेखित होने के लिए मजबूर कर सकते हैं, जिससे प्रभावी रूप से AI के आउटपुट को स्टीयर किया जा सकता है।

महत्वपूर्ण नोट: यह पेपर इस गणितीय उपमा को काम करने के लिए "फीड-फॉरवर्ड नेटवर्क" (लेयर का वह हिस्सा जो जटिल नॉन-लीनियर थिंकिंग करता है) को विशेष रूप से अनदेखा करता है। वे केवल अटेंशन और नॉर्मलाइजेशन वाले हिस्सों पर ध्यान केंद्रित करते हैं। वे यह भी नोट करते हैं कि वास्तविक दुनिया के मॉडल्स में, यह संरेखण अक्सर कमजोर होता है क्योंकि "चुंबक" पर्याप्त मजबूत नहीं होते हैं, लेकिन सिद्धांत सही रहता है।

तकनीकी सारांश: ट्रांसफार्मर परतों और पावर मेथड के बीच समानताएं

समस्या विवरण
यह शोध पत्र गहरे ट्रांसफॉर्मर्स में टोकन रिप्रजेंटेशन (token representations) किस विशिष्ट वेक्टर दिशा की ओर अभिसरित (converge) होते हैं, इस विषय में समझ की कमी को संबोधित करता है, जिसे "ओवरस्मूथिंग" (oversmoothing), "रैंक कोलैप्स" (rank collapse), या "टोकन-यूनिफॉर्मिटी" (token-uniformity) के रूप में जाना जाता है। यह स्थापित है कि गहरे ट्रांसफॉर्मर्स एक सर्वसम्मत अवस्था (consensus state) की ओर बढ़ते हैं जहाँ सभी टोकन समान हो जाते हैं, लेकिन इस सर्वसम्मत वेक्टर की प्रकृति और इसे संचालित करने वाली प्रक्रिया स्पष्ट नहीं है। मौजूदा साहित्य अक्सर सेल्फ-अटेंशन को एक निरंतर-समय प्रणाली (continuous-time system) के रूप में मॉडल करता है या सिंगल-हेड परिदृश्यों पर ध्यान केंद्रित करता है, जिससे व्यावहारिक मॉडलों (जैसे GPT2, BERT, और ALBERT) के डिस्क्रीट-टाइम (discrete-time), मल्टी-हेड व्यवहार का अन्वेषण कम हुआ है। विशेष रूप से, यह शोध पत्र यह निर्धारित करने का प्रयास करता है कि क्या ट्रांसफार्मर परतों के माध्यम से टोकन को बार-बार पारित करने की प्रक्रिया, मुख्य आइजनवेक्टर (principal eigenvectors) को खोजने के लिए उपयोग किए जाने वाले एक ज्ञात संख्यात्मक पद्धति (numerical method) के समान है।

कार्यप्रणाली (Methodology)
लेखक एक ट्रांसफार्मर को एक डिस्क्रीट-टाइम डायनेमिकल सिस्टम के रूप में मॉडल करते हैं जहाँ लेयर इंडेक्स $t$ समय का प्रतिनिधित्व करता है। वे एक एकल परत के माध्यम से टोकन वेक्टर्स $x_i(t)$ के अपडेट नियम पर ध्यान केंद्रित करते हैं, जिसमें फीड-फॉरवर्ड नेटवर्क (FFN) को स्पष्ट रूप से बाहर रखा गया है और अटेंशन और प्रोजेक्शन तंत्र के ज्यामितीय प्रभावों को अलग करने के लिए $L_2$ नॉर्मलाइजेशन (मानक लेयरनॉर्म के स्थान पर) का उपयोग किया गया है।

कार्यप्रणाली के मूल में प्रत्येक लेयर $t$ के लिए एक "लेयर मैट्रिक्स" $F_t$ को परिभाषित करना शामिल है, जो आउटपुट वेट मैट्रिक्स ( $O$ ) और सभी अटेंशन हेड्स के कंकैटिनेटेड वैल्यू वेट मैट्रिसेस ( $V$ ) के उत्पाद के रूप में निर्मित होता है:
$F_t = O_t V_t$
अपडेट नियम का विश्लेषण एक डायनेमिकल सिस्टम के स्टेप के रूप में किया जाता है:
$x_i(t+1) = \text{LayerNorm}\left(x_i(t) + \text{AttentionOutput}\right)$
लेखक इस अपडेट और पावर मेथड (Power Method) के बीच एक सीधा सादृश्य (analogy) स्थापित करते हैं, जो एक मैट्रिक्स के मुख्य आइजनवेक्टर को कंप्यूट करने के लिए उपयोग किया जाने वाला एक पुनरावृत्ति एल्गोरिदम है। पावर मेथड में, एक वेक्टर को बार-बार एक मैट्रिक्स से गुणा किया जाता है और नॉर्मलाइज किया जाता है, और यदि स्पेक्ट्रल गैप (spectral gap) मौजूद हो, तो यह डोमिनेंट आइजनवेक्टर की ओर अभिसरित होता है।

विश्लेषण को दो मुख्य परिदृश्यों में विभाजित किया गया है:

साझा भार (Shared Weights - Time-Invariant): ALBERT मॉडलों का उपयोग करके विश्लेषण किया गया जहाँ सभी परतों में भार समान हैं ( $F_t = F$ )। लेखक उन मामलों के लिए कठोर विश्लेषणात्मक लक्षण वर्णन प्रदान करते हैं जहाँ मुख्य आइजनवैल्यू वास्तविक और सख्ती से डोमिनेंट है, जटिल (complex) है, या नॉन-डोमिनेंट है।
परिवर्तित भार (Layer-Varying Weights - Time-Varying): BERT, GPT2, और GPTNeo का उपयोग करके विश्लेषण किया गया। यहाँ, प्रत्येक लेयर पर $F_t$ बदलता है। लेखक जांचते हैं कि क्या बदलते लक्ष्य के बावजूद टोकन वर्तमान लेयर के मुख्य आइजनवेक्टर $v_{1,t}$ के साथ संरेखित होने की प्रवृत्ति दिखाते हैं।

इस सिद्धांत को मान्य करने के लिए, लेखक प्री-ट्रेन्ड मॉडलों पर संख्यात्मक प्रयोग करते हैं, जिसमें टोकन वेक्टर्स और लेयर मैट्रिसेस के मुख्य आइजनवेक्टर्स के बीच सहसंबंध (correlation) को मापा जाता है। वे आउटपुट को "स्टीयर" (steer) करने के लिए एक विधि भी प्रस्तावित करते हैं, जिसमें अंतिम लेयर को संशोधित किया जाता है।

मुख्य योगदान

पावर मेथड के साथ सादृश्य: यह शोध पत्र स्थापित करता है कि एक ट्रांसफार्मर लेयर (FFN को छोड़कर) का संचालन पावर मेथड के एक एकल स्टेप के समान कार्य करता है। टोकन प्रोजेक्ट और नॉर्मलाइज होते हैं, और लेयर मैट्रिक्स $F_t$ के मुख्य आइजनवेक्टर की ओर झुकते हैं।
अभिसरण का विश्लेषणात्मक लक्षण वर्णन (Analytical Characterization of Convergence):
- साझा-भार वाले ट्रांसफॉर्मर्स के लिए (जैसे ALBERT): लेखक सिद्ध करते हैं कि यदि लेयर मैट्रिक्स $F$ में एक सख्ती से डोमिनेंट रियल आइजनवैल्यू है, तो सिस्टम एक सर्वसम्मत अवस्था की ओर अभिसरित होता है जहाँ सभी टोकन मुख्य आइजनवेक्टर $v_1$ के साथ संरेखित होते हैं।
- वे स्थिरता के लिए स्थितियाँ पहचानते हैं, यह नोट करते हुए कि यदि मुख्य आइजनवैल्यू कॉम्प्लेक्स है, तो टोकन आइजनवेक्टर्स के रियल और इमेजिनरी पार्ट्स द्वारा स्पैन किए गए 2D सबस्पेस में एक लिमिट साइकिल (limit cycle) की ओर अभिसरित होते हैं।
- वे दिखाते हैं कि "बाइपार्टाइट कंसेंसस" (जहाँ टोकन $\pm v_k$ के साथ संरेखित दो समूहों में विभाजित होते हैं) सैद्धांतिक रूप से संभव है लेकिन मल्टी-हेड सेटिंग्स में अनुभवजन्य रूप से दुर्लभ और अस्थिर है।
वास्तविक मॉडलों पर अनुभवजन्य सत्यापन:
- ALBERT पर प्रयोग पुष्टि करते हैं कि टोकन साझा लेयर मैट्रिक्स के मुख्य आइजनवेक्टर की ओर तेजी से अभिसरित होते हैं। हालाँकि, अभिसरण की गति अक्सर छोटे स्पेक्ट्रल गैप (जहाँ $\lambda_1 \approx \lambda_2$ ) या कॉम्प्लेक्स आइजनवैल्यू द्वारा सीमित होती है।
- लेयर-वेरिंग मॉडलों (BERT, GPT2, GPTNeo) पर प्रयोगों से पता चलता है कि हालांकि टोकन एक एकल वैश्विक आइजनवेक्टर की ओर संचय (accumulate) नहीं करते हैं (बदलते $F_t$ के कारण), फिर भी वे प्रत्येक स्टेप पर वर्तमान लेयर के मुख्य आइजनवेक्टर $v_{1,t}$ के साथ सांख्यिकीय रूप से महत्वपूर्ण सहसंबंध प्रदर्शित करते हैं। यह पुष्टि करता है कि "पावर मेथड" व्यवहार परिवर्तनशील प्रणालियों में भी स्थानीय रूप से बना रहता है।
रैंक-1 परटर्बेशन के माध्यम से टोकन स्टीयरिंग: शोध पत्र एक मनचाही दिशा की ओर टोकन को स्टीयर करने के लिए एक रचनात्मक विधि प्रस्तावित करता है। अंतिम लेयर के आउटपुट मैट्रिक्स में पर्याप्त बड़े रैंक-1 परटर्बेशन को जोड़कर, लेखक एक बड़ा स्पेक्ट्रल गैप बना सकते हैं। यह अंतिम लेयर मैट्रिक्स को एक नया, उपयोगकर्ता-परिभाषित मुख्य आइजनवेक्टर रखने के लिए मजबूर करता है, जिससे सभी टोकन इस विशिष्ट दिशा के साथ संरेखित हो जाते हैं।

परिणाम

ALBERT: साझा भार वाले मॉडलों में, टोकन तेजी से सर्वसम्मति (consensus) की ओर अभिसरित होते हैं। ALBERT-base और large के लिए, मुख्य आइजनवैल्यू वास्तविक है लेकिन दूसरे के करीब है, जिससे पहले दो आइजनवेक्टर्स के स्पैन के भीतर अभिसरण होता है। xlarge और xxlarge के लिए, कॉम्प्लेक्स आइजनवैल्यू के कारण टोकन 2D सबस्पेस में घूमते हैं।
लेयर-वेरिंग मॉडल्स: BERT और GPT वेरिएंट में, वर्तमान लेयर के मुख्य आइजनवेक्टर ( $\gamma_t$ ) के साथ संरेखण सकारात्मक है लेकिन आम तौर पर कमजोर है। इस कमजोरी का कारण वास्तविक दुनिया के ट्रांसफॉर्मर्स में छोटा स्पेक्ट्रल गैप ( $\lambda_{1,t} - \lambda_{2,t}$ ) है। हालाँकि, प्रत्येक स्टेप पर संरेखण बढ़ने की संभावना ( $\rho_t > 0.5$ ) लगातार देखी गई है, जो सादृश्य को मान्य करती है।
स्टीयरिंग (Steering): जब अंतिम लेयर को रैंक-1 परटर्बेशन के साथ संशोधित किया जाता है, तो स्पेक्ट्रल गैप बड़ा हो जाता है, और टोकन नए प्रेरित मुख्य आइजनवेक्टर के साथ लगभग पूर्ण संरेखण प्राप्त करते हैं, चाहे मॉडल आर्किटेक्चर कुछ भी हो।

महत्व और दावे
यह शोध पत्र दावा करता है कि पावर मेथड के लेंस के माध्यम से ट्रांसफॉर्मर को देखने से टोकन ओवरस्मूथिंग और सर्वसम्मति के लिए एक सिद्धांत आधारित स्पष्टीकरण मिलता है। यह सुझाव देता है कि सर्वसम्मति की "दिशा" मनमानी नहीं है बल्कि लेयर मैट्रिक्स के वैल्यू और आउटपुट वेट मैट्रिसेस के उत्पाद के स्पेक्ट्रल गुणों द्वारा निर्धारित होती है।

लेखक इस बात पर जोर देते हैं कि जबकि मानक ट्रांसफॉर्मर्स में प्राकृतिक संरेखण छोटे स्पेक्ट्रल गैप के कारण कमजोर होता है, यह तंत्र इतना मजबूत है कि इसका लाभ उठाया जा सके। प्रस्तावित स्टीयरिंग विधि मॉडल आउटपुट को नियंत्रित करने के लिए प्रॉम्प्ट इंजीनियरिंग या एक्टिवेशन एडिटिंग जैसी मौजूदा तकनीकों के लिए एक सिद्धांत आधारित विकल्प प्रदान करती है, क्योंकि यह सीधे अंतिम लेयर के ज्यामितीय प्रोजेक्शन गुणों में हेरफेर करती है। शोध पत्र निष्कर्ष निकालता है कि यह सादृश्य तब भी बना रहता है जब FFN को अनदेखा किया जाता है, जो यह सुझाव देता है कि अटेंशन मैकेनिज्म और लेयर नॉर्मलाइजेशन ही इस आइजनवेक्टर संरेखण व्यवहार के प्राथमिक चालक हैं।