🤖 machine learning

Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks

यह शोध पत्र जॉर्डन-RoPE (Jordan-RoPE) को प्रस्तुत करता है, जो एक गैर-अर्द्ध-सरल (non-semisimple) सापेक्ष स्थिति संबंधी एन्कोडिंग है जो दूरी-मॉड्यूलेटेड चरण अंतःक्रियाओं (distance-modulated phase interactions) को मॉडल करने के लिए ऑसिलेटरी-पॉलीनोमियल (oscillatory-polynomial) विशेषताओं को उत्पन्न करने हेतु जटिल जॉर्डन ब्लॉकों का लाभ उठाता है, जो कुछ संदर्भों में मानक RoPE और ALiBi बेसलाइनों की तुलना में संरचनात्मक लाभ और विशिष्ट प्रदर्शन लाभ प्रदर्शित करता है।

मूल लेखक: Yaobo Zhang

प्रकाशित 2026-05-07✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yaobo Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसी कहानी को समझने की कोशिश कर रहे हैं जहाँ घटनाओं का क्रम महत्वपूर्ण है। एक ट्रांसफॉर्मर नामक कंप्यूटर मॉडल में, "अटेंशन" (attention) तंत्र एक पाठक की तरह है जो यह तय करता है कि वाक्य के कौन से पिछले शब्द वर्तमान शब्द को समझने के लिए महत्वपूर्ण हैं।

इसे करने के लिए, मॉडल को यह जानने की आवश्यकता है कि दो शब्द कितनी दूर हैं। यदि मॉडल केवल शब्दों को ही देखता है, तो उसे यह पता नहीं चलेगा कि शब्द A, शब्द B से ठीक पहले आया था या 100 शब्द पहले। यहीं पर पोजीशनल एनकोडिंग (Positional Encoding) काम आती है—यह वह "रूलर" (पैमाना) है जिसका उपयोग मॉडल दूरी मापने के लिए करता है।

समस्या: पुराने रूलर

यह शोध पत्र देखता है कि वर्तमान में मॉडल दूरी को मापने के दो लोकप्रिय तरीकों का उपयोग कैसे करते हैं:

RoPE (रोटरी पोजीशनल एनकोडिंग): इसे एक घूमते हुए लट्टू (spinning top) की तरह समझें। यह शब्दों के अर्थ को उनकी स्थिति के आधार पर घुमाता है। यह वाक्य की लय या फेज (जैसे गाने में बीट) को संभालने में बहुत अच्छा है, लेकिन यह दूरी को एक साधारण रोटेशन के रूप में मानता है।
ALiBi: इसे एक सीधी रेखा की तरह समझें। यह दूर होने पर एक साधारण दंड (penalty) जोड़ता है। यह यह कहने में अच्छा है कि "पास होना बेहतर है," लेकिन यह भाषा के जटिल, लहरदार पैटर्न को नहीं पकड़ पाता।

अधिकांश मॉडल इन दोनों का अलग-अलग उपयोग करते हैं, जैसे कि रोटेशन के लिए एक रूलर और दूरी के लिए एक अलग रूलर होना। वे इन्हें एक एकल, एकीकृत उपकरण में एक साथ नहीं मिलाते हैं।

नया विचार: जॉर्डन-RoPE (Jordan-RoPE)

लेखक, याबो झांग (Yaobo Zhang), पूछते हैं: क्या होगा यदि हम घूमते हुए लट्टू और दूरी के रूलर को एक ही, अधिक जटिल उपकरण में मिला सकें?

गणित में, जॉर्डन ब्लॉक (Jordan Block) की एक अवधारणा है। आमतौर पर, गणितीय उपकरण "सुंदर" और अलग होते हैं (जैसे घूमता हुआ लट्टू और रूलर अलग-अलग होना)। लेकिन एक "डिफेक्टिव" या "नॉन-सेमीसिंपल" जॉर्डन ब्लॉक एक ऐसा उपकरण है जहाँ हिस्से इस तरह से एक साथ चिपके हुए होते हैं कि वे कुछ नया बनाते हैं।

रचनात्मक उपमा: डगमगाता हुआ लट्टू (The Wobbly Spinning Top)
कल्पना कीजिए कि एक घूमता हुआ लट्टू (रोटेशन) है जो थोड़ा असंतुलित है। जब यह घूमता है, तो यह केवल घूमता ही नहीं है; बल्कि यह डगमगाता (wobble) भी है।

घूमना (Spin) भाषा की लय (फेज) का प्रतिनिधित्व करता है।
डगमगाना (Wobble) दूरी का प्रतिनिधित्व करता है।
इस नए Jordan-RoPE में, जैसे-जैसे आप आगे बढ़ते हैं, डगमगाहट बढ़ती जाती है। यह केवल एक साधारण स्पिन या साधारण दूरी नहीं है; यह एक दूरी-मॉड्यूलेटेड स्पिन (distance-modulated spin) है।

गणितीय रूप से, यह एक विशेषता बनाता है जो दिखती है:

दूरी × (स्पिन × कोसाइन + स्पिन × साइन)

केवल यह जानने के बजाय कि "यह 5 कदम दूर है" या "यह 90-डिग्री के कोण पर है," मॉडल अब देखता है कि "यह 5 कदम दूर है और दूरी के कारण कोण बदल रहा है।" यह एक विशिष्ट प्रकार के पैटर्न को पकड़ता है जहाँ वाक्य की लय इस बात पर निर्भर करती है कि आप कितनी पीछे देख रहे हैं।

उन्होंने इसका परीक्षण कैसे किया

लेखक ने केवल यह उपकरण नहीं बनाया; उन्होंने यह भी परीक्षण किया कि क्या यह विशिष्ट स्थितियों में वास्तव में मदद करता है।

"सिंथेटिक" (Synthetic) परीक्षण: उन्होंने एक नकली भाषा कार्य बनाया जहाँ उत्तर पूरी तरह से इस "दूरी-मॉड्यूलेटेड स्पिन" पैटर्न पर निर्भर था (जैसे एक गुप्त कोड जहाँ संदेश इस आधार पर बदलता है कि आप कितनी पीछे पढ़ रहे हैं)।
- परिणाम: नए उपकरण (Jordan-RoPE) ने इस पहेली को पुराने उपकरणों (RoPE या ALiBi) की तुलना में बहुत बेहतर तरीके से हल किया। केवल यही एक था जो स्वाभाविक रूप से उस "डगमगाते स्पिन" वाले पैटर्न को समझ सका।
"वास्तविक दुनिया" का परीक्षण: उन्होंने विकिपीडिया टेक्स्ट (WikiText-103) पर प्रशिक्षित एक छोटे भाषा मॉडल पर इसका परीक्षण किया।
- परिणाम: यह मानक RoPE टूल की तुलना में बेहतर प्रदर्शन करता है, लेकिन यह RoPE + ALiBi के "चैंपियन" संयोजन को नहीं हरा पाया।
- सावधानी: शोध पत्र सावधानी से कहता है कि यह हर भाषा के लिए जादुई समाधान नहीं है। वास्तविक मानव भाषा में, "डगमगाहट" हमेशा सबसे महत्वपूर्ण चीज़ नहीं होती है। यह उपकरण तब सबसे उपयोगी होता है जब कार्य में जटिल, दूरी-निर्भर लय की आवश्यकता होती है।

"स्थिर" (Stabilized) संस्करण

एक समस्या थी: शुद्ध गणितीय संस्करण में, "डगमगाहट" (nilpotent part) जैसे-जैसे दूरी बढ़ती है, अनंत रूप से बड़ी होती जाती है, जिससे कंप्यूटर की गणना बिगड़ सकती है।

समाधान: उन्होंने एक "स्थिर" (Stabilized) संस्करण बनाया जो डगमगाहट पर एक सीमा लगा देता है। यह घूमते हुए लट्टू पर एक गवर्नर लगाने जैसा है ताकि वह डगमगाए तो बहुत, लेकिन नियंत्रण से बाहर न जाए। यह संस्करण परीक्षणों में बहुत अच्छा रहा।

मुख्य निष्कर्ष

यह शोध पत्र Jordan-RoPE पेश करता है, जो दूरी को मापने का एक नया तरीका है जो रोटेशन और दूरी को एक एकल, "जुड़े हुए" गणितीय ढांचे में जोड़ता है।

यह क्या करता है: यह AI को ऐसे पैटर्न देखने की अनुमति देता है जहाँ टेक्स्ट की लय दूरी के आधार पर बदलती है।
यह कब सबसे अच्छा काम करता है: जब कार्य में जटिल, दूरी-निर्भर दोलनों (oscillations) वाले पैटर्न शामिल हों (जैसे सिंथेटिक परीक्षण में)।
यह क्या नहीं करता: यह दावा नहीं करता कि यह हर भाषा कार्य के लिए सबसे अच्छा उपकरण है। वास्तव में, मानक "RoPE + ALiB" का संयोजन सामान्य टेक्स्ट के लिए अभी भी अधिक मजबूत है।

इसे एक विशेष रिंच (wrench) के रूप में सोचें। यदि आपके पास एक ऐसा बोल्ट है जिसे ढीला करने के लिए एक विशिष्ट "डगमगाते स्पिन" की आवश्यकता है, तो यह रिंच एकदम सही है। लेकिन यदि आपको बस एक मानक पेंच घुमाना है, तो आपके पुराने उपकरण अभी भी सबसे अच्छे विकल्प हो सकते हैं। यह शोध पत्र सिद्ध करता है कि ऐसा विशेष रिंच मौजूद है, यह अपने काम के अनुसार काम करता है, और विशिष्ट, जटिल कार्यों के लिए उपयोगी है।

तकनीकी सारांश: Jordan-RoPE

समस्या विवरण
सापेक्ष स्थिति एन्कोडिंग (Relative Positional Encodings - RPE) अटेंशन मैकेनिज्म के लिए उपलब्ध क्वेरी-की लैग (query-key lag) के प्रिमिटिव फलनों को परिभाषित करती हैं। RoPE (रोटरी फेज) और ALiBi (एडिटिव डिस्टेंस बायस) जैसे सफल तंत्र, जो रैखिक, अनुवाद-अपरिवर्तनीय ऑपरेटरों के समूह-सैद्धांतिक वर्गीकरण के माध्यम से अच्छी तरह से समझे गए हैं, आमतौर पर सेमी-सिंपल (विकर्ण योग्य/diagonalizable) जनरेटरों पर निर्भर करते हैं। यह वर्गीकरण के नॉन-सेमी-सिंपल कोने को अनछुआ छोड़ देता है। विशेष रूप से, मानक दृष्टिकोण फेज (रोटरी) और दूरी (पॉलिनॉमियल/शीयर) विशेषताओं को अलग-अलग चैनलों या एडिटिव बायस के रूप में मानते हैं। यह शोध जांच करता है कि क्या एक एकल डिफेक्टिव जॉर्डन ब्लॉक (defective Jordan block) के भीतर एक जटिल रोटरी आइजनवैल्यू को एक निलपोटेंट रिस्पॉन्स (nilpotent response) के साथ जोड़ने से नए प्रिमिटिव रिलेटिव-पोजीशन फीचर्स प्राप्त होते हैं, जो सरल डायरेक्ट सम (direct sums) से संरचनात्मक रूप से भिन्न हैं।

कार्यप्रणाली
लेखक Jordan-RoPE का प्रस्ताव करते हैं, जो एक निर्माण है जो रोटरी कॉम्प्लेक्स आइजनवैल्यू और एक निलपोटेंट रिस्पॉन्स को एक एकल ऑर्डर-टू कॉम्प्लेक्स जॉर्डन ब्लॉक में समाहित करता है।

बीजगणितीय सूत्रीकरण (Algebraic Formulation):
जनरेटर को $J_{\gamma, \omega, \eta} = (-\gamma + i\omega)I + \eta N$ के रूप में परिभाषित किया गया है, जहाँ $N$ एक निलपोटेंट मैट्रिक्स है ( $N^2=0$ )। परिणामी रिलेटिव ऑपरेटर कॉज़ल लैग $d = i-j \ge 0$ के लिए है:
$G_{exact}(d) = \exp(d J) = e^{(-\gamma + i\omega)d} (I + \eta d N)$
यह ऑसिलेटरी-पॉलिनॉमियल (oscillatory-polynomial) फीचर्स का एक आधार उत्पन्न करता है:
$e^{-\gamma d} \cos(\omega d), \quad e^{-\gamma d} \sin(\omega d), \quad d e^{-\gamma d} \cos(\omega d), \quad d e^{-\gamma d} \sin(\omega d)$
महत्वपूर्ण रूप से, निलपोटेंट चैनल फ्रीक्वेंसी-टैजेंट फीचर $d e^{i\omega d}$ प्रदान करता है, जो दूरी और फेज को अलग-अलग जोड़ने के बजाय सीधे जोड़ता है।
कॉन्ट्राडिएंटरी क्वेरी एक्शन (Contragredient Query Action):
चूंकि जॉर्डन ब्लॉक नॉन-ऑर्थोगोनल है, इसलिए एक ही ट्रांसफॉर्म को क्वेरी और की (key) पर लागू करने से शुद्ध रिलेटिव ऑपरेटर प्राप्त नहीं होता है ( $G(i)^\top G(j) \neq G(j-i)$ )। सही रिलेटिव स्कोर को पुनः प्राप्त करने के लिए, लेखक एक कॉन्ट्राडिएंटरी क्वेरी एक्शन तैयार करते हैं: क्वेरीज को स्थिति-निर्भर मैट्रिक्स के इनवर्स ट्रांसपोज़ द्वारा ट्रांसफॉर्म किया जाता है, जबकि कीज़ (keys) प्रिमल ट्रांसफॉर्म का उपयोग करती हैं। यह सुनिश्चित करता है कि अटेंशन स्कोर पूरी तरह से लैग $d$ पर निर्भर करता है।
स्थिरीकरण (Stabilization):
सटीक निलपोटेंट टर्म $d$ के साथ रैखिक रूप से बढ़ता है, जो लंबे संदर्भ (context) के लिए समस्याग्रस्त है। लेखक Stabilized Jordan-RoPE पेश करते हैं, जो $d$ को एक बाउंडेड शीयर फंक्शन $\tau(d) = d / (1 + d/L)$ से बदल देता है। हालांकि यह सटीक एक-पैरामीटर ग्रुप लॉ को तोड़ देता है, लेकिन यह स्थानीय जॉर्डन रिस्पॉन्स को सुरक्षित रखता है और अनबाउंडेड ग्रोथ को रोकता है। एक Scaled-exact वेरिएंट भी प्रस्तावित किया गया है, जो संदर्भ लंबाई $L$ द्वारा शीयर मैग्नीट्यूड को सामान्य करके ग्रुप लॉ को संरक्षित करता है।

प्रमुख योगदान

संरचनात्मक पहचान: शोध पत्र यह पहचानता है कि ऑर्डर-टू कॉम्प्लेक्स जॉर्डन ब्लॉक रोटरी RPE का न्यूनतम नॉन-सेमी-सिंपल विस्तार है, जहाँ फेज और निलपोटेंट रिस्पॉन्स को अलग-अलग सबस्पेस के बजाय एक एकल डिफेक्टिव रिप्रेजेंटेशन में जोड़ा गया है।
प्रिमिटिव बेसिस: यह प्रदर्शित करता है कि यह निर्माण सीधे प्रिमिटिव लोगिट बेसिस $d e^{i\omega d}$ (और इसके वास्तविक घटक $d \cos(\omega d), d \sin(\omega d)$ ) प्रदान करता है, जो प्री-सॉफ्टमैक्स स्तर पर एक "डिस्टेंस-मॉड्यूलेटेड फेज" बेसिस को साकार करता है।
कार्यान्वयन: यह रियल ब्लॉक कार्यान्वयन और नॉन-ऑर्थोगोनल मैप्स के लिए आवश्यक कॉन्ट्राडिएंटरी क्वेरी एक्शन प्रदान करता है।
बेसलाइन से अंतर: यह सटीक प्रतिनिधित्व को स्टेबलाइज्ड कार्यान्वयन से अलग करता है, जिससे स्पष्ट होता है कि बाउंडेड शीयर न्यूमेरिकल व्यवहार में सुधार करता है लेकिन सटीक ग्रुप लॉ का त्याग करता है।

प्रायोगिक परिणाम
मूल्यांकन व्यापक प्रदर्शन दावों के बजाय संरचनात्मक साक्ष्य पर केंद्रित है, जिसमें तीन प्रकार के परीक्षणों का उपयोग किया गया है:

कर्नेल-लेवल प्रोब्स: एक मिश्रित लक्ष्य $y(d) = (d/L)\cos(\omega d)$ पर, Exact/raw Jordan बेसिस सबसे कम मीन स्क्वेर्ड एरर (MSE) प्राप्त करता है, जो RoPE, ALiBi और Direct-sum बेसलाइन्स से काफी बेहतर प्रदर्शन करता है। यह पुष्टि करता है कि बेसिस सीधे लक्षित युग्मित संरचना (coupled structure) से मेल खाता है।
सिंथेटिक लैंग्वेज मॉडल: एक कार्य में जिसमें मॉडल को एक डिस्टेंस-मॉड्यूलेटेड फेज नियम ( $K(d) = (d/L)\cos(\omega d)$ ) सीखने की आवश्यकता होती है, Stabilized Jordan-RoPE लंबाई 8192 पर 0.906 सटीकता प्राप्त करता है, जो RoPE (0.781) और Direct-sum (0.500) से बेहतर है। यह सुझाव देता है कि ट्रांसफॉर्मर्स उस युग्मित मोड का उपयोग कर सकते हैं जब कार्य इसे पुरस्कृत करता है।
प्राकृतिक भाषा (WikiText-103): एक छोटे बाइट-लेवल लैंग्वेज मॉडल पर, Scaled-exact Jordan-RoPE ( $c=1$ ) जॉर्डन परिवार के भीतर सबसे कम औसत लॉस (1.869) प्राप्त करता है, और डैम्प्ड RoPE (1.884) के प्रतिस्पर्धी है। हालांकि, RoPE+ALiBi समग्र रूप से सबसे मजबूत (1.796) बना हुआ है। लेखक नोट करते हैं कि इस सेटिंग में बड़ा फोर्स्ड इनिशियल शीयर ( $\eta$ ) लॉन्ग-लेंथ लॉस को खराब करता है, जिससे पता चलता है कि प्राकृतिक भाषा के कार्य मुख्य रूप से डैम्पिंग और रिसेंसी बायस को पुरस्कृत करते हैं न कि मजबूत ऑसिलेटरी-पॉलिनॉमियल शीयर को।

महत्व और दावे
यह शोध पत्र व्यापक स्टेट-ऑफ-द-आर्ट दावा करने के बजाय मामूली, संरचनात्मक दावे करता है:

संरचनात्मक विस्तार: कॉम्प्लेक्स जॉर्डन ब्लॉक्स रोटरी RPE का एक नियंत्रित, नॉन-सेमी-सिंपल विस्तार प्रदान करते हैं।
सशर्त उपयोगिता: युग्मित जॉर्डन बेसिस विशेष रूप से तब उपयोगी होता है जब लक्षित कर्नेल डिस्टेंस-मॉड्यूलेटेड फेज इंटरैक्शन ( $d \cdot \text{phase}$ ) को पुरस्कृत करता है।
सीमाएँ: लेखक स्पष्ट रूप से कहते हैं कि वे यह दावा नहीं कर रहे हैं कि निलपोटेंट मैकेनिज्म नया है, न कि यह कि जॉर्डन परिवार सामान्य प्राकृतिक भाषा मॉडलिंग पर मौजूदा एनकोडिंग्स पर हावी है। साक्ष्य यह है कि यह निर्माण एक विशिष्ट प्रिमिटिव बेसिस ( $d e^{i\omega d}$ ) प्रदान करता है जो फेज और डिस्टेंस चैनलों के डायरेक्ट सम से भिन्न है।

संक्षेप में, Jordan-RoPE एक गणितीय रूप से कठोर तरीका प्रदान करता है जिससे एक ही अटेंशन मैकेनिज्म के भीतर दूरी और फेज को जोड़ा जा सकता है, जो उन सिंथेटिक कार्यों में प्रभावी सिद्ध होता है जिनमें ऐसे युग्मन (coupling) की आवश्यकता होती है, जबकि यह दिखाता है कि प्राकृतिक भाषा के कार्य अभी भी सरल, डिकपल्ड या एडिटिव बायस को पसंद कर सकते हैं।

समस्या: पुराने रूलर

नया विचार: जॉर्डन-RoPE (Jordan-RoPE)

उन्होंने इसका परीक्षण कैसे किया

"स्थिर" (Stabilized) संस्करण

मुख्य निष्कर्ष

इसी तरह के और पेपर