🤖 machine learning

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

यह शोध पत्र RoVE को प्रस्तुत करता है, जो एक पैरामीटर-मुक्त संशोधन है जो वैल्यू एम्बेडिंग्स (value embeddings) को कीज़ (keys) के साथ घुमाता है ताकि वैल्यू पाथवे (value pathway) को स्थिति-संवेदनशील बनाया जा सके, जिससे विभिन्न अटेंशन फॉर्मुलेशन को एकीकृत किया जा सके और लॉन्ग-कॉन्टेक्स्ट (long-context) एवं इन-कॉन्टेक्स्ट लर्निंग (in-context learning) कार्यों में स्टैंडर्ड RoPE की तुलना में निरंतर प्रदर्शन सुधार प्रदर्शित किया जा सके।

मूल लेखक: Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

प्रकाशित 2026-06-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "RoVE: Rotary Value Embeddings Attention" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए स्पष्टीकरण दिया गया है।

समस्या: "अंधा संदेशवाहक" (The "Blind Messenger")

कल्पना कीजिए कि एक बड़ा लैंग्वेज मॉडल (जैसे कि वह जिससे आप अभी बात कर रहे हैं) आपस में नोट्स (नोट्स/संदेश) पास करने वाले श्रमिकों की एक विशाल टीम है।

क्वेरी (द रीडर - पढ़ने वाला): एक कार्यकर्ता प्रश्न पूछता है।
की (द इंडेक्स - सूचकांक): अन्य कार्यकर्ता संकेत देते हैं, "मेरे पास वह उत्तर है जिसकी आपको आवश्यकता है!"
वैल्यू (द मैसेज - संदेश): एक बार जब रीडर यह तय कर लेता है कि किसे सुनना है, तो वे कार्यकर्ता अपने वास्तविक नोट्स (डेटा) पास करते हैं।

पेपर बताता है कि आधुनिक मॉडल (जो RoPE नामक चीज़ का उपयोग करते हैं) इस मामले में कैसे त्रुटिपूर्ण हैं।

अच्छी बात: मॉडल बहुत स्मार्ट है कि किसे सुनना है। वह जानता है कि 5 कदम दूर खड़े कार्यकर्ता से मिलने वाला नोट, 50 कदम दूर खड़े व्यक्ति के नोट से अलग है। वह दूरी को सावधानी से संभालता है।
बुरी बात: एक बार जब रीडर किसी कार्यकर्ता को सुनने का निर्णय ले लेता है, तो उस कार्यकर्ता का संदेश (कंटेंट) इस बात पर समान रहता है कि वह कार्यकर्ता कितनी दूर है।
- उदाहरण: कल्पना कीजिए कि आप अपने एक दोस्त को कहानी सुनाते हुए सुन रहे हैं। यदि वह आपके बिल्कुल बगल में खड़ा है, तो आप उसकी आवाज़ स्पष्ट रूप से सुनते हैं। यदि वह 100 फीट दूर है, तो भी आप शब्दों को बिल्कुल वैसे ही सुनते हैं जैसे कि वह आपके पास खड़ा हो। मॉडल यह समझने में विफल रहता है कि "दूरी" को केवल यह तय नहीं करना चाहिए कि कौन बोलेगा, बल्कि यह भी कि संदेश का अर्थ कैसे बदला जाना चाहिए।

समाधान: RoVE (रोटरी वैल्यू एम्बेडिंग्स)

लेखक एक सरल और मुफ्त समाधान प्रस्तावित करते हैं जिसे RoVE कहा जाता है।

केवल "संकेतों" (Keys) को घुमाने के बजाय, जो दूरी दिखाते हैं, RoVE "नोट्स" (Values) को भी पढ़ने से पहले घुमाता है।

उदाहरण: कल्पना कीजिए कि सभी कार्यकर्ता मानचित्र (Maps) पकड़े हुए हैं।
- पुराना तरीका (RoPE): रीडर को पता होता है कि कार्यकर्ता कहाँ खड़ा है। लेकिन जब कार्यकर्ता अपना नोट सौंपता है, तो नोट एक मानक फॉन्ट में लिखा होता है, चाहे वह कहीं भी हो।
- नया तरीका (RoVE): कार्यकर्ता द्वारा नोट सौंपने से पहले, वे कार्यकर्ता की दूरी के आधार पर कागज को घुमाते हैं। यदि वे दूर हैं, तो नोट थोड़ा झुका हुआ होगा। यदि वे पास हैं, तो वह सीधा होगा।
- परिणाम: जब रीडर को नोट मिलता है, तो कागज का झुकाव उन्हें यह बताता है कि अपनी स्थिति के सापेक्ष संदेश की व्याख्या कैसे की जाए। संदेश अब स्वयं अपनी दूरी को "जानता" है।

यह क्यों महत्वपूर्ण है: "अटेंटिव कन्वोल्यूशन" (The "Attentive Convolution")

पेपर का दावा है कि यह छोटा सा बदलाव मॉडल के अटेंशन मैकेनिज्म को "अटेंटिव कन्वोल्यूशन" में बदल देता है।

रूपक (Metaphor): एक मानक अटेंशन मैकेनिज्म को एक स्पॉटलाइट की तरह समझें। यह अलग-अलग लोगों पर रोशनी डालता है, लेकिन प्रकाश हर जगह एक ही रंग का होता है।
RoVE का बदलाव: RoVE स्पॉटलाइट को केंद्र से दूरी के आधार पर रंग बदलने के लिए प्रेरित करता है।
लाभ: यह एक "ब्लॉक-टोप्लिट्ज़" (block-Toeplitz) संरचना (एक फैंसी गणितीय शब्द) बनाता है, जिसे लेखक कहते हैं कि यह उसी संरचना के समान है जिसका उपयोग कन्वोल्यूशन (वह गणित जिसके माध्यम से कंप्यूटर छवियों को देखते हैं) में किया जाता है।
- सरल शब्दों में: ऐसा करके, मॉडल भाषा को वैसे ही प्रोसेस करने लगता है जैसे वह छवियों या भौतिक वस्तुओं को प्रोसेस करता है, जहाँ स्थिति और दूरी डेटा के अर्थ को मौलिक रूप से बदल देते हैं।

प्रयोग क्या दिखाते हैं

लेखकों ने दो आकारों के लैंग्वेज मॉडल्स (छोटे और मध्यम) पर परीक्षण किया और पाया:

बेहतर मेमोरी: मॉडल लंबी दूरियों तक चीजों को याद रखने में बेहतर (long-context retrieval) हो गए।
बेहतर अनुमान: जब बहुत कम उदाहरणों के साथ पहेलियाँ हल करने के लिए कहा गया (few-shot learning), तो उन्होंने बेहतर प्रदर्शन किया।
लंबी पहुंच: मॉडल्स ने उस टेक्स्ट को बहुत अच्छी तरह संभाला जो उनके प्रशिक्षण से कहीं अधिक लंबा था (out-of-distribution perplexity)।

"मुफ्त" अपग्रेड (The "Free" Upgrade)

इस पेपर का सबसे रोमांचक हिस्सा यह है कि RoVE के लिए किसी अतिरिक्त ट्रेनिंग या अतिरिक्त मेमोरी की आवश्यकता नहीं है।

यह मॉडल में नए "वेट्स" (parameters) नहीं जोड़ता है।
यह कंप्यूटर को महत्वपूर्ण रूप से धीमा नहीं करता है।
यह एक "ड्रॉप-इन" रिप्लेसमेंट है। आप पुराने तरीके को RoVE से बदल सकते हैं, और मॉडल तुरंत दूरी और लंबी कहानियों को संभालने में अधिक स्मार्ट हो जाता है।

सारांश

पेपर का तर्क है कि एक लैंग्वेज मॉडल के लिए वास्तव में एक कहानी को समझने के लिए, उसे केवल यह नहीं जानना चाहिए कि कौन बोल रहा है; उसे यह भी जानना चाहिए कि वक्ता कितनी दूर है, और उसके अनुसार संदेश को समायोजित करना चाहिए। RoVE एक चतुर, शून्य-लागत वाला तरीका है जो "संदेश" (Value) को उसकी दूरी के प्रति जागरूक बनाता है, जिससे मॉडल एक अधिक मजबूत श्रोता बन जाता है जो लंबे और जटिल कार्यों में उत्कृष्ट प्रदर्शन करता है।

तकनीकी सारांश: RoVE (रोटरी वैल्यू एम्बेडिंग्स अटेंशन)

समस्या विवरण

मानक रोटरी पोजीशन एम्बेडिंग्स (RoPE) सफलतापूर्वक क्वेरी और कीज़ (keys) को उनके पूर्ण पदों (absolute positions) के आधार पर घुमाकर अटेंशन स्कोर को सापेक्ष-स्थिति-सापेक्ष (position-relative) बना देते हैं। हालाँकि, वैल्यू पाथवे (value pathway) स्थिति-अंध (position-blind) बना रहता है। ट्रांसफार्मर सर्किट्स की भाषा में, जबकि QK सर्किट सापेक्ष स्थितियों के प्रति पक्षपाती है, आउटपुट-वैल्यू (OV) सर्किट वैल्यू टोकन $x_j$ के साथ उसके सापेक्ष ऑफसेट $\delta = j - i$ की परवाह किए बिना समान रूप से व्यवहार करता है। विशेष रूप से, वैल्यू टोकन पर लागू चैनल मैप $W_V$ में अपने सापेक्ष ऑफसेट के बारे में कोई जानकारी नहीं होती है। यह विषमता मॉडल की वैल्यूज़ के एकत्रीकरण (aggregation) से पहले उन पर सापेक्ष-स्थिति-संवेदनशील रूपांतरण करने की क्षमता को सीमित करती है, जो कि एक ऐसी क्षमता है जो कनवल्शनल ऑपरेशन्स में अंतर्निहित है लेकिन मानक RoPE अटेंशन में अनुपस्थित है।

कार्यप्रणाली: RoVE

लेखक RoVE (रोटरी वैल्यू एम्बेडिंग्स) का प्रस्ताव करते हैं, जो एक पैरामीटर-मुक्त संशोधन है जो RoPE को वैल्यू पाथवे तक विस्तारित करता है। मुख्य तंत्र में वैल्यू वेक्टर्स को उन्हीं स्थिति-निर्भर रोटेशन मैट्रिसेस द्वारा घुमाना शामिल है जिनका उपयोग कीज़ (keys) के लिए किया जाता है, लेकिन इस तरह से जो उन्हें एकत्रीकरण से पहले क्वेरी के संदर्भ फ्रेम (reference frame) के साथ संरेखित करता है।

गणितीय सूत्रीकरण

मानक RoPE में, स्थिति $i$ पर आउटपुट इस प्रकार गणना किया जाता है:
$y_i = \sum_{j \in N(i)} A(X)_{ij} W_V x_j$
जहाँ $A(X)_{ij}$ सापेक्ष ऑफसेट $j-i$ पर निर्भर RoPE अटेंशन वेट्स हैं।

RoVE इसे बदलकर $x_j$ को $R_j$ (स्थिति $j$ पर रोटेशन मैट्रिक्स) द्वारा घुमाता है और फिर क्वेरी स्थिति $i$ पर $R_i^{-1}$ द्वारा रोटेशन को उलट देता है:
$\tilde{y}_i = R_i^{-1} \sum_{j \in N(i)} A(X)_{ij} R_j W_V x_j = \sum_{j \in N(i)} A(X)_{ij} \underbrace{R_{j-i} W_V}_{\psi_{j-i}} x_j$

संरचनात्मक व्याख्या

यह संशोधन अटेंशन ऑपरेटर की प्रकृति को मौलिक रूप से बदल देता है:

अटेंटिव कनवल्शन (Attentive Convolution): RoVE अटेंशन मैकेनिज्म को एक अटेंटिव कनवल्शन में बदल देता है। स्थिर वैल्यू मैप $W_V$ को एक ऑफसेट-निर्भर कर्नेल परिवार $\psi_\delta = R_\delta W_V$ द्वारा प्रतिस्थापित किया जाता है। सापेक्ष स्थिति $\delta$ अब टोकन ट्रांसफॉर्मेशन (OV सर्किट) को उसी तरह मॉड्युलेट करती है जैसे वह टोकन चयन (QK सर्किट) को मॉड्युलेट करती है।
मैट्रिक्स मिक्सर संरचना: मैट्रिक्स मिक्सर फ्रेमवर्क में, मानक RoPE मिक्सर की क्रोनेकर संरचना ( $A \otimes W_V$ ) होती है, जो रूटिंग को चैनल प्रोजेक्शन से अलग करती है। RoVE इसे एक ब्लॉक-टोप्लिट्ज़ (block-Toeplitz) संरचना से बदल देता है, जहाँ एक ही सापेक्ष-ऑफसेट विकर्ण (diagonal) के साथ वाले ब्लॉक्स एक ही रोटेटेड वैल्यू कर्नेल साझा करते हैं, जिसे अटेंशन वेट द्वारा स्केल किया जाता है।
फ्रेम-चेंज परिप्रेक्ष्य: इस ऑपरेशन को एक फ्रेम परिवर्तन के रूप में देखा जा सकता है: वैल्यूज़ को $R_j$ के माध्यम से उनके स्थानीय फ्रेम से एक साझा वैश्विक फ्रेम में रूपांतरित किया जाता है, एकत्रित किया जाता है, और फिर $R_i^{-1}$ के माध्यम से क्वेरी के स्थानीय फ्रेम में वापस रूपांतरित किया जाता है।

दक्षता

RoVE कोई अतिरिक्त सीखने योग्य पैरामीटर पेश नहीं करता है। रोटेशन ऑपरेशन्स $n$ टोकन्स और $d^2$ चैनल पेयर्स पर स्वतंत्र रूप से कार्य करते हैं, जिसके परिणामस्वरूप रैखिक जटिलता $O(nd) $होती है। यह$ O(nd^2) $लीनियर लेयर्स और$ O(n^2d)$ अटेंशन लेयर्स की तुलना में नगण्य है। इसके अलावा, RoVE फ्लैश-अटेंशन (FlashAttention) जैसे कुशल अटेंशन कर्नेल्स के साथ संगत है, क्योंकि रोटेशन कर्नेल कॉल से पहले और बाद में होते हैं।

प्रमुख योगदान

संरचनात्मक लक्षण वर्णन: पेपर एक सैद्धांतिक विश्लेषण प्रदान करता है जो यह दर्शाता है कि RoVE, QK और OV सर्किट्स को एकीकृत करके उन्हें सापेक्ष-स्थिति-संवेदनशील बनाता है। यह प्रदर्शित करता है कि यह RoPE अटेंशन को एक अटेंटिव कनवल्शन में बदल देता है, जिससे मॉडल को ब्लॉक-टोप्लिट्ज़ मिक्सर संरचना प्रदान होती है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखकों ने FineWebEdu-10B डेटासेट पर GPT-2 शैली के मॉडल (124M और 354M पैरामीटर्स) को प्रशिक्षित किया। उन्होंने मानक (नॉन-शेयर्ड-KV) लैंग्वेज मॉडल्स में वैल्यू पाथवे के लिए एक ड्रॉप-इन रिप्लेसमेंट के रूप में RoVE का मूल्यांकन किया।
YaRN के साथ पूरकता: अध्ययन लंबी-संदर्भ विस्तार (long-context extrapolation) के लिए एक फ्रीक्वेंसी इंटरपोलेशन विधि (YaRN) के साथ RoVE की परस्पर क्रिया की जांच करता है।

प्रयोगात्मक परिणाम

मूल्यांकन फ्यू-शॉट इन-कॉन्टेक्स्ट लर्निंग (ICL), आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) परप्लेक्सिटी और लॉन्ग-कॉन्टेक्स्ट रिट्रीवल (RULER बेंचमार्क) पर केंद्रित था।

इन-डिस्ट्रीब्यूशन प्रदर्शन: RoVE ने प्रशिक्षण संदर्भ (1024 टोकन) के भीतर मानक RoPE की तुलना में कोर ICL सटीकता और इन-कॉन्टेक्स्ट परप्लेक्सिटी में लगातार सुधार किया। यह इंगित करता है कि सापेक्ष-स्थिति पूर्वास (relative-position bias) एक्सट्रपलेशन के बिना भी फायदेमंद है।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) परप्लेक्सिटी: RoVE ने 16k टोकन तक के कॉन्टेक्स्ट लेंथ पर परप्लेक्सिटी को काफी कम कर दिया। जब इसे YaRN के साथ जोड़ा गया, तो सुधार योगात्मक (additive) थे, जो सुझाव देते हैं कि दोनों विधियाँ पूरक पहलुओं को संबोधित करती हैं।
लॉन्ग-कॉन्टेक्स्ट रिट्रीवल: RULER बेंचमार्क (4k/8k टोकन) पर, RoVE ने महत्वपूर्ण लाभ दिखाया, विशेष रूप से उन कार्यों में जिनमें संदर्भ के माध्यम से सूचना रखरखाव और पुनर्संयोजन (recombination) की आवश्यकता होती है (जैसे, वेरिएबल ट्रैकिंग, नीडल-इन-ए-हेस्टैक)। सुधार सबसे अधिक तब देखे गए जब RoVE को YaRN के साथ जोड़ा गया।

महत्व और दावे

पेपर का दावा है कि RoVE, RoPE अटेंशन में एक संरचनात्मक विषमता को ठीक करके लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक मजबूत संरचनात्मक बायस (structural bias) प्रदान करता है। वैल्यू पाथवे को स्थिति-संवेदनशील बनाकर, RoVE कंप्यूटर विजन, रोबोटिक्स और हालिया LLM आर्किटेक्चर (जैसे, DeepSeek-V4) में पाए जाने वाले समान ऑपरेशन्स के स्वतंत्र फॉर्मुलेशन को एक एकल सैद्धांतिक ढांचे के तहत एकीकृत करता है: अटेंटिव कनवल्शन।

लेखक इस बात पर जोर देते हैं कि RoVE एक पैरामीटर-मुक्त, कुशल संशोधन है जो मॉडल स्केल और कार्यों, विशेष रूप से लंबी दूरी के एकत्रीकरण की आवश्यकता वाले कार्यों में प्रदर्शन में सुधार करता है। परिणाम बताते हैं कि वैल्यू स्ट्रीम में सापेक्ष-स्थिति जागरूकता, ट्रांसफार्मर आर्किटेक्चर में लॉन्ग-कॉन्टेक्स्ट मजबूती और रिट्रीवल क्षमताओं को सुधारने के लिए एक महत्वपूर्ण घटक है।