💬 NLP

Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings

यह शोध पत्र पोलर कोऑर्डिनेट पोजीशनल एम्बेडिंग्स (PoPE) को प्रस्तुत करता है, जो एक नवीन पोजीशनल एनकोडिंग योजना है जो RoPE में उलझी हुई कंटेंट और पोजीशन की जानकारी को अलग करती है, जिससे RoPE और YaRN जैसी मौजूदा विधियों की तुलना में डायग्नोस्टिक कार्यों, मल्टीपल डोमेन में ऑटोरेग्रेसिव मॉडलिंग और ज़ीरो-शॉट लेंथ एक्सट्रपलेशन में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Anand Gopalakrishnan, Robert Csordás, Jürgen Schmidhuber, Michael C. Mozer

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anand Gopalakrishnan, Robert Csordás, Jürgen Schmidhuber, Michael C. Mozer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अस्त-व्यस्त पुस्तकालय में एक विशिष्ट पुस्तक खोजने की कोशिश कर रहे हैं। इसे करने के लिए, आपको जानकारी के दो हिस्से चाहिए: क्या वह पुस्तक किस बारे में है (उसकी सामग्री) और वह शेल्फ पर कहाँ स्थित है (उसकी स्थिति)।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से एक प्रकार के मॉडल में जिसे ट्रांसफॉर्मर (ट्रांसफॉर्मर - जो कई आधुनिक एआई चैटबॉट्स का इंजन है) कहा जाता है, "अटेंशन" (attention) नामक एक तंत्र होता है जो मॉडल को वाक्य के विभिन्न हिस्सों को जोड़ने में मदद करता है। इसे यह जानने की आवश्यकता होती है कि शब्द का विषय (सामग्री) क्या है और उसकी स्थिति (स्थान) कहाँ है।

लंबे समय तक, किसी शब्द का स्थान "कहाँ" है, इसे संभालने का सबसे लोकप्रिय तरीका RoPE (रोटरी पोजीशन एम्बेडिंग) था। इस शोध पत्र के लेखक तर्क देते हैं कि RoPE में एक मौलिक दोष है: यह "क्या" और "कहाँ" को आपस में मिश्रित कर देता है।

समस्या: "उलझी हुई" लाइब्रेरी

RoPE के बारे में ऐसा सोचें जैसे कि एक लाइब्रेरियन जो, जब आप उससे किसी किताब के बारे में पूछते हैं, तो वह केवल स्थान नहीं बताता। इसके बजाय, वह किताब के विवरण को उसके स्थान के आधार पर मरोड़ देता है।

यदि किताब "बिल्लियों" के बारे में है और वह शेल्फ 1 पर है, तो लाइब्रेरियन उसका विवरण बदलकर "फ्लाफी-कैट" (रुई जैसी बिल्ली) कर देता है।
यदि वही "बिल्ली" वाली किताब शेल्फ 10 पर है, तो लाइब्रेरियन उसके विवरण को मरोड़कर "स्पाइकी-कैट" (कांटेदार बिल्ली) बना देता है।

एआई मॉडल भ्रमित हो जाता है। वह आसानी से यह नहीं कह पाता कि, "मैं 'बिल्ली' की अवधारणा की तलाश कर रहा हूँ, चाहे वह कहीं भी हो," या "मैं 5वें आइटम की तलाश कर रहा हूँ, चाहे वह कुछ भी कहे।" "क्या" और "कहाँ" आपस में एक गांठ की तरह उलझ गए हैं। यह एआई के लिए उन पहेलियों को हल करना बहुत कठिन बना देता है जिनमें इन दो विचारों को अलग करने की आवश्यकता होती है।

समाधान: PoPE (पोलर कोऑर्डिनेट पोजीशनल एम्बेडिंग)

लेखक PoPE नामक एक नया तरीका प्रस्तावित करते हैं। किताब के विवरण को उसके स्थान के आधार पर मरोड़ने के बजाय, PoPE इन दोनों चीजों को अलग रखता है, जैसे कि एक साफ, व्यवस्थित फाइलिंग सिस्टम।

"क्या" (सामग्री): यह किताब के विवरण का परिमाण (magnitude) या "आकार" है। यह शुद्ध रहता है और स्थान से अपरिवर्तित रहता है।
"कहाँ" (स्थिति): यह किताब का कोण (angle) या "दिशा" है। यह शेल्फ नंबर के आधार पर बदलता है, लेकिन यह किताब के विवरण के साथ छेड़छाड़ नहीं करता है।

पोलर कोऑर्डिनेट्स (ध्रुवीय निर्देशांक - जिसे आप एक दिशा-सूचक यंत्र मान सकते हैं जहाँ आपके पास एक दूरी और एक दिशा होती है) नामक एक गणितीय ट्रिक का उपयोग करके, PoPE यह सुनिश्चित करता है कि एआई शेल्फ नंबर की चिंता किए बिना "बिल्लियों" की तलाश कर सके, और विषय की चिंता किए बिना "शेल्फ नंबर 5" की तलाश कर सके। वे डिकपल्ड (अलग-थलग/अन-टैंगल्ड) हैं।

उन्होंने इसे कैसे सिद्ध किया कि यह काम करता है

शोधकर्ताओं ने इस नए तरीके का परीक्षण तीन मुख्य प्रयोगों के साथ किया:

"पॉइंटर" पहेली: उन्होंने एआई को एक कार्य दिया जहाँ उसे एक नियम के आधार पर एक विशिष्ट अक्षर खोजना था, जैसे "उस अक्षर को खोजें जो 'Z' अक्षर के बाईं ओर 3 स्थान पर है।"
- RoPE: बुरी तरह संघर्ष किया, इसे केवल 11% बार ही सही कर पाया। यह "Z" को "3 स्थान बाईं ओर" से अलग करने में विफल रहा।
- PoPE: इसने इसे लगभग पूरी तरह से हल कर दिया (95% सटीकता)। इसने स्पष्ट रूप से नियम को समझ लिया।
संगीत और डीएनए: उन्होंने एआई का परीक्षण एक गाने में अगला नोट और डीएनए अनुक्रम में अगला अक्षर बताने के लिए किया। संगीत और डीएनए दोनों ही सटीक पैटर्न और सापेक्ष स्थितियों पर अत्यधिक निर्भर करते हैं।
- परिणाम: PoPE ने दोनों क्षेत्रों में RoPE की तुलना में कम गलतियाँ (कम परप्लेक्सिटी) कीं। इसने पैटर्न को अधिक तेज़ी से और अधिक सटीकता से सीखा।
"लंबी याददाश्त" का परीक्षण: वर्तमान एआई की सबसे बड़ी समस्याओं में से एक यह है कि यदि आप इसे छोटी कहानियों पर प्रशिक्षित करते हैं, तो जब आप इसे एक लंबा उपन्यास पढ़ने के लिए कहते हैं, तो यह भ्रमित हो जाता है।
- RoPE: जब इसे अपने प्रशिक्षण डेटा से बहुत लंबे अनुक्रमों (sequences) पर टेस्ट किया गया, तो इसका प्रदर्शन गिर गया।
- PoPE: इसने अतिरिक्त प्रशिक्षण या विशेष ट्रिक्स के बिना लंबे अनुक्रमों को स्वाभाविक रूप से संभाला। यह अपने प्रशिक्षण डेटा की लंबाई से 10 गुना अधिक लंबाई तक "एक्सट्रपलेशन" (पैटर्न का अनुमान लगाना) कर सका।

निचोड़ (The Bottom Line)

पेपर का दावा है कि एआई द्वारा यह गणना करने के तरीके को बदलकर कि एक शब्द का "क्या" और उसका "कहाँ" के बीच क्या संबंध है, उन्होंने एक ऐसा सिस्टम बनाया है जो:

उन लॉजिक पहेलियों में अधिक स्मार्ट है जिनमें सामग्री को स्थिति से अलग करने की आवश्यकता होती है।
संगीत, डीएनए और भाषा में पैटर्न की भविष्यवाणी करने में बेहतर है।
बहुत लंबे टेक्स्ट को पढ़ते समय अधिक मजबूत (robust) है, बिना किसी पुन: प्रशिक्षण (retraining) की आवश्यकता के।

लेखक इस बात पर जोर देते हैं कि यह मॉडलों के "सोचने" के तरीके में एक मौलिक सुधार है, जो मॉडलों को और बड़ा बनाए बिना उन्हें अधिक कुशल और सटीक बनाता है।

तकनीकी सारांश: पोलर कोऑर्डिनेट पोजीशनल एम्बेडिंग के साथ "क्या" और "कहाँ" का डिकपलिंग (Decoupling)

समस्या विवरण (Problem Statement)
ट्रांसफॉर्मर आर्किटेक्चर में, अटेंशन मैकेनिज्म दो कारकों के आधार पर कीज़ (keys) को क्वेरीज़ (queries) से मिलाता है: सामग्री ("क्या") और अनुक्रम स्थिति ("कहाँ")। लेखक तर्क देते हैं कि व्यापक रूप से अपनाया गया रोटरी पोजीशनल एम्बेडिंग (RoPE), जिसका उपयोग Llama 3 और DeepSeek जैसे फ्रंटियर मॉडल्स में किया जाता है, इन दोनों कारकों को उलझा (entangle) देता है। RoPE में, की और क्वेरी वेक्टर्स पर लागू रोटेशन उनके कंटेंट मैग्नीट्यूड और सापेक्ष स्थितियों (relative positions) दोनों पर निर्भर करता है। यह उलझाव एक "क्या-कहाँ" का कन्फाउंड (confound) पैदा करता है, जो मॉडल के प्रदर्शन को बाधित करता है जब कार्यों के लिए केवल सामग्री या केवल स्थिति पर स्वतंत्र मिलान की आवश्यकता होती है। विशेष रूप से, RoPE के अटेंशन स्कोर में इंटरेक्शन टर्म के कारण रोटेशन का फेज (phase) कंटेंट फीचर्स से प्रभावित होता है, जिससे मॉडल के लिए ऐसे नियम सीखना कठिन हो जाता है जो सख्ती से पोजीशनल इंडेक्सिंग या कंटेंट मैचिंग पर निर्भर करते हैं।

कार्यप्रणाली: पोलर कोऑर्डिनेट पोजीशनल एम्बेडिंग (PoPE)
लेखक PoPE का प्रस्ताव करते हैं, जो RoPE का एक संशोधन है जो की (key) और क्वेरी (query) रिप्रजेंटेशन को पोलर कोऑर्डिनेट्स में पुनर्गठित करके कंटेंट और पोजीशन को अलग (disentangle) करता है।

पुनर्गठन (Reformulation): RoPE में, कंपोनेंट्स को पोजीशन के आधार पर रोटेट किया जाता है, लेकिन प्रारंभिक फेज कंटेंट द्वारा निर्धारित होता है। PoPE में, लेखक वास्तविक-मूल्य वाले की और क्वेरी वेक्टर्स को जटिल वेक्टर्स (complex vectors) में रूपांतरित करते हैं जहाँ:
- मैग्निट्यूड ( $\mu$ ) को सॉफ्टप्लस एक्टिवेशन फंक्शन ( $\sigma(x) = \ln(1 + e^x)$ ) का उपयोग करके केवल कंटेंट फीचर्स से प्राप्त किया जाता है ताकि गैर-नकारात्मकता (non-negativity) सुनिश्चित की जा सके।
- फेज ( $\phi$ ) सख्ती से अनुक्रम स्थिति ( $s$ या $t$ ) और एक कंपोनेंट-विशिष्ट फ्रीक्वेंसी ( $\theta_c$ ) द्वारा निर्धारित होता है।
अटेंशन स्कोर (Attention Score): अटेंशन स्कोर क्वेरी के कंजुगेट ट्रांसपोज़ और की के डॉट प्रोडक्ट के वास्तविक भाग (real part) के रूप में परिकलित किया जाता है। गणितीय रूप से, इसका परिणाम होता है:
$a^{PoPE}_{ts} = \sum_{c=1}^{d} \mu_{\tilde{q}_{tc}} \mu_{\tilde{k}_{sc}} \cos((s - t)\theta_c + \delta_c)$
जहाँ $\delta_c$ एक लर्नबल बायस (learnable bias) टर्म है।
RoPE से मुख्य अंतर:
1. डिसेंटैंगलमेंट (Disentanglement): RoPE में मौजूद इंटरेक्शन टर्म ( $\phi_{k_{sc}} - \phi_{q_{tc}}$ ) जो कंटेंट और पोजीशन को मिला देता है, उसे हटा दिया गया है। मैग्नीट्यूड (कंटेंट) और फेज (पोजीशन) को सख्ती से अलग किया गया है।
2. फ्रीक्वेंसी रेजोल्यूशन (Frequency Resolution): PoPE $d/2$ जोड़ों के बजाय $d$ कंपोनेंट्स (व्यक्तिगत तत्वों) पर कार्य करता है, जो प्रभावी रूप से फ्रीक्वेंसी चैनल्स की संख्या को दोगुना कर देता है।
3. लर्नबल बायस (Learnable Bias): प्रत्येक फ्रीक्वेंसी के लिए इष्टतम सापेक्ष ऑफसेट को ट्यून करने के लिए एक फिक्स्ड लेकिन लर्नबल बायस $\delta_c$ पेश किया जा सकता है, बिना कंटेंट-पोजीशन कन्फाउंड को फिर से पेश किए।

मुख्य योगदान (Key Contributions)

डायग्नोस्टिक टास्क (इनडायरेक्ट इंडेक्सिंग): लेखक एक ऐसा कार्य पेश करते हैं जिसमें मॉडल को एक स्रोत कैरेक्टर से सापेक्ष ऑफसेट के आधार पर एक लक्ष्य कैरेक्टर को पहचानना होता है (जैसे, " 'z' के 3 स्थान बाईं ओर के कैरेक्टर को खोजें")। इस कार्य के लिए कंटेंट और पोजीशन के स्वतंत्र हेरफेर की आवश्यकता होती है।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): पेपर एक बीजगणितीय व्युत्पत्ति (algebraic derivation) प्रदान करता है जो दिखाता है कि कैसे RoPE कंटेंट और पोजीशन को भ्रमित करता है, जबकि PoPE अटेंशन मैकेनिज्म को "क्या" और "कहाँ" के स्वतंत्र मिलान के संयोजन के रूप में नियमों को लागू करने की अनुमति देता है।
कुशल कार्यान्वयन (Efficient Implementation): Triton और Flash Attention 2 का उपयोग करके एक कुशल कार्यान्वयन प्रदान किया गया है, जो पूर्ण कॉम्प्लेक्स मैट्रिक्स को बनाए बिना जटिल डॉट प्रोडक्ट के वास्तविक भाग की गणना करता है, जिससे मानक अटेंशन की तुलना में केवल एक सिंगल मल्टीप्लिकेशन ओवरहेड जुड़ता है।

परिणाम (Results)

इनडायरेक्ट इंडेक्सिंग: डायग्नोस्टिक टास्क पर, RoPE ने केवल 11.16% औसत सटीकता प्राप्त की, जो स्वतंत्र मिलान सीखने में संघर्ष करती है। इसके विपरीत, PoPE ने 94.82% सटीकता प्राप्त की, जो कारकों को अलग करने की इसकी क्षमता को प्रदर्शित करती है।
सीक्वेंस मॉडलिंग (संगीत और जीनोमिक्स):
- संगीत (JSB और MAESTRO): PoPE ने दोनों डेटासेट्स पर नेगेटिव लॉग लाइकलीहुड (NLL) में RoPE को पछाड़ते हुए कम परप्लेक्सिटी प्राप्त की।
- जीनोमिक्स (ह्यूमन रेफरेंस जीनोम): PoPE ने RoPE बेसलाइन की तुलना में NLL में महत्वपूर्ण गिरावट दिखाई।
लैंग्वेज मॉडलिंग (OpenWebText): विभिन्न मॉडल स्केल्स (124M, 253M, और 774M पैरामीटर्स) में, PoPE ने लगातार RoPE की तुलना में कम परप्लेक्सिटी प्राप्त की। प्रदर्शन का अंतर मॉडल के आकार के साथ स्थिर रहा या बढ़ गया।
डाउनस्ट्रीम टास्क: छह डाउनस्ट्रीम टास्क (LAMBADA, BLiMP, CBT, HellaSwag, PIQA, ARC-E) पर ज़ीरो-शॉट मूल्यांकन ने दिखाया कि PoPE-आधारित मॉडल्स ने सभी मॉडल आकारों में RoPE-आधारित मॉडल्स की तुलना में उच्च माध्य सटीकता प्राप्त की।
लेंथ एक्सट्रपलेशन (Length Extrapolation):
- ज़ीरो-शॉट: PoPE ने बिना किसी फाइन-ट्यूनिंग या फ्रीक्वेंसी इंटरपोलेशन के, ट्रेनिंग कॉन्टेक्स्ट (1024) से 10 गुना लंबे सीक्वेंस (10240 टोकन्स) तक मजबूत ज़ीरो-शॉट लेंथ एक्सट्रपलेशन क्षमता प्रदर्शित की।
- YaRN के साथ तुलना: जबकि YaRN (एक्सट्रपलेशन के लिए डिज़ाइन किया गया एक तरीका) अपने फाइन-ट्यूनिंग लिमिट (4096 टोकन्स) तक RoPE के क्षरण को कम करता है, उसके बाद यह काफी खराब हो जाता है। PoPE ने उन इंटरपोलेशन तकनीकों या व्यापक फाइन-ट्यूनिंग की आवश्यकता के बिना लंबे सीक्वेंस पर प्रदर्शन बनाए रखा जिसकी YaRN आवश्यकता होती है।
- फ्रीक्वेंसी यूसेज एनालिसिस: फीचर नॉर्म्स के विश्लेषण से पता चला कि Ro-PE मॉडल्स शोर (noise) से बचने के लिए हाई-फ्रीक्वेंसी चैनल्स को दबाने की प्रवृत्ति रखते हैं, जबकि PoPE मॉडल्स लेयर्स में हाई-फ्रीक्वेंसी सहित फ्रीक्वेंसी की एक अधिक वितरित रेंज का उपयोग करते हैं।

महत्ता और दावे (Significance and Claims)
पेपर दावा करता है कि PoPE, RoPE में निहित "क्या-कहाँ" के उलझाव (entanglement) का एक सिद्धांत आधारित समाधान प्रदान करता है। कंटेंट और पोजीशन को अलग करके, PoPE डेटा दक्षता, एसिम्प्टोटिक सटीकता (asymptotic accuracy), और सबसे महत्वपूर्ण रूप से, कॉन्टेक्स्ट-लेंथ जनरलाइजेशन में सुधार करता है। लेखक इस बात पर जोर देते हैं कि ये लाभ मौजूदा RoPE आर्किटेक्चर में मामूली संशोधन के साथ प्राप्त किए गए हैं, जिसके लिए किसी जटिल आर्किटेक्चरल बदलाव की आवश्यकता नहीं है।

यह कार्य सीक्वेंस मॉडलिंग पर मौलिक शोध के रूप में प्रस्तुत किया गया है। लेखक नोट करते हैं कि हालांकि यह विधि संगीत, जीनोमिक्स और प्राकृतिक भाषा जैसे डोमेन में क्षमताओं में सुधार करती है (जो प्रोटीन फोल्डिंग या ड्रग डिस्कवरी जैसे अनुप्रयोगों में मदद कर सकती है), इसमें फाउंडेशन मॉडल्स के सामान्य ड्यूल-यूज़ जोखिम भी शामिल हैं, जैसे कि हानिकारक सामग्री या परिष्कृत डीपफेक का निर्माण। प्राथमिक योगदान यह प्रदर्शन करना है कि कंटेंट और पोजीशनल जानकारी को अलग करने से अधिक मजबूत और सामान्यीकरण योग्य (generalizable) ट्रांसफॉर्मर मॉडल मिलते हैं।

समस्या: "उलझी हुई" लाइब्रेरी

समाधान: PoPE (पोलर कोऑर्डिनेट पोजीशनल एम्बेडिंग)

उन्होंने इसे कैसे सिद्ध किया कि यह काम करता है

निचोड़ (The Bottom Line)

इसी तरह के और पेपर