🤖 machine learning

LeRoPE: Learnable RoPE Frequencies Improve Language Modeling

यह शोध पत्र LeRoPE को प्रस्तुत करता है, जो एक ऐसी विधि है जो रोटरी पोजीशनल एनकोडिंग (RoPE) आवृत्तियों को निश्चित हाइपरपैरामीटर के बजाय सीखने योग्य मापदंडों (learnable parameters) के रूप में मानती है, और 52M से 2.5B पैरामीटर्स वाले मॉडलों को प्रशिक्षित करने के माध्यम से यह प्रदर्शित करती है कि यह दृष्टिकोण मानक और आंशिक RoPE की तुलना में लगातार बेहतर प्रदर्शन करता है और तुलनीय प्रदर्शन प्राप्त करने के लिए काफी कम कंप्यूट की आवश्यकता होती है।

मूल लेखक: Petros Karypis, Sean O'Brien, Shreyas Kadekodi, Rui Zhu, Julian McAuley

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Petros Karypis, Sean O'Brien, Shreyas Kadekodi, Rui Zhu, Julian McAuley

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को पढ़ना और लिखना सिखा रहे हैं। उसे वाक्य में शब्दों के क्रम को समझने में मदद करने के लिए, आप उसे एक विशेष "पोजीशन ट्रैकर" (स्थिति ट्रैकर) देते हैं। लंबे समय तक, सबसे अच्छा ट्रैकर एक निश्चित, पूर्व-निर्धारित रेसिपी का उपयोग करता था जिसे RoPE (रोटरी पोजीशनल एनकोडिंग्स) कहा जाता था। इस रेसिपी को एक विशाल, पहले से ट्यून किए गए रेडियो डायल की तरह समझें जिसमें 32 अलग-अलग स्टेशन (फ्रीक्वेंसी) हैं। प्रत्येक स्टेशन एक विशिष्ट, अपरिवर्तनीय गति पर घूमता है ताकि रोबोट यह समझ सके कि शब्द एक-दूसरे के सापेक्ष कहाँ हैं। कुछ स्टेशन बहुत तेज़ी से घूमते हैं, कुछ बहुत धीरे। नियम था: "डायल को न छुएं; वे पत्थर की लकीर हैं।"

लेकिन लेखकों ने एक सरल प्रश्न पूछा: क्या होगा यदि हम रोबोट को खुद डायल ट्यून करने दें?

उन्होंने LeRoPE (लर्न्ड RoPE) पेश किया। फ्रीक्वेंसी को लॉक करने के बजाय, उन्होंने रोबोट को प्रशिक्षण के दौरान प्रत्येक 32 स्टेशनों के लिए एक छोटा "वॉल्यूम नॉब" (आवाज़ का बटन) सीखने दिया। रोबोट खुद तय करता है कि प्रत्येक स्टेशन को बेहतर ढंग से टेक्स्ट समझने के लिए कितनी तेज़ी से या कितनी धीमी गति से घूमना चाहिए।

बड़ी खोज: एक स्टेशन सबका स्वामी है

जब शोधकर्ताओं ने विभिन्न आकारों के रोबोटों (52-मिलियन-पैरामीटर वाले छोटे मॉडल से लेकर 2.5-बिलियन-पैरामीटर वाले विशाल मॉडल तक) को प्रशिक्षित किया, तो उन्हें कुछ दिलचस्प पता चला। रोबोट ने केवल डायल को बेतरतीब ढंग से नहीं बदला। इसने लगातार दो चीजें कीं:

इसने सबसे धीमे स्टेशनों को शांत कर दिया। रोबोट ने महसूस किया कि बहुत धीमे स्टेशन (जो मुश्किल से घूमते हैं) स्थिति समझने में ज्यादा मदद नहीं कर रहे थे। उसने उनकी आवाज़ लगभग शून्य कर दी।
इसे एक "सुपर स्टेशन" मिला। रोबोट ने एक विशिष्ट स्टेशन की खोज की जो मुख्य आकर्षण बन गया। यह "प्रभावी बैंड" (dominant band) एक बहुत ही विशिष्ट गति पर घूमता था—लगभग प्रशिक्षण विंडो की लंबाई का 2.2 गुना। उदाहरण के लिए, यदि रोबोट को 2,048 टोकन के वाक्यों पर प्रशिक्षित किया गया था, तो इस विशेष स्टेशन का तरंग दैर्ध्य (wavelength) लगभग 4,170 टोकन का था।

यह "सुपर स्टेशन" रोबोट के ध्यान (attention) के लिए एक विशाल, लयबद्ध धड़कन की तरह काम करता था। इसने पुराने निश्चित रेसिपी की तुलना में शब्दों के बीच की दूरी को समझने में रोबोट की बेहतर मदद की।

परिणाम: कम प्रयास में एक स्मार्ट रोबोट

टीम ने मॉडलों की एक सीढ़ी पर इस नए तरीके का परीक्षण किया, जिसमें 52M आकार से लेकर विशाल 2.5B आकार तक शामिल थे। परिणाम सुसंगत थे:

बेहतर प्रदर्शन: हर आकार पर, LeRoPE का उपयोग करने वाले रोबोट ने पुराने निश्चित RoP वाले रोबोट की तुलना में कम गलतियाँ (कम लॉस) कीं।
3.4% की जीत: LeRoPE रोबोट के सबसे बड़े पैमाने (2.5B पैरामीटर्स) के प्रदर्शन से मेल खाने के लिए, पुराने RoP वाले रोबोट को 3.4% अधिक कंप्यूटिंग पावर (FLOPs) की आवश्यकता होती। यह एक दौड़ को उसी गति से पूरा करने के लिए अतिरिक्त 3.4% दूरी तय करने जैसा है।
घास के ढेर में सुई (Needle in a Haystack): उन्होंने लंबे टेक्स्ट में छिपी हुई जानकारी को खोजने की रोबोट की क्षमता का भी परीक्षण किया। LeRoPE रोबट, कई भटकाने वाले टेक्स्ट (31 डिस्ट्रैक्टर्स तक) के बीच भी, सुई को खोजने में बेहतर था।

उन्होंने क्या खारिज किया

पेपर सावधानी से यह बताता है कि क्या काम नहीं किया या सफलता का मुख्य कारण क्या नहीं था:

यह केवल धीमे स्टेशनों को बंद करने के बारे में नहीं है। उन्होंने "पार्शियल RoPE" (p-RoPE) नामक एक विधि का परीक्षण किया, जो केवल सबसे धीमे स्टेशनों को पूरी तरह से बंद कर देती है। हालांकि इससे थोड़ी मदद मिली, लेकिन इसने LeRoPE द्वारा प्राप्त सुधार का केवल 10.4% ही पकड़ा। LeRoPE बेहतर है क्योंकि यह केवल स्टेशनों को बंद नहीं करता है; यह उन्हें घूमने के तरीके को नया आकार देता है।
यह केवल अंतिम सेटिंग्स के बारे में नहीं है। उन्होंने प्रशिक्षण के बाद रोबोट के सीखे हुए डायल को फ्रीज करके एक नए रोबोट पर उपयोग करने का परीक्षण किया। इस "फिक्स्ड LeRoPE" ने सुधार का लगभग 63.6% हिस्सा पकड़ा। यह सुझाव देता है कि हालांकि अंतिम सेटिंग्स बेहतरीन हैं, लेकिन रोबोट द्वारा अपने बाकी दिमाग के साथ उन सेटिंग्स को सीखने की प्रक्रिया भी इसमें एक बड़ी भूमिका निभाती है।

वे कितने आश्वस्त हैं?

लेखक इन निष्कर्षों के बारे में बहुत आश्वस्त हैं क्योंकि उन्होंने केवल एक परीक्षण नहीं किया।

उन्होंने पांच अलग-अलग मॉडल आकारों पर परीक्षण किया।
उन्होंने सुनिश्चित करने के लिए कि परिणाम केवल भाग्य नहीं थे, कई रैंडम सीड्स (विभिन्न शुरुआती बिंदुओं) के साथ प्रयोग चलाए। अलग-अलग शुरुआती बिंदुओं के बावजूद, रोबोट ने हमेशा उसी "सुपर स्टेशन" को खोजा।
उन्होंने कोड (Python) सहित विभिन्न प्रकार के टेक्स्ट पर परीक्षण किया और समान पैटर्न देखे।

हालाँकि, वे एक छोटी सीमा का उल्लेख करते हैं: उनके सबसे बड़े मॉडल (2.5B) आज की वास्तविक दुनिया में उपयोग किए जाने वाले विशाल मॉडलों की तुलना में अभी भी बहुत छोटे हैं। इसलिए, जबकि परिणाम मजबूत और सुसंगत हैं, वे एक विशिष्ट मॉडल आकार की सीमा में यह व्यवहार देख रहे हैं।

मुख्य बात (Takeaway)

पेपर सुझाव देता है कि स्थिति ट्रैकिंग के लिए "फिक्स्ड फ्रीक्वेंसी" का पुराना नियम सबसे अच्छा नहीं है। मॉडल को अपनी फ्रीक्वेंसी खुद सीखने देकर, यह स्वाभाविक रूप से स्थिति को संभालने का एक अत्यधिक कुशल तरीका खोज लेता है, जिससे एक एकल, शक्तिशाली "धड़कन" बनती है जो इसे टेक्स्ट को बेहतर और तेज़ी से समझने में मदद करती है। यह गणित में एक छोटा सा बदलाव है, लेकिन यह रोबोट को एक स्पष्ट बढ़त देता है, कंप्यूटिंग पावर बचाता है और लंबी कहानियों में जानकारी खोजने की उसकी क्षमता में सुधार करता है।

तकनीकी सारांश: LeRoPE: सीखने योग्य (Learnable) RoPE आवृत्तियाँ भाषा मॉडलिंग में सुधार करती हैं

समस्या विवरण

रोटरी पोजीशनल एनकोडिंग (Roary Positional Encodings - RoPE) आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) में मानक पोजीशनल एनकोडिंग तंत्र है। RoPE दो-आयामी फ्रीक्वेंसी बैंड्स में क्वेरी और की (query and key) वेक्टर्स को घुमाने (rotate करने) के माध्यम से कार्य करता है, जहाँ प्रत्येक बैंड के लिए रोटेशन रेट एक निश्चित ज्यामितीय अनुक्रम (geometric sequence) द्वारा निर्धारित होता है जो एक बेस हाइपरपैरामीटर ( $b$ ) पर आधारित होता है।

हालिया शोधों ने इस निश्चित-फ्रीक्वेंसी दृष्टिकोण की सीमाओं की पहचान की है:

सिमेंटिक बनाम पोजीशनल कन्फ्यूजन: हालिया कार्यों से संकेत मिलता है कि सबसे धीमी फ्रीक्वेंसी बैंड्स (वे बैंड्स जिनमें रोटेशन रेट सबसे कम होता है) अक्सर पोजीशनल जानकारी के बजाय सिमेंटिक (अर्थ संबंधी) जानकारी ले जाते हैं, क्योंकि वे विशिष्ट कॉन्टेक्स्ट विंडोज के दौरान नगण्य रूप से घूमते हैं।
सबऑप्टिमल फ्रीक्वेंसी एलोकेशन: मौजूदा सुधार, जैसे कि पार्शियल RoPE (p-RoPE) या बेस $b$ को एडजस्ट करना, इसमें शामिल है कि कौन से बैंड्स को रोटेट किया जाना चाहिए या उन्हें कैसे स्केल किया जाना चाहिए। ये विधियाँ प्रशिक्षण से पहले ही फ्रीक्वेंसी एलोकेशन को पूर्व-निर्धारित (a priori) कर देती हैं, जो मॉडल को किसी दिए गए कार्य और कॉन्टेक्स्ट लेंथ के लिए इष्टतम फ्रीक्वेंसी स्पेक्ट्रम खोजने से रोक सकती हैं।

लेखकों का तर्क है कि चूंकि RoPE ऑपरेशन अपनी फ्रीक्वेंसी के सापेक्ष डिफरेंशिएबल (differentiable) है, इसलिए इन फ्रीक्वेंसीज़ को फिक्स्ड हाइपरपैरामीटर्स के बजाय 'लर्नेबल पैरामीटर्स' के रूप में माना जाना चाहिए।

कार्यप्रणाली: LeRoPE

पेपर LeRoPE (Learned RoPE) का प्रस्ताव करता है, जो मानक RoPE तंत्र में एक संशोधन है जहाँ प्रत्येक फ्रीक्वेंसी बैंड को एक सीखे गए स्केलर (learned scalar) द्वारा रीस्केल किया जाता है।

मुख्य तंत्र

एक निश्चित फ्रीक्वेंसी $\theta_m$ के बजाय, LeRoPE प्रत्येक फ्रीक्वेंसी बैंड के लिए एक लर्नबल स्केलर $\alpha_m$ पेश करता है। प्रभावी फ्रीक्वेंसी $\hat{\theta}_m$ को इस प्रकार परिभाषित किया गया है:
$\hat{\theta}_m = e^{\alpha_m} \theta_m$
जहाँ $\theta_m$ बेस $b$ से प्राप्त मानक RoPE फ्रीक्वेंसी है।

मुख्य डिज़ाइन विकल्प:

लॉगैरिद्मिक पैरामीट्राइजेशन (Logarithmic Parametrization): फ्रीक्वेंसीज़ को लॉग स्पेस ( $\alpha_m$ ) में पैरामीटराइज़ किया गया है। यह सुनिश्चित करता है कि $\alpha_m$ में अपडेट होने से फ्रीक्वेंसी में मल्टीप्लिकेटिव बदलाव आते हैं, जिससे शून्य की ओर फ्रीक्वेंसी को स्केल करते समय बेहतर कंडीशनिंग मिलती है और शून्य के पास अस्थिर ग्रेडिएंट डायनेमिक्स से बचा जा जा सकता है।
इनिशियलाइजेशन (Initialization): $\alpha_m$ को 0 पर इनिशियलाइज़ किया गया है, जिससे प्रशिक्षण की शुरुआत में LeRoPE गणितीय रूप से मानक RoPE के समान हो जाता है।
पैरामीटर शेयरिंग: सीखी गई फ्रीक्वेंसीज़ का एक ही सेट सभी लेयर्स और अटेंशन हेड्स के बीच साझा किया जाता है। एक हेड डायमेंशन $d_h$ के लिए, यह मॉडल में $d_h/2$ लर्नबल पैरामीटर्स जोड़ता है (जैसे, $d_h=64$ के लिए 32 पैरामीटर्स)।
ऑप्टिमाइजेशन: लेखक LeRoPE पैरामीटर्स पर वेट डिके (weight decay) को छोड़ देते हैं और फ्रीक्वेंसी स्केलर्स की स्थिर लर्निंग सुनिश्चित करने के लिए उन पर स्वतंत्र ग्रेडिएंट क्लिपिंग लागू करते हैं।

सैद्धांतिक विश्लेषण

पेपर फ्रीक्वेंसी पैरामीटर्स के सापेक्ष लॉस का ग्रेडिएंट निकालता है। वे दिखाते हैं कि एक फ्रीक्वेंसी $\theta_m$ के लिए ग्रेडिएंट अपडेट एक सरोगेट लॉस फंक्शन $P_m(\theta)$ के डेरिवेटिव के अनुरूप होता है, जो ऑफसेट-एग्रीगेटेड ग्रेडिएंट सिग्नल के डिस्क्रीट-टाइम फूरियर ट्रांसफॉर्म का रियल कंपोनेंट है। यह फॉर्मूलेशन बताता है कि मॉडल रिलेटिव टोकन ऑफसेट्स के माध्यम से अटेंशन लॉजिट्स के ग्रेडिएंट सिग्नल्स की स्पेक्ट्रल विशेषताओं के साथ फ्रीक्वेंसीज़ को अलाइन करके सीखता है।

प्रयोगात्मक सेटअप

लेखक एक कठोर स्केलिंग स्टडी के माध्यम से LeRoPE को मान्य करते हैं:

मॉडल स्केल: डिकोडर-ओनली ट्रांसफॉर्मर्स की एक "लैडर" (ladder) जिसमें 52M से 2.52B पैरामीटर्स तक शामिल हैं।
आर्किटेक्चर: एनोकी स्केलिंग लैडर (Enoki scaling ladder; Charles et al., 2025; Ferbach et al., 2026) पर आधारित, जिसमें फिक्स्ड हेड डायमेंशन (64) और को-स्केल्ड डेप्थ/विड्थ है।
ट्रेनिंग डेटा: C4 कॉर्पस पर 2048 टोकन की सीक्वेंस लेंथ के साथ प्री-ट्रेन किया गया।
बेसलाइन्स:
- स्टैंडर्ड RoPE ( $b=10,000$ )।
- पार्शियल RoPE (p-RoPE, $p=0.75$ ), जो सबसे धीमी 25% बैंड्स से रोटेशन को हटा देता है।
इवैल्यूएशन मेट्रिक्स: C4 पर वैलिडेशन पर्प्लेक्सिटी, कंप्यूट मल्टीप्लायर्स (बेसलाइन के लॉस से मैच करने के लिए आवश्यक FLOPs), और "नीडल-इन-अ-हेस्टैक" (NIAH) रिट्रीवल एक्यूरेसी।

मुख्य परिणाम

1. विभिन्न स्केल्स पर प्रदर्शन

LeRoPE सभी मॉडल साइज़ (52M से 2.5B) में स्टैंडर्ड RoPE और p-RoPE दोनों से लगातार बेहतर प्रदर्शन करता है।

पर्प्लेक्सिटी: LeRoPE हर स्केल पर कम वैलिडेशन पर्प्लेक्सिटी प्राप्त करता है।
कंप्यूट एफिशिएंसी: सबसे बड़े स्केल (2.5B) पर, स्टैंडर्ड RoPE को LeRoPE द्वारा प्राप्त लॉस से मैच करने के लिए 3.4% अधिक कंप्यूट (FLOPs) की आवश्यकता होती है। यह लाभ बना रहता है, जहाँ RoPE के लिए कंप्यूट मल्टीप्लायर LeRoPE के सापेक्ष लगभग 1.03–1.04 पर स्थिर हो जाता है।
रोबस्टनेस: सुधार कई रैंडम सीड्स (random seeds) में भी बना रहता है। 217M मॉडल के लिए, LeRoPE और RoAP के बीच का अंतर (0.0066 नैट्स) सीड वेरिएबिलिटी के स्टैंडर्ड डेविएशन से 3 से 7 गुना अधिक है।

2. एक डोमिनेंट पोजीशनल बैंड का उद्भव

सीखी गई फ्रीक्वेंसीज़ का विश्लेषण एक सुसंगत पैटर्न प्रकट करता है:

फ्रीक्वेंसी सप्रेशन (Frequency Suppression): मॉडल सबसे धीमी बैंड्स की फ्रीक्वेंसी को दबाने (शून्य की ओर ले जाने) के लिए सीखता है, जिससे प्रभावी रूप से उनका रोटेशन हट जाता है।
डोमिनेंट बैंड: एक सिंगल फ्रीक्वेंसी बैंड उभरता है जिसका नॉर्म (norm) बड़ा होता है और अटेंशन लॉजिट्स में एक मजबूत पोजीशनल योगदान होता है। इस "डोमिनेंट पोजीशनल बैंड" की वेवलेंथ ( $\lambda$ ) ट्रेनिंग कॉन्टेक्स्ट लेंथ ( $L_{train}$ ) के साथ रैखिक रूप से स्केल होती है, विशेष रूप से $\lambda \approx 2.2 \times L_{train}$ ।
तंत्र: जबकि स्टैंडर्ड RoPE कई बैंड्स में पोजीशनल जानकारी वितरित करता है, LeRoPE इस विशिष्ट डोमिनेंट बैंड में पोजीशनल सिग्नल को केंद्रित करता है, जबकि शेष बैंड्स अन्य सिग्नल प्रकारों को हैंडल करते हैं या कैंसिल आउट करते हैं।

3. एब्लेशन और जनरलाइजेशन

फ्रोजन फ्रीक्वेंसीज़: एक अलग LeRoPE रन द्वारा सीखी गई वैल्यूज़ पर फ्रीक्वेंसीज़ को फ्रीज करके प्रशिक्षित मॉडल, प्रदर्शन लाभ का 63.6% कैप्चर करता है, जो दर्शाता है कि इष्टतम फ्रीक्वेंसी सेट की खोज सफलता का प्राथमिक चालक है, हालांकि जॉइंट ट्रेनिंग डायनेमिक्स शेष भाग में योगदान देते हैं।
कोड प्रीट्रेनिंग: StarCoder-Python डेटासेट पर किए गए प्रयोगों में समान लाभ (RoPE पर 0.0104 नैट्स का सुधार) और समान फ्रीक्वेंसी पैटर्न दिखाई देते हैं, जो सुझाव देते हैं कि यह विधि नेचुरल लैंग्वेज से परे भी सामान्यीकृत (generalize) होती है।
एक्सट्रपलेशन (Extrapolation): हालांकि नेटिव एक्सट्रपलेशन के तहत LeRoPE, RoPE की तुलना में अधिक तेजी से गिरता है (डोमिनेंट बैंड के सिनुसोइडल योगदान के कारण जो ट्रेनिंग विंडो के बाहर पॉजिटिव हो जाता है), फिर भी यह NTK-by-parts और Yaớn जैसी मानक कॉन्टेक्स्ट-एक्सटेंशन तकनीकों के साथ संगत है। इन विधियों के साथ संयोजन में, LeRoPE 32k टोकन की सीक्वेंस लेंथ तक RoPE और p-RoPE से बेहतर प्रदर्शन करता है।

महत्व और दावे

पेपर का दावा है कि LeRoPE भाषा मॉडल्स के पोजीशनल एनकोडिंग के लिए एक सरल, पैरामीटर-एफिशिएंट और सार्वभौमिक रूप से लागू होने वाला सुधार प्रदान करता है।

ह्यूरिस्टिक्स के ऊपर लर्नैबिलिटी: यह कार्य प्रदर्शित करता है कि फ्रीक्वेंसी बैंड्स को लर्नबल पैरामीटर्स के रूप में मानने से मॉडल मैन्युअल रूप से ट्यून किए गए ह्यूरिस्टिक्स (जैसे p-RoPE या फिक्स्ड बेस एडजस्टमेंट्स) की तुलना में अधिक कुशल स्पेक्ट्रल एलोकेशन को स्वचालित रूप से खोज सकता है।
दक्षता: यह विधि एक सुसंगत "फ्री" परफॉरमेंस बूस्ट प्रदान करती है, जिससे लक्षित प्रदर्शन स्तर तक पहुँचने के लिए आवश्यक कंप्यूट बजट लगभग 3.4% कम हो जाता है।
मैकेनिस्टिक इनसाइट: एक सिंगल डोमिनेंट पोशनल बैंड का उद्भव मॉडल द्वारा फ्रीक्वेंसी स्पेक्ट्रा के उपयोग के बारे में नई अंतर्दृष्टि प्रदान करता है, जो यह सुझाव देता है कि एक विशिष्ट, सीखी गई फ्रीक्वेंसी इन-डिस्ट्रीब्यूशन कार्यों के लिए आवश्यक पोजीशनल सिग्नल को एनकोड करने के लिए पर्याप्त है, जबकि धीमी बैंड्स का उपयोग सिमेंटिक कंटेंट के लिए बेहतर तरीके से किया जा सकता है।

लेखक इसके दायरे के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि प्रयोग 2.5B पैरामीटर्स तक के मॉडल्स तक सीमित हैं, और ओवरट्रेन्ड, बड़े पैमाने के मॉडल्स पर लाभ को अभी पूरी तरह से प्रदर्शित किया जाना बाकी है। हालाँकि, विभिन्न डेटासेट्स (C4 और Code) और स्केलिंग लैडर पर परिणामों की निरंतरता यह सुझाव देती है कि यह विधि मजबूत है और बड़े फाउंडेशन मॉडल्स के लिए लाभकारी होने की संभावना है।