💻 computer science

Twos All the Way Down: A Hidden Condition Every Deployed RoPE Schedule Satisfies

यह शोध पत्र एक पूर्व में अवर्णिंत "max_cluster = 1" स्थिति की पहचान और पुष्टि करता है, जिसके लिए सभी RoPE आवृत्तियों की युग्मवार विशिष्टता (pairwise distinctness) आवश्यक है, यह प्रदर्शित करते हुए कि इन्फरेंस के समय इस अंतर्निहित बाधा का उल्लंघन बड़े भाषा मॉडलों (LLMs) के प्रदर्शन में विनाशकारी गिरावट का कारण बनता है, जबकि यह भी सिद्ध करता है कि मानक ज्यामितीय शेड्यूल्स अपने लघुगणकीय आधारों (logarithmic bases) की अपरिमेय प्रकृति के कारण स्वाभाविक रूप से इसे संतुष्ट करते हैं।

मूल लेखक: Sungmin Ryu

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sungmin Ryu

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़े लैंग्वेज मॉडल (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) की कल्पना एक विशाल ऑर्केस्ट्रा के रूप में करें जो एक गाना बजाने की कोशिश कर रहा है। संगीत को समय के ताल में रखने के लिए, हर वाद्य यंत्र (instrument) को यह पता होना चाहिए कि वह सुरों के क्रम में ठीक कहाँ पर है। आधुनिक AI में, यह "समय की गणना" (timekeeping) RoPE (रोटरी पोजीशन एम्बेडिंग) नामक एक प्रणाली द्वारा संभाली जाती है।

सोचिए कि RoPE, AI के मस्तिष्क के भीतर मेट्रोनोम (metronomes) का एक सेट है। प्रत्येक मेट्रोनोम अलग-अलग गति से टिक-टिक करता है। कुछ बहुत धीरे टिक करते हैं (जैसे एक धीमी ड्रम बीट), और कुछ अविश्वसनीय रूप से तेज़ (जैसे एक ऊँची पिच वाली वायलिन की ध्वनि)। AI इन विभिन्न गतियों का उपयोग यह समझने के लिए करता है कि "पहला शब्द," "दसवां शब्द," और "हज़ारवां शब्द" के बीच क्या अंतर है।

यह शोध पत्र, जिसका शीर्षक "Twos All the Way Down" है, एक छिपे हुए नियम की खोज करता है जिसका पालन हर सफल AI ऑर्केस्ट्रा करता है, और यह भी बताता है कि जब आप गलती से उस नियम को तोड़ देते हैं तो क्या होता है।

छिपा हुआ नियम: "कोई भी दो मेट्रोनोम बिल्कुल एक ही गति से नहीं टिक सकते"

लेखकों ने पाया कि हर काम करने वाले AI मॉडल में, प्रत्येक मेट्रोनोम की गति अद्वितीय (unique) होनी चाहिए। भले ही दो गतियाँ एक-दूसरे के बहुत करीब हों, वे बिल्कुल एक जैसी नहीं हो सकतीं।

शोध पत्र इस नियम को max_cluster = 1 कहता है। सरल भाषा में: "यहाँ कोई डुप्लिकेट नहीं है।"

यदि आपके पास 64 मेट्रोनोम हैं, तो आपके पास 64 अलग-अलग गतियाँ होनी चाहिए। यदि दो गतियाँ संयोग से बिल्कुल एक ही गति पर टिकती हैं, तो AI भ्रमित हो जाता है।

प्रयोग: क्या होता है जब आप नियम तोड़ते हैं?

शोधकर्ताओं ने दो लोकप्रिय, वास्तविक दुनिया के AI मॉडल (Mistral-7B और Qwen2.5-7B) को लेकर और परीक्षण के दौरान जानबूझकर नियम को तोड़कर इसका परीक्षण किया। उन्होंने मेट्रोनोम्स के एक समूह को बिल्कुल एक ही गति से टिक करने के लिए मजबूर किया, जिससे समान आवृत्तियों (frequencies) का एक "क्लस्टर" बन गया।

परिणाम? पूर्ण अराजकता।

तबाही: जब उन्होंने ये डुप्लिकेट बनाए, तो टेक्स्ट को समझने की AI की क्षमता ढह गई। इसकी "परप्लेक्सिटी" (भ्रमित होने का एक माप) आसमान छू गई। कुछ मामलों में, AI अगले शब्द का अनुमान लगाने में 214 गुना खराब हो गया। यह ऐसा था जैसे ऑर्केस्ट्रा अचानक लय भूल गया हो और शोर का एक उलझा हुआ मिश्रण बजा रहा हो।
कंट्रोल (नियंत्रण): शोधकर्ताओं ने एक अलग तरकीब भी आजमाई: उन्होंने गतियों को थोड़ा बदला लेकिन उन्हें सभी अद्वितीय रखा। AI ने इसे नोटिस भी नहीं किया। इसने पहले की तरह ही प्रदर्शन किया।
सबक: समस्या यह नहीं थी कि संख्याएँ "खराब" या "निम्न गुणवत्ता" की थीं। समस्या पूरी तरह से संरचनात्मक (structural) थी। जब तक गतियाँ अद्वितीय थीं, AI ठीक था। जैसे ही दो गतियाँ एक जैसी हुईं, AI टूट गया।

यह क्यों होता है? ("सब-ट्रैजेक्टरी" का रूपक)

कल्पना कीजिए कि AI का मस्तिष्क एक विशाल, बहु-आयामी (multi-dimensional) डांस फ्लोर पर चलने वाला एक डांसर है।

प्रशिक्षण (Training): प्रशिक्षण के दौरान, डांसर इस फ्लोर पर एक बहुत ही विशिष्ट, जटिल पैटर्न में चलने के लिए सीखता है। यह पैटर्न मेट्रोनोम्स की अद्वितीय गतियों द्वारा निर्धारित होता है।
"डुप्लिकेट" आपदा: जब आप दो मेट्रोनोम्स को एक ही गति से टिक करने के लिए मजबूर करते हैं, तो आप प्रभावी रूप से डांस फ्लोर के दो आयामों (dimensions) को आपस में चिपका देते हैं। अब डांसर को एक जटिल 3D आकार के बजाय एक सीधी रेखा या एक सपाट तल (flat plane) पर चलने के लिए मजबूर किया जाता है।
क्रैश: AI ने कभी भी इस सपाट, चिपके हुए फ्लोर पर नाचना नहीं सीखा है। जब वह ऐसा करने की कोशिश करता है, तो वह लड़खड़ाता है और गिर जाता है। "भ्रम" इसलिए होता है क्योंकि AI एक सरल, टूटी हुई वास्तविकता पर अपनी जटिल ट्रेनिंग लागू करने की कोशिश कर रहा है।

मानक डिज़ाइन का "जादू"

आप पूछ सकते हैं: "सभी AI मॉडल इस तरह से क्यों नहीं टूटते? वे काम क्यों करते हैं?"

शोध पत्र बताता है कि जिस तरह से इंजीनियर इन मेट्रोनोम्स को बनाने के लिए मानक तरीका (एक विशिष्ट गणितीय सूत्र जिसमें 100,000 जैसे आधार संख्या का उपयोग किया जाता है) अपनाते हैं, उसमें एक अंतर्निहित सुरक्षा विशेषता होती है।

हर्मिट-लिंडमैन (Hermite–Lindemann) प्रमेय नामक एक गहरे गणितीय सिद्धांत के कारण, मानक सूत्र के लिए गलती से दो समान गतियाँ उत्पन्न करना गणितीय रूप से असंभव है। ये संख्याएँ "ट्रांसेंडेंटल" (transcendental) हैं जो यह गारंटी देती हैं कि वे कभी भी एक सीध में नहीं आएंगी। यह एक ऐसे ताले की तरह है जो गणितीय रूप से यह गारंटी देता है कि कभी जाम नहीं होगा।

यह शोध पत्र सिद्ध करता है कि यह "जादू" ही एकमात्र कारण है जिससे मानक मॉडल काम करते हैं। वे केवल भाग्यशाली नहीं हैं; गणित उन्हें अद्वितीय गतियाँ रखने के लिए मजबूर करता है।

AI को तोड़ने के दो अलग तरीके

शोध पत्र यह भी स्पष्ट करता है कि AI की समय-गणना (timekeeping) के विफल होने के दो अलग-अलग तरीके हैं, और वे स्पेक्ट्रम के विपरीत छोरों पर होते हैं:

"बहुत धीमा" विफलता (निचला सिरा):
- समस्या: कुछ मेट्रोनोम इतने धीरे टिकते हैं कि वे प्रशिक्षण सत्र के दौरान एक पूर्ण चक्र भी पूरा नहीं कर पाते। AI उन्हें लंबे टेक्स्ट के लिए उपयोग करना कभी नहीं सीख पाता।
- समाधान: मेट्रोनोम को तेज़ चलाएं (आधार संख्या बदलें)।
- स्थान: यह "धीमे" मेट्रोनोम्स को प्रभावित करता है।
"डुप्लिकेट" विफलता (ऊपरी सिरा - यह शोध पत्र):
- समस्या: "तेज़" मेट्रोनोम्स (वे जिनका उपयोग AI बारीक विवरणों के लिए करता है) गलती से एक ही गति पर टिकने लगते हैं।
- समाधान: सुनिश्चित करें कि कोई भी दो गतियाँ कभी भी एक जैसी न हों।
- स्थान: यह "तेज़" मेट्रोनोम्स को प्रभावित करता है।

मुख्य निष्कर्ष (The Takeaway)

यह शोध पत्र AI में एक छिपे हुए "सुरक्षा कोड" को उजागर करता है: अद्वितीयता (Uniqueness) गैर-परक्राम्य है।

इन मॉडलों का मानक डिज़ाइन इसलिए काम करता है क्योंकि गणित स्वाभाविक रूप से यह रोकता है कि कोई भी दो समय-रक्षक (timekeepers) एक ही गति से न चलें। यदि आप इस नियम को तोड़ते हैं—चाहे गलती से, या मॉडल की मेमोरी को कंप्रेस (quantization) करने की कोशिश में—तो आपको केवल थोड़ा खराब AI नहीं मिलता; आपको एक ऐसा मॉडल मिलता है जो पूरी तरह से समय और संदर्भ का बोध खो देता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि हम जानते हैं कि गतियों को अद्वितीय कैसे रखा जाए (मानक सूत्र का उपयोग करके), हमें अभी भी यह समझने की आवश्यकता है कि AI शब्दों के बीच अंतर करने के लिए "तेज़" मेट्रोनोम्स पर इतना अधिक भरोसा क्यों करता है, और क्यों इस विशिष्टता को तोड़ने से इतना बड़ा पतन होता है।

तकनीकी सारांश: "Twos All the Way Down: A Hidden Condition Every Deployed RoPE Schedule Satisfies"

समस्या विवरण (Problem Statement)

यह शोध पत्र रोटरी पोजीशनल एम्बेडिंग (RoPE) में एक पूर्व-अनकहे विफलता मोड (failure mode) की पहचान करता है, जो कि लार्ज लैंग्वेज मॉडल्स में एक मानक पोजीशनल एनकोडिंग तंत्र है। जबकि पिछले कार्यों (विशेष रूप से Liu et al., 2024) ने स्पेक्ट्रम के लो-फ्रीक्वेंसी एंड (वे आयाम जो प्रशिक्षण संदर्भ के भीतर एक पूर्ण रोटेशन पूरा नहीं करते हैं) पर "अंडर-रोटेशन" से संबंधित विफलता मोड का वर्णन किया था, यह शोध पत्र स्पेक्ट्रम के हाई-फ्रीक्वेंसी एंड पर होने वाले एक अलग, विनाशकारी विफलता मोड की पहचान करता है।

मुख्य समस्या फ्रीक्वेंसी टुपल $\{\theta_k\}$ की पेयरवाइज डिस्टिंक्टनेस (pairwise distinctness) है। लेखक एक शर्त को परिभाषित करते हैं जिसे max_cluster = 1 कहा गया है, जिसके लिए आवश्यक है कि RoPE शेड्यूल में सभी $d/2$ प्रति-आयाम आवृत्तियाँ (frequencies) एक-दूसरे से भिन्न हों। यदि यह शर्त टूट जाती है (अर्थात, यदि दो या अधिक आवृत्तियाँ एक ही स्थान पर मिल जाती हैं और एक "क्लस्टर" बनाती हैं), तो मॉडल के अटेंशन मैकेनिज्म का संयुक्त फेज ट्राजेक्टरी (joint phase trajectory) एक निम्न-आयामी सब-लैटिस (lower-dimensional sublattice) तक सीमित हो जाता है। यह सीमितता प्रशिक्षित अटेंशन पैटर्न को ध्वस्त कर देती है, जिससे इन्फरेंस के दौरान, विशेष रूप से लंबे संदर्भ लंबाई (long context lengths) पर, परप्लेक्सिटी (perplexity) में भारी गिरावट आती है।

कार्यप्रणाली (Methodology)

यह अध्ययन दो प्रोडक्शन-स्केल मॉडल्स: Mistral-7B-v0.3 और Qwen2.5-7B (दोनों ज्यामितीय रूप $\theta_k = b^{-2k/d}$ का उपयोग करते हैं जहाँ बेस $b=10^6$ और हेड डायमेंशन $d=128$ है) पर एक नियंत्रित इन्फरेंस-टाइम परटर्बेशन दृष्टिकोण का उपयोग करता है।

परटर्बेशन स्कीम्स (Perturbation Schemes):
- लीनियर क्वांटाइजेशन (INT8/INT4): ये स्कीम्स स्वाभाविक रूप से छोटे इनवर्स-फ्रीक्वेंसी मानों (जो हाई- $\theta$ चैनल्स के अनुरूप होते हैं) को एक ही क्वांटाइजेशन बिन में समाहित कर देती हैं, जिससे बड़े क्लस्टर (max_cluster 38 तक) बन जाते हैं।
- लॉग-क्वांटाइजेशन (कंट्रोल): एक बिट-मैच्ड कंट्रोल जो लॉग-स्पेस में क्वांटाइज करता है, जो स्पष्ट रूप से पेयरवाइज डिस्टिंक्टनेस को सुरक्षित रखता है (max_cluster = 1)।
- स्मूथ परटर्बेशन्स (Smooth Perturbations): फ्रीक्वेंसी पर लागू मल्टीप्लिकेटिव नॉइज़, जिसका उपयोग यह परीक्षण करने के लिए किया जाता है कि बिना डिस्टिंक्टनेस तोड़े, मानों में सूक्ष्म परिवर्तन के प्रति संवेदनशीलता क्या है।
- नियंत्रित क्लस्टर निर्माण (Controlled Cluster-Construction): विशिष्ट स्पेक्ट्रल पोजीशन (लो- $\theta$ बनाम हाई- $\theta$ ) पर विशिष्ट आकार (कोडायमेंशन) और नियंत्रित लॉग-दूरी के साथ कृत्रिम रूप से क्लस्टर बनाना।
मूल्यांकन (Evaluation):
- मॉडल्स का मूल्यांकन तीन डेटासेट्स (WikiText-2, C4, PG-19) पर चार कॉन्टेक्स्ट लेंथ ( $L \in \{2048, 4096, 8192, 16384\}$ ) के माध्यम से किया गया।
- प्राथमिक मीट्रिक इन्फ्लेशन फैक्टर (inflation factor) (परटर्बड परप्लेक्सिटी और बेसलाइन परप्लेक्सिटी का अनुपात) था।
सैद्धांतिक विश्लेषण (Theoretical Analysis):
- लेखक ट्रांसेंडेंस थ्योरी (transcendence theory) से हर्मिट-लिंडमैन प्रमेय (Hermite–Lindemann theorem) का उपयोग करके यह सिद्ध करते हैं कि मानक ज्यामितीय रूप $\theta_k = b^{-2k/d}$ स्वतः ही max_cluster = 1 की शर्त को पूरा करता है।
- वे वेइल के इक्विडिस्ट्रिब्यूशन प्रमेय (Weyl's equidistribution theorem) के ढांचे का उपयोग करके विफलता का विश्लेषण करते हैं, जहाँ अटेंशन मैकेनिज्म के फेज ट्राजेक्टरी को टॉरस $T^{d/2}$ पर एक ऑर्बिट के रूप में देखा जाता है।

प्रमुख योगदान (Key Contributions)

max_cluster = 1 की पहचान: यह शोध पत्र औपचारिक रूप से यह सिद्ध करता है कि प्रत्येक तैनात (deployed) RoPE शेड्यूल इस शर्त को पूरा करता है कि सभी आवृत्तियाँ पेयरवाइज डिसेंट हैं। यह शर्त पहले अज्ञात थी।
दूसरे विफलता मोड का लक्षण वर्णन: लेखक प्रदर्शित करते हैं कि max_cluster = 1 का उल्लंघन करने से एक "तबाही" (परप्लेक्सिटी का 3–214 $\times$ बढ़ना) होती है, जो Liu et al. द्वारा वर्णित अंडर-रोटेशन विफलता से अलग है।
तबाही के परिमाण का अपघटन (Decomposition of Catastrophe Magnitude): विफलता की गंभीरता को तीन मापने योग्य अक्षों में विभाजित किया गया है:
- कोडायमेंशन (Codimension): फ्रीक्वेंसी क्लस्टर का आकार।
- विदिन-क्लस्टर लॉग-डिस्टेंस (Within-Cluster Log-Distance): कोडायमेंशन 2 पर, इन्फ्लेशन एक स्पष्ट पावर लॉ का पालन करता है: $\log(\text{inflation}) \approx 0.6 \times \Delta \log \theta$ (पियर्सन $r > 0.996$ )।
- स्पेक्ट्रल पोजीशन (Spectral Position): हाई- $\theta$ क्लस्टर्स (शॉर्ट-पीरियड रोटेशन) लो- $\theta$ क्लस्टर्स की तुलना में काफी अधिक विनाशकारी (लगभग 2 $\times$ ) होते हैं, भले ही कोडायमेंशन और लॉग-दूरी समान हो।
विफलता की टोपोलॉजिकल प्रकृति: अध्ययन दिखाता है कि स्मूथ परटर्बेशन्स (जो डिस्टिंक्टनेस बनाए रखते हैं) से कोई मापने योग्य गिरावट नहीं होती है, जो यह सिद्ध करता है कि विफलता टोपोलॉजिकल (क्लस्टर के अस्तित्व पर निर्भर) है, न कि क्वांटिटेटिव (मानों के बदलाव पर निर्भर)।
सुरक्षा का सैद्धांतिक प्रमाण: हर्मिट-लिंडमैन प्रमेय का उपयोग करते हुए, यह शोध पत्र सिद्ध करता है कि ज्यामितीय रूप $\theta_k = b^{-2k/d}$ (एक परिमेय $b \neq 1$ के साथ) max_cluster = 1 की गारंटी देता है क्योंकि $\log b$ एक ट्रांसेंडेंटल (transcendental) संख्या है। यह सुनिश्चित करता है कि फ्रीक्वेंसी के बीच एकमात्र पूर्णांक संबंध (integer relations) वे ही हैं जो $b$ के अभाज्य गुणनखंडन (prime factorization) द्वारा मजबूर किए गए हैं, जिससे आकस्मिक संयोगों को रोका जा सके।

प्रमुख परिणाम (Key Results)

विनाशकारी इन्फ्लेशन: लीनियर INT8 क्वांटाइजेशन (जो क्लस्टर बनाता है) ने 24 प्रयोगात्मक सेल में परप्लेक्सिटी को 3–214 $\times$ तक बढ़ा दिया। इसके विपरीत, बिट-मैच्ड लॉग-INT8 कंट्रोल (जो डिस्टिंक्टनेस बनाए रखता है) ने परप्लेक्सिटी को फुल-प्रिसिजन बेसलाइन के 0.1% के भीतर रखा।
पावर लॉ रेगुलैरिटी: कोडायमेंशन 2 पर, लॉग-दूरी और परप्लेक्सिटी इन्फ्लेशन के बीच का संबंध मॉडल्स और कॉन्टेक्स्ट लेंथ में उल्लेखनीय रूप से स्थिर है, जो $\approx 0.6$ के ढलान (slope) का पालन करता है।
स्पेक्ट्रल एसिमेट्री (Spectral Asymmetry): हाई- $\theta$ क्षेत्र में बने क्लस्टर्स (जहाँ अटेंशन सूक्ष्म स्थिति अंतरों पर निर्भर करता है) ने लो- $\theta$ क्षेत्र (अंडर-रोटेड डायमेंशन) की तुलना में काफी अधिक परप्लेक्सिटी इन्फ्लेशन किया।
अरिथमेटिक एरर से स्वतंत्रता: विफलता लो-प्रिसिजन अरिथमेटिक त्रुटियों के कारण नहीं है, बल्कि विशेष रूप से क्लस्टर्स के निर्माण (डिस्टिंक्टनेस का नुकसान) के कारण है।
सैद्धांतिक सीमाएँ: हालांकि ज्यामितीय रूप पेयरवाइज डिस्टिंक्टनेस सुनिश्चित करता है, लेकिन यह पूर्ण पेयरवाइज $\mathbb{Q}$ -लीनियर इंडिपेंडेंस (जैसे, $\theta_0 = 1000\theta_{32}$ संभव है) सुनिश्चित नहीं करता है। हालांकि, पेपर का तर्क है कि प्रशिक्षित अटेंशन इन विशिष्ट बीजगणितीय निर्भरताओं (algebraic dependencies) को सहन करता है क्योंकि वे प्रशिक्षण के दौरान मौजूद होती हैं, जबकि इंजेक्टेड क्लस्टर्स प्रशिक्षण वितरण से अनुपस्थित संबंधों को पेश करते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र Ro-based मॉडल्स में एक संरचनात्मक भेद्यता (structural vulnerability) को हल करने का दावा करता है जो पहले अज्ञात थी। इसका महत्व निम्नलिखित में निहित है:

विफलता मोडों का अंतर स्पष्ट करना: यह स्पष्ट करता है कि RoPE के दो ऑर्थोगोनल विफलता मोड हैं: एक लो- $\theta$ एंड पर (बेस चयन और अंडर-रोटेशन द्वारा नियंत्रित) और दूसरा हाई- $\theta$ एंड पर (संरचनात्मक डिस्टिंक्टनेस और क्लस्टर जनरेशन द्वारा नियंत्रित)।
मजबूती (Robustness) की व्याख्या: यह समझाता है कि प्रशिक्षित अटेंशन ज्यामितीय रूप की अंतर्निहित बीजगणितीय निर्भरताओं को क्यों सहन करता है, लेकिन परटर्बेशन-प्रेरित क्लस्टर्स के प्रति विनाशकारी प्रतिक्रिया क्यों देता है।
भविष्य के शेड्यूल्स के लिए मार्गदर्शन: लेखक तर्क देते हैं कि ज्यामितीय रूप से अलग होने वाले भविष्य के शेड्यूल परिवारों (जैसे, लॉन्ग-रोपे जैसे लर्नड प्रति-डायमेंशन स्केल्स) को दोनों विफलता मोडों के खिलाफ सुरक्षा को स्पष्ट रूप से इंजीनियर करना चाहिए। विशेष रूप से, उन्हें यह सुनिश्चित करना होगा कि max_cluster = 1 बना रहे, क्योंकि गैर-ज्यामितीय पैरामीटराइजेशन में ट्रांसेंडेंस थ्योरी के माध्यम से इस स्थिति की स्वचालित संतुष्टि खो जाती है।

शोध पत्र निष्कर्ष निकालता है कि ज्यामितीय रूप स्पेक्ट्रम के दोनों सिरों पर सुरक्षित है क्योंकि इसमें दो स्वतंत्र तंत्र हैं: बेस चयन (लो- $\theta$ एंड की सुरक्षा के लिए) और स्ट्रक्चरल डिस्टिंक्टनेस (हाई- $\theta$ एंड की सुरक्षा के लिए)।