🤖 machine learning

Does RoPE Prevent or Degrade Retrieval Heads? A Mechanistic Analysis Across Model Families

यह शोध पत्र कई मॉडल परिवारों में यांत्रिक विश्लेषण के माध्यम से यह प्रदर्शित करता है कि रोटरी पोज़िशन एम्बेडिंग्स (RoPE) न तो रिट्रीवल हेड्स के निर्माण को रोकते हैं और न ही उनके कार्य को कम करते हैं, और यह पहचानता है कि लॉन्ग-कॉन्टेक्स्ट रिकॉल के लिए अटेंशन नॉर्म्स के बजाय RoPE फ्रीक्वेंसी डाइमेंशन्स ही कारण कारक हैं।

मूल लेखक: Cengizhan Bayram

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Cengizhan Bayram

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल पुस्तकालय (एक Large Language Model) है जिसने लाखों किताबें पढ़ी हैं। कभी-कभी, आप उससे एक सवाल पूछते हैं जैसे, "5,000 पन्ने पहले उल्लेखित गुप्त पासवर्ड क्या था?" मॉडल को अपनी याददाश्त की गहराई में दबे उस विशिष्ट जानकारी को खोजना होगा।

यह शोध इस बात की जांच करता है कि मॉडल उस जानकारी को कैसे खोजता है और क्या RoPE (Rotary Position Embeddings) नामक एक विशिष्ट आंतरिक नियम इस प्रक्रिया में मदद करता है या नुकसान पहुँचाता है।

यहाँ सरल उपमाओं का उपयोग करके अध्ययन का विवरण दिया गया है:

1. "रिट्रीवल हेड्स" (पुस्तकालयाध्यक्ष/Librarians)

शोध यह पुष्टि करता है कि मॉडल केवल अनुमान नहीं लगाता; इसके पास विशिष्ट आंतरिक कार्यकर्ता होते हैं जिन्हें "रिट्रीवल हेड्स" (Retrieval Heads) कहा जाता है।

उपमा: कल्पना कीजिए कि मॉडल के पास 1,000 छोटे पुस्तकालयाध्यक्ष हैं। उनमें से अधिकांश केवल मेज पर रखी वर्तमान पुस्तक (तत्काल टेक्स्ट) को देखते हैं। लेकिन एक छोटा समूह (लगभग 5-8%) "विशेष पुस्तकालयाध्यक्ष" (Special Librarians) है। उनका एकमात्र काम पूरे पुस्तकालय को स्कैन करना है ताकि बहुत पीछे अतीत में उल्लेखित एक विशिष्ट शब्द को खोजा जा सके।
प्रमाण: शोधकर्ताओं ने इन विशेष पुस्तकालयाध्यक्षों के हाथ "बांधकर" (masking करके) इसका परीक्षण किया। जब उन्होंने ऐसा किया, तो लंबी दूरी के तथ्यों को खोजने की मॉडल की क्षमता 100% से गिरकर 0% हो गई। यदि उन्होंने यादृच्छिक, गैर-विशेष पुस्तकालयाध्यक्षों के हाथ बांधे, तो मॉडल अभी भी पूरी तरह से काम करता रहा। यह साबित करता है कि ये विशिष्ट हेड्स ही एकमात्र कारण हैं जिससे मॉडल लंबी दूरी के तथ्यों को याद रख पाता है।

2. बड़ा सवाल: क्या RoPE पुस्तकालयाध्यक्षों को तोड़ देता है?

RoPE एक गणितीय नियम है जिसका उपयोग मॉडल यह समझने के लिए करता है कि वाक्य में शब्द कहाँ हैं (जैसे पेज नंबर)। बहुत लंबी किताबों को संभालने के लिए, वैज्ञानिक अक्सर $\theta$ (theta) नामक एक सेटिंग को बदलते हैं।

डर (परिकल्पना 1): लोगों को डर था कि $\theta$ को बड़ा करने से (लंबी किताबों को संभालने के लिए) विशेष पुस्तकालयाध्यक्ष भ्रमित हो सकते हैं या उनके बनने की प्रक्रिया रुक सकती है।
डर (परिकल्पना 2): लोगों को यह भी डर था कि RoPE उन "औजारों" को कम प्रभावी बना सकता है जिनका पुस्तकालयाध्यक्ष उपयोग करते हैं, जिससे उन्हें टूटे हुए उपकरणों के साथ काम करने के लिए मजबूर होना पड़ेगा।

फैसला: यह शोध दोनों डरों को "नहीं" कहता है।

परिणाम 1: "लॉन्ग-बुक" सेटिंग ( $\theta$ ) वाले मॉडल्स में वास्तव में अधिक विशेष पुस्तकालयाध्यक्ष होते हैं, कम नहीं। यह सेटिंग उन्हें तोड़ती नहीं है; बल्कि ऐसा लगता है कि यह उन्हें प्रोत्साहित करती है।
परिणाम 2: "औजार" किसी सरल तरीके से टूटे हुए नहीं हैं। संबंध जटिल है और यह विशिष्ट मॉडल परिवार (जैसे कंप्यूटर के विभिन्न ब्रांड) पर निर्भर करता है, लेकिन कोई सार्वभौमिक नियम नहीं है जो कहता है कि "RoPE रिट्रीवल को खराब करता है।"

3. असली खोज: "फ्रीक्वेंसी" बनाम "वॉल्यूम"

सबसे महत्वपूर्ण खोज इस बारे में है कि RoPE नियम के किन हिस्सों का विशेष पुस्तकालयाध्यक्ष वास्तव में उपयोग करते हैं।

पुराना विचार (Utility/Volume): वैज्ञानिकों ने सोचा कि पुस्तकालयाध्यक्ष नियम के उन हिस्सों का उपयोग करते हैं जो "तेज़" या "मजबूत" (high utility/norm) होते हैं।
नई खोज (Frequency/Wavelength): शोध यह सिद्ध करता है कि पुस्तकालयाध्यक्ष वास्तव में नियम के लो-फ्रीक्वेंसी (low-frequency) हिस्सों पर निर्भर करते हैं।
- उपमा: कल्पना कीजिए कि RoPE नियम एक रेडियो स्टेशन है।
  - हाई फ्रीक्वेंसी (High Frequency): ये तेज़, छोटी रेडियो तरंगों की तरह हैं। ये अपने ठीक बगल में मौजूद चीजों को सुनने के लिए बेहतरीन हैं, लेकिन लंबी दूरी पर ये गड़बड़ा जाती हैं।
  - लो फ्रीक्वेंसी (Low Frequency): ये धीमी, लंबी रेडियो तरंगों की तरह हैं। ये बिना अपना आकार खोए हजारों मील तक यात्रा कर सकती हैं।
- प्रयोग: शोधकर्ताओं ने हाई-फ्रीक्वेंसी तरंगों और "तेज़" (loud) हिस्सों को "बंद" कर दिया। मॉडल फिर भी ठीक से काम करता रहा। लेकिन जब उन्होंने लो-फ्रीक्वेंसी (लंबी दूरी वाली) तरंगों को "बंद" किया, तो मॉडल पासवर्ड पूरी तरह भूल गया।
- निष्कर्ष: विशेष पुस्तकालयाध्यक्षों को इस बात से फर्क नहीं पड़ता कि सिग्नल कितना "तेज़" है; उन्हें इस बात से फर्क पड़ता है कि वह कितनी दूर तक जा सकता है। उन्हें 5,000 पन्ने पीछे तक पहुँचने के लिए धीमी, लंबी-तरंगों वाले सिग्नल्स की आवश्यकता होती है।

4. पुस्तकालयाध्यक्ष कैसे जन्म लेते हैं

शोध ने मॉडल को सीखते समय (ट्रेनिंग के दौरान) भी देखा।

उपमा: जब मॉडल सीखना शुरू करता है, तो उसके पास कोई विशेष पुस्तकालयाध्यक्ष नहीं होते। उसके पास केवल सामान्य पाठक होते हैं।
घटना: अचानक, लगभग 2 ट्रिलियन शब्द पढ़ने के बाद, विशेष पुस्तकालयाध्यक्ष "क्रिस्टलाइज" या प्रकट होते हैं। यह धीरे-धीरे होने वाली वृद्धि नहीं है; यह एक लाइट स्विच चालू होने जैसा है। एक बार जब वे प्रकट हो जाते हैं, तो वे अनिवार्य हो जाते हैं।

5. क्यों कुछ मॉडल अलग दिखते हैं

शोधकर्ताओं ने चार अलग-अलग मॉडल्स (LLaMA, Qwen, OLMo, Mistral) का परीक्षण किया।

उन्होंने पाया कि हालांकि "लो-फ्रीक्वेंसी" का नियम उन सभी के लिए सच है, लेकिन इससे मिलने वाली मदद की मात्रा बहुत भिन्न होती है।
कुछ मॉडल्स में, प्रभाव बहुत बड़ा है; दूसरों में, यह छोटा है। शोध यह स्पष्ट करता है कि यह इसलिए नहीं है कि नियम टूटा हुआ है, बल्कि इसलिए है क्योंकि शोधकर्ताओं को प्रभाव देखने के लिए प्रत्येक मॉडल में अलग संख्या में पुस्तकालयाध्यक्षों को "पैच" (ठीक) करना पड़ा था। यह एक नाव में रिसाव रोकने जैसा है: यदि आप केवल 30% छेदों को बंद करते हैं, तो नाव अभी भी तैरती रहेगी (ऐसा लगेगा कि कुछ नहीं हुआ)। पानी के स्तर को गिरते हुए देखने के लिए आपको पर्याप्त छेद बंद करने होंगे।

सारांश

क्या रिट्रीवल हेड्स मौजूद हैं? हाँ, और वे लंबी अवधि की याददाश्त के लिए बिल्कुल आवश्यक हैं।
क्या RoPE उन्हें तोड़ देता है? नहीं। वास्तव में, लंबे संदर्भों के लिए उपयोग की जाने वाली सेटिंग्स उन्हें बनने में मदद करती हैं।
वे कैसे काम करते हैं? वे RoPE नियम के "धीमे, लंबी दूरी वाले" सिग्नल्स (low-frequency) पर भरोसा करते हैं, न कि "तेज़" सिग्नल्स पर।
मुख्य बात: लंबी दूरी पर AI की याददाश्त को बेहतर बनाने के लिए, हमें पुस्तकालयाध्यक्षों को ठीक करने की आवश्यकता नहीं है; हमें बस यह सुनिश्चित करने की आवश्यकता है कि "लंबी दूरी की रेडियो तरंगें" (low-frequency RoPE dimensions) स्पष्ट और बिना किसी बाधा के रहें।

तकनीकी सारांश: क्या RoPE रिट्रीवल हेड्स को रोकता है या उन्हें खराब करता है?

समस्या विवरण

लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडल्स "रिट्रीवल हेड्स" (retrieval heads)—जो कि अटेंशन हेड्स का एक छोटा उपसमुच्चय है और पिछले कॉन्टेक्स्ट से जानकारी को वर्तमान स्थिति में कॉपी करने का कार्य करते हैं—पर निर्भर करते हैं ताकि 'नीडल-इन-अ-हेस्टैक' (NIAH) जैसी रिकॉल टास्क को पूरा किया जा सके। इसके साथ ही, आधुनिक मॉडल्स रोटरी पोजीशनल एम्बेडिंग्स (RoPE) का उपयोग करते हैं, जहाँ एक बेस हाइपरपैरामीटर $\theta$ क्वेरी और की (key) वेक्टर्स के रोटेशन फ्रीक्वेंसी को निर्धारित करता है। कॉन्टेक्स्ट लेंथ बढ़ाने के लिए $\theta$ को बढ़ाना एक मानक विधि है।

यह शोध पत्र RoPE और रिट्रीवल हेड्स के बीच परस्पर क्रिया के संबंध में दो प्रतिस्पर्धी परिकल्पनाओं की जांच करता है:

रोकथाम (H1): एक बड़ा $\theta$ (धीमी गति से क्षय होने वाला रोटेशन) रिट्रीवल हेड्स के बनने को रोक सकता है या उनकी संख्या कम कर सकता है।
क्षरण (H2): RoPE "लो-यूटिलिटी" (कम उपयोगी) आयाम (जैसा कि क्वेरी-प्रोजेक्शन नॉर्म्स द्वारा परिभाषित किया गया है) उत्पन्न कर सकता है जिन पर रिट्रीवल हेड्स निर्भर करते हैं, जिससे इन आयामों को शून्य करने पर रिकॉल खराब हो जाता है, या इसके विपरीत, रिट्रीवल उच्च-उपयोगी आयामों पर निर्भर हो सकता है।

कार्यप्रणाली (Methodology)

यह अध्ययन चार ओपन-वेट 7–8B मॉडल्स (LLaMA-2, LLaMA-3.1, Qwen2.5, OLMo-2) के माध्यम से एक मेकेनिस्टिक विश्लेषण का उपयोग करता है जो दो अटेंशन रेजिम्स (मल्टी-हेड और ग्रुपेड-क्वेरी) और 100 $\times$ की RoPE बेस रेंज ( $\theta \in [10,000, 1,000,000]$ ) को कवर करता है।

प्रमुख प्रयोगात्मक प्रोटोकॉल:

पेयर्ड-सीड क्रॉस-मॉडल प्रोटोकॉल: निष्पक्ष तुलना सुनिश्चित करने के लिए, लेखक टोकनाइज़र से स्वतंत्र NIAH स्पेसिफिकेशन जेनरेट करते हैं, जो मॉडल्स के बीच समान सैंपल्स को स्कोर करते हैं ताकि इनपुट वेरिएंस को समाप्त किया जा सके।
रिट्रीवल हेड डिटेक्शन: एक सिंगल-पास अटेंशन-आर्गमैक्स प्रॉक्सी उन हेड्स की पहचान करता है जो "नीडल" टोकन पर अटेंड करते हैं। वैधता की पुष्टि कॉज़ल नॉकआउट (causal knockout) और एक सख्त टीचर-फोर्स्ड कॉपी स्कोर के माध्यम से की जाती है।
लेयर-क्लस्टर्ड स्टैटिस्टिक्स: स्यूडोरेप्लिकेशन (लेयर के भीतर हेड्स को स्वतंत्र मानना) से बचने के लिए, लेखक लेयर-क्लस्टर्ड परम्यूटेशन टेस्ट और पार्शियल कोरिलेशन का उपयोग करते हैं।
कॉज़ल एक्टिवेशन पैचिंग:
- हेड नॉकआउट: डिटेक्टेड रिट्रीवल हेड्स के आउटपुट को ज़ीरो करना बनाम रैंडम हेड्स को ज़ीरो करना।
- डायमेंशन पैचिंग: विभिन्न आबादी (populations) के रिट्रीवल हेड्स में विशिष्ट RoPS आयामों (लो-फ्रीक्वेंसी बनाम हाई-फ्रीक्वेंसी बनाम लो-यूटिलिटी/हाई-यूटिलिटी) को व्यवस्थित रूप से ज़ीरो करना ताकि कॉज़ल डिपेंडेंस का परीक्षण किया जा सके।
- डोज़-रिस्पॉन्स: ज़ीरो किए गए आयामों की संख्या ( $k$ ) और पैच किए गए हेड्स के अंश (कवरेज) को बदलकर ग्रेडेड प्रभाव को मापना।

मुख्य निष्कर्ष

1. रिट्रीवल हेड्स वास्तविक और कॉज़ली आवश्यक हैं

सभी मॉडल परिवारों में रिट्रीवल हेड्स मौजूद हैं (जो हेड्स का 4–9% हिस्सा बनाते हैं)। इन हेड्स की कॉज़ल मास्किंग से NIAH सटीकता 1.00 से गिरकर 0.00 (OLMo में) हो जाती है या काफी कम (Qwen में) हो जाती है, जबकि समान संख्या में रैंडम हेड्स को मास्क करने का कोई प्रभाव नहीं पड़ता। यह डबल डिसोसिएशन पुष्टि करता है कि रिट्रीवल हेड्स केवल सह-संबंधित नहीं हैं बल्कि लॉन्ग-कॉन्टेक्स्ट रिकॉल के लिए कॉज़ली आवश्यक हैं।

2. "रोकथाम" (Prevention) परिकल्पना समर्थित नहीं है

H1 के विपरीत, एक बड़ा RoPE बेस $\theta$ रिट्रीवल हेड्स की संख्या को कम नहीं करता है।

अवलोकन: LLaMA-3.1 ( $\theta=500,000$ ) में 47 रिट्रीवल हेड्स हैं, जबकि LLaMA-2 ( $\theta=10,000$ ) में 42 हैं। Qwen ( $\theta=1,000,000$ ) में 59 हैं।
निष्कर्ष: रुझान दिखाता है कि हेड्स की संख्या $\theta$ के साथ बढ़ती या मेल खाती है, जो इस भविष्यवाणी को खारिज करती है कि उच्च $\theta$ गठन को रोकता है। लेखक नोट करते हैं कि यह मॉडल्स के बीच एक दिशात्मक खंडन है, क्योंकि $\theta$ अन्य आर्किटेक्चरल और डेटा कारकों के साथ सह-परिवर्तित (co-vary) होता है।

3. कोई सार्वभौमिक "RoPE रिट्रीवल को खराब करता है" नियम नहीं है

डायमेंशन यूटिलिटी (क्वेरी-प्रोजेक्शन नॉर्म) और रिट्रीवल के बीच का संबंध हेट्रोजेनियस (विषम) और मॉडल-विशिष्ट है, सार्वभौमिक नहीं।

विपरीत संकेत: Qwen के रिट्रीवल हेड्स नॉन-रिट्रीवल हेड्स की तुलना में काफी कम यूटिलिटी ( $d = -0.49$ ) दिखाते हैं, जबकि OLMo के रिट्रीवल हेड्स काफी उच्च यूटिलिटी ( $d = +0.50$ ) दिखाते हैं। LLaMA मॉडल्स में कोई महत्वपूर्ण प्रभाव नहीं दिखता।
निहितार्थ: चूंकि OLMo और LLaMA-3.1 एक ही $\theta$ साझा करते हैं लेकिन अलग-अलग व्यवहार करते हैं, इसलिए यह प्रभाव $\theta$ द्वारा संचालित नहीं है। RoPE ज्योमेट्री और रिट्रीवल यूटिलिटी के बीच कोई एकल मॉनोटोनिक नियम नहीं है।

4. कॉज़ल एक्सिस फ्रीक्वेंसी है, न कि नॉर्म

जबकि यूटिलिटी एक्सिस (नॉर्म) के परिणाम असंगत हैं, RoPE का फ्रीक्वेंसी एक्सिस कॉज़ली महत्वपूर्ण और सभी मॉडल्स में सुसंगत है।

फ्रीक्वेंसी विशिष्टता: रिट्रीवल हेड्स के लो-फ्रीक्वेंसी (लॉन्ग-वेवलेंथ) आयामों को ज़ीरो करने से रिकॉल में डोज़-डिपेंडेंट गिरावट आती है (उदाहरण के लिए, जब 128 में से 32 आयाम ज़ीरो किए जाते हैं तो सटीकता 0.18 तक गिर जाती है)।
नल कंट्रोल्स: समान संख्या में हाई-फ्रीक्वेंसी आयामों, रैंडम आयामों, या उच्चतम-नॉर्म (हाई-यूटिलिटी) आयामों को ज़ीरो करने से रिकॉल बरकरार रहता है (सीलिंग के पास)।
विशिष्टता: यह प्रभाव हेड-विशिष्ट है (नॉन-रिट्रीवल हेड्स में लो-फ्रीक्वेंसी आयामों को ज़ीरो करने का कोई प्रभाव नहीं पड़ता) और काफी हद तक टास्क-विशिष्ट है (NIAH ड्रॉप की तुलना में सामान्य परप्लेक्सिटी पर न्यूनतम प्रभाव)।
कवरेज डिपेंडेंसी: कुछ मॉडल्स (जैसे मिस्ट्रल) में "नल" परिणाम आर्टिफैक्ट थे। जब कवरेज को मैच किया गया (डिटेक्टेड हेड्स के 50% को पैच किया गया), तो नेगेटिव फ्रीक्वेंसी प्रभाव पांच मॉडल्स (OLMo, Qwen, Gemma, Mistral) में महत्वपूर्ण और सार्वभौमिक पाया गया।

5. ट्रेनिंग डायनेमिक्स

OLMo-2 में, रिट्रीवल हेड्स इनिशियलाइजेशन के समय मौजूद नहीं होते हैं। वे ~2 ट्रिलियन टोकन के बाद अचानक क्रिस्टलाइज होते हैं (एक फेज-ट्रांजिशन-लाइक ऑनसेट), और उनकी संख्या ~3.5 $\times$ बढ़ जाती है। जैसे-जैसे इनकी संख्या बढ़ती है, औसत हेड यूटिलिटी गिर जाती है, जो सर्किट और उसके डायमेंशन यूसेज के सह-विकास (co-evolution) का सुझाव देती है।

महत्व और दावे

यह पेपर दावा करता है कि यह एक डिटेक्टर-रोबस्ट, मेकेनिस्टिक अकाउंट प्रदान करता है कि कैसे RoPE रिट्रीवल के साथ इंटरैक्ट करता है:

सहज कहानियों का खंडन: न तो "रोकथाम" परिकल्पना (कि बड़ा $\theta$ रिट्रीवल हेड्स को रोकता है) और न ही एक सार्वभौमिक "क्षरण" परिकल्पना (कि रिट्रीवल लो-यूटिलिटी आयामों पर निर्भर है) सही है।
फ्रीक्वेंसी लोड-बेयरिंग एक्सिस है: अध्ययन डायमेंशन इनएफिशिएंसी की समझ को परिष्कृत करता है। रिट्रीवल विशेष रूप से RoPE के लो-फ्रीक्वेंसी, लॉन्ग-वेवलेंथ आयामों पर निर्भर करता है, जो लॉन्ग-रेंज पोजीशनल सिग्नल्स को एनकोड करते हैं। यह एक सर्किट-लेवल स्पष्टीकरण प्रदान करता है कि क्यों RoPE बेस को बढ़ाना (जो इन वेवलेंथ को स्ट्रेच करता है) लॉन्ग-कॉन्टेक्स्ट परफॉरमेंस में सुधार करता है: यह उसी चैनल को नया आकार देता है जिस पर रिट्रीवल हेड्स निर्भर करते हैं।
मेथोडोलॉजिकल रिगर: यह कार्य स्यूडोरेप्लिकेशन से बचने के लिए लेयर-क्लस्टर्ड स्टैटिस्टिक्स और टास्क सैचुरेशन (सीलिंग इफेक्ट्स) को पार करने के लिए पॉपुलेशन-लेवल पैचिंग की आवश्यकता पर जोर देता है जहाँ सिंगल-हेड एब्लेशन प्रभाव दिखाने में विफल रहते हैं।
हेटरोजेनिटी: लेखक विनम्रतापूर्वक दावा करते हैं कि हालांकि फ्रीक्वेंसी प्रभाव की दिशा सार्वभौमिक है, लेकिन इसका परिमाण और यूटिलिटी रिलेशनशिप आर्किटेक्चर, डेटा और डिटेक्शन मेट्रिक्स के कारण मॉडल-विशिष्ट है। वे किसी पूर्ण वर्गीकरण (taxonomy) को स्थापित करने का दावा नहीं करते हैं, बल्कि एक एकल सार्वभौमिक नियम के अस्तित्व को खारिज करते हैं।

अध्ययन निष्कर्ष निकालता है कि रिट्रीवल एक उभरता हुआ, कॉज़ल मैकेनिज्म है जो विशिष्ट हेड्स में स्थानीयकृत है लेकिन RoPE के लो-फ्रीक्वेंसी बैंड में रेडंडेंट रूप से एनकोड किया गया है, और मानक अभ्यास (बेस-स्केलिंग) इस विशिष्ट फ्रीक्वेंसी चैनल को ऑप्टिमाइज़ करके काम करता है।