💬 NLP

Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation

यह शोध पत्र RoPE-Perturbed Self-Distillation का प्रस्ताव करता है, जो एक प्रशिक्षण नियमितकर्ता (training regularizer) है जो रोटरी पोजीशनल एम्बेडिंग इंडेक्स को विक्षेपित (perturb) करके वैकल्पिक अनुक्रम दृश्य (alternative sequence views) बनाकर बड़े भाषा मॉडलों में दीर्घ-संदर्भ अनुकूलन (long-context adaptation) को बढ़ाता है, जिससे भंगुर पोजीशनल निर्भरताओं के बजाय अर्थपूर्ण निर्भरता को प्रोत्साहन मिलता है और दीर्घ-संदर्भ बेंचमार्क एवं लंबाई एक्सट्रपलेशन (length extrapolation) पर प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Zichong Li, Chen Liang, Liliang Ren, Tuo Zhao, Yelong Shen, Weizhu Chen

प्रकाशित 2026-04-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zichong Li, Chen Liang, Liliang Ren, Tuo Zhao, Yelong Shen, Weizhu Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation" पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "मिडल-चाइल्ड" (बीच वाले बच्चे का) सिंड्रोम

कल्पना कीजिए कि आपने लाखों किताबों वाली एक लाइब्रेरी में किसी विशिष्ट तथ्य को खोजने के लिए एक बुद्धिमान लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल) को काम पर रखा है।

यदि वह तथ्य पहली किताब के पहले पन्ने पर है, तो लाइब्रेरियन उसे तुरंत ढूंढ लेता है। यदि वह आखिरी किताब के आखिरी पन्ने पर है, तो भी वह उसे आसानी से ढूंढ लेता है। लेकिन यदि वह तथ्य 100 पन्नों के एक अध्याय के बीच में छिपा है? तो लाइब्रेरियन अक्सर भ्रमित हो जाता है, ट्रैक खो देता है, या बस गलत अनुमान लगा लेता है।

इसे "लॉस्ट इन द मिडल" (Lost in the Middle) समस्या कहा जाता है। भले ही मॉडल बुद्धिमान है, लेकिन इसमें एक छिपी हुई कमजोरी है: यह इस बात पर बहुत अधिक निर्भर करता है कि जानकारी कहाँ स्थित है। यदि आप एक ही वाक्य को दस्तावेज़ की शुरुआत से हटाकर बीच में रख देते हैं, तो मॉडल का आत्मविश्वास गिर जाता है। यह उस छात्र की तरह है जो उत्तर तो जानता है, लेकिन केवल तभी जब शिक्षक प्रश्न एक विशिष्ट क्रम में पूछे, और यदि क्रम बदल जाए तो वह घबरा जाता है।

समाधान: "RoPE-Perturbed Self-Distillation"

लेखक इस समस्या को ठीक करने के लिए एक चतुर प्रशिक्षण तकनीक का प्रस्ताव करते हैं। वे इसे RoPE-Perturbed Self-Distillation कहते हैं। आइए इस डरावने नाम को एक सरल कहानी में तोड़ते हैं।

1. "RoPE" (लाइब्रेरी का पता प्रणाली)

आधुनिक AI मॉडल शब्दों के स्थान को ट्रैक रखने के लिए RoPE (रोटरी पोजीशन एम्बेडिंग) नामक चीज़ का उपयोग करते हैं। RoPE को शब्दों के लिए एक GPS समन्वय (coordinate) प्रणाली के रूप में समझें। यह मॉडल को बताता है: "यह शब्द स्थिति 10 पर है, वह शब्द स्थिति 500 पर है।"

समस्या यह है कि मॉडल इन विशिष्ट GPS निर्देशांकों से बहुत अधिक जुड़ जाता है। वह सीख जाता है, "उत्तर हमेशा कोआर्डिनेट 500 पर होता है," बजाय इसके कि "उत्तर 'एप्पल' शब्द है।"

2. "Perturbation" (शफलिंग/फेरबदल)

इसे ठीक करने के लिए, शोधकर्ता मॉडल को GPS निर्देशांकों के साथ "म्यूजिकल चेयर्स" (musical chairs) का खेल खेलना सिखाते हैं।

सेटअप: वे एक लंबी कहानी (टेक्स्ट का एक अनुक्रम) लेते हैं।
ट्रिक: वे कहानी के दो संस्करण बनाते हैं।
- संस्करण A (सामान्य दृश्य): कहानी बिल्कुल वैसी ही रहती है जैसी वह है। GPS निर्देशांक सामान्य हैं (1, 2, 3...)।
- संस्करण B (शफल किया हुआ दृश्य): वे शब्दों को बिल्कुल समान रखते हैं, लेकिन वे कहानी के दूसरे आधे हिस्से के लिए GPS निर्देशांकों को बदल (shift) देते हैं। अचानक, जो शब्द स्थिति 500 पर थे, अब उन्हें स्थिति 1000 के रूप में लेबल किया गया है। शब्द उसी क्रम में हैं, लेकिन उनके "पते" बदल गए हैं।

3. "Self-Distillation" (शिक्षक-छात्र का खेल)

अब, वे AI को इन दो संस्करणों के बीच एक खेल खेलने के लिए मजबूर करते हैं:

शिक्षक (संस्करण A): मॉडल सामान्य कहानी पढ़ता है और अगले शब्द की भविष्यवाणी करता है। यह "सही" उत्तर है।
छात्र (संस्करण B): मॉडल शफल की गई कहानी (जहाँ पते अजीब हैं) को पढ़ता है और अगले शब्द की भविष्यवाणी करने की कोशिश करता है।
नियम: छात्र को बिल्कुल वही उत्तर देना होगा जो शिक्षक ने दिया था, भले ही GPS निर्देशांक अलग हों।

यदि छात्र कहता है, "ओह, पता बदलने के कारण उत्तर बदल गया!" तो उसे दंड (penalty) मिलता है। उन्हें मजबूर किया जाता है कि वे सीखें: "नहीं! उत्तर शब्दों के अर्थ (meaning) पर निर्भर करता है, न कि मुझे दिए गए नकली GPS पते पर।"

यह क्यों काम करता है (उपमा)

कल्पना कीजिए कि आप अपने एक दोस्त के चेहरे को पहचानना सीख रहे हैं।

पुराना तरीका: आप अपने दोस्त को केवल लाल टोपी पहने देखते हैं। आप सीखते हैं, "लाल टोपी = दोस्त।" यदि वे नीली टोपी पहनते हैं, तो आप उन्हें नहीं पहचान पाते।
नया तरीका (यह पेपर): आप अपने दोस्त को लाल टोपी पहने देखते हैं, फिर आप उन्हें नीली टोपी पहने देखते हैं, फिर हरी टोपी पहने देखते हैं। आपको यह समझने के लिए मजबूर किया जाता है कि, "चेहरा मायने रखता है, टोपी नहीं।"

प्रशिक्षण के दौरान "पतों" (टोपियों) को शफल करके, मॉडल स्थान पर निर्भर होना बंद कर देता है और सिमेंटिक्स (semantics) (वास्तविक अर्थ) पर ध्यान केंद्रित करना शुरू कर देता है।

परिणाम: एक अधिक सक्षम लाइब्रेरियन

शोधकर्ताओं ने शक्तिशाली मॉडलों (Llama-3 और Qwen) पर इसका परीक्षण किया। यहाँ क्या हुआ:

"लॉस्ट इन द मिडल" का अंत: मॉडल टेक्स्ट में जानकारी खोजने में बहुत बेहतर हो गए, चाहे वह कहीं भी हो। चाहे सुराग शुरुआत में हो, बीच में हो या अंत में, सटीकता उच्च बनी रही।
लंबे कार्यों में बेहतर: उन्होंने RULER जैसे बेंचमार्क पर काफी बेहतर प्रदर्शन किया, जो यह परीक्षण करता है कि क्या कोई मॉडल विशाल टेक्स्ट में "भूसे के ढेर में सुई" (एक विशिष्ट तथ्य) खोज सकता है।
भविष्य के लिए तैयार: यहाँ तक कि जब उन्होंने मॉडलों का परीक्षण उन टेक्स्ट पर किया जो उनके प्रशिक्षित टेक्स्ट से लंबे थे (जैसे 64k शब्दों पर प्रशिक्षित होने के बाद 1-मिलियन शब्दों की किताब पढ़ना), तो मॉडलों ने पहले की तुलना में बहुत बेहतर तरीके से इसे संभाला।
कोई नुकसान नहीं: मॉडल छोटे कार्यों में "कम बुद्धिमान" नहीं हुए। वे बस लंबे कार्यों के लिए अधिक स्मार्ट हो गए।

सारांश

यह पेपर एक प्रशिक्षण पद्धति पेश करता है जो AI मॉडलों को यह भूलने के लिए मजबूर करती है कि कोई शब्द कहाँ स्थित है और इस पर ध्यान केंद्रित करने के लिए प्रेरित करती है कि उस शब्द का अर्थ क्या है। प्रशिक्षण के दौरान शब्दों के "पते के लेबल" को कृत्रिम रूप से बदलकर और निरंतर उत्तरों की मांग करके, मॉडल मजबूत, विश्वसनीय और टेक्स्ट की विशाल मात्रा को संभालने में बहुत बेहतर बन जाते हैं।

संक्षेप में: उन्होंने AI को सीट नंबर को अनदेखा करने और मूवी के प्लॉट पर ध्यान केंद्रित करने के लिए सिखाया।

यहाँ शोध पत्र "Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) से तेजी से लंबे-संदर्भ (long-context) परिदृश्यों (जैसे, RAG, मल्टी-डॉक्यूमेंट रीजनिंग) में कार्य करने की अपेक्षा की जा रही है। जबकि लंबे अनुक्रमों (sequences) पर मानक फाइन-ट्यूनिंग औसत प्रदर्शन में सुधार करती है, लेखक एक महत्वपूर्ण दोष की पहचान करते हैं: पोजीशनल ब्रिटलनेस (Positional Brittleness - स्थिति संबंधी भंगुरता)।

समस्या: मानक लॉन्ग-कॉन्टेक्स्ट मॉडल इनपुट के भीतर प्रासंगिक साक्ष्य (relevant evidence) की पूर्ण स्थिति (absolute position) के आधार पर सटीकता में उच्च विचरण (high variance) प्रदर्शित करते हैं। यदि "सुई" (प्रासंगिक जानकारी) लंबे संदर्भ के प्रारंभ से मध्य या अंत में स्थानांतरित होती है, तो प्रदर्शन काफी गिर जाता है।
मूल कारण: यह संवेदनशीलता रोटरी पोजीशनल एम्बेडिंग्स (RoPE) से उत्पन्न होती है। RoPE क्वेरी और की (key) वेक्टर्स को स्थिति-निर्भर कोणों के आधार पर घुमाता है। लंबे संदर्भों में, ये फेज़ शिफ्ट्स (phase shifts) मॉडल के अटेंशन मैकेनिज्म को केवल सिमेंटिक कंटेंट के बजाय विशिष्ट पूर्ण या सापेक्ष इंडेक्स असाइनमेंट पर अत्यधिक निर्भर बना देते हैं।
परिणाम: वास्तविक दुनिया के अनुप्रयोगों में, जहाँ दस्तावेज़ों का क्रम या रिट्रीवल प्लेसमेंट बदलता रहता है, मॉडल की विश्वसनीयता से समझौता होता है क्योंकि यह एक ही जानकारी के विभिन्न पोजीशनल कॉन्फ़िगरेशनों पर सामान्यीकरण (generalize) करने में विफल रहता है।

2. कार्यप्रणाली: RoPE-Perturbed Self-Distillation

लेखक एक प्रशिक्षण रेगुलराइज़र (training regularizer) प्रस्तावित करते हैं जिसे मॉडल आर्किटेक्चर या अंतर्निहित RoPE मैकेनिज्म को बदले बिना पोजीशनल रोबस्टनेस (positional robustness) लागू करने के लिए डिज़ाइन किया गया है।

मुख्य अवधारणा (Core Concept)

यह विधि RoPE इंडेक्स को बाधित (perturb) करके एक ही प्रशिक्षण अनुक्रम के वैकल्पिक "व्यूज़" (views) बनाती है, जबकि टोकन कंटेंट और कॉज़ल मास्क (causal mask) अपरिवर्तित रहता है। इसके बाद मॉडल को सेल्फ-डिस्टिलेशन के माध्यम से इन व्यूज़ के बीच सुसंगत भविष्यवाणियाँ करने के लिए प्रशिक्षित किया जाता है।

तकनीकी कार्यान्वयन (Technical Implementation)

परटर्बेशन रणनीति (Skip-based Shift):
- लंबाई $L$ के एक अनुक्रम के लिए, एक स्प्लिट पॉइंट $s$ और एक ऑफसेट $y$ का चयन किया जाता है।
- सफिक्स $[s, L-1]$ के टोकन्स के लिए RoPE इंडेक्स को $y$ जोड़कर शिफ्ट किया जाता है (अर्थात, $i \ge s$ के लिए $r_i = i + y$ ), जबकि प्रीफिक्स $[0, s-1]$ अपरिवर्तित रहता है।
- यह प्रभावी रूप से प्रीफिक्स और सफिक्स के बीच "RoPE दूरी" को बढ़ाता है, जिससे मॉडल को पिछले संदर्भ के साथ इस तरह से इंटरैक्ट करने के लिए मजबूर किया जाता है जैसे कि वह बहुत दूर हो।
- विकल्प: पेपर साइक्लिक शिफ्ट्स (Cyclic Shifts) (मॉड्यूलो $L$ के आधार पर इंडेक्स को घुमाना) का भी अन्वेषण करता है, जो एक अधिक आक्रामक स्ट्रेस टेस्ट के रूप में कार्य करता है।
सेल्फ-डिस्टिलेशन ऑब्जेक्टिव (Self-Distillation Objective):
- दो-व्यू फॉरवर्ड पास (Two-View Forward Pass):
  - स्टैंडर्ड व्यू (Standard View): मूल RoPE इंडेक्स ( $r^{(0,0)}$ ) का उपयोग करता है। इसे मानक कॉज़ल लैंग्वेज मॉडलिंग (CLM) लॉस के माध्यम से अनुकूलित किया जाता है। यह "टीचर" के रूप में कार्य करता है।
  - परटर्बड व्यू (Perturbed View): शिफ्ट किए गए RoPE इंडेक्स ( $r^{(s,y)}$ ) का उपयोग करता है।
- कंसिस्टेंसी लॉस (Consistency Loss): मॉडल परटर्बड व्यू और स्टैंडर्ड व्यू के बीच अगले-टोकन वितरण (next-token distribution) के कुल्बैक-लीब्लर (KL) डाइवर्जेंस को कम करता है।
- स्टॉप-ग्रेडिएंट (Stop-Gradient): ग्रेडिएंट्स केवल परटर्बड पाथ के माध्यम से प्रवाहित होते हैं; स्टैंडर्ड व्यू (टीचर) को डिटैच कर दिया जाता है। यह सुनिश्चित करता है कि मॉडल परटर्बड व्यू को स्थिर स्टैंडर्ड व्यू के साथ संरेखित करना सीखे।
- कुल लॉस (Total Loss): $L_{total} = L_{CLM} + \lambda L_{KL}$ , जहाँ $\lambda=1$ ।
कार्य करने का तंत्र (Mechanism of Action):
- RoPE में एक मल्टी-फ्रीक्वेंसी संरचना होती है। हाई-फ्रीक्वेंसी घटक सूक्ष्म-स्तर की स्थिति (fine-grained position) को कैप्चर करते हैं, जबकि लो-फ्रीक्वेंसी घटक मोटे संरचनात्मक (coarse structure) पहलुओं को कैप्चर करते हैं।
- इंडेक्स शिफ्ट मुख्य रूप से हाई-फ्रीक्वेंसी इंटरैक्शन को बाधित करता है। इस व्यवधान के बावजूद भविष्यवाणियों को मैच करने के लिए मजबूर करके, मॉडल को भंगुर हाई-फ्रीक्वेंसी डिपेंडेंसीज़ के बजाय सिमेंटिक सिग्नल और कोर्स पोजीशनल स्ट्रक्चर पर अधिक निर्भर रहने के लिए प्रोत्साहित किया जाता है।

3. प्रमुख योगदान (Key Contributions)

पोशनल ब्रिटलनेस की पहचान: अनुभवजन्य प्रमाण (Empirical evidence) कि मानक लॉन्ग-कॉन्टेक्स्ट फाइन-ट्यूनिंग से ऐसे मॉडल बनते हैं जो साक्ष्य के पूर्ण प्लेसमेंट के प्रति अत्यधिक संवेदनशील होते हैं, भले ही औसत सटीकता अधिक क्यों न हो।
RoPE-Perturbed Self-Distillation: एक नया, आर्किटेक्चर-अज्ञेय (architecture-agnostic) रेगुलराइज़र जो RoPE इंडेक्स परटर्बेशन के प्रति अपरिवर्तनीयता (invariance) को लागू करके पोशनल रोबस्टनेस में सुधार करता है।
स्ट्रक्चर-प्रिजर्विंग परटर्बेशन: यह प्रदर्शन करना कि विशिष्ट प्रकार के परटर्बेशन (जैसे स्किप-आधारित शिफ्ट) जो स्थानीय टोकन क्रम को बनाए रखते हैं लेकिन वैश्विक सापेक्ष दूरियों को बदलते हैं, सबसे प्रभावी हैं, जबकि विनाशकारी परटर्बेशन (जैसे रैंडम परम्यूटेशन) विफल रहते हैं।
दक्षता (Efficiency): यह प्रति बैच केवल एक अतिरिक्त फॉरवर्ड पास जोड़ता है लेकिन महत्वपूर्ण लाभ देता है, जो कंप्यूट-मैच्ड बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन Llama-3-8B और Qwen-3-4B पर RULER और HELMET बेंचमार्क का उपयोग करके किया गया।

लॉन्ग-कॉन्टेक्स्ट प्रदर्शन:
- Llama-3-8B: मानक फाइन-ट्यूनिंग की तुलना में RULER-64K बेंचमार्क पर 12.04% का सुधार प्राप्त किया।
- Qwen-3-4B: RULER-256K पर 2.71% का सुधार प्राप्त किया।
- लाभ सबसे चुनौतीपूर्ण कार्यों जैसे मल्टी-की रिट्रीवल और एग्रीगेशन-हैवी टास्क में अधिक स्पष्ट थे।
पोशनल रोबस्टनेस:
- "U-आकार" का सटीकता वक्र (जहाँ मध्य-संदर्भ प्रदर्शन गिर जाता है, जिसे "लॉस्ट-इन-द-मिडल" के रूप में जाना जाता है) को महत्वपूर्ण रूप से सपाट (flattened) कर दिया गया। सटीकता इस बात से सुसंगत हो गई कि उत्तर प्रॉम्प्ट में कहाँ दिखाई दे रहा है।
लेंथ एक्सट्रैपलेशन (Length Extrapolation):
- जब YaRN एक्सटेंशन का उपयोग करके ट्रेनिंग विंडो से 2x–4x लंबाई पर मूल्यांकन किया गया, तो प्रस्तावित विधि ने बेहतर प्रदर्शन बनाए रखा, जबकि मानक मॉडल तेजी से गिरावट दर्ज करते हैं।
इंस्ट्रक्शन SFT:
- इंस्ट्रक्शन डेटा पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के बाद भी लाभ बने रहे (और थोड़ा सुधरे), जो दर्शाता है कि रोबस्टनेस एक अंतर्निहित क्षमता है, न कि केवल एक ट्रेनिंग आर्टिफैक्ट।
शॉर्ट-कॉन्टेक्स्ट प्रिजर्वेशन:
- मानक शॉर्ट-कॉन्टेक्स्ट बेंचमार्क (MMLU, HellaSwag, आदि) पर प्रदर्शन बेसलाइन्स के तुलनीय रहा, जो सिद्ध करता है कि कोई सामान्य भाषा समझ का ट्रेड-ऑफ नहीं है।
एब्लेशन स्टडीज (Ablation Studies):
- पुष्टि की कि लाभ RoPE इंडेक्स को परटर्ब करने से आता है, न कि केवल दूसरा फॉरवर्ड पास जोड़ने से (जेनेरिक कंसिस्टेंसी लॉस जैसे ड्रॉपआउट या अटेंशन नॉइज़ ने लाभ को दोहराने में विफल रहे)।
- रिवर्स KL डाइवर्जेंस को फॉरवर्ड KL की तुलना में बेहतर पाया गया।

5. महत्व (Significance)

यह शोध पत्र वर्तमान लॉन्ग-कॉन्टेक्स्ट LLM अडैप्टेशन की एक मौलिक सीमा को संबोधित करता है: भंगुर पोशनल क्यूज़ (positional cues) पर निर्भरता।

व्यावहारिक प्रभाव: यह LLMs को गतिशील वातावरण (जैसे RAG सिस्टम) में अधिक विश्वसनीय तैनाती सक्षम बनाता है जहाँ रिट्रीव किए गए दस्तावेज़ों की स्थिति को नियंत्रित नहीं किया जा सकता है।
मेथोडोलॉजिकल इनसाइट: यह दृष्टिकोण को "लंबे संदर्भों का अनुकरण करने" से बदलकर "पोशनल ट्रांसफॉर्मेशन के प्रति अपरिवर्तनीयता सीखने" की ओर ले जाता है। यह सुझाव देता है कि इंडेक्स परटर्बेशन के प्रति रोबस्टनेस, लॉन्ग-कॉन्टेक्स्ट समझ के लिए एक प्रमुख गुण है।
कंपोजिबिलिटी (Composability): यह विधि मौजूदा RoPE स्केलिंग तकनीकों (जैसे NTK या YaRN) के प्रति ऑर्थोगोनल है और उन्हें और अधिक सुधार के लिए उनके साथ जोड़ा जा सकता है।
डेटा दक्षता: यह प्रदर्शित करता है कि केवल कंप्यूट या डेटा वॉल्यूम बढ़ाने के बजाय मौजूदा लॉन्ग-कॉन्टेक्स्ट डेटा का बेहतर उपयोग करके रोबस्टनेस रेगुलराइजेशन के माध्यम से बेहतर परिणाम प्राप्त किए जा सकते हैं।

संक्षेप में, RoPE-Perturbed Self-Distillation एक सरल लेकिन प्रभावी प्रशिक्षण रेसिपी प्रदान करता है जो LLMs को "पोजीशन-अज्ञेय" (position-agnostic) बनाने के लिए, यह सुनिश्चित करता है कि उनकी लंबे संदर्भों पर रिट्रीव और तर्क करने की क्षमता इनपुट अनुक्रम में जानकारी कहीं भी होने के बावजूद स्थिर रहती है।