← नवीनतम पेपर
💻 computer science

RePo: Language Models with Context Re-Positioning

यह शोधपत्र RePo प्रस्तुत करता है, जो एक विभेदनीय मॉड्यूल (differentiable module) का लाभ उठाने वाला एक नवीन तंत्र है जो टोकन को निश्चित रैखिक अनुक्रमों के बजाय प्रासंगिक निर्भरताओं के आधार पर गतिशील रूप से पुन: व्यवस्थित करता है, जिससे शोर युक्त संदर्भों, संरचित डेटा और लंबी दूरी की निर्भरताओं वाले कार्यों पर LLM के प्रदर्शन को बढ़ाते हुए अतिरिक्त संज्ञानात्मक भार को कम किया जा सके।

मूल लेखक: Huayang Li, Tianyu Zhao, Deng Cai, Richard Sproat

प्रकाशित 2026-03-06
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Huayang Li, Tianyu Zhao, Deng Cai, Richard Sproat

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल पहेली को हल करने की कोशिश कर रहे हैं, लेकिन पहेली के टुकड़े किसी व्यवस्थित, तार्किक क्रम में रखे होने के बजाय, मेज पर एक अव्यवस्थित ढेर की तरह बिखरे हुए हैं। उस टुकड़े को खोजने के लिए जिसकी आपको आवश्यकता है, आपको पूरे कचरे को स्कैन करना होगा, फालतू चीजों को अनदेखा करना होगा, और यह उम्मीद करनी होगी कि इस पूरी छंटनी की कोशिश से आपका दिमाग थकेगा नहीं।

आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) के भीतर भी बिल्कुल ऐसा ही होता है जब वे लंबे या अव्यवस्थित टेक्स्ट को पढ़ते हैं।

यहाँ शोध पत्र "REPO: Language Models with Context Re-Positioning" का रोजमर्रा के उदाहरणों का उपयोग करके एक सरल विवरण दिया गया है।

1. समस्या: "रैखिक" (Linear) जाल

वर्तमान में, अधिकांश AI मॉडल टेक्स्ट को वैसे ही पढ़ते हैं जैसे कोई व्यक्ति किताब के पन्ने दर पन्ने, बाएं से दाएं पढ़ता है। वे हर शब्द को एक नंबर देते हैं: 1, 2, 3, 4... अंत तक।

  • समस्या: यह "रैखिक" क्रम कठोर है। इसे इस बात से कोई फर्क नहीं पड़ता कि क्या शब्द #100 वास्तव में शब्द #500 के लिए सबसे महत्वपूर्ण सुराग है।
  • संज्ञानात्मक भार (Cognitive Load): शोध पत्र का तर्क है कि यह ऐसा है जैसे किसी इंसान को गणित का सवाल हल करने के लिए मजबूर किया जा रहा हो जबकि कोई उसके कान में रैंडम नंबर चिल्ला रहा हो। मस्तिष्क (या AI) इस बात को समझने में ऊर्जा बर्बाद करता है कि चीजें कहाँ हैं, बजाय इसके कि उनका अर्थ क्या है। इस बर्बाद हुई ऊर्जा को "बाहरी संज्ञानात्मक भार" (extraneous cognitive load) कहा जाता है।

2. समाधान: REPO (एक "स्मार्ट लाइब्रेरियन")

लेखकों ने REPO (कॉन्टेक्स्ट री-पोजिशनिंग) नामक एक नई प्रणाली प्रस्तावित की है।

कल्पना कीजिए कि AI के दिमाग के अंदर एक स्मार्ट लाइब्रेरियन है।

  • पुराना तरीका (स्टैंडर्ड AI): लाइब्रेरियन हर किताब को उसके आगमन के समय के आधार पर शेल्फ पर रखता है। किताब #1 शेल्फ 1 पर जाती है, किताब #2 शेल्फ 2 पर। यदि आपको पीछे की किसी किताब की आवश्यकता है, तो आपको पूरी एली (aisle) तक पैदल चलना पड़ेगा।
  • REPO का तरीका: स्मार्ट लाइब्रेरियन पहले किताबों को पढ़ता है। यदि वह देखता है कि किताब #1 और किताब #500 एक ही विषय पर बात कर रही हैं, तो वह जादू से उन्हें एक साथ रखने के लिए पास में ले आता है, चाहे वे कब भी आई हों। वह आगमन के क्रम को अनदेखा करता है और किताबों को इस आधार पर व्यवस्थित करता है कि वे एक-दूसरे से कैसे संबंधित हैं।

3. यह कैसे काम करता है (द "मैजिक मॉड्यूल")

शोध पत्र एक छोटा, हल्का कंप्यूटर प्रोग्राम (एक "डिफरेंशिएबल मॉड्यूल") पेश करता है जो इस लाइब्रेरियन के रूप में कार्य करता है।

  • यह यह कहने के बजाय कि, "तुम शब्द #500 हो," कहता है, "तुम शब्द #500 हो, लेकिन वर्तमान प्रश्न के महत्व के संदर्भ में, तुम वास्तव में शब्द #10 के ठीक बगल में बैठे हो।"
  • यह टेक्स्ट का एक लचीला, गैर-रैखिक मानचित्र (non-linear map) बनाता है। यह संबंधित विचारों को एक साथ समूहित कर सकता है और अप्रासंगिक "शोर" (जैसे विज्ञापन या रैंडम वाक्य) को एक तरफ धकेल सकता है, भले ही वे टेक्स्ट के बीच में लिखे गए हों।

4. परिणाम: यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने इसका परीक्षण OLMo ओपन-सोर्स मॉडल्स पर किया। यहाँ क्या हुआ:

  • "सुई और घास का ढेर" टेस्ट (Needle in a Haystack Test): कल्पना कीजिए कि एक विशाल घास के ढेर (एक लंबे दस्तावेज़) में एक सुई (उत्तर) छिपाई गई है। स्टैंडर्ड AI अक्सर घास में खो जाते हैं। हालाँकि, REPO सुई को "सूंघ" सकता है और सीधे उस तक पहुँच जाता है, बाकी घास को अनदेखा कर देता है।
  • संरचित डेटा (Structured Data): जब वे टेबल्स या चार्ट्स को टेक्स्ट के रूप में पढ़ते हैं, तो REPO संरचना को बेहतर ढंग से समझता है क्योंकि यह संबंधित पंक्तियों को एक साथ समूहित कर सकता है, बजाय इसके कि उन्हें केवल लाइन-दर-लाइन पढ़े।
  • लंबे कॉन्टेक्स्ट: जैसे-जैसे टेक्स्ट लंबा होता जाता है (4,000 शब्दों से 16,000 शब्दों तक), स्टैंडर्ड AI चीजें भूलने लगते हैं। REPO तेज बना रहता है क्योंकि वह शब्दों के बीच की "दूरी" पर ऊर्जा बर्बाद नहीं कर रहा है; वह उनके बीच के "संबंध" पर ध्यान केंद्रित कर रहा है।

5. सबसे अच्छी बात: यह कुशल है

आप सोच सकते हैं, "यदि AI पूरे टेक्स्ट को पुनर्गठित कर रहा है, तो क्या यह धीमा नहीं होगा?"
आश्चर्यजनक रूप से, नहीं। "स्मार्ट लाइब्रेरियन" बहुत हल्का है। यह कंप्यूटर की प्रोसेसिंग पावर पर लगभग कोई अतिरिक्त लागत नहीं जोड़ता है। यह एक किताब में स्टिकी नोट लगाने जैसा है, न कि पूरी लाइब्रेरी को फिर से लिखने जैसा।

सारांश

REPO एक AI को चश्मे देने जैसा है जो उसे पन्ने पर शब्दों के क्रम के बजाय शब्दों के वास्तविक संबंधों को देखने की अनुमति देता है। AI को प्रासंगिकता के आधार पर जानकारी को "स्थान" देने की अनुमति देकर, यह उसके दिमाग की शक्ति को गहरे तर्क करने, कठिन समस्याओं को हल करने और बिना भ्रमित हुए लंबे, अव्यवस्थित दस्तावेज़ों को संभालने के लिए मुक्त करता है।

यह "इसे उस क्रम में पढ़ें जिसमें यह लिखा गया है" से बदलकर "इसे उस क्रम में पढ़ें जो सबसे अधिक अर्थपूर्ण है" की ओर एक बदलाव है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →