← नवीनतम पेपर
💬 NLP

EndPrompt: Efficient Long-Context Extension via Terminal Anchoring

EndPrompt एक कुशल विधि है जो केवल लघु प्रशिक्षण अनुक्रमों को जोड़कर, लक्ष्य-लंबाई वाले पोजीशनल इंडेक्स के साथ एक टर्मिनल प्रॉम्प्ट संलग्न करके, बड़े भाषा मॉडलों के कॉन्टेक्स्ट विंडो को 64K तक विस्तारित करती है, जिससे पूर्ण-लंबाई वाले फाइन-ट्यूनिंग की उच्च कम्प्यूटेशनल लागतों से बचते हुए RULER और LongBench जैसे बेंचमार्क पर बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Han Tian, Luxuan Chen, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Jinman Zhao, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

प्रकाशित 2026-05-15
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Han Tian, Luxuan Chen, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Jinman Zhao, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (AI मॉडल) है जो छोटी कहानियाँ पढ़ने में बहुत अच्छा है, लेकिन जब उसे एक पूरी विश्वकोश (encyclopedia) पढ़ने के लिए कहा जाता है, तो वह भ्रमित हो जाता है। आमतौर पर, इस छात्र को विश्वकोश संभालने के लायक बनाने के लिए, आपको उसे बार-बार पूरी किताब पढ़वानी पड़ती। यह महंगा है, धीमा है, और इसके लिए लंबी किताबों के एक विशाल पुस्तकालय की आवश्यकता होती है जिन्हें ढूँढना कठिन है।

"EndPrompt" नामक शोध पत्र एक चतुर शॉर्टकट प्रस्तावित करता है। छात्र को पूरी किताब पढ़ने के लिए मजबूर करने के बजाय, आप उसे एक छोटी कहानी देते हैं और फिर उसके बिल्कुल अंत में एक छोटा, विशिष्ट नोट जोड़ देते हैं जिसमें लिखा होता है, "यह एक बहुत लंबी किताब का अंत है।"

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ तोड़कर समझाया गया है:

1. समस्या: "क्वाड्रेटिक" (Quadratic) लागत

एक लंबे दस्तावेज़ को पढ़ने को हर एक शब्द को टेक्स्ट के अन्य सभी शब्दों से जोड़ने की कोशिश करने जैसा समझें। यदि आप टेक्स्ट की लंबाई को दोगुना करते हैं, तो शब्दों को जोड़ने के लिए आवश्यक कार्य केवल दोगुना नहीं होता; बल्कि वह चार गुना (quadruple) हो जाता है। यह AI को लंबे टेक्स्ट पर प्रशिक्षित करना अविश्वसनीय रूप से महंगा और धीमा बना देता है।

2. समाधान: "बुकएंड" (Bookend) ट्रिक

शोधकर्ताओं ने महसूस किया कि AI को वास्तव में 64,000 शब्दों की किताब का मध्य भाग पढ़ने की आवश्यकता नहीं है ताकि वह इस लंबाई को कैसे संभाले, यह समझ सके। उसे बस शुरुआत और अंत के बीच की दूरी को समझने की आवश्यकता है।

उन्होंने EndPrompt नामक एक विधि बनाई:

  • पहला खंड (The First Segment): वे टेक्स्ट का एक सामान्य, छोटा हिस्सा (जैसे एक छोटी कहानी) लेते हैं और उसे बरकरार रखते हैं। यह किताब का "शुरुआत" है।
  • दूसरा खंड (The Second Segment): वे अंत में एक बहुत छोटा "टर्मिनल प्रॉम्प्ट" (कुछ शब्द) जोड़ते हैं।
  • जादुई ट्रिक: भले ही भौतिक टेक्स्ट छोटा हो, वे AI की आंतरिक घड़ी (internal clock) को बताते हैं कि छोटी कहानी स्थिति 0 पर है और अंत में लगा वह छोटा सा नोट स्थिति 64,000 पर है।

3. उपमा: "लचीला रबर बैंड" (The "Stretchy Rubber Band" Analogy)

कल्पना कीजिए कि AI का अटेंशन मैकेनिज्म एक रबर बैंड की तरह है।

  • पुराना तरीका: AI को यह सिखाने के लिए कि रबर बैंड को 64,000 इंच तक खींचना है, आपको इसे प्रशिक्षण के दौरान शारीरिक रूप से उतना खींचना पड़ता था, जो कठिन था और इसके लिए बहुत अधिक बल (कंप्यूटिंग पावर) की आवश्यकता थी।
  • EndPrompt तरीका: आप रबर बैंड को छोटा रखते हैं (भौतिक रूप से), लेकिन आप अंत में एक निशान लगाते हैं और कहते हैं, "यह निशान 64,000 इंच दूर है।" क्योंकि AI एक विशिष्ट गणितीय उपकरण (जिसे RoPE कहा जाता है) का उपयोग करता है जो दूरी को एक पैटर्न (जैसे एक तरंग/वेव) के रूप में समझता है, इसलिए वह सीख जाता है कि इस अंत के निशान और शुरुआत के बीच की दूरी का "वेव" बहुत बड़ा है।

कहानी को पूरा (टुकड़ों में न बांटकर) रखकर, AI कहानी का अर्थ भी सीखता है और साथ ही लंबी दूरी के संबंधों की गणित भी सीखता है।

4. यह क्यों काम करता है ("स्मूथनेस" थ्योरी)

शोध पत्र बताता है कि AI का गणित "स्मूथ" (smooth) है। यदि आप इसे 1 इंच की दूरी और 64,000 इंच की दूरी को संभालने के लिए सिखाते हैं, तो गणित स्वाभाविक रूप से बीच की दूरियों (जैसे 10,000 या 30,000 इंच) को भर देता है, बिना हर एक कदम को स्पष्ट रूप से सिखाए। यह किसी को एक छोटे गड्ढे को कूदना और एक विशाल खाई को कूदना सिखाने जैसा है; वे सहज रूप से बीच की एक मध्यम आकार की नदी को कूदना सीख जाते हैं।

5. परिणाम: तेज़, सस्ता, बेहतर

शोधकर्ताओं ने लोकप्रिय AI मॉडल्स (LLaMA परिवार) पर परीक्षण किया, यह कोशिश करते हुए कि वे 8,000 के बजाय 64,000 शब्दों को संभाल सकें।

  • दक्षता (Efficiency): उन्होंने केवल छोटी ट्रेनिंग सीक्वेंस का उपयोग किया, जिससे बहुत सारा समय और पैसा बचा।
  • प्रदर्शन (Performance): AI ने उन मॉडल्स की तुलना में बेहतर प्रदर्शन किया जिन्हें पूर्ण-लंबाई वाले, महंगे सीक्वेंस पर प्रशिक्षित करने के लिए मजबूर किया गया था।
  • बहुमुखी प्रतिभा (Versatility): यह विभिन्न कार्यों के लिए अच्छी तरह से काम कर गया, जैसे प्रश्नों के उत्तर देना, टेक्स्ट का सारांश बनाना और कोड लिखना, जिससे यह सिद्ध हुआ कि AI ने केवल इस ट्रिक को याद नहीं किया बल्कि वास्तव में लंबे संदर्भ (context) को संभालना सीख लिया।

सारांश

EndPrompt एक ऐसा तरीका है जिससे आप AI को भारी मात्रा में टेक्स्ट संभालने के लिए प्रशिक्षित कर सकते हैं, बिना उसे भारी मात्रा में टेक्स्ट पढ़वाए। डेटा को छोटा रखकर लेकिन अंत में पोजीशन लेबल को "खींचकर", AI कुशलतापूर्वक "लंबी दूरी" की अवधारणा को सीख जाता है। यह एक धावक को मैराथन दौड़ने के लिए प्रशिक्षित करने जैसा है, जिसमें उसे एक छोटी दूरी की स्प्रिंट लगवानी होती है जबकि उसने ऐसे जूते पहने होते हैं जो उसे महसूस कराते हैं कि वह एक मैराथन दौड़ रहा है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →