CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs
यह शोधपत्र CoPE को प्रस्तुत करता है, जो एक न्यूनतम विधि है जो आउट-ऑफ-डिस्ट्रीब्यूशन शमन (mitigation) और सिमेंटिक मॉडलिंग को एकीकृत करने के लिए रोटरी पोजीशनल एम्बेडिंग्स (RoPE) के लो-फ्रीक्वेंसी घटकों पर सॉफ्ट क्लिपिंग लागू करती है, जिससे 256k कॉन्टेक्स्ट लेंथ तक लार्ज लैंग्वेज मॉडल्स के लिए स्टेट-ऑफ-द-आर्ट लेंथ जनरलाइजेशन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक अत्यंत बुद्धिमान लाइब्रेरियन के रूप में करें जिसने किताबों का एक विशाल पुस्तकालय पढ़ा है। एक कहानी को समझने के लिए, लाइब्रेरियन को न केवल यह जानने की आवश्यकता है कि शब्द क्या हैं, बल्कि यह भी कि वे वाक्य में कहाँ दिखाई देते हैं। AI की दुनिया में, इस "कहाँ" को RoPE (रोटरी पोजीशनल एम्बेडिंग) नामक एक टूल द्वारा संभाला जाता है।
RoPE को हर शब्द से जुड़ी एक विशाल, जटिल घड़ी के रूप में सोचें। जैसे-जैसे कहानी लंबी होती है, इन घड़ियों की सुइयाँ अलग-अलग गति से घूमती हैं। कुछ बहुत तेज़ी से घूमती हैं (उच्च आवृत्तियाँ/high frequencies), और कुछ बहुत धीरे घूमती हैं (निम्न आवृत्तियाँ/low frequencies)।
समस्या: धीमी घड़ियाँ खो जाती हैं
यह शोध पत्र धीमी घूमने वाली घड़ियों (निम्न-आवृत्ति घटकों) के बारे में एक विशिष्ट समस्या की पहचान करता है।
- "सीमा से बाहर" (Out of Bounds) की समस्या: प्रशिक्षण के दौरान, AI केवल एक निश्चित लंबाई तक की कहानियाँ देखता है (मान लीजिए 8,000 शब्द)। तब तक धीमी घड़ियाँ एक पूर्ण चक्कर भी पूरा नहीं कर पातीं जब तक कहानी समाप्त नहीं हो जाती। जब AI बहुत लंबी कहानी (जैसे 256,000 शब्द) पढ़ने की कोशिश करता है, तो ये धीमी घड़ियाँ उस क्षेत्र में घूम जाती हैं जिसे AI ने पहले कभी नहीं देखा है। यह वैसा ही है जैसे अपने पड़ोस के नक्शे का उपयोग करके एक शहर में रास्ता खोजने की कोशिश करना; एक बार जब आप बाहर निकलते हैं, तो आप खो जाते हैं। इसके कारण AI बहुत ही अजीब और गलत अनुमान लगाने लगता है।
- "याददाश्त कम होने" (Fading Memory) की समस्या: शोध पत्र में यह भी पाया गया कि इन धीमी घड़ियों को दूर स्थित शब्दों के अर्थ को याद रखने में मदद करनी चाहिए। हालाँकि, जैसे-जैसे कहानी लंबी होती है, इन धीमी घड़ियों से मिलने वाला संकेत (signal) कमजोर और धुंधला होता जाता है। AI यह भूलने लगता है कि दो शब्द आपस में संबंधित हैं, सिर्फ इसलिए क्योंकि वे टेक्स्ट में एक-दूसरे से बहुत दूर हैं।
लंबे समय तक, शोधकर्ताओं ने इन दोनों समस्याओं को अलग-अलग हल करने की कोशिश की। कुछ ने नए क्षेत्रों को कवर करने के लिए नक्शे को "खींचने" (stretch) की कोशिश की (नेविगेशन को ठीक करने के लिए)। अन्य ने संकेतों को मजबूत बनाने के लिए घड़ियों की गति को "तेज़" करने की कोशिश की (याददाश्त को ठीक करने के लिए)।
समाधान: CoPE (एक सौम्य डिमर स्विच)
इस पेपर के लेखकों ने महसूस किया कि दोनों समस्याएं एक ही स्रोत से आती हैं: धीमी घड़ियाँ तब बुरा व्यवहार करती हैं जब कहानी बहुत लंबी हो जाती है।
नक्शे को खींचने या घड़ियों को तेज़ करने के बजाय, उन्होंने एक सरल, सुंदर समाधान प्रस्तावित किया: सॉफ्ट क्लिपिंग (Soft Clipping)।
कल्पना करें कि धीमी घड़ियाँ एक रेडियो स्टेशन की तरह हैं जो लंबे समय तक ट्यून करने पर शोर (static noise) पैदा करती हैं।
- पुराना तरीका (हार्ड क्लिपिंग): कुछ शोधकर्ताओं ने रेडियो का प्लग ही खींच देने की कोशिश की (सिग्नल को तुरंत शून्य पर काट देना)। पेपर बताता है कि यह एक दरवाज़ा झटके से बंद करने जैसा है; यह एक तेज़ "धमाका" या "रिंगिंग" ध्वनि (जिसे स्पेक्ट्रल लीकेज कहा जाता है) पैदा करता है जो बाकी संगीत को खराब कर देता है।
- CoPE का तरीका (सॉफ्ट क्लिपिंग): CoPE एक सौम्य डिमर स्विच (gentle dimmer switch) की तरह कार्य करता है। सिग्नल को अचानक काटने के बजाय, यह उन समस्याग्रस्त धीमी घड़ियों की आवाज़ को धीरे-धीरे कम करके शून्य कर देता है जैसे-जैसे कहानी लंबी होती जाती है।
यह एक सरल क्रिया तीन चीजें करती है:
- यह AI को "अनदेखे क्षेत्र" में खो जाने से रोकता है (नेविगेशन को ठीक करता है)।
- यह सिग्नल को साफ करता है ताकि AI दूर स्थित शब्दों के अर्थ को बेहतर ढंग से याद रख सके (याददाश्त को ठीक करता है)।
- यह उस "रिंगिंग" शोर से बचता है जो सिग्नल को बहुत कठोरता से काटने पर होता है।
परिणाम: एक "फ्री लंच" (बिना किसी नुकसान के लाभ)
लेखकों ने इसे एक ऐसे मॉडल पर टेस्ट किया जिसे 64,000 शब्द पढ़ने के लिए प्रशिक्षित किया गया था और फिर उनसे 256,000 शब्दों तक लंबी कहानियाँ पढ़ने के लिए कहा गया।
- जादू: मानक RoPE को उनके "सॉफ्ट क्लिपिंग" संस्करण (CoPE) से बदलकर, मॉडल का प्रदर्शन इन अत्यधिक लंबे कार्यों पर मूल मॉडल की तुलना में लगभग दोगुना हो गया।
- कोई नुकसान नहीं: महत्वपूर्ण बात यह है कि इसने छोटी कहानियों को पढ़ने या सामान्य प्रश्नों के उत्तर देने की मॉडल की क्षमता को नुकसान नहीं पहुँचाया। यह एक "फ्री लंच" था—लंबी कहानियों के लिए एक बड़ा सुधार, बिना छोटी कहानियों के लिए किसी दंड के।
- सिंथेटिक बनाम वास्तविक: पेपर ने यह भी नोट किया कि कई पिछले परीक्षणों में नकली, बनावटी कहानियों (सिंथेटिक टास्क) का उपयोग किया गया था जो बहुत आसान थे और मॉडलों के बीच वास्तविक अंतर नहीं दिखा सके। CoPE ने वास्तविक दुनिया के कार्यों जैसे लंबे दस्तावेज़ों का सारांश बनाना, विशाल टेक्स्ट से प्रश्न पूछना और विशिष्ट तथ्यों को खोजना, पर अपनी उपयोगिता सिद्ध की।
सारांश
संक्षेप में, CoPE टेक्स्ट में स्थिति को ट्रैक करने के तरीके में एक छोटा, न्यूनतम बदलाव है। बहुत लंबे टेक्स्ट के साथ संघर्ष करने वाले सिस्टम के "भ्रमित" हिस्सों को धीरे से फीका (fade out) करके, यह मॉडल को बहुत अधिक सटीकता के साथ विशाल दस्तावेज़ों को पढ़ने और समझने की अनुमति देता है, और वह भी बिना मॉडल के आर्किटेक्चर को बदले या उसे शुरू से फिर से प्रशिक्षित किए। यह एक जटिल, टूटे हुए सिग्नल को एक साफ और विश्वसनीय सिग्नल में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।