Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
यह तकनीकी सर्वेक्षण एब्सोल्यूट और रिलेटिव दृष्टिकोणों से लेकर रोटरी पोजीशन एम्बेडिंग्स (RoPE) तक, ट्रांसफॉर्मर्स में पोजीशन एनकोडिंग विधियों को समझने के लिए एक एकीकृत ढांचा प्रदान करता है—साथ ही उनके कम्प्यूटेशनल गुणों, लॉन्ग-कॉन्टेक्स्ट स्केलिंग तकनीकों, और लेंथ एक्सट्रपलेशन क्षमता तथा विश्वसनीय लॉन्ग-कॉन्टेक्स्ट जनरलाइजेशन के बीच महत्वपूर्ण अंतर का विश्लेषण भी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक कहानी समझना सिखाने की कोशिश कर रहे हैं। आपके पास एक सुपर-फास्ट दिमाग है जो एक वाक्य के सभी शब्दों को एक साथ देख सकता है, न कि एक इंसान की तरह एक-एक करके उन्हें पढ़ने की तरह। यह ट्रांसफॉर्मर (Transformer) का जादू है, जो आधुनिक AI के पीछे का इंजन है। लेकिन इसमें एक पेंच है: क्योंकि यह दिमाग सब कुछ एक साथ देखता है, इसे यह पता नहीं होता कि कौन सा शब्द पहले आया, दूसरा, या आखिरी। यदि आप वाक्य के शब्दों को उलट-पुलट दें, तो इस दिमाग को लगेगा कि उलटा-पुल्टा संस्करण भी मूल संस्करण जितना ही अच्छा है। इसे ठीक करने के लिए, हमें AI को यह बताने का एक तरीका देना होगा कि प्रत्येक शब्द लाइन में "कहाँ" स्थित है। हम इसे पोजीशन एनकोडिंग (Position Encoding) कहते हैं। इसे एक वाक्य में हर शब्द को एक विशिष्ट नाम का टैग या सीट नंबर देने जैसा समझें। बिना इन टैगों के, AI उस मेहमान की तरह है जो पार्टी में हर किसी का चेहरा तो देख सकता है लेकिन उसे यह पता नहीं होता कि कौन किसके बगल में खड़ा है, या कौन पहले आया था।
यह पेपर उन विभिन्न "नाम टैग" प्रणालियों की एक गहरी पड़ताल है जिन्हें हमने वर्षों में AI के लिए बनाया है। यह सरल सीट नंबरों से लेकर जटिल, घूमती हुई घड़ियों तक और अंततः नए पीढ़ी के उन तरीकों तक इसके इतिहास का वर्णन करता है जो AI को सैकड़ों हजार शब्दों वाली किताबें पढ़ने में सक्षम बनाते हैं बिना भ्रमित हुए। लेखक केवल इन तरीकों को सूचीबद्ध नहीं कर रहे हैं; वे यह पता लगा रहे हैं कि वास्तव में कौन से तरीके काम करते हैं जब हम उन्हें विशाल कहानियों को संभालने के लिए बढ़ाते हैं, और वे हमें चेतावनी देते हैं कि सिर्फ इसलिए कि कोई सिस्टम लंबा इनपुट स्वीकार कर सकता है, इसका मतलब यह नहीं है कि वह वास्तव में उसे समझता भी है।
AI के "सीट नंबर" का विकास
शुरुआत में, किसी शब्द को सीट नंबर देने का सबसे सरल तरीका उसे सीधे एक डिक्शनरी में देखना था। इसे लर्नड एब्सोल्यूट पोजीशन (Learned Absolute Position) कहा जाता है। कल्पना कीजिए कि एक शिक्षक सूची बांट रहा है जहाँ "शब्द 1" को एक विशिष्ट रंग मिलता है, "शब्द 2" को दूसरा, और इसी तरह। यह छोटी कहानियों के लिए बहुत अच्छा काम करता है, लेकिन यदि आप एक उपन्यास पढ़ने की कोशिश करते हैं और शिक्षक ने केवल पहले 500 शब्दों के लिए ही सूची बनाई है, तो 501वें शब्द पर पहुँचते ही AI खो जाता है।
फिर आया साइनुसोइडल एनकोडिंग (Sinusoidal Encoding)। एक स्थिर सूची के बजाय, AI एक गणितीय तरंग पैटर्न (जैसे साइन वेव) का उपयोग करके सीट नंबर उत्पन्न करता है। इसे अलग-अलग गति से घूमने वाली घड़ियों के सेट के रूप में सोचें। कुछ घड़ियाँ तेज़ चलती हैं ताकि शब्द 1 और शब्द 2 के बीच अंतर बता सकें, जबकि अन्य धीरे चलती हैं ताकि शब्द 1 और शब्द 1,000 के बीच अंतर बता सकें। यह चतुर है क्योंकि AI किसी भी स्थिति के लिए सीट नंबर की गणना कर सकता है, यहाँ तक कि उन स्थितियों के लिए भी जिन्हें उसने पहले नहीं देखा है। हालाँकि, पेपर बताता है कि सिर्फ इसलिए कि आप संख्या की गणना कर सकते हैं, इसका मतलब यह नहीं है कि AI बहुत लंबी दूरियों के लिए इसका उपयोग करना जानता है।
इसके बाद, शोधकर्ताओं ने महसूस किया कि भाषा में, अक्सर सबसे महत्वपूर्ण बात शब्दों के बीच की दूरी होती है, न कि उनके पूर्ण सीट नंबर। क्या "it" शब्द उस संज्ञा के करीब है जिसका वह संदर्भ देता है? इससे रिलेटिव पोजीशन एनकोडिंग (Relative Position Encoding) का जन्म हुआ। यह कहने के बजाय कि "मैं सीट 50 पर हूँ," AI यह सीखना शुरू करता है कि "मैं तुमसे 3 सीटें दूर हूँ।" यह म्यूजिकल चेयर्स के खेल जैसा है जहाँ आप केवल इस बात पर ध्यान देते हैं कि आपके बगल में कौन बैठा है, न कि आपकी कुर्सी पर लिखे सटीक नंबर पर। T5 और Transformer-XL जैसे तरीके लंबे टेक्स्ट को संभालने के लिए शब्दों के बीच के अंतर पर ध्यान केंद्रित करके इसका उपयोग करते हैं।
मुख्य आकर्षण: RoPE
पेपर तीसरे पीढ़ी के एक तरीके RoPE (Rotary Position Embedding) को उजागर करता है, जो कई बड़े AI मॉडलों के लिए वर्तमान चैंपियन है। शब्द के डेटा को एक घूमते हुए तीर (arrow) की तरह मानकर, RoPE शब्द के डेटा में नंबर जोड़ने या दूरी की गणना करने के बजाय काम करता है। जैसे-जैसे शब्द लाइन में आगे बढ़ता है, उसका तीर घूमता है। जब AI दो शब्दों की तुलना करता है, तो वह उनके तीरों के बीच के कोण (angle) की जाँच करता है। यदि तीर पास-पास हैं, तो शब्द कहानी में पास हैं; यदि वे दूर हैं, तो शब्द दूर हैं।
RoPE की सुंदरता यह है कि यह बिना किसी अलग लुकअप टेबल के शब्दों के बीच की "दूरी" को स्वाभाविक रूप से संभालता है। यह ऐसा है जैसे पार्टी में मौजूद हर व्यक्ति एक ऐसी घड़ी पहने हुए है जो उनके आने के समय के आधार पर घूमती है। जब दो लोग बात करते हैं, तो वे बस अपने घड़ी के हाथों के अंतर को देखकर यह जान लेते हैं कि वे एक-दूसरे से कितनी देर से अलग हैं।
लॉन्ग-कॉन्टेक्स्ट चुनौती: कहानी को खींचना
इन प्रणालियों के साथ सबसे बड़ी समस्या यह है कि वे आमतौर पर छोटी कहानियों (जैसे 4,000 शब्द) पर प्रशिक्षित होती हैं। जब हम इनका उपयोग विशाल दस्तावेजों (जैसे 128,000 शब्द या अधिक) के लिए करने की कोशिश करते हैं, तो "घड़ियाँ" या "घूमते हुए तीर" ऐसे पैटर्न में घूमने लगते हैं जो AI ने पहले कभी नहीं देखे। यह शहर की सड़कों के लिए डिज़ाइन की गई कार को हाईवे पर चलाने जैसा है; इंजन तो चल सकता है, लेकिन हैंडलिंग गलत महसूस होती है।
पेपर इन समस्याओं को ठीक करने के लिए कई "स्ट्रेचिंग" तकनीकों का सर्वेक्षण करता है:
- पोजीशन इंटरपोलेशन (PI): यह लंबी कहानी को वापस उस छोटे स्थान में सिकोड़ देता है जिसे AI जानता है। यह 10 घंटे की फिल्म को 2 घंटे में कंप्रेस करने जैसा है। AI इसे देख तो सकता है, लेकिन विवरण धुंधले हो जाते हैं, और वह उन सूक्ष्म अंतरों को मिस कर सकता है जो पास के शब्दों के बीच होते हैं।
- NTK-अवेयर स्केलिंग (NTK-aware Scaling): यह अधिक स्मार्ट है। यह "तेज़ घड़ियों" (जो बारीक विवरण संभालती हैं) को उनकी सामान्य गति पर घूमने देता है, लेकिन लंबी दूरी तय करने के लिए "धीमी घड़ियों" को धीमा कर देता है। यह एक समझौता है जो स्थानीय विवरणों को स्पष्ट रखते हुए दूर तक पहुँचने में मदद करता है।
- डायनेमिक NTK (Dynamic NTK): यह तरीका वर्तमान कहानी की लंबाई के आधार पर स्ट्रेचिंग फैक्टर को बदल देता है। यदि कहानी छोटी है, तो यह बिल्कुल नहीं खींचता। यदि लंबी है, तो यह खींचता है। हालाँकि, पेपर चेतावनी देता है कि वास्तविक समय में इसे प्रबंधित करना कठिन हो सकता है क्योंकि यह AI की पिछले शब्दों की याददाश्त को भ्रमित कर सकता है।
- LongRoPE और LongRoPE2: ये सबसे उन्नत तरीके हैं। एक ही नियम सबके लिए लागू करने के बजाय, वे AI के मस्तिष्क के प्रत्येक हिस्से के लिए सही स्ट्रेचिंग फैक्टर की खोज करते हैं। वे प्रशिक्षण के दौरान छोटी और लंबी कहानियों को भी मिलाते हैं ताकि AI दोनों को संभालने के लिए सीख सके। लेखक का सुझाव है कि यह सबसे आशाजनक पथ है, लेकिन इसके लिए सावधानीपूर्वक ट्यूनिंग और विशिष्ट डेटा की आवश्यकता होती है।
बड़ी चेतावनी: अगर यह फिट बैठता है, तो इसका मतलब यह नहीं कि यह काम करता है
इस पेपर का सबसे महत्वपूर्ण निष्कर्ष एक वास्तविकता की जाँच है। सिर्फ इसलिए कि एक AI मॉडल 100,000 शब्दों का इनपुट स्वीकार कर सकता है, इसका मतलब यह नहीं है कि वह उसे समझ भी सकता है। लेखक का तर्क है कि कई मॉडल "नीडल इन अ हेस्टैक" (एक विशाल टेक्स्ट में विशिष्ट तथ्य खोजना) परीक्षण में विफल रहते हैं या लंबी दूरियों पर तर्क करने में संघर्ष करते हैं, भले ही उनके पास फैंसी "लॉन्ग-कॉन्टेक्स्ट" सेटिंग्स चालू हों।
वे इस बात पर जोर देते हैं कि प्रभावी कॉन्टेक्स्ट लेंथ (effective context length) (जितना AI वास्तव में उपयोग करता है) अक्सर नॉमिनल कॉन्टेक्स्ट लेंथ (nominal context length) (अधिकतम शब्द जो तकनीकी रूप से इसमें समा सकते हैं) से बहुत कम होती है। वे यह भी बताते हैं कि लंबे नंबरों को संभालने के लिए केवल गणित बदलना पर्याप्त नहीं है; AI को वास्तव में उन्हें उपयोग करना सीखने के लिए इन नए सेटिंग्स के साथ फिर से प्रशिक्षित या फाइन-ट्यून करने की आवश्यकता है।
निष्कर्ष
पेपर इस निष्कर्ष पर पहुँचता है कि जबकि हमने सरल सीट नंबरों से लेकर जटिल घूमते हुए तीरों तक अविश्वसनीय प्रगति की है, हमने अभी तक लॉन्ग-कॉन्टेक्स्ट समझ की समस्या को हल नहीं किया है। कोई एक "जादुई समाधान" नहीं है। सबसे अच्छा दृष्टिकोण स्मार्ट स्केलिंग (जैसे LongRoPE), छोटी और लंबी दोनों उदाहरणों के साथ सावधानीपूर्वक प्रशिक्षण, और कठोर परीक्षण का मिश्रण प्रतीत होता है ताकि यह देखा जा सके कि क्या AI वास्तव में पूरी कहानी पर ध्यान दे रहा है, न कि केवल शुरुआत और अंत पर।
जो कोई भी इन AI मॉडलों का निर्माण या उपयोग कर रहा है, उसके लिए संदेश स्पष्ट है: केवल मार्केटिंग नंबरों पर भरोसा न करें। यदि आप चाहते हैं कि एक AI पूरा उपन्यास पढ़े, तो आपको यह जांचना होगा कि क्या वह वास्तव में बीच के ट्विस्ट को ढूंढ सकता है, न कि केवल यह कि क्या वह पूरे बुक को एक बार में निगल सकता है। वास्तव में लॉन्ग-कॉन्टेक्स्ट AI की यात्रा अभी जारी है, और आगे का रास्ता केवल बड़े नंबरों की नहीं; बल्कि यह मांग करता है कि AI का ध्यान केंद्रित रखने के लिए स्मार्ट तरीके अपनाए जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।