कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को किताबों से भरी एक लाइब्रेरी पढ़ना सिखाने की कोशिश कर रहे हैं। रोबोट के पास एक शानदार दिमाग है, लेकिन उसकी "वर्किंग मेमोरी" (working memory)—वह छोटा सा डेस्क जिसका उपयोग वह पढ़ते समय सोचने के लिए करता है—अत्यधिक छोटी है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस डेस्क को VRAM (वीडियो रैंडम एक्सेस मेमोरी) कहा जाता है। यदि रोबोट एक लंबी कहानी पढ़ने की कोशिश करता है, तो उसे वर्तमान वाक्य को समझने के लिए उन हर शब्द को याद रखने की आवश्यकता होती है जो उसने पहले पढ़े हैं। लेकिन यदि कहानी बहुत लंबी है, तो रोबोट का डेस्क भर जाता है, और वह सबक पूरा करने से पहले ही क्रैश हो जाता है। यह "लॉन्ग-कॉन्टेक्स्ट" (long-context) की समस्या है: हम इन मॉडल्स को बिना डेस्क स्पेस खत्म किए हजारों शब्द कैसे याद रखना सिखा सकते हैं?

इसे हल करने के लिए, वैज्ञानिकों ने कुछ तरकीबें विकसित की हैं। एक है QLoRA, जो रोबोट के दिमाग को एक छोटे, हल्के बैकपैक में कंप्रेस करने जैसा है ताकि वह डेस्क पर फिट आ सके। दूसरा है डेंस अटेंशन (dense attention), जो रोबोट का अब तक पढ़े गए हर एक शब्द को पीछे मुड़कर देखने का तरीका है ताकि सही सुराग मिल सकें। हालांकि यह छोटी कहानियों के लिए बहुत अच्छा काम करता है, लेकिन लंबी कहानियों के लिए यह असंभव हो जाता है क्योंकि रोबोट को अपनी छोटी सी वर्किंग मेमोरी में पूरा इतिहास ढोना पड़ता है। यह पेपर एक नए तरीके से इन रोबोट्स को विशाल कहानियों को संभालने के लिए प्रशिक्षित करने के तरीके की खोज करता है, जिसमें मेमोरी ट्रिक्स और एक नए "सर्च इंजन" शैली के पठन का चतुर मिश्रण शामिल है।

---

समस्या: रोबोट का छोटा डेस्क

कल्पना कीजिए कि आप इतिहास की परीक्षा के लिए पढ़ाई कर रहे हैं। आपके पास एक पाठ्यपुस्तक है जो 10,000 पन्नों की है। आपका मस्तिष्क एक बार में केवल 2,000 पन्नों के नोट्स रख सकता है। यदि आप पेज 8,000 पढ़ रहे हैं, तो आपको याद रखने की आवश्यकता है कि पेज 100 पर क्या हुआ था, लेकिन आपके नोट्स भर चुके हैं। अतीत में, AI मॉडल्स उन छात्रों की तरह थे जो अपने डेस्क पर कभी भी पढ़े गए हर एक पन्ने की एक प्रति रखने की कोशिश करते थे। यदि किताब बहुत लंबी हो जाती, तो डेस्क फट जाता।

इस पेपर के लेखकों ने Qwen3-8B (एक स्मार्ट रोबोट जिसमें 8 बिलियन "न्यूरॉन्स" हैं) को एक विशिष्ट ग्राफिक्स कार्ड पर प्रशिक्षित करना चाहा जिसका नाम Quadro RTX 5000 है और जिसमें केवल 16 GB मेमोरी है। उन्होंने इसे "डेंस अटेंशन" नामक एक मानक विधि का उपयोग करके सिखाने की कोशिश की। परिणाम? रोबोट 2,048 टोकन (एक टोकन शब्द का एक हिस्सा है, जैसे एक शब्दांश या छोटा शब्द) की कहानी को संभाल सकता था। लेकिन जैसे ही उन्होंने कहानी को 4,096 टोकन लंबा बनाने की कोशिश की, रोबोट का डेस्क भर गया, और ट्रेनिंग क्रैश हो गई। यह अतीत की स्मृति को उस छोटे से उपलब्ध स्थान में फिट नहीं कर सका।

समाधान: "हाइरार्किकल ग्लोबल अटेंशन" (HGA) लाइब्रेरी

टीम ने एक नई रणनीति विकसित की जिसे Hierarchical Global Attention (HGA) कहा जाता है। अतीत के हर एक शब्द को डेस्क पर रखने के बजाय, उन्होंने एक स्मार्ट, दो-स्तरीय फाइलिंग सिस्टम बनाया।

कहानी को एक विशाल लाइब्रेरी की तरह समझें।

1. सारांश (कैटलॉग): सबसे पहले, रोबोट कहानी के हर 64-टोकन चंक (chunk) के लिए एक छोटा सारांश कार्ड बनाता है। ये सारांश कार्ड इतने छोटे होते हैं कि वे सभी डेस्क पर फिट हो सकते हैं।
2. समूह (शेल्फ): उन चंक्स के भीतर, 8-टोकन के छोटे समूह हैं। रोबोट इन समूहों के सारांशों का भी एक कैश (cache) रखता है।
3. असली किताबें (सटीक शब्द): जब रोबलेट को कहानी के किसी विशिष्ट भाग को पढ़ने की आवश्यकता होती है, तो वह पूरी लाइब्रेरी लोड नहीं करता। वह डेस्क पर मौजूद सारांश कार्डों को देखता है, सबसे प्रासंगिक चंक्स चुनता है, और फिर केवल उन विशिष्ट चंक्स से सटीक शब्द ( "Key" और "Value" डेटा) स्टोरेज रूम (RAM या हार्ड ड्राइव) से निकाल कर डेस्क पर लाता है।

यह एक ऐसे लाइब्रेरियन की तरह है जिसे पता है कि आपको किन पन्नों की आवश्यकता है। पूरी किताब उठाने के बजाय, लाइब्रेरियन आपको केवल वही तीन पन्ने लाकर देता है जिन्हें आप ढूंढ रहे हैं। बाकी की किताब शेल्फ (RAM या हार्ड ड्राइव) पर रहती है, जो आपके डेस्क पर शून्य स्थान लेती है।

व्यवहार में यह कैसे काम करता है

शोधकर्ताओं ने लंबी कहानी को खंडों (segments) में विभाजित किया। वे एक बार में एक खंड पर रोबोट को प्रशिक्षित करते हैं।

• एक्टिव सेगमेंट (Active Segment): कहानी का वर्तमान भाग जो सीखा जा रहा है, वह डेस्क पर है।
• इतिहास (History): पिछले भाग "स्टोरेज रूम" में संग्रहीत हैं।
• जादू (The Magic): जब रोबोट को पीछे देखने की आवश्यकता होती है, तो वह सही पन्नों को खोजने के लिए सारांश कार्डों का उपयोग करता है, केवल उन विशिष्ट पन्नों को प्राप्त करता है, और उनसे सीखता है। एक बार जब वह उस सेगमेंट को पूरा कर लेता है, तो वह अगले सेगमेंट के लिए जगह बनाने के लिए पुराने पन्नों को वापस स्टोरेज रूम में भेज देता है।

इस पद्धति को सेगमेंट-वाइज बैकप्रोपैगेशन (segment-wise backpropagation) कहा जाता है। यह एक अध्याय का अध्ययन करने, फिर एक टेस्ट देने, और फिर पिछले अध्यायों में महत्वपूर्ण तथ्यों का नक्शा रखते हुए अगले अध्याय का अध्ययन करने के लिए अपने डेस्क को साफ करने जैसा है।

परिणाम: बड़ी कहानियाँ, वही डेस्क

टीम ने इसका परीक्षण अपने 16 GB ग्राफिक्स कार्ड पर किया। यहाँ क्या हुआ:

• पुराना तरीका (Dense Attention): केवल 2,048 टोकन संभाल सकता था। 4,096 टोकन पर, यह पूरी तरह विफल हो गया।
• नया तरीका (HGA): उसी कार्ड पर 16,384 टोकन (और यहाँ तक कि 32,768 टोकन तक का परीक्षण किया गया) तक की कहानियों पर सफलतापूर्वक प्रशिक्षित हुआ।

नए तरीके के लिए पीक मेमोरी उपयोग 15.28 GB था, जो 16 GB की सीमा के भीतर आराम से फिट बैठता है। रोबोट पहले की तुलना में 8 गुना लंबी कहानी को बिना बड़े डेस्क की आवश्यकता के संभाल सका।

गति और गुणवत्ता: क्या यह एक समझौता है?

आमतौर पर, जब आप किसी चीज़ को स्मार्ट या बड़ा बनाते हैं, तो वह धीमी हो जाती है। लेखकों ने जाँच की कि क्या यह नया तरीका धीमा था।

• 1,024 टोकन पर, नया तरीका पुराने तरीके से लगभग 20% धीमा था। ऐसा इसलिए है क्योंकि जब कहानी छोटी होती है, तो सही पन्नों को "खोजने" में थोड़ा अतिरिक्त समय लगता है।
• हालाँकि, 2,048 टोकन पर, नया तरीका वास्तव में थोड़ा तेज़ था (217.75 टोकन प्रति सेकंड बनाम 207.02 टोकन प्रति सेकंड)।
• लेखक बताते हैं कि जैसे-जैसे कहानी लंबी होती है, पुराने तरीके को अधिक से अधिक शब्दों को देखना पड़ता है, जिससे इसकी गति धीमी हो जाती है। नया तरीका केवल निश्चित संख्या में महत्वपूर्ण शब्दों को देखता है, इसलिए इसकी गति स्थिर रहती है। वे भविष्यवाणी करते हैं कि बहुत लंबी कहानियों के लिए, नया तरीका बहुत तेज़ होगा।

क्या रोबोट ने उतना ही सीखा? उन्होंने एक मानक रीडिंग टेस्ट (PG19 डेटासेट) का उपयोग करके रोबोट के ज्ञान का परीक्षण किया।

• नए तरीके से प्रशिक्षित रोबोट का स्कोर 2.7405 (यह मापने का एक तरीका कि वह अगले शब्द की कितनी अच्छी तरह भविष्यवाणी करता है) था।
• पुराने तरीके से प्रशिक्षित रोबोट का स्कोर 2.7383 था।
• अंतर बहुत कम है (0.0022), जिसका अर्थ है कि नया तरीका पुराने तरीके की तरह ही अच्छा सीखता है, भले ही वह कम शब्दों को देख रहा था।

कमी: जो रोबोट अभी नहीं कर सकता

यह पेपर इस बात के बारे में बहुत ईमानदार है कि यह तरीका अभी क्या नहीं कर सकता।

1. कॉज़ल लीकेज (Causal Leakage): यदि आप रोबोट को बहुत लंबे समय तक (करोड़ों टोकन तक) प्रशिक्षित करते हैं, तो वह "चीटिंग" करना शुरू कर सकता है। क्योंकि रोबोट सारांश बनाने के लिए शब्दों को एक साथ समूहित करता है, एक शुरुआती शब्द अनजाने में बाद के शब्द के बारे में जानकारी देख सकता है जिसे उसे अभी तक नहीं जानना चाहिए। इसे "कॉज़ल लीकेज" कहा जाता है। लेखक कहते हैं कि यह छोटे प्रशिक्षण सत्रों (जैसे कि उनके द्वारा किए गए 100 स्टेप्स) के लिए ठीक है, लेकिन वे अभी भी इसका उपयोग एक विशाल, बहु-वर्षीय प्रोजेक्ट के लिए शून्य से रोबोट को प्रशिक्षित करने के लिए करने की सलाह नहीं देते हैं।
2. इन्फरेंस (कहानी पढ़ना): रोबोट इस नए तरीके का उपयोग करके सीख सकता है, लेकिन जब कहानी को पढ़ने या लिखने की बारी आती है, तो वह मौजूदा सॉफ़्टवेयर के साथ काम करने के लिए वर्तमान में मानक, धीमे तरीके का उपयोग करता है। लेखक एक "प्रोडक्शन-ग्रेड" संस्करण पर काम कर रहे हैं जो रोबोट को तेज़, नए तरीके का उपयोग करके पढ़ने की अनुमति देगा, लेकिन वह अभी तैयार नहीं है।

निष्कर्ष

यह पेपर दिखाता है कि आपको लंबी कहानियों पर AI को प्रशिक्षित करने के लिए सुपर-महंगे, विशाल कंप्यूटर की आवश्यकता नहीं है। एक स्मार्ट फाइलिंग सिस्टम (HGA) और "चंक-दर-चंक" सीखने के तरीके का उपयोग करके, आप 16,384-टोकन के प्रशिक्षण सत्र को 16 GB के ग्राफिक्स कार्ड पर फिट कर सकते है जो पहले केवल 2,048 टोकन संभाल सकता था। रोबोट उतना ही अच्छा सीखता है, और जैसे-जैसे कहानियाँ लंबी होती जाती हैं, यह नया तरीका पुराने तरीके से तेज़ होता जाता है। यह एक चतुर तरकीब है जो मेमोरी की सीमा को एक प्रबंधनीय पहेली में बदल देती है, जिससे बिना डेस्क स्पेस खत्म हुए पूरी किताबें पढ़ने वाले स्मार्ट AI के द्वार खुल जाते हैं।