तकनीकी सारांश: RIS-Kernel

समस्या विवरण

लॉन्ग-कॉन्टेक्स्ट लार्ज लैंग्वेज मॉडल (LLM) इन्फरेंस में प्राथमिक बाधा फुल सेल्फ-अटेंशन की द्विघातीय (quadratic) कम्प्यूटेशनल और मेमोरी जटिलता ($O(N^2)$) है। यह स्केलिंग व्यावहारिक दस्तावेज़ विश्लेषण को लगभग 65,536 टोकन तक सीमित कर देती है और महंगे GPU क्लस्टर्स की आवश्यकता होती है, जिससे गहन पाठ्य विश्लेषण उन अधिकांश शोध समूहों के लिए अप्राप्य हो जाता है जिनके पास विशेष हार्डवेयर नहीं है। इसके अलावा, नेटिव ट्रेनिंग सीमाओं से परे कॉन्टेक्स्ट विंडो का विस्तार करने से अक्सर पोजीशनल एनकोडिंग का क्षरण (degradation) होता है, जिससे रिट्रीवल क्षमताएं ढह जाती हैं, भले ही कम्प्यूटेशनल संसाधन उपलब्ध हों।

कार्यप्रणाली: RIS-Kernel आर्किटेक्चर

यह शोध पत्र RIS-Kernel (रिड्यूस्ड इंटरैक्शन सैंपलिंग) पेश करता है, जो एक मॉडल-एग्नोस्टिक इन्फरेंस इंजन है जो बिना किसी अनमॉडिफाइड लैंग्वेज मॉडल में रनटाइम स्पर्सिटी (sparsity) इंजेक्ट करता है। यह आर्किटेक्चर मॉडल वेट्स को बदले बिना, फाइन-ट्यूनिंग की आवश्यकता के बिना, या GPU एक्सेलरेशन के बिना सेल्फ-अटेंशन जटिलता को $O(N \log N)$ तक कम करता है।

मुख्य घटक

1. स्टोकेस्टिक ज्योमेट्री (Stochastic Geometry): RIS डेंस अटेंशन मैट्रिक्स को स्टोकेस्टिक सैंपलिंग के माध्यम से जनरेट किए गए स्पार्स मास्क से बदल देता है। यह दो अलग-अलग व्यवस्थाओं में कार्य करता है:
   • स्टोकेस्टिक मोड (Stochastic Mode): यह अनुक्रम (sequence) को एक यूनिफॉर्म पूल के रूप में मानता है, जो प्रत्येक पिवट (pivot) के लिए ग्लोबल नेबर्स को खींचता है। कवरेज घनत्व (density) और एंसेम्बल सीड काउंट के साथ मोनोटोनिक रूप से स्केल होता है।
   • स्ट्रक्चरल मोड (Structural Mode): यह अनुक्रम को ब्लॉक्स में विभाजित करता है, प्रत्येक ब्लॉक को एक क्लिक (clique) के रूप में पूरी तरह से जोड़ता है, और फिर ग्लोबल रेडंडेंट एडजेस जोड़ता है। यह "ब्लॉक-क्लिक" ज्योमेट्री अत्यधिक स्पर्सिटी में भी लोकल कम्युनिटी स्ट्रक्चर और प्रॉक्सिमल एंकर्स के संरक्षण की गारंटी देती है।
2. हाइब्रिड एंकर और प्री-फ्यूजन यूनिफाइड सॉफ्टमैक्स (PFUS): स्टोकेस्टिकली रिकवर्ड टोकन्स के लिए प्रतिस्पर्धी वेट्स के तनुकरण (dilution) को रोकने के लिए, RIS एक सिंगल प्री-फ्यूजन सॉफ्टमैक्स का उपयोग करता है। यह एक कैश किए गए "स्टोकेस्टिक एंकर" (सभी सीड इंडिसेस का यूनियन जिसे एक बार कंप्यूट किया गया है) को बाद के टोकन्स के लिए "डायनेमिक लोकल विंडो" के साथ मर्ज करता है। सभी चयनित टोकन्स को एक साथ नॉर्मलाइज़ किया जाता है, जिससे यह सुनिश्चित होता है कि दुर्लभ, स्टोकेस्टिकली रिट्रीव किए गए एंटिटीज भी फ्रीक्वेंट टोकन्स के समान ही प्रतिस्पर्धी वेट कैरी करें।
3. डायनेमिक RoPE स्केलिंग: सिस्टम लोड टाइम पर कॉन्फ़िगरेशन पैरामीटर्स को इंटरसेप्ट करता है ताकि रोटेशनल पोजीशनल एम्बेडिंग (RoPE) स्केलिंग (लीनियर या YaRN) को डायनेमिक रूप से लागू किया जा सके, जिससे मॉडल को उसके नेटिव ट्रेनिंग लिमिट से कहीं अधिक कॉन्टेक्स्ट विंडो संभालने की अनुमति मिलती है, बिना मॉडल ग्राफ को संशोधित किए।
4. मेमोरी-बाउंडेड इम्प्लीमेंटेशन: मास्क जनरेशन के दौरान आउट-ऑफ-मेमोरी (OOM) फॉल्ट्स से बचने के लिए, RIS एक स्ट्रीमिंग डिज़ाइन का उपयोग करता है। यह सीड इंडिसेस जनरेट करता है, उन्हें मास्टर मास्क में मर्ज करता है, और व्यक्तिगत सीड डेटा को तुरंत हटा देता है, जिससे पीक मेमोरी यूसेज एंसेम्बल साइज के बावजूद $O(N^2)$ बूलियन मैट्रिसेस द्वारा सीमित रहता है।

मुख्य योगदान

• मॉडल-एग्नोस्टिक इन्फरेंस: यह आर्किटेक्चर एक रनटाइम इंजेक्शन के रूप में कार्य करता है, जो बिना रिट्रेनिंग के Qwen2 और TinyLlama जैसे मौजूदा मॉडल्स के साथ संगत है।
• हार्डवेयर एक्सेसिबिलिटी: इस सिस्टम को सामान्य, अन-एक्सेलेरेटेड CPU हार्डवेयर (16 GB से 128 GB RAM तक) पर सत्यापित किया गया है, जो यह दर्शाता है कि GPU क्लस्टर्स के बिना लॉन्ग-कॉन्टेक्स्ट इन्फरेंस संभव है।
• रेगुलराइजेशन प्रभाव: शोध पत्र पहचानता है कि स्पार्स अटेंशन एक रेगुलराइज़र के रूप में कार्य करता है। कम डेंसिटी (जैसे 1%) पर उच्च एंसेम्बल काउंट के साथ, सीक्वेंस-लेवल नॉइज़ को हटाने से मॉडल नेटिव डेंस अटेंशन बेसलाइन्स से बेहतर प्रदर्शन करता है।
• पोजीशनल एनकोडिंग सेंसिटिविटी: यह कार्य उस सीमा को स्पष्ट करता है जहाँ रिट्रीवल फेलियर पोजीशनल एनकोडिंग कोलैप्स (लीनियर इंटरपोलेशन के तहत) के कारण होता है, न कि स्पार्स प्रोजेक्शन के कारण, जो एक्सट्रपलेशन के लिए YaRN जैसे तरीकों की आवश्यकता को रेखांकित करता है।

अनुभवजन्य परिणाम (Empirical Results)

वैज्ञानिक पांडुलिपि कॉर्पोरा का उपयोग करके Qwen2-1.5B-Instruct और TinyLlama-1.1B पर प्रयोग किए गए।

1. कंट्रोल्ड प्रिसिजन (32k टोकन)

• बेसलाइन: नेटिव डेंस अटेंशन ने 71.88% सटीकता प्राप्त की। जीरो-कॉन्टेक्स्ट फ्लोर 59.38% था।
• RIS-Stochastic: 1% डेंसिटी के साथ 70-80 सीड्स पर, सटीकता 75.00% तक पहुँच गई, जो डेंस बेसलाइन से अधिक है। 5% डेंसिटी के साथ 10 सीड्स पर, इसने बेसलाइन के बराबर (71.88%) प्रदर्शन किया।
• RIS-Structural: 1% डेंसिटी के साथ 10 सीड्स पर, इसने कॉन्टेक्स्टुअल गैप का 75% (68.75% सटीकता) रिकवर किया, जो Stochastic मोड से बेहतर था जिसे समान स्तर तक पहुँचने के लिए 50 सीड्स की आवश्यकता थी।

2. स्केलेबिलिटी और एक्सट्रपलेशन (64k टोकन)

• नेटिव लिमिट: डेंस अटेंशन ने स्टैंडर्ड टेस्टबेड्स पर OOM फॉल्ट्स ट्रिगर किए।
• लीनियर इंटरपोलेशन: गंभीर पोजीशनल कोलैप्स का कारण बना, जिससे सटीकता (डेंसिटी के बावजूद) गिरकर ~15-23% (रैंडम गेसिंग के करीब) हो गई।
• YaRN स्केलिंग: पोजीशनल ज्योमेट्री को सुरक्षित रखा।
  • RIS-Structural (1% डेंसिटी, 60 सीड्स): 65.62% सटीकता प्राप्त की, जो जीरो-कॉन्टेक्स्ट फ्लोर (51.56%) से 14.06 प्रतिशत अंक अधिक है। यह परिणाम McNemar के पेयर्ड टेस्ट ($p = 0.078$) के तहत मार्जिनली सिग्निफिकेंट था।
  • RIS-Stochastic (5% डेंसिटी, 40 सीड्स): लीनियर इंटरपोलेशन के तहत भी, इसने 59.4% तक रिकवरी की, जो जीरो-कॉन्टेक्स्ट बेसलाइन से बेहतर है, हालांकि YaRN की तुलना में कम प्रभावी है।
• TinyLlama की सीमाएँ: आर्किटेक्चर TinyLlama (नेटिव 2k लिमिट) के लिए 4x–16x एक्सट्रपलेशन फैक्टर्स पर जानकारी रिट्रीव करने में विफल रहा, जो पुष्टि करता है कि RIS के लिए होस्ट मॉडल के पोजीशनल एनकोडिंग सिस्टम का कम से कम आंशिक रूप से कार्यात्मक रहना आवश्यक है।

3. एफिशिएंसी फ्रंटियर

सब-1% डेंसिटीज (0.3%–0.5%) के लिए स्ट्रक्चरल मोड के "स्वीट-स्पॉट" विश्लेषण से पता चला कि मॉडल 1% बेसलाइन की तुलना में आधे से भी कम स्ट्रक्चरल अटेंशन कॉस्ट पर 90% से अधिक कॉन्टेक्स्टुअल रिट्रीवल सिग्नल बनाए रख सकता है।

महत्व और दावे

शोध पत्र का दावा है कि RIS-Kernel स्टोकेस्टिक स्पर्सिफिकेशन के माध्यम से $O(N^2)$ अटेंशन बॉटलनैक को सफलतापूर्वक बायपास करता है और तथ्यात्मक रिट्रीवल को सुरक्षित रखता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

1. कमोडिटी हार्डवेयर पर व्यवहार्यता: यह सिद्ध करना कि GPU एक्सेलरेशन के बिना स्टैंडर्ड एकेडेमिक हार्डवेयर (डेस्कटॉप CPUs) पर डीप डॉक्यूमेंट रिट्रीवल संभव है।
2. स्पर्सिटी के माध्यम से रेगुलराइजेशन: यह दिखाना कि लो-डेंसिटी स्पार्स अटेंशन एक रेगुलराइज़र के रूप में कार्य कर सकता है, जो डेंस बेसलाइन्स से बेहतर सटीकता के लिए नॉइज़ को फ़िल्टर करता है।
3. आर्किटेक्चरल इंडिपेंडेंस: यह स्थापित करना कि रिट्रीवल कर्नेल पोजीशनल एनकोडिंग से अलग है; जबकि RIS सिग्नल को सुरक्षित रखता है, उस सिग्नल की अखंडता इस बात पर निर्भर करती है कि होस्ट मॉडल (जैसे YaRN के माध्यम से) विस्तारित लंबाई पर पोशनल कोहेरेंस बनाए रखने में सक्षम है या नहीं।
4. पूरक मोड: एक यूटिलिटी फ्रंटियर को परिभाषित करना जहाँ स्ट्रक्चरल मोड टाइट बजट और प्रॉक्सिमल एंकर रिकवरी के लिए इष्टतम है, जबकि स्टोकेस्टिक मोड व्यापक ग्लोबल कवरेज और रेगुलराइजेशन के लिए बेहतर है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण बड़े पैरामीटर काउंट तक स्केल करने से रोकने वाले कोई आर्किटेक्चरल प्रतिबंध नहीं लगाता है, हालांकि इसका परीक्षण किया जाना बाकी है। कोड, डेटासेट और इन्फरेंस स्क्रिप्ट्स को रेप्लिकेशन के लिए उपलब्ध कराया गया है।