तकनीकी सारांश: सभी विचारों को HBM की आवश्यकता नहीं है

समस्या विवरण

तर्क करने में सक्षम लार्ज लैंग्वेज मॉडल्स (LLMs), जैसे कि OpenAI o1 और DeepSeek-R1, विस्तृत 'चेन ऑफ थॉट' (CoT) उत्पन्न करते हैं, जो अक्सर हजारों टोकन तक विस्तृत होती है। यह विचारशील प्रक्रिया एक गंभीर मेमोरी बोझ डालती है: प्रत्येक उत्पन्न टोकन एक की-वैल्यू (KV) पेयर को कैश में जोड़ता है जिसे इन्फरेंस के दौरान GPU हाई-बैंडविड्थ मेमोरी (HBM) में रहना चाहिए। उदाहरण के लिए, एक 7B मॉडल पर 2,000-टोकन की रीजनिंग चेन प्रति अनुरोध लगभग 800 MB का HBM उपभोग करती है।

HBM की कमी के प्रति उद्योग की प्रमुख प्रतिक्रिया इविक्शन (eviction) रही है: कैश को GPU मेमोरी के भीतर फिट करने के लिए उन टोकन को स्थायी रूप से हटा देना जिन्हें "कम-महत्वपूर्ण" माना जाता है। हालांकि, लेखक प्रदर्शित करते हैं कि यह दृष्टिकोण तर्क (reasoning) कार्यों के लिए विनाशकारी है। मानक भाषा मॉडलिंग के विपरीत, जहाँ दूर का संदर्भ अक्सर अनावश्यक होता है, रीजनिंग चेन्स प्रोग्राम की तरह कार्य करती हैं जहाँ सैकड़ों टोकन पहले कंप्यूट किए गए मध्यवर्ती परिणामों को बाद में अप्रत्याशित रूप से संदर्भित किया जा सकता है। पेपर दिखाता है कि केवल 50% KV कैश को इविक्ट करने से सटीकता (accuracy) ~22% से गिरकर 0–2.5% हो जाती है (एक "क्लिफ इफेक्ट"), चाहे महत्व स्कोरिंग तंत्र कितना भी परिष्कृत क्यों न हो।

कार्यप्रणाली: सिमेंटिक्स-अवेयर मेमोरी पदानुक्रम (Semantics-Aware Memory Hierarchy)

लेखक प्रश्न को "हम किन टोकन को हटा सकते हैं?" से बदलकर "प्रत्येक टोकन को कहाँ रहना चाहिए?" में बदलने का प्रस्ताव करते हैं। वे एक चार-स्तरीय, सिमेंटिक्स-अवेयर मेमोरी पदानुक्रम पेश करते हैं जो टोकन को स्थायी रूप से हटाने के बजाय संचयी अटेंशन स्कोर के आधार पर वर्गीकृत करता है।

1. चार-स्तरीय वर्गीकरण

सिस्टम रीयल-टाइम महत्व स्कोरिंग के आधार पर रीजनिंग टोकन को चार स्तरों में विभाजित करता है:

• T0 (HBM): इसमें संरक्षित टोकन (प्रॉम्प्ट, अटेंशन सिंक, हालिया विंडो) और उच्चतम-महत्व वाले रीजनिंग टोकन शामिल हैं। ये तत्काल पहुंच के लिए GPU HBM में रहते हैं।
• T1 (DDR): मध्यम-महत्व वाले टोकन को फुल प्रिसिजन के साथ CPU DDR मेमोरी में ऑफलोड किया जाता है। महत्वपूर्ण रूप से, इन टोकन को हर अटेंशन स्टेप से पहले GPU में प्रीफेच (prefetch) किया जाता है।
• T2 (कंप्रेस्ड): कम-महत्व वाले टोकन जिन्हें कम प्रिसिजन (जैसे, 8-बिट क्वांटाइजेशन) में CPU पर संग्रहीत किया जाता है। लेखक नोट करते हैं कि उच्च प्रिसिजन संवेदनशीलता के कारण यह स्तर वर्तमान में रीजनिंग के लिए कम प्रभावी है।
• T3 (इविक्टेड): केवल सबसे कम-महत्व वाले अंतिम टोकन ही स्थायी रूप से हटाए जाते हैं।

2. महत्व स्कोरिंग (Importance Scoring)

सिस्टम संचयी अटेंशन स्कोरिंग (cumulative attention scoring) का उपयोग करता है। प्रत्येक डिकोडिंग स्टेप $t$ पर, स्थिति $i$ के लिए महत्व स्कोर $s_i$ को सभी लेयर्स और हेड्स के माध्यम से अटेंशन वेट्स को जोड़कर अपडेट किया जाता है:
$$s_i^{(t)} = s_i^{(t-1)} + \frac{1}{|L|} \sum_{\ell \in L} \frac{1}{H} \sum_{h=1}^{H} \alpha_{\ell,h}^{(t)}[i]$$
यह दृष्टिकोण एक टोकन की उपयोगिता के पूर्ण इतिहास को कैप्चर करता है, जो रीजनिंग की गैर-स्थिर प्रकृति के अनुकूल है जहाँ एक टोकन सैकड़ों स्टेप्स बाद भी महत्वपूर्ण हो सकता है।

3. जीरो-एप्रोक्सिमेशन-एरर ऑफलोडिंग

मुख्य सैद्धांतिक योगदान जीरो-एप्रोक्सिमेशन-एरर ऑफलोडिंग का औपचारिककरण है। क्योंकि T1 टोकन अटेंशन कंप्यूटेशन से पहले फुल प्रिसिजन में GPU में प्रीफेच किए जाते हैं, वे अटेंशन आउटपुट में बिल्कुल वही टर्म्स योगदान करते हैं जो तब देते यदि वे कभी HBM से बाहर न गए होते।

• प्रपोजिशन 1: एप्रोक्सिमेशन एरर पूरी तरह से स्थायी रूप से हटाए गए टोकन ($T3$) के सेट पर निर्भर करता है, न कि HBM ($T0$) और DDR ($T1$) के बीच के विभाजन पर।
• निहितार्थ: सटीकता इविक्शन रेशियो (कितने टोकन नष्ट किए गए) द्वारा निर्धारित होती है, न कि HBM रेशियो (कितने टोकन GPU में शेष हैं) द्वारा।

4. सिस्टम कार्यान्वयन

सिस्टम सॉर्टिंग लागत को कम करने के लिए प्रत्येक $\Delta=64$ डिकोडिंग स्टेप में डायनेमिक टियर असाइनमेंट का उपयोग करता है। यह एसिंक्रोनस डिफरेंशियल प्रीफेचिंग का उपयोग करता है, जो केवल नए प्रमोट किए गए टोकन को DDR से GPU में ट्रांसफर करता है, जिससे PCIe ट्रैफिक कम होता है। वास्तविक GPU-CPU डेटा मूवमेंट (PCIe Gen5) का उपयोग करके एक सिस्टम प्रोटोटाइप बनाया गया था ताकि लेटेंसी और थ्रूपुट को मान्य किया जा सके।

मुख्य परिणाम

1. सटीकता बनाम इविक्शन रेशियो

तीन मॉडल स्केल (7B, 14B, 32B) और चार बेंचमार्क (GSM8K, MATH-500, MATH Level-5, ARC-Challenge) में प्रयोग पुष्टि करते हैं कि:

• इविक्शन विनाशकारी है: शुद्ध इविक्शन (टोकन को बिना ऑफलोड किए हटाना) बजट के 50% पर सटीकता को शून्य के करीब ले जाता है।
• ऑफलोडिंग प्रभावी है: केवल 3% स्थायी इविक्शन के साथ, पदानुक्रम GSM8K (n=200) पर फुल-कैश सटीकता का 91% और MATH-500 पर 71% बनाए रखता है।
• HBM स्वतंत्रता: इविक्शन रेशियो को स्थिर रखते हुए HBM रेशियो (30%, 50%, 70%) को बदलने से सांख्यिकीय रूप से नगण्य सटीकता अंतर (p > 0.3) होता है। इसके विपरीत, इविक्शन रेशियो को बदलने से भारी उतार-चढ़ाव (18% तक) होता है।

2. स्टेट-ऑफ-द-आर्ट के साथ तुलना

• H2O/StreamingLLM के विरुद्ध: पदानुक्रम हैवी-हिटर इविक्शन बेसलाइन्स से कहीं बेहतर प्रदर्शन करता है। समान मेमोरी बजट पर, H2O ~2–30% सटीकता प्राप्त करता है, जबकि पदानुक्रम 3% इविक्शन के साथ 58–65% सटीकता प्राप्त करता है।
• R-KV (रीजनिंग-अवेयर इविक्शन) के विरुद्ध: लेखकों ने अपने सेटअप पर R-KV को पुनरुत्पादित किया। R-KV बजट के आधार पर 0–32% सटीकता प्राप्त करता है, जबकि पदानुक्रम ने केवल 3% इविक्शन के साथ 56–62% सटीकता प्राप्त की। लेखक तर्क देते हैं कि कोई भी स्कोरिंग फंक्शन उस जानकारी को वापस नहीं ला सकता जिसे स्थायी रूप से नष्ट कर दिया गया है।

3. सिस्टम ओवरहेड

सिस्टम प्रोटोटाइप (RTX 5080, PCIe Gen5) दर्शाता है कि DDR में टोकन सुरक्षित रखने की लागत मामूली है:

• ट्रांसफर ओवरहेड: PCIe ट्रांसफर कुल इन्फरेंस समय का केवल 5–7% हिस्सा है।
• थ्रूपुट: फुल-कैश इन्फरेंस की तुलना में थ्रूपुट लगभग 14% कम हो जाता है (21.8 से ~18.7 टोकन/सेकंड), लेकिन सटीकता बेसलाइन के समान बनी रहती है।
• मेमोरी बचत: स्केलिंग प्रोजेक्शन संकेत देते हैं कि प्रोडक्शन बैच साइज (जैसे, बैच=8, 70B मॉडल) के लिए, यह दृष्टिकोण 2–48 GB HBM बचा सकता है, जिससे उन मॉडल्स के लिए सिंगल-GPU सर्विंग संभव हो सकती है जिन्हें अन्यथा मल्टी-GPU सेटअप की आवश्यकता होती है।

4. प्रिसिजन संवेदनशीलता

पेपर नोट करता है कि रीजनिंग टोकन अत्यधिक प्रिसिजन-सेंसिटिव होते हैं। 5% इविक्शन पर T2 (8-बिट क्वांटाइजेशन) में ऑफलोड करने से सटीकता 58% से गिरकर 20% हो गई, जो सुझाव देता है कि रीजनिंग-अवेयर कंप्रेशन एक आवश्यक भविष्य की दिशा है लेकिन अभी तक फुल-प्रिसिजन ऑफलोडिंग का व्यवहार्य विकल्प नहीं है।

महत्व और दावे

पेपर दावा करता है कि यह रीजनिंग LLMs के लिए KV-कैश प्रबंधन के प्रतिमान को मौलिक रूप से बदल देता है:

1. क्षमता को गुणवत्ता से अलग करना: यह सिद्ध करता है कि यदि टोकन को हटाने के बजाय सस्ते मेमोरी (DDR) में ऑफलोड किया जाता है, तो रीजनिंग की गुणवत्ता से समझौता किए बिना HBM क्षमता को आक्रामक रूप से कम किया जा सकता है।
2. "क्लिफ" बनाम "नॉब": यह इविक्शन के "क्लिफ इफेक्ट" को रीजनिंग के लिए एक मौलिक विफलता मोड के रूप में पहचानता है, जबकि इविक्शन रेशियो पदानुक्रम के लिए एक ट्यूनेबल नॉब के रूप में कार्य करता है।
3. आर्किटेक्चरल समानता: यह कार्य छह दशकों के कंप्यूटर आर्किटेक्चर—मेमोरी पदानुक्रमों—के एक सिद्धांत को हल करने के लिए उधार लेता है, यह तर्क देते हुए कि "सभी डेटा को प्रोसेसर के समान करीब रहने की आवश्यकता नहीं है।"
4. जीरो-एरर गारंटी: यह औपचारिक गारंटी प्रदान करता है कि ऑफलोडिंग कोई एप्रोक्सिमेशन एरर पेश नहीं करता है, जो इसे कंप्रेशन या क्वांटाइजेशन विधियों से अलग करता है जो स्वाभाविक रूप से सूचना खो देते हैं।

लेखक निष्कर्ष निकालते हैं कि जैसे-जैसे टेस्ट-टाइम कंप्यूट स्केलिंग के साथ रीजनिंग चेन्स लंबी होती जाएंगी, "क्या याद रखना चाहिए" और "क्या तेज़ होना चाहिए" के बीच का अंतर बढ़ता जाएगा, जिससे मेमोरी पदानुक्रम "इविक्शन-या-कुछ-नहीं" के प्रतिमान से परे एक आवश्यक विकास बन जाएगा।