💻 computer science

Move the Query, Not the Cache: Characterizing Cross-Instance Latent Attention Redistribution Across GPU Fabrics

यह शोध पत्र यह प्रदर्शित करके फ्रंटियर LLMs में क्रॉस-इंस्टेंस अटेंशन को अभिलक्षित करता है कि कंप्रेस्ड क्वेरी वेक्टर्स को रूट करना अक्सर GPU फैब्रिक्स के माध्यम से KV-कैश ब्लॉक्स को स्थानांतरित करने की तुलना में अधिक कुशल होता है, और वास्तविक मल्टी-नोड H100 क्लस्टर्स पर इस विकल्प को अनुकूलित करने के लिए एक मान्य टोपोलॉजी-अवेयर कॉस्ट मॉडल और निर्णय प्रेडिकेट प्रदान करता है।

मूल लेखक: Bole Ma, Jan Eitzinger, Harald Köstler, Gerhard Wellein

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bole Ma, Jan Eitzinger, Harald Köstler, Gerhard Wellein

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Move the Query, Not the Cache" पेपर का एक सरल भाषा में अनुवाद दिया गया है, जिसमें उपमाओं (analogies) का उपयोग किया गया है।

बड़ी समस्या: पुस्तकालय बनाम पाठक

कल्पना कीजिए कि एक विशाल पुस्तकालय (AI का ज्ञान आधार) है जो इतना बड़ा है कि वह एक इमारत में नहीं समा सकता। यह कई अलग-अलग पुस्तकालय शाखाओं (विभिन्न GPUs) में फैला हुआ है।

अब, कल्पना कीजिए कि एक पाठक (सवाल प्रोसेस करने वाला AI) शाखा A में बैठा है। उसे एक विशिष्ट तथ्य को खोजने की आवश्यकता है जो शाखा B के शेल्फ पर रखी एक किताब में संग्रहीत है।

पुराना तरीका (कैश को मूव करना - Moving the Cache):
अतीत में, मानक समाधान यह था कि शाखा B तक एक ट्रक भेजा जाए, शाखा B की पूरी किताब ट्रक पर लाद दी जाए, उसे शाखा A में वापस लाया जाए, और फिर पाठक को पढ़ने दिया जाए।

समस्या: किताबें भारी और बड़ी होती हैं। भले ही पाठक को केवल एक वाक्य की आवश्यकता हो, आपको पूरी किताब को ले जाना पड़ता है। यदि पुस्तकालय बहुत बड़ा है, तो यह ट्रकिंग प्रक्रिया बहुत समय लेती है और सड़कों को जाम कर देती है।

नया विचार (क्वेरी को मूव करना - Moving the Query):
यह पेपर एक स्मार्ट दृष्टिकोण का सुझाव देता है: किताब लाने के लिए ट्रक भेजने के बजाय, शाखा B को एक छोटा, हल्का नोट (the "Query") भेजें। नोट कहता है, "कृपया अपनी किताब में यह विशिष्ट वाक्य देखें और उत्तर को एक पोस्टकार्ड पर लिख दें।"

लाभ: नोट बहुत छोटा है (लग लगभग 1 किलोबाइट)। किताब बहुत बड़ी है (लाखों बाइट्स)। लाइब्रेरी को पोस्टकार्ड भेजना और जवाब प्राप्त करना, ट्रक को बार-बार लाने-ले जाने से कहीं अधिक तेज़ है।

गुप्त मंत्र: "MLA" (संकुचित पुस्तक - The Compressed Book)

यह अब क्यों काम कर रहा है जबकि पहले नहीं कर रहा था? यह पेपर एक विशेष प्रकार के AI आर्किटेक्चर पर ध्यान केंद्रित करता है जिसे Multi-head Latent Attention (MLA) कहा जाता है।

MLA को एक विशेष संपीड़न तकनीक (compression technique) के रूप में समझें। पुराने AI मॉडल में, "किताब" (डेटा) बहुत बड़ी और बोझिल थी। लेकिन MLA के साथ, AI किताब के हर पन्ने को एक छोटे, सघन सारांश (dense summary) में संकुचित कर देता है।

क्योंकि डेटा इतना संकुचित है, "किताब" अभी भी बड़ी है, लेकिन जिस "वाक्य" को पाठक को खोजना है, वह अविश्वसनीय रूप से छोटा है।
यह एक बड़ा असंतुलन पैदा करता है: Query (नोट) बहुत छोटा है, लेकिन Cache (किताब) अभी भी बड़ी है। यह नोट भेजना स्पष्ट रूप से बेहतर विकल्प बनाता है।

प्रयोग: सड़कों का परीक्षण करना

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने वास्तविक, उच्च गति वाले सुपरकंप्यूटरों (NVIDIA H100 चिप्स का उपयोग करके) पर इसका परीक्षण किया। उन्होंने दो मुख्य चीजों को देखा:

सड़क का प्रकार (नेटवर्क - The Network): उन्होंने कंप्यूटरों को जोड़ने वाले विभिन्न "रास्तों" का परीक्षण किया, स्थानीय केबलों (NVLink) से लेकर दूसरे भवनों को जोड़ने वाले फाइबर ऑप्टिक्स (InfiniBand) तक।
- निष्कर्ष: सबसे तेज़ सड़कों पर भी, बड़ी किताब को मूव करना धीमा है क्योंकि इसमें "लोडिंग समय" (किताब को ले जाने के लिए तैयार करने का समय) लगता है। छोटा नोट भेजना तेज़ है क्योंकि यह एक त्वरित यात्रा है।
- आश्चर्य: बहुत तेज़ सड़कों पर भी, सड़क की गति उतनी महत्वपूर्ण नहीं थी जितनी कि "ट्रक ड्राइवर" की गति (डेटा ट्रांसफर शुरू करने की कंप्यूटर की क्षमता)। एक छोटा नोट धीमी सड़क पर भी उतनी ही तेज़ी से चलता है जितनी तेज़ सड़क पर, क्योंकि नोट इतना छोटा है कि उसे पूरी सड़क की ज़रूरत नहीं पड़ती।
"स्प्लिस" टैक्स (The "Splice" Tax):
- जब आप एक किताब को एक शाखा से दूसरी शाखा में ले जाते हैं, तो आपको अक्सर उसे फिर से बांधना पड़ता है या पन्नों को व्यवस्थित करना पड़ता है ताकि वे नए शेल्फ में फिट हो सकें। पेपर इसे "स्प्लिस" (splice) कहता है। किताब को तैयार करने में ही लगभग 3 मिलीसेकंड (कंप्यूटर की दुनिया में एक लंबा समय) लग जाते हैं।
- नोट को मूव करने से इस टैक्स से पूरी तरह बचा जा जा सकता है। नोट पहुँचता है, उसका उत्तर मिलता है, और वह चला जाता है।

AI मैनेजर के लिए नियम

पेपर AI सिस्टम के "मैनेजर" के लिए निर्णय लेने हेतु सरल नियमों का एक सेट देता है:

नियम 1: बातचीत की शुरुआत में (Decoding), हमेशा नोट भेजें।
यदि AI चरण-दर-चरण सवाल का जवाब दे रहा है, तो "नोट" इतना छोटा है और "किताब" इतनी बड़ी है कि नोट भेजना किताब को मूव करने की तुलना में 60 से 100 गुना तेज़ है।
नियम 2: किताब को तभी मूव करें जब आप उसे बहुत बार पढ़ने वाले हों।
यदि AI को लंबे समय तक उसी स्थान पर उसी किताब की आवश्यकता होने वाली है, तो एक बार किताब को मूव करके वहीं रखना सार्थक हो सकता है। लेकिन त्वरित, एक बार के सवालों के लिए, नोट भेजें।
नियम 3: सड़क की गति की चिंता न करें।
इन छोटे नोट्स के लिए, एक धीमी सड़क तेज़ सड़क के लगभग बराबर ही है। बाधा (bottleneck) सड़क नहीं है; बाधा नोट लिखने में लगने वाला समय है।

"एजेंट" परिदृश्य (The "Agent" Scenario)

पेपर एक विशिष्ट उपयोग मामला बताता है: एजेंटिक वर्कलोड (Agentic Workloads)। कल्पना कीजिए कि डिजिटल सहायकों (एजेंटों) की एक टीम एक ही विशाल कोड मैनुअल या कानूनी अनुबंध को पढ़ने की कोशिश कर रही है।

पुराना तरीका: हर बार जब कोई एजेंट सवाल पूछता है, तो सिस्टम उस मैनुअल के प्रासंगिक हिस्से को उस एजेंट के कंप्यूटर तक खींचने की कोशिश करता है।
नया तरीका: सिस्टम एजेंट का सवाल उस कंप्यूटर को भेजता है जहाँ मैनुअल रखा है। वह कंप्यूटर उसका उत्तर देता है और छोटा परिणाम वापस भेज देता है। मैनुअल अपनी जगह पर ही रहता है। यह सैकड़ों एजेंटों को नेटवर्क को जाम किए बिना एक साथ सवाल पूछने की अनुमति देता है।

सारांश

यह पेपर सिद्ध करता है कि आधुनिक, संकुचित AI मॉडल के लिए, डेटा को सवाल के पास भेजने के बजाय, सवाल को डेटा के पास भेजना लगभग हमेशा तेज़ होता है।

उन्होंने एक गणितीय सूत्र (एक "कॉस्ट मॉडल") बनाया है जो कंप्यूटर सिस्टम को ठीक से बताता है कि यह कब करना है। यह पता चला है कि AI द्वारा सोचते समय पूछे जाने वाले छोटे, तेज़-तर्रार सवालों के लिए, "क्वेरी को मूव करना" स्पष्ट रूप से विजेता है, जिससे बहुत अधिक समय और ऊर्जा की बचत होती है।

तकनीकी सारांश: कैश को नहीं, क्वेरी को मूव करें

समस्या विवरण
जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) का पैमाना बढ़ रहा है, सर्विंग वर्कलोड तेजी से मल्टी-हेड लेटेंट अटेंशन (MLA) और स्पार्स अटेंशन मैकेनिज्म पर निर्भर होते जा रहे हैं। इन आर्किटेक्चरों में, की-वैल्यू (KV) कैश को संकीर्ण लेटेंट वेक्टर्स में कंप्रेस किया जाता है या स्पार्स इंडेक्सर्स के माध्यम से चुना जाता है, जिससे एक "बाइट एसिमेट्री" (byte asymmetry) उत्पन्न होती है: एक एकल क्वेरी रो (उदा. $\approx 1$ KB) उस KV कैश चंक से कई गुना छोटी होती है जिस पर वह अटेंड करता है (उदा. मेगाबाइट्स)।

जब रुचि का कॉर्पस (एक कैनोनिकलल कोडबेस, कानूनी दस्तावेज़, या एक साझा एंटरप्राइज नॉलेज बेस) एक सिंगल GPU की हाई बैंडविड्थ मेमोरी (HBM) से अधिक हो जाता है, तो इसे कई इंस्टेंसों में विभाजित करना आवश्यक हो जाता है। इसके लिए क्रॉस-इंस्टेंस अटेंशन की आवश्यकता होती है, जहाँ एक GPU पर डिकोडिंग क्वेरी को दूसरे GPU पर स्थित KV ब्लॉक्स तक पहुँचना होता है। प्रचलित उद्योग रिफ्लेक्स (industry reflex) कैश को मूव करने (फेच करने) का है: रिमोट KV ब्लॉक्स को रिक्वेस्टर के पास खींचना, उन्हें स्थानीय कैश में जोड़ना और स्थानीय रूप से अटेंड करना। हालाँकि, यह दृष्टिकोण एक महत्वपूर्ण "पोजीशन-अडैप्टेशन" लागत (कैश किए गए पोजीशनल एनकोडिंग्स को नए ऑफसेट पर री-रोटेट करना) और एक बड़ा डेटा ट्रांसफर लेकर आता है। यह पेपर तर्क देता है कि MLA और स्पार्स सिलेक्शन के तहत, अंकगणित उल्टा हो सकता है: यह क्वेरी को होल्डर (holder) तक रूट करने, वहाँ आंशिक अटेंशन कंप्यूट करने और परिणाम को वापस मर्ज करने में अधिक सस्ता हो सकता है।

कार्यप्रणाली (Methodology)
लेखक NDR-200 इन्फिनीबैंड (InfiniBand) के साथ डिवाइस-इनिशिएटेड RDMA (IBGDA) सक्षम किए गए वास्तविक मल्टी-नोड H100 क्लस्टर पर इस ट्रेड-ऑफ का लक्षण वर्णन करते हैं। उनकी कार्यप्रणाली में शामिल है:

लागत अपघटन (Cost Decomposition): वे क्रॉस-इंस्टेंस रिडिस्ट्रिब्यूशन को एक एडिटिव कॉस्ट फंक्शन के रूप में मॉडल करते हैं: $T_{redist} = T_{probe} + T_{transfer} + T_{compute} + T_{return} + T_{merge}$ ।
प्रिमिटिव तुलना: वे तीन प्रिमिटिव की तुलना करते हैं:
- फेच (Fetch): पूरा KV चंक खींचना, पोजीशन को अडैप्ट करना (स्प्लिस), और स्थानीय रूप से अटेंड करना।
- रूट (Route): क्वेरी को होल्डर के पास भेजना, आंशिक अटेंशन कंप्यूट करना, और ऑनलाइन सॉफ्टमैक्स के माध्यम से परिणाम को मर्ज करना।
- लोकल (Local): चंक को शुरुआत से फिर से कंप्यूट करना (री-प्रीफिल)।
हार्डवेयर लक्षण वर्णन (Hardware Characterization): वे अटेंशन-शेप्ड पेलोड्स (किलोबाइट-स्केल क्वेरी बैच) के लिए IBGDA के लेटेंसी और बैंडविड्थ को मापते हैं और CPU-प्रॉक्सि पाथ के विरुद्ध तुलना करते हैं। वे टोपोलॉजी (सेम-लीफ बनाम स्पाइन-ट्रेवर्सिंग), फैब्रिक प्रकार (NVLink, PCIe, InfiBand), और कंकरेंसी के प्रभाव का भी विश्लेषण करते हैं।
सत्यता सत्यापन (Correctness Verification): वे सत्यापित करते हैं कि ऑनलाइन सॉफ्टमैक्स के माध्यम से मर्ज किया गया रूटेड आंशिक अटेंशन, स्पार्स सिलेक्शन परिदृश्यों के लिए भी, bf16 नॉइज़ फ्लोर के भीतर सिंगल-इंस्टेंस अटेंशन परिणामों को पुनरुत्पादित करता है।

मुख्य योगदान

टोपोलॉजी-अवेयर कॉस्ट मॉडल: लेखक क्रॉस-इंस्टेंस अटेंशन के लिए एक क्लोज्ड-फॉर्म कॉस्ट मॉडल प्राप्त करते हैं जो बैच्ड डिस्पैच ( $M_q \ge 512$ ) के लिए वास्तविक H100 IBGDA मापन के साथ $\approx 7\%$ मीन एब्सोल्यूट परसेंटेज एरर (MAPE) के साथ फिट बैठता है। मॉडल पहचानता है कि लागत पेलोड-स्वतंत्र प्रभावी बैंडविड्थ ( $\approx 25$ GB/s सिंगल-ब्लॉक डिस्पैच के लिए) और एक फिक्स्ड प्रोब लेटेंसी ( $\approx 16 \mu s$ ) द्वारा डोमिनेटेड है, न कि पीक लिंक बैंडविड्थ द्वारा।
डिवाइस-इनिशिएटेड RDMA (IBGDA) रिजीम लक्षण वर्णन: MoE डिस्पैच (जहाँ बहुत छोटे संदेशों के लिए CPU-प्रॉक्सि पाथ कभी-कभी जीत जाते हैं) के पिछले कार्यों के विपरीत, यह पेपर स्थापित करता है कि अटेंशन पेलोड्स ( $\approx 2$ KB) के लिए, डिवाइस-इनिशिएटेड RDMA बेहतर है, जो होस्ट-मीडिएटेड पाथ की तुलना में प्रति-फेच लेटेंसी को 40% कम कर देता है।
क्लोज्ड-फॉर्म सिलेक्शन प्रेडिकेट: वे शेड्यूलर के लिए रूट, फेच, या लोकल के बीच चयन करने के लिए एक निर्णय नियम प्रदान करते हैं, जो रिक्वेस्ट शेप ( $M_q$ $M_{q}$ ), चंक साइज ( $c_t$ $c_{t}$ ), और फैब्रिक विशेषताओं पर आधारित है।
- रूट (Route) डिकोड के समय जीतता है (छोटा $M_q$ ) क्योंकि यह फेच के लिए आवश्यक $\approx 3$ ms पोजीशन-अडैप्टेशन स्प्लिस से बचता है और लोकल की कंप्यूट लागत से भी बचता है।
- फेच (Fetch) केवल तभी व्यवहार्य होता है जब स्प्लिस लागत को कई आगामी स्थानीय चरणों पर एमोर्टाइज (amortize) किया जाए।
स्कैटर और सिलेक्शन विश्लेषण: स्पार्स अटेंशन (जैसे, DeepSeek-V3.2, GLM-5.1) के लिए, पेपर दिखाता है कि फेच कई होल्डर्स के माध्यम से एक स्कैटर गैदर बन जाता है, जिससे एक पेनल्टी आती है जो होल्डर्स की संख्या के साथ बढ़ती है। रूट की लागत स्थिर रहती है क्योंकि क्वेरी एक बार भेजी जाती है, और होल्डर बिना री-रोटेशन के इन स्कैर्ड ब्लॉक्स पर अटेंड करता है।
होल्डर कैपेसिटी एल्बो (Holder Capacity Elbows): वे होल्डर साइड के लिए विशिष्ट बाधाओं की पहचान करते हैं:
- कॉपी एल्बो (Copy Elbow): समवर्ती अनुरोधों के लिए डेटा स्टेज करने हेतु $K=8$ CUDA स्ट्रीम्स का पूल इष्टतम है।
- कंप्यूट एल्बो (Compute Elbow): एक होल्डर कंप्यूट सैचुरेशन होने से पहले बिना किसी उल्लेखनीय लेटेंसी वृद्धि के $\approx 8$ समवर्ती रूटेड रिक्वेस्टर्स को सर्व कर सकता है।

परिणाम

लेटेंसी डोमिनेंस: विशिष्ट डिकोड बैच साइज ( $M_q = 256$ ) पर, एक रूटेड राउंड ट्रिप विभिन्न फैब्रिक्स (NVLink, PCIe, IBGDA) में 31–48 $\mu s$ की लागत लेता है। यह फेच करने के $\approx 3$ ms स्प्लिस कॉस्ट की तुलना में 60–100 $\times$ तेज़ है।
वायर बाइट एफिशिएंसी: डिकोड बैचों पर रूटिंग, फेचिंग की तुलना में $\ge 76\%$ कम वायर बाइट्स मूव करती है।
फैब्रिक इंडिपेंडेंस: डिकोड साइज पर, रूटेड डिस्पैच डिस्पैच-बाउंड (एक सिंगल थ्रेड ब्लॉक द्वारा ट्रांसफर इश्यू करने की क्षमता, $\approx 18\text{--}25$ GB/s द्वारा सीमित) है, न कि बैंडविड्थ-बाउंड। फलस्वरूप, एक 900 GB/s NVLink 4.0 लिंक सिंगल-ब्लॉक क्वेरी के लिए 25 GB/s के क्रॉस-नोड इन्फिनीबैंड लिंक के समान प्रदर्शन करता है; पीक बैंडविड्थ बड़े बैच साइज के लिए ही महत्वपूर्ण होती है।
कंजेशन रेजिलिएंस: रूटिंग प्रिमिटिव नेटवर्क कंजेशन के प्रति मजबूत है। लेटेंसी तब तक स्थिर रहती है जब तक लिंक पूरी तरह से संतृप्त (saturated) नहीं हो जाता ( $K=3$ समवर्ती फ्लो), और तब भी, यह फेचिंग की तुलना में एक ऑर्डर ऑफ मैग्नीट्यूड तेज़ रहती है।
होस्ट ओवरहेड चेतावनी: जबकि रूटिंग वायर बाइट्स और ट्रांसपोर्ट लेटेंसी में जीतती है, लेखक नोट करते हैं कि उनके वर्तमान प्रोटोटाइप में, होस्ट ओवरहेड (पायथन क्लाइंट, डिस्पैच लॉजिक) एंड-टू-एंड टाइम-टू-फर्स्ट-टोकन को डोमिनेट करता है। छोटे बैच साइज पर, एक साधारण "बाइट्स-बैक" फेच वर्तमान में लोअर होस्ट ओवरहेड के कारण जीत सकता है, हालांकि तीन विशिष्ट कार्यान्वयन कटौती (कोलैप्स्ड रिस्पॉन्स, कंप्यूट एमोर्टाइजेशन, बैचिंग) इस अंतर को पाटने के लिए पहचानी गई हैं।

महत्व और दावे
पेपर दावा करता है कि उभरते हुए कंप्रेस्ड और स्पार्स अटेंशन के लिए "मूव-द-कैश" रिफ्लेक्स उप-इष्टतम (suboptimal) है। अंकगणित को उलटा करके, क्वेरी को रूट करना क्रॉस-इंस्टेंस अटेंशन के लिए प्रमुख प्रिमिटिव बन जाता है, विशेष रूप से एजेंटिक वर्कलोड के लिए जहाँ कई सब-एजेंट्स एक साझा, इम्यूटेबल (immutable) कॉर्पस को क्वेरी करते हैं।

लेखक इस बात पर जोर देते हैं कि उनका योगदान कोई नया रूटिंग एल्गोरिदम नहीं है (जो कि डिस्टअटेंशन जैसे पिछले कार्यों में मौजूद है) बल्कि एक चरित्रण और कॉस्ट मॉडल है जो विशिष्ट हार्डवेयर और आर्किटेक्चरल स्थितियों (MLA, IBGDA, स्पार्स सिलेक्शन) के तहत रूटिंग के आर्थिक मामले को मान्य करता है। वे तर्क देते हैं कि यह बाइट-एसिमेट्री ही वह मुख्य गुण है जो अटेंशन के लिए डिवाइस-इनिशिएटेड RDMA को प्रेरित करता है। पेपर निष्कर्ष निकालता है कि जबकि रूटिंग सैद्धांतिक रूप से श्रेष्ठ है, एक प्रोडक्शन सर्विंग स्टैक में इसके पूर्ण एंड-टू-एंड लेटेंसी लाभों को प्राप्त करने के लिए होस्ट-साइड ओवरहेड्स को संबोधित करने की आवश्यकता है, जो भविष्य के इंजीनियरिंग प्रयासों के लिए एक कार्य है। प्रदान किया गया कॉस्ट मॉडल और प्रेडिकेट सिस्टम डिजाइनरों को हर नई कॉन्फ़िगरेशन को फिर से प्रोफाइल किए बिना टोपोलॉजी-अवेयर शेड्यूलिंग निर्णय लेने के लिए पुन: प्रयोज्य आर्टिफैक्ट के रूप में कार्य करता है।