🤖 AI

Memory-Bound but Not Bandwidth-Limited: The Physical AI Inference Gap in Batch-1 LLM Decode

यह शोध पत्र प्रकट करता है कि जहाँ फिजिकल एआई (Physical AI) का बैच-1 एलएलएम (LLM) इन्फरेंस मेमोरी-डॉमिनेटेड है, वहीं तेज़ जीपीयू (GPU) असंगत रूप से अधिक लॉन्च-साइड ओवरहेड्स से ग्रस्त होते हैं जो आनुपातिक लेटेंसी लाभ को रोकते हैं, और मानक क्वांटाइजेशन विधियाँ अक्सर अपेक्षित स्पीडअप प्राप्त करने में विफल रहती हैं जब तक कि उन्हें GPTQ+ExLlamaV2 जैसे अत्यधिक अनुकूलित कर्नेल्स के साथ जोड़ा न जाए।

मूल लेखक: Josef Chen

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Josef Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी तस्वीर: "तेज़ कार" बनाम "ट्रैफिक जाम"

कल्पना कीजिए कि आप बिंदु A से बिंदु B तक कार चलाने की कोशिश कर रहे हैं। आपके पास दो प्रकार की कारें हैं:

L4: एक भरोसेमंद, मानक सेडान।
H100: एक विशाल इंजन वाली हाइपर-फास्ट फॉर्मूला 1 रेस कार।

शोध पत्र एक सरल प्रश्न पूछता है: यदि आप अकेले गाड़ी चला रहे हैं (Batch-1) और आपको केवल बहुत कम सामान (एक अकेला रोबोट या यूजर सेशन) ले जाना है, तो कौन सी कार आपको वहाँ तेज़ी से पहुँचाएगी?

सामान्य धारणा यह थी: "फॉर्मूला 1 कार (H100) 11 गुना तेज़ है क्योंकि इसका इंजन बहुत बड़ा है (मेमोरी बैंडविड्थ)। इसे हर बार जीतना चाहिए।"

शोध पत्र का निष्कर्ष: फॉर्मूला 1 कार वास्तव में हार जाती है, या कम से कम बहुत ज़्यादा अंतर से नहीं जीतती। क्यों? क्योंकि रेस कार इतनी तेज़ है कि उसे इंजन शुरू करने और गियर डालने में लगने वाला समय (CPU लॉन्च ओवरहेड) सबसे बड़ा विलंब (delay) बन जाता है। धीमी सेडान पर, इंजन ही मुख्य बाधा (bottleneck) है, इसलिए उसे शुरू करने का महत्व उतना अधिक नहीं रह जाता।

मुख्य समस्या: "लॉन्च टैक्स" (The Launch Tax)

AI की दुनिया में, जब कोई कंप्यूटर एक बार में एक शब्द (टोकन) जेनरेट करता है, तो उसे बार-बार कुछ विशिष्ट कार्यों को करना पड़ता है।

पुराना दृष्टिकोण: गति इस बात पर निर्भर करती है कि कंप्यूटर अपनी मेमोरी को कितनी तेज़ी से पढ़ सकता है (जैसे कि एक लाइब्रेरियन किताबों को उठाने के लिए शेल्फ तक कितनी तेज़ी से दौड़ सकता है)। H100 के पास सुपर-फास्ट शेल्फ हैं, इसलिए यह तुरंत होना चाहिए।
नया दृष्टिकोण: गति इस बात पर निर्भर करती है कि कंप्यूटर को हार्डवेयर को कितनी बार कहना पड़ता है, "ठीक है, यह कार्य शुरू करो!"

उदाहरण (Analogy):
कल्पना कीजिए कि एक डिलीवरी ड्राइवर (GPU) है जिसे एक पैकेज छोड़ना है।

L4 पर (धीमा ड्राइवर): ड्राइवर घर तक जाने में 20 मिनट बिताता है और 1 मिनट पार्किंग में। यहाँ ड्राइविंग ही मुख्य बाधा है।
H100 पर (तेज़ ड्राइवर): ड्राइवर 1 मिनट में घर तक पहुँच सकता है। लेकिन, हर बार जब वह एक पैकेज छोड़ता है, तो उसे ट्रक से दरवाजे तक पैदल चलने, एक फॉर्म साइन करने और वापस आने में 30 सेकंड बिताने पड़ते हैं।
- क्योंकि ड्राइविंग बहुत तेज़ है, वह 30 सेकंड का "दरवाजे तक पैदल चलना" (लॉन्च टैक्स) ही डिलीवरी को धीमा करने का मुख्य कारण बन जाता है।
- H100 इतना शक्तिशाली है कि वह ड्राइवर के कागजी कार्रवाई पूरी करने का इंतज़ार करते हुए खाली बैठा रहता है।

प्रयोग: "ग्राफ्स" (Graphs) का समाधान

इसे साबित करने के लिए, शोधकर्ताओं ने CUDA Graphs नामक एक तकनीक का उपयोग किया।

उदाहरण (Analogy):
हर एक पैकेज के लिए ड्राइवर से यह पूछने के बजाय कि, "क्या मैं शुरू कर सकता हूँ? ठीक है, जाओ। क्या मैं शुरू कर सकता हूँ? ठीक है, जाओ," वे एक मास्टर स्क्रिप्ट (एक ग्राफ) लिख देते हैं जो कहता है: "ड्राइव करें, पार्क करें, ड्रॉप करें, वापस लौटें, दोहराएं।" वे इस स्क्रिप्ट को ड्राइवर को एक बार सौंप देते हैं, और ड्राइवर बिना हर बार अनुमति मांगे बस उस स्क्रिप्ट का पालन करता है।

परिणाम:

H100 पर (रेस कार): इस स्क्रिप्ट ने बहुत बड़ा अंतर दिखाया। कार की गति 26% बढ़ गई। इससे सिद्ध हुआ कि "कागजी कार्रवाई" (लॉन्च ओवरहेड) ही वास्तव में समस्या थी।
L4 पर (सेडान): इस स्क्रिप्ट से लगभग कोई अंतर नहीं पड़ा (केवल 3% तेज़ हुई)। ऐसा इसलिए है क्योंकि सेडान पहले से ही अपना अधिकांश समय ड्राइविंग (मेमोरी पढ़ने) में बिता रही थी, न कि कागजी कार्रवाई का इंतज़ार करने में।

"उल्टा" लागत सीढ़ी (The "Inverted" Cost Ladder)

यहाँ शोध पत्र का सबसे आश्चर्यजनक हिस्सा है।

आमतौर पर, कंपनियाँ सोचती हैं: "यदि मैं पैसा बचाना चाहता हूँ, तो मुझे सबसे सस्ती, धीमी चिप (L4) खरीदनी चाहिए। यदि मैं गति चाहता हूँ, तो मैं महंगी, तेज़ चिप (H100) खरीदता हूँ।"

शोध पत्र कहता है: सिंगल-स्ट्रीम AI (जैसे आपसे बात करने वाला रोबोट) के लिए, यह उल्टा है।

H100 महंगी और तेज़ है, लेकिन यह अपनी बहुत सारी गति "कागजी कार्रवाई" पर बर्बाद कर देती है।
L4 सस्ती और धीमी है, लेकिन यह अपनी 100% गति वास्तविक काम पर लगाती है।

"जादुई" ट्रिक:
शोधकर्ताओं ने पाया कि यदि आप सस्ते L4 को एक विशिष्ट प्रकार के सॉफ्टवेयर "कंप्रेशन" (जिसे ExLlamaV2 कहा जाता है) के साथ उपयोग करते हैं, तो L4 लगभग H100 जितनी तेज़ हो जाती है।

H100 ट्रिक्स के साथ: 11.78 मिलीसेकंड प्रति स्टेप।
L4 ट्रिक्स के साथ: 17.36 मिलीसेकंड प्रति स्टेप।

भले ही कागज़ पर H100 11 गुना अधिक शक्तिशाली है, लेकिन सही सॉफ्टवेयर के साथ L4 केवल लगभग 1.5 गुना धीमी है, जबकि इसे चलाने की लागत 10 गुना कम है।

मुख्य निष्कर्षों का सारांश

तेज़ होने का मतलब हमेशा बेहतर होना नहीं है: सिर्फ इसलिए कि एक चिप में बड़ा "मेमोरी हाईवे" (बैंडविड्थ) है, इसका मतलब यह नहीं है कि वह काम को तेज़ी से पूरा करेगी यदि उसका "स्टार्ट-अप टाइम" (लॉन्च ओवरहेड) बहुत लंबा है।
बाधा बदल जाती है (The Bottleneck shifts):
- सस्ते चिप्स (L4) पर, बाधा डेटा को हिलाना (मेमोरी बैंडविड्थ) है।
- महंगे चिप्स (H100) पर, बाधा कार्यों को शुरू करना (CPU लॉन्च ओवरहेड) है।
सॉफ्टवेयर हार्डवेयर से अधिक महत्वपूर्ण है: इन विशिष्ट "एक-एक करके" वाले AI कार्यों के लिए, एक सस्ते चिप पर सही सॉफ्टवेयर (जैसे ExLemaV2) चुनना, सबसे महंगी चिप खरीदने से बेहतर सौदा है।
यह किसके लिए है? यह फिजिकल AI (Physical AI) पर लागू होता है: रोबोट, सेल्फ-ड्राइविंग कारें, और व्यक्तिगत सहायक जो आपसे एक-एक वाक्य में बात करते हैं। यह उन चैटबॉट्स के लिए लागू नहीं होता जो एक साथ हजारों लोगों से बात करते हैं (बैच प्रोसेसिंग), जहाँ नियम अलग होते हैं।

संक्षेप में: यदि आप एक ऐसा रोबोट बना रहे हैं जिसे वास्तविक समय में सोचने और आपसे बात करने की आवश्यकता है, तो केवल सबसे महंगा सुपरकंप्यूटर न खरीदें। एक सस्ता कंप्यूटर खरीदें और सॉफ्टवेयर को इस तरह ट्यून करें कि वह "कागजी कार्रवाई" पर समय बर्बाद करना बंद कर दे। आप कम पैसे में बेहतर प्रदर्शन प्राप्त करेंगे।

तकनीकी सारांश: मेमोरी-बाउंड लेकिन बैंडविड्थ-सीमित नहीं: बैच-1 LLM डिकोड में फिजिकल AI इन्फरेंस गैप

समस्या विवरण

फिजिकल AI सिस्टम (रोबोट, स्वायत्त वाहन, एज कोपायलट) आमतौर पर एक सिंगल-स्ट्रीम, बैच-1 ऑटोरिग्रेसिव डिकोड (autoregressive decode) वर्कलोड के तहत संचालित होते हैं। क्लाउड सर्विंग के विपरीत, जो बड़े बैचों के माध्यम से थ्रूपुट को अनुकूलित करती है, फिजिकल AI एक एकल उपयोगकर्ता या एजेंट के लिए अगले टोकन का इंतजार करता है। प्रचलित उद्योग धारणा यह है कि यह वर्कलोड पूरी तरह से HBM-बैंडविड्थ-बाउंड (HBM-bandwidth-bound) है, जिसका अर्थ है कि लेटेंसी (latency) पीक मेमोरी बैंडविड्थ ( $B_{peak}$ ) के व्युत्क्रमानुपाती (inversely proportional) रूप से स्केल होती है। फलस्वरूप, डिप्लॉयमेंट लैडर (deployment ladder) को $L4 \to L40S \to A100 \to H100$ माना जाता है, जहाँ उच्च बैंडविड्थ सीधे तौर पर कम लेटेंसी और कम लागत-प्रति-टोकन प्रदान करती है।

यह शोध उस धारणा को चुनौती देता है, यह तर्क देते हुए कि फास्ट सिलिकॉन (जैसे H100) पर बैच-1 डिकोड के लिए, बॉटलनेक मेमोरी बैंडविड्थ से हटकर पर-कर्नेल CPU लॉन्च ओवरहेड (per-kernel CPU launch overhead) पर स्थानांतरित हो जाता है। लेखक तर्क देते हैं कि तेज़ मेमोरी, उच्च-बैंडविड्थ वाले GPU पर प्रोपोर्शनल लेटेंसी लाभ में परिवर्तित नहीं होती है क्योंकि हाई-बैंडविड्थ वाले GPU पर स्टेप टाइम (step time) का एक बड़ा हिस्सा कर्नेल लॉन्च करने की निश्चित लागत (fixed cost) बन जाता है, जबकि धीमे GPU वास्तव में बैंडविड्थ-बाउंड रहते हैं।

कार्यप्रणाली (Methodology)

यह अध्ययन एक नियंत्रित माप प्रयोग (controlled measurement experiment) है, न कि एक सैद्धांतिक मॉडल, जिसे चार NVIDIA GPU का उपयोग करके Modal क्लाउड होस्ट पर आयोजित किया गया है: H100 SXM5, A100-80GB SXM4, L40S, और L4।

वर्कलोड: तीन 7–8B पैरामीटर GQA ट्रांसफॉर्मर (Qwen-2.5-7B, Mistral-7B-v0.3, Llama-3.1-8B) bf16 वेट्स और SDPA अटेंशन के साथ।
स्कोप: 4 कॉन्टेक्स्ट लेंथ (2048 से 16384) और 4 GPU को कवर करने वाले 44 वैध सेल।
मेट्रिक्स:
- $R_{floor}$ : एनालिटिक मेमोरी फ्लोर ( $t_{floor} = (W+K)/B_{peak}$ ) और ऑब्जर्वड स्टेप टाइम ( $t_{obs}$ ) का अनुपात। 1.0 का मान पूर्ण बैंडविड्थ उपयोग को दर्शाता है।
- CUDA Graphs A/B टेस्ट: लॉन्च ओवरहेड को आइसोलेट करने के लिए "ईगर" (eager) निष्पादन बनाम "ग्राफेड" (graphed) निष्पादन (कैप्चर किया गया DAG रीप्ले) की तुलना करने वाला एक फाल्सिफिकेशन प्रयोग।
- सॉफ्टवेयर स्टैक मैट्रिक्स: विभिन्न अटेंशन बैकएंड्स (SDPA, FlashAttention-2/3, FlashInfer) और क्वांटाइजेशन पाथ्स (bf16, bnb-nf4, AutoAWQ+Marlin, GPTQ+ExLlamaV2) के बीच तुलना।

मुख्य परिणाम

1. इनवर्टेड कॉस्ट-पर-टोकन लैडर (Inverted Cost-Per-Token Ladder)

अध्ययन बैंडविड्थ उपयोग में एक स्पष्ट अंतर प्रकट करता है:

L4 (300 GB/s): पीक HBM बैंडविड्थ का ~81% प्राप्त करता है ( $R_{floor} \approx 0.81$ )। यह वर्कलोड वास्तव में मेमोरी-बाउंड है।
H100 (3350 GB/s): पीक HBM बैंडविड्थ का केवल ~27% प्राप्त करता है ( $R_{floor} \approx 0.27$ )।
निहितार्थ: H100 का L4 पर 11x बैंडविड्थ लाभ 11x स्पीडअप नहीं देता है। इसके बजाय, H10м H100 लॉन्च ओवरहेड द्वारा बाधित है, जबकि L4 मेमोरी ट्रैफिक द्वारा बाधित है।

2. CUDA Graphs फाल्सिफिकेशन टेस्ट

लेखकों ने CUDA Graphs के माध्यम से CPU लॉन्च ओवरहेड को हटाकर इस तंत्र को आइसोलेट किया:

H100 (ctx=2048) पर: CUDA Graphs ने लेटेंसी में 1.259× का सुधार किया (95% CI [1.253, 1.267])। यह पुष्टि करता है कि लॉन्च ओवरहेड स्टेप टाइम के लगभग 20% के लिए जिम्मेदार है।
L4 (ctx=2048) पर: उसी हस्तक्षेप से केवल 1.028× का सुधार हुआ।
निष्कर्ष: बैच-1 डिकोड के लिए H100 पर "लॉन्च टैक्स" (launch tax) मुख्य बाधा है, जबकि L4 पर बैंडविड्थ मुख्य बाधा है।

3. अटेंशन कर्नेल चयन

इस विश्वास के विपरीत कि FlashAttention वेरिएंट हमेशा बेहतर होते हैं:

H100 बैच-1 पर, PyTorch का डिफ़ॉल्ट SDPA डिस्पैचर (36.05 µs/layer) स्पष्ट FlashAttention-3 (79.25 µs), FlashInfer (48.20 µs), और यहाँ तक कि FlashAttention-2 कॉन्टेक्स्ट (44.35 µs) से बेहतर प्रदर्शन करता है।
मुख्य बाधा अटेंशन कर्नेल का थ्रूपुट नहीं, बल्कि कर्नेल लॉन्च का क्रम (sequence) है।

4. L4 पर क्वांटाइजेशन और कर्नेल कार्यान्वयन

बैंडविड्थ-बाउंड L4 पर, केवल क्वांटाइजेशन पर्याप्त नहीं है; कर्नेल कार्यान्वयन भी महत्वपूर्ण है:

bf16: 62.32 ms/step।
bnb-nf4: 59.36 ms/step (डीक्वांटाइजेशन ओवरहेड के कारण नगण्य लाभ)।
AutoAWQ + Marlin: 45.24 ms/step (1.38× स्पीडअप)। Marlin, Ampere (SM80) के लिए ट्यून किया गया है, Ada (SM89) के लिए नहीं।
GPTQ + ExLlamaV2: 17.36 ms/step (3.59× स्पीडअप)। ExLlamaV2 के कर्नेल Ada (SM89) के लिए ट्यून किए गए हैं, जो सैद्धांतिक बैंडविड्थ बचत को सफलतापूर्वक साकार करते हैं।
परिणाम: ExLlamaV2 के साथ एक L4 (17.36 ms) मानक ईगर निष्पादन (eager execution) के साथ H100 (14.83 ms) से काफी तेज है और CUDA Graphs का उपयोग करने वाले H100 (11.78 ms) के प्रतिस्पर्धी है, बावजूद इसके कि H100 के पास 11x पीक बैंडविड्थ है।

महत्व और दावे

पेपर का दावा है कि फिजिकल AI वर्कलोड के लिए मानक डिप्लॉयमेंट लैडर ( $L4 \to H100$ ) उल्टा (inverted) है:

लॉन्च ओवरहेड डोमिनेंस: छोटे कॉन्टेक्स्ट के साथ फास्ट GPU (H100) पर, प्रति कर्नेल CPU लॉन्च ओवरहेड स्टेप टाइम पर हावी हो जाता है, जिससे पीक मेमोरी बैंडविड्थ काफी हद तक अप्रासंगिक हो जाती है।
कर्नेल कार्यान्वयन > हार्डवेयर अपग्रेड: बैच-1 स्ट्रीमिंग डिकोड के लिए, कर्नेल कार्यान्वयन को अनुकूलित करना (जैसे, L4 पर ExLlamaV2 का उपयोग करना) उच्च-बैंडविड्थ वाले GPU में अपग्रेड करने की तुलना में अधिक लेटेंसी कमी लाता है।
लागत दक्षता: Modal की प्रकाशित दरों (मई 2026) पर, अनुकूलित कर्नेल्स के साथ एक L4, CUDA Graphs के साथ H100 की तुलना में लगभग 6x कम लागत पर टोकन सर्व करता है, भले ही H100 के पास बेहतर रॉ स्पेक्स हों।
स्कोप सीमा: लेखक स्पष्ट रूप से कहते हैं कि ये निष्कर्ष 7–8B GQA ट्रांसफॉर्मर्स, batch-1, bf16, और single-stream decode पर लागू होते हैं। वे यह दावा नहीं करते हैं कि ये परिणाम बड़े बैचों (जहाँ लॉन्च टैक्स कम हो जाता है), विभिन्न आर्किटेक्चर (MHA/MQA), या अन्य हार्डवेयर (AMD, Blackwell) पर सामान्य होंगे।

पेपर निष्कर्ष निकालता है कि फिजिकल AI इन्फरेंस के लिए, "मेमोरी-बाउंड" लेबल अधूरा है; सिस्टम अक्सर हाई-एंड सिलिकॉन पर लॉंच-बाउंड (launch-bound) और एज सिलिकॉन पर बैंडविड्थ-बाउंड (bandwidth-bound) होता है, जिसके लिए केवल हार्डवेयर अपग्रेड के बजाय अलग-अलग ऑप्टिमाइजेशन लीवर्स (जैसे CUDA Graphs बनाम विशेष कर्नेल) की आवश्यकता होती है।