Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs

तकनीकी सारांश: ऑन-डिवाइस LLMs के लिए रूफ़लाइन मॉडलिंग के माध्यम से हार्डवेयर को-डिज़ाइन स्केलिंग लॉज़

1. समस्या विवरण (Problem Statement)

संसाधन-सीमित एज डिवाइसेस (जैसे कि स्वायत्त वाहन, रोबोट और मोबाइल डिवाइस) पर लार्ज लैंग्वेज मॉडल्स (LLMs) की तैनाती, मॉडल सटीकता (model accuracy) और अनुमान दक्षता (inference efficiency) के बीच एक मौलिक तनाव प्रस्तुत करती है। पारंपरिक LLM आर्किटेक्चर उच्च-थ्रूपुट क्लाउड GPUs के लिए अनुकूलित होते हैं, लेकिन ऑन-डिवाइस प्लेटफॉर्म्स मेमोरी बैंडविड्थ, पीक कंप्यूट और कुल मेमोरी क्षमता जैसे सख्त प्रतिबंधों का सामना करते हैं।

मौजूदा न्यूरल आर्किटेक्चर सर्च (NAS) विधियाँ अक्सर विशिष्ट हार्डवेयर-सॉफ्टवेयर अंतर्संबंधों पर विचार किए बिना एकल उद्देश्य (जैसे कि वैलिडेशन लॉस) के लिए अनुकूलित होती हैं। फलस्वरूप, एक मॉडल जो मापदंडों (parameters) के संदर्भ में "इष्टतम" हो सकता है, वह किसी विशिष्ट SoC (System-on-Chip) पर उच्च विलंबता (latency) या मेमोरी फुटप्रिंट के कारण अनुपयोगी हो सकता है। एक ऐसे सिद्धांतों वाले ढांचे (framework) का अभाव है जो संयुक्त रूप से यह मॉडल कर सके कि आर्किटेक्चरल हाइपरपैरामीटर्स (गहराई, चौड़ाई, स्पर्सिटी आदि) हार्डवेयर विशेषताओं (रूफ़लाइन सीमाओं) के साथ कैसे परस्पर क्रिया करते हैं ताकि सटीकता-विलंबता (accuracy-latency) पारेटो फ्रंटियर निर्धारित किया जा सके।

2. कार्यप्रणाली (Methodology)

लेखक एक हार्डवेयर को-डिज़ाइन स्केलिंग लॉ (Hardware Co-Design Scaling Law) फ्रेमवर्क प्रस्तावित करते हैं जो दो अलग-अलग मॉडलिंग डोमेन को एकीकृत करता है:

• प्रिसिजन मॉडलिंग (लॉस स्केलिंग लॉज़): प्रत्येक उम्मीदवार आर्किटेक्चर को प्रशिक्षित करने के बजाय, लेखक वैलिडेशन लॉस $\hat{L}(\theta)$ को आर्किटेक्चरल हाइपरपैरामीटर्स (गहराई $l$, चौड़ाई $d$, FFN एक्सपेंशन रेश्यो $r$, MoE एक्टिवेशन रेट $\rho$, और GQA रेश्यो) के एक स्पष्ट विश्लेणात्मक फलन (analytical function) के रूप में मॉडल करते हैं। वे इसे 170 विविध आर्किटेक्चर (डेंस और MoE) को 10B टोकन के लिए प्रशिक्षित करके प्राप्त एक बहुपद सन्निकटन (polynomial approximation) का उपयोग करके अनुभवजन्य रूप से फिट करते हैं।
• परफॉरमेंस मॉडलिंग (रूफ़लाइन-आधारित विलंबता): लेखक अनुमान विलंबता (inference latency) को चरित्रित करने के लिए रूफ़लाइन मॉडल (Roofline Model) का उपयोग करते हैं। वे उनके अंकगणितीय तीव्रता (arithmetic intensity) के आधार पर ऑपरेटरों को या तो कंप्यूट-बाउंड या मेमोरी-बाउंड के रूप में वर्गीकृत करते हैं। वे दोनों चरणों के लिए गणितीय अभिव्यक्तियों को व्युत्पन्न करते हैं: प्रीफिल चरण (Prefill phase) (कंप्यूट-बाउंड, $O(S^2)$ जटिलता) और डिकोड चरण (Decode phase) (मेमोरी-बैंडविड्थ-बाउंड, $O(S)$ जटिलता), जिसमें KV-कैश का प्रभाव भी शामिल है।
• पारेटो-ऑप्टिमल आर्किटेक्चर सर्च (PLAS): लॉस मॉडल को विलंबता मॉडल के साथ जोड़कर, यह फ्रेमवर्क पारेटो फ्रंटियर (Pareto frontier) की पहचान करता है—उन आर्किटेक्चरों का समूह जो किसी भी दिए गए विलंबता बजट के लिए न्यूनतम संभव लॉस प्रदान करते हैं।
• सैद्धांतिक अनुकूलन (Theoretical Optimization): लेखक अपने अनुभवजन्य निष्कर्षों को एक औपचारिक गणितीय ढांचे में विस्तारित करते हैं, जिससे आर्किटेक्चर सर्च को एक प्रतिबन्धित अनुकूलन समस्या (constrained optimization problem) के रूप में प्रस्तुत किया जाता है। वे विभिन्न हार्डवेयर व्यवस्थाओं के लिए इष्टतम मापदंडों के क्लोज्ड-फॉर्म समाधान व्युत्पन्न करते हैं: विलंबता-प्रतिबंधित (Latency-constrained), मेमोरी-प्रतिबंधित (Memory-constrained), और दोहरे-प्रतिबंधित (Dual-constrained)।

3. मुख्य योगदान (Key Contributions)

• प्रथम सिद्धांत आधारित को-डिज़ाइन लॉ: यह पेपर एक ऐसा परिचालन ढांचा पेश करता है जो हार्डवेयर बाधाओं और मॉडल स्केलिंग को ऑन-डिवाइस LLMs के लिए एक एकीकृत अनुकूलन समस्या के रूप में मानता है।
• आर्किटेक्चर के लिए अनुभवजन्य स्केलिंग लॉ: एक उच्च-सटीकता वाला लॉस प्रेडिक्शन मॉडल जो यह कैप्चर करता है कि स्पर्सिटी (MoE) और चौड़ाई/गहराई के बीच ट्रेड-ऑफ मॉडल की गुणवत्ता को कैसे प्रभावित करते हैं।
• हार्डवेयर-जागरूक डिज़ाइन सिद्धांत: एज डिप्लॉयमेंट के लिए विशिष्ट "नियमों" का व्युत्पन्न, जैसे कि विड्थ-स्पर्सिटी स्केलिंग लॉ ($\rho^* \propto d^{(\beta_1-\beta_2)/\alpha_\rho}$), जो यह निर्धारित करता है कि मेमोरी बाधाओं के तहत स्पर्सिटी को चौड़ाई के साथ कैसे स्केल किया जाना चाहिए।
• महत्वपूर्ण दक्षता लाभ: यह फ्रेमवर्क आर्किटेक्चर चयन की प्रक्रिया को महीनों के मैनुअल ट्यूनिंग/प्रशिक्षण से घटाकर केवल कुछ दिनों के सैद्धांतिक पूर्वानुमान और सत्यापन तक कम कर देता है।

4. मुख्य परिणाम और निष्कर्ष (Key Results and Findings)

• MoE का प्रभुत्व: एज डिवाइसेस के लिए विशिष्ट बैच-साइज-1 बाधा के तहत, Mixture-of-Experts (MoE) आर्किटेक्चर 100% पारेटो-ऑप्टिमल कॉन्फ़िगरेशन हैं। वे डेंस मॉडल्स के समान प्रति-टोकन कंप्यूट लागत के साथ उच्च क्षमता प्रदान करते हैं।
• "वाइड-एंड-शैलो" प्राथमिकता: क्लाउड मॉडल्स के विपरीत जो गहराई (depth) को प्राथमिकता देते हैं, इष्टतम ऑन-डिवाइस मॉडल्स अपेक्षाकृत उथले (आमतौर पर <20 लेयर्स) और चौड़े (wide) होते हैं। सख्त बाधाओं के तहत चौड़ाई, गहराई की तुलना में प्रति इकाई विलंबता अधिक कुशल लॉस रिडक्शन प्रदान करती है।
• चरण-विशिष्ट अनुकूलन:
  • प्रीफिल-अनुकूलित (Prefill-optimized) मॉडल्स कम विशेषज्ञों और बड़े GQA रेश्यो को प्राथमिकता देते हैं।
  • डिकोड-अनुकूलित (Decode-optimized) मॉडल्स अधिक विशेषज्ञों को प्राथमिकता देते हैं क्योंकि विशेषज्ञ पूल को बढ़ाने से प्रति-टोकन डिकोड विलंबता पर नगण्य प्रभाव पड़ता है, जिससे क्षमता अधिकतम होती है।
• अनुभवजन्य सत्यापन: NVIDIA Jetson Orin पर, एक को-डिज़ाइन आर्किटेक्चर ने समान अनुमान विलंबता बनाए रखते हुए Qwen2.5-0.5B की तुलना में WikiText-2 पर 19.42% कम परप्लेक्सिटी (perplexity) प्राप्त की।
• क्वांटाइजेशन का प्रभाव: INT8 क्वांटाइजेशन पारेटो फ्रंटियर को कम विलंबता की ओर स्थानांतरित करता है, हालांकि नॉन-लीनियर ऑपरेशंस (softmax, layer norm) के ओवरहेड के कारण लाभ उप-रैखिक (sub-linear) रहते हैं जो उच्च परिशुद्धता में बने रहते हैं।

5. महत्व (Significance)

यह कार्य फिजिकल AI (Physical AI) और एम्बॉडीड AI (Embodied AI) के क्षेत्र के लिए अत्यंत महत्वपूर्ण है। जैसे-जैसे LLMs डेटा सेंटरों से स्वायत्त प्रणालियों की ओर बढ़ रहे हैं, "हार्डवेयर-नेटिव" मॉडल को तेजी से डिजाइन करने की क्षमता महत्वपूर्ण हो जाती है। ट्रांसफार्मर आर्किटेक्चर और रूफ़लाइन मॉडल के बीच एक गणितीय सेतु प्रदान करके, लेखक इंजीनियरों को विशिष्ट हार्डवेयर बजट के लिए अनुकूलित अत्यधिक कुशल, उच्च-प्रदर्शन वाले मॉडल डिजाइन करने में सक्षम बनाते हैं, जिससे वास्तविक दुनिया के संसाधन-सीमित वातावरण में इंटेलिजेंट एजेंटों की तैनाती में तेजी आती है।