🤖 machine learning

LLMForge: Multi-Backend Hardware-Aware Neural Architecture Search with Infinite-Head Attention for Edge Language Models

LLMForge एक हार्डवेयर-जागरूक न्यूरल आर्किटेक्चर सर्च फ्रेमवर्क है जो विशिष्ट एज डिवाइस बाधाओं के अनुरूप अनुकूलित सब-बिलियन-पैरामीटर लैंग्वेज मॉडल्स को स्वचालित रूप से उत्पन्न करने के लिए इनफिनिट-हेड अटेंशन और एक मल्टी-बैकएंड कॉस्ट मॉडल का लाभ उठाता है, जो मौजूदा बेसलाइनों की तुलना में ऊर्जा दक्षता, लेटेंसी और मॉडल सटीकता में महत्वपूर्ण सुधार प्राप्त करता है।

मूल लेखक: Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक आदर्श, नन्हा रोबोट मस्तिष्क बनाने की कोशिश कर रहे हैं जो आपके स्मार्टफोन या स्मार्टवॉच पर चल सके। आप इसे इतना समझदार बनाना चाहते हैं कि यह भाषा को समझ सके, लेकिन इतना छोटा भी कि यह आपकी जेब में समा जाए बिना बैटरी खत्म किए या फोन को गर्म किए।

समस्या यह है कि इन "मस्तिष्क" के लिए मानक "ब्लूप्रिंट" (जिन्हें ट्रांसफॉर्मर कहा जाता है) विशाल सुपरकंप्यूटरों के लिए बनाए गए थे। जब आप इन्हें एज डिवाइसेज (edge devices) के लिए सिकोड़ने की कोशिश करते हैं, तो वे अक्सर ट्रैफिक जाम में फंस जाते हैं, मेमोरी खत्म कर देते हैं, या बहुत अधिक ऊर्जा खा जाते हैं।

LLMForge एक नया टूल है जिसे शोधकर्ताओं द्वारा हल करने के लिए बनाया गया है। इसे एक अति-बुद्धिमान, हार्डवेयर-जागरूक आर्किटेक्ट के रूप में समझें जो केवल मस्तिष्क को सिकोड़ता नहीं है; बल्कि उस विशिष्ट "धरातल" के आधार पर ब्लूप्रिंट को पूरी तरह से फिर से डिजाइन करता है जिस पर वह डिवाइस रहेगा।

यहाँ बताया गया है कि LLMForge कैसे काम करता है, जिसे तीन सरल भागों में विभाजित किया गया है:

1. द इनफिनिट-हेड अटेंशन (IHA): नियमों को तोड़ना

पारंपरिक रोबोट मस्तिष्क के पास एक कठोर नियम पुस्तिका होती है। यदि आप "सोचने वाले सिरों" (प्रोसेसर जो वाक्य के विभिन्न हिस्सों को देखते हैं) की संख्या बढ़ाना चाहते हैं, तो आपको प्रत्येक सिर को छोटा करना पड़ता है। यह एक पिज्जा की तरह है: यदि आप इसे अधिक स्लाइस में काटते हैं, तो हर स्लाइस छोटी हो जाती है। यह मस्तिष्क की बुद्धिमत्ता को सीमित करता है।

LLMForge का नवाचार: यह कठोर नियम पुस्तिका को फेंक देता है। इनफिनिट-हेड अटेंशन के साथ, आर्किटेक्ट मस्तिष्क के हर एक लेयर (परत) के लिए स्वतंत्र रूप से स्लाइस की संख्या, स्लाइस का आकार और टॉपिंग का प्रकार बदल सकता है।

उपमा: कल्पना कीजिए कि एक निर्माण दल (construction crew) जो आमतौर पर समान आकार के कमरे बनाने के लिए बाध्य होता है। LLMForge उन्हें एक जादुई उपकरण देता है जो उन्हें एक ही फ्लोर प्लान के भीतर एक विशाल बॉलरूम के बगल में एक छोटा सा क्लोजेट, फिर एक मध्यम कार्यालय बनाने की अनुमति देता है। यह संभावित ब्लूप्रिंट्स की संख्या को 400 गुना तक बढ़ाता है, जिससे वे एक विशिष्ट डिवाइस की सीमाओं में फिट होने वाला आकार ढूंढ पाते हैं।

2. फोर्ज-फॉर्मर (Forge-Former): द क्रिस्टल बॉल

एक नया मस्तिष्क ब्लूप्रिंट बनाना और उसका परीक्षण करना महंगा और धीमा है। यह एक केक बनाने और फिर यह देखने के लिए कि क्या रेसिपी काम करती है, उसे फेंक देने जैसा है। यदि आपके पास परीक्षण करने के लिए हजारों रेसिपी हैं, तो आप दिवालिया हो जाएंगे।

LLMForge का समाधान: उन्होंने एक क्रिस्टल बॉल बनाया है जिसे फोर्ज-फॉर्मर कहा जाता है।

यह कैसे काम करता है: हर एक केक बनाने के बजाय, क्रिस्टल बॉल रेसिपी (ब्लूप्रिंट) को देखता है और भविष्यवाणी करता है कि केक का स्वाद वास्तव में कितना अच्छा होगा (मॉडल कितना स्मार्ट होगा) और यह कितनी ऊर्जा का उपयोग करेगा।
परिणाम: यह क्रिस्टल बॉल पिछले "अनुमान लगाने" वाले टूल्स की तुलना में बहुत अधिक सटीक है। यह सिस्टम को परीक्षण करने में लगने वाले समय और ऊर्जा की भारी बचत करते हुए, बहुत कम समय में हजारों डिजाइनों का परीक्षण करने की अनुमति देता है।

3. फोर्ज-डीएसई (Forge-DSE): द मल्टी-टूल नेविगेटर

अलग-अलग डिवाइसों की अलग-अलग समस्याएं होती हैं। एक उच्च श्रेणी का ग्राफिक्स कार्ड (GPU) डेटा को कितनी तेजी से स्थानांतरित किया जा सकता है, इससे सीमित हो सकता है, जबकि एक स्मार्टवॉच में लगा छोटा चिप इस बात से सीमित हो सकता है कि वह कितनी गर्मी पैदा कर सकता है। एक डिज़ाइन जो एक के लिए उत्तम है, वह दूसरे के लिए बुरा हो सकता है।

LLMForge का दृष्टिकोण: Forge-DSE इंजन एक मल्टी-टूल वाले नेविगेटर के रूप में कार्य करता है।

यह केवल "सबसे स्मार्ट" मॉडल की तलाश नहीं करता है। यह स्मार्ट होने, तेज़ होने और ऊर्जा-कुशल होने के बीच सबसे अच्छे संतुलन (एक "पारेटो फ्रंट") की तलाश करता है।
यह डिजाइनों का परीक्षण चार अलग-अलग प्रकार के हार्डवेयर (जैसे एक हाई-स्पीड GPU, एक विशेष चिप और एक रिंग-आकार की चिप) के विरुद्ध करता है।
परिणाम: सिस्टम यह महसूस करता है कि "एक ही आकार सबके लिए सही नहीं है।" यह प्रत्येक डिवाइस के लिए अलग, अद्वितीय ब्लूप्रिंट बनाता है।
- स्पीड-केंद्रित डिवाइस के लिए, यह एक मस्तिष्क बनाता है जो चौड़ा और उथला (wide and shallow) होता है।
- ऊर्जा-केंद्रित डिवाइस के लिए, यह एक मस्तिष्क बनाता है जो गहरा और संकरा (deep and narrow) होता है।

परिणाम: वास्तविक दुनिया की जीत

शोधकर्ताओं ने दो आकारों के मॉडलों (लगभग 100 मिलियन और 300 मिलियन पैरामीटर्स) पर इस सिस्टम का परीक्षण किया और इसकी तुलना SmolLM2 और Qwen जैसे मौजूदा लोकप्रिय मॉडलों से की।

"एक्यूरेसी" मॉडल: उनके नए डिजाइनों में से एक अपने प्रतिस्पर्धियों की तुलना में अधिक स्मार्ट था (कम त्रुटि दर), भले ही इसमें कम पैरामीटर्स (यह छोटा था) थे।
"एनर्जी" मॉडल: एक अन्य डिज़ाइन ने मानक मॉडलों की तुलना में प्रति शब्द उत्पन्न करने में 40% कम ऊर्जा का उपयोग किया।
"स्पीड" मॉडल: एक तीसरा डिज़ाइन बोलने शुरू करने (Time-to-First-Token) और वाक्य पूरा करने में 43% तेज़ था।

सारांश

LLMForge एक ऐसा सिस्टम है जो हर डिवाइस पर एक "एक ही आकार सबके लिए उपयुक्त" (one-size-fits-all) मस्तिष्क थोपने की कोशिश करना बंद कर देता है। इसके बजाय, यह एक लचीली डिज़ाइन भाषा, एक तेज़ भविष्यवाणी करने वाली क्रिस्टल बॉल और एक स्मार्ट नेविगेटर का उपयोग करके प्रत्येक विशिष्ट हार्डवेयर के लिए एक कस्टम मस्तिष्क तैयार करता है। परिणाम स्वरूप, छोटे, तेज़ और अधिक ऊर्जा-कुशल AI मिलते हैं जो वास्तव में आपकी जेब में फिट होते हैं।

तकनीकी सारांश: LLMForge

समस्या विवरण

सब-बिलियन-पैरामीटर ट्रांसफॉर्मर भाषा मॉडल गोपनीयता, विलंबता (latency), और लागत के लाभों का लाभ उठाने के लिए एज डिवाइसेस पर तेजी से तैनात किए जा रहे हैं। हालांकि, ऑन-डिवाइस इन्फरेंस (inference) सीमित मेमोरी बैंडविड्थ, ऊर्जा, और थर्मल बजट द्वारा बाधित होता है। मौजूदा दृष्टिकोण अक्सर पोस्ट-ट्रेनिंग कंप्रेशन (क्वांटाइजेशन, प्रूनिंग) पर निर्भर करते हैं, जो अंतर्निहित आर्किटेक्चरल स्वतंत्रता (degrees of freedom) को अनछुआ छोड़ देते हैं। इसके अलावा, वर्तमान हार्डवेयर-अवेयर न्यूरल आर्किटेक्चर सर्च (NAS) पाइपलाइन्स ट्रांसफॉर्मर्स के लिए तीन सीमाओं से ग्रस्त हैं:

प्रतिबंधित सर्च स्पेस (Restricted Search Space): अटेंशन पैरामीट्रिज़ेशन अक्सर प्रति-हेड आयामों (per-head dimensions) को स्थिर कर देता है और की/वैल्यू (key/value) क्षमताओं को बांध देता है, जिससे संभव आकार कॉन्फ़िगरेशन को केवल एक ही हेड-काउंट विकल्प तक सीमित कर दिया जाता है।
मूल्यांकन बाधा (Evaluation Bottleneck): उम्मीदवारों का मूल्यांकन करने के लिए स्क्रैच से प्रशिक्षण देना कम्प्यूटेशनल रूप से महंगा है।
मोटा कॉस्ट मॉडलिंग (Coarse Cost Modeling): हार्डवेयर लागतों को अक्सर एकल एक्सीलरेटर क्लास या मोटे प्रॉक्सी (जैसे, पैरामीटर काउंट) के माध्यम से मॉडल किया जाता है, जो उम्मीदवारों के सबस्ट्रेट-डिपेंडेंट री-रैंकिंग को छिपा देता है।

कार्यप्रणाली (Methodology)

लेखक LLMForge प्रस्तुत करते हैं, जो एक हार्डवेयर-अवेयर NAS फ्रेमवर्क है जो एक एकल NSGA-II इवोल्यूशनरी सर्च लूप में तीन कंपोजेबल योगदानों को एकीकृत करता है।

1. इनफिनिट-हेड अटेंशन (Infinite-Head Attention - IHA)

IHA अटेंशन शेप पैरामीटर्स ( $n_h$ , $n_{kv}$ , $d_{qk}$ , $d_v$ ) को स्वतंत्र प्रति-लेयर वेरिएबल्स के रूप में अलग करता है। मानक मल्टी-हेड अटेंशन (MHA) या ग्रुपड-क्वेरी अटेंशन (GQA) के विपरीत, जो विभाज्यता बाधाओं ( $d_{model} = n_h \cdot d_h$ ) और Q/K–V कपलिंग ( $d_h = d_{qk} = d_v$ ) को लागू करते हैं, IHA इन बाधाओं को शिथिल करता है। यह केवल GQA ग्रुपिंग कंडीशन ( $n_{kv} | n_h$ ) को सुरक्षित रखता है।

प्रभाव: यह प्रति-लेयर अटेंशन कॉन्फ़िगरेशन स्पेस को लगभग 400× विस्तृत करता है (GQA के तहत 27 कॉन्फ़िगरेशन से IHA के तहत 11,250 तक, परिभाषित सर्च रेंज के भीतर)।

2. फोर्ज-फॉर्मर (Forge-Former - एक एक्यूरेसी सरोगेट)

मूल्यांकन बाधा को संबोधित करने के लिए, लेखक एक ट्रांसफॉर्मर-एनकोडर-आधारित सरोगेट मॉडल, Forge-Former पेश करते हैं।

आर्किटेक्चर: यह एक आर्किटेक्चर को लेयर टोकन्स के अनुक्रम के रूप में एनकोड करता है, जहाँ प्रत्येक टोकन उस लेयर के IHA पैरामीटर्स को जोड़ता है। स्केलर फील्ड्स को लीनियर लेयर्स के माध्यम से लिफ्ट किया जाता है और पोजीशनल एम्बेडिंग्स के साथ जोड़ा जाता है। एक प्री-LN ट्रांसफॉर्मर एनकोडर इन-लेयर इंटरैक्शन (फीडफॉरवर्ड सबलेयर्स के माध्यम से) और क्रॉस-लेयर इंटरैक्शन (सेल्फ-अटेंशन के माध्यम से) को कैप्चर करता है।
प्रदर्शन: IHA टेस्ट स्प्लिट पर, Forge-Former स्पीयरमैन $\rho = 0.75$ और केंडल $\tau = 0.58$ प्राप्त करता है, जो MLP और रैंडम-फॉरेस्ट बेसलाइन्स से 1.4 से 2.5× बेहतर है। यह स्क्रैच से प्रशिक्षण देने की लागत के एक अंश में NSGA-II चयन को सक्षम बनाता है।

3. फोर्ज-DSE (Design-Space-Exploration Engine)

Forge-DSE एक मल्टी-ऑब्जेक्टिव सर्च इंजन है जो Forge-Former को एक मल्टी-बैकएंड हार्डवेयर कॉस्ट मॉडल के साथ जोड़ता है।

सर्च लूप: यह नॉन-डोमिनेटेड सॉर्टिंग और क्राउडिंग-डिस्टेंस सर्वाइवल के साथ NSGA-II का उपयोग करके IHA-पैरामीटराइज्ड आर्किटेक्चर की आबादी को विकसित करता है। यह कस्टम म्यूटेशन ऑपरेटर्स (डिलीशन, डुप्लीकेशन, रोटेशन, न्यूमेरिकल परटर्बेशन) और एक फिजिबिलिटी रिपेयर स्टेप का उपयोग करता है।
सरोगेट को-इवोल्यूशन: फ्रेमवर्क वर्तमान आबादी से सूचनात्मक नमूनों को वास्तविक रूप से प्रशिक्षित करके और एक्सपीरियंस रिप्ले के माध्यम से सरोगेट को फाइन-ट्यून करके, वितरण शिफ्ट (distribution shift) को ठीक करते हुए, सर्च के दौरान Forge-Former को वैकल्पिक रूप से परिष्कृत करता है।
हार्डवेयर बैकएंड: सिस्टम तीन अलग-अलग बैकएंड का समर्थन करता है:
1. Backend A: ZEUS का उपयोग करके NVIDIA A100 GPU पर मापी गई लागत।
2. Backend B: सिस्टोलिक (Gemmini), रो-स्टेशनरी (Eyeriss), और फ्यूज्ड-अटेंशन (FLAT) डेटाफ्लो के माध्यम से Timeloop द्वारा विश्लेषणात्मक लागत।
3. Backend C: एज एक्सीलरेटर्स के लिए एक मल्टी-चिप रिंग-डेटाफ्लो सिम्युलेटर (rDXE), जो आर्किटेक्चर-और-चिप को-सर्च का संयुक्त प्रदर्शन करता है।

मुख्य परिणाम

सरोगेट वैलिडेशन

IHA डेटासेट पर, Forge-Former रैंकिंग फिडेलिटी और टॉप-X% रिकवरी में बेसलाइन्स से काफी बेहतर प्रदर्शन करता है। यह MLP और रैंडम फॉरेस्ट बेसलाइन्स की तुलना में टॉप 5% आर्किटेक्चर के लिए मीन एब्सोल्यूट एरर (MAE) को लगभग 5× कम कर देता है। t-SNE विश्लेषण पुष्टि करता है कि Forge-Former एम्बेडिंग्स प्रदर्शन समानता को बेहतर ढंग से दर्शाते हैं, और हाई-लॉस टेल्स को कसकर क्लस्टर करते हैं।

मल्टी-बैकएंड सर्च प्रदर्शन

चार हार्डवेयर सबस्ट्रेट्स (A100, Gemmini, Eyeriss, FLAT) में, सर्च विशिष्ट सबस्ट्रेट के कॉस्ट बॉटलनैक्स को ट्रैक करने वाले अलग-अलग पारेटो-फ्रंट आर्किटेक्चर की ओर अभिसरित (converge) होते हैं:

A100 (बैंडविड्थ-रिच): फ्लैट MLP विड्थ और सबसे चौड़े अटेंशन हेड्स का परिणाम देता है।
Eyeriss/Gemmini (KV-कैश बाउंड): $n_{kv}$ को आक्रामक ग्रुपड-क्वेरी अटेंशन में समाहित करता है और वाइडर MLP क्षमता के साथ इसकी भरपाई करता है।
FLAT (फ्लेक्सिबल): सबसे छोटा मॉडल बनाता है जिसमें कम गहराई (shallow depth) और संकीर्ण हेड्स होते हैं।
सुधार: SmolLM2-135M बेसलाइन की तुलना में, सर्च वैलिडेशन लॉस में 5-7%, प्रति टोकन ऊर्जा में 16-63%, और लेटेंसी मेट्रिक्स (TTFT/TPOT) में 16-59% की कमी लाता है।

rDXE पर स्केल्ड वैलिडेशन

लेखकों ने rDXE मल्टी-चिप रिंग सबस्ट्रेट पर संयुक्त आर्किटेक्चर-और-चिप को-सर्च किया, जिसमें चयनित उम्मीदवारों को SmolLM2 और Qwen बेसलाइन्स के विरुद्ध FineWeb-Edu-10BT (13.1B टोकन) पर फिर से प्रशिक्षित किया गया:

एक्यूरेसी वेरिएंट (347M params): इसने SmolLM2-360M और Qwen-0.5B से कम पैरामीटर्स के साथ सबसे कम वैलिडेशन लॉस (2.798) और प्रतिस्पर्धी बेंचमार्क प्रदर्शन हासिल किया।
एनर्जी वेरिएंट (294M params): प्रति टोकन ऊर्जा को 40% कम किया।
लेटेंसी वेरिएंट (365M params): टाइम-टू-फर्स्ट-टोकन (TTFT) और टाइम-पर-आउटपुट-टोकन (TPOT) में 43% की कमी की।

महत्व और दावे

पेपर का दावा है कि LLMForge यह प्रदर्शित करता है कि हार्डवेयर-अवेयर NAS एक एकल "सर्वश्रेष्ठ" आर्किटेक्चर के बजाय सबस्ट्रेट-कंडीशन्ड पारेटो फ्रंट्स उत्पन्न कर सकता है। IHA के माध्यम से अटेंशन पैरामीटर्स को अलग करके और एक हाई-फिडेलिटी एनकोडर-आधारित सरोगेट का उपयोग करके, फ्रेमवर्क विशिष्ट हार्डवेयर बॉटलनैक्स से मेल खाने के लिए प्रति-लेयर विड्थ और डेप्थ प्रोफाइल को प्रभावी ढंग से नया आकार देता है।

लेखक LLMForge को एक मेथोडोलॉजिकल योगदान के रूप में देखते हैं जो डिप्लॉयमेंट-अवेयर आर्किटेक्चर-एंड-चिप कॉन्फ़िगरेशन पेयर्स की खोज को सक्षम बनाता है। वे नोट करते हैं कि हालांकि ऊर्जा और लेटेंसी में कमी मामूली है, लेकिन यह मुख्य रूप से बार-बार होने वाले एज इन्फरेंस के ऑपरेटिंग कॉस्ट और कार्बन प्रोफाइल को लाभ पहुँचाती है। यह कार्य सरोगेट के लिए प्रशिक्षण कॉर्पस उत्पन्न करने की कम्प्यूटेशनल लागत के कारण सब-बिलियन-पैरामीटर स्केल ( $\le$ 500M) तक सीमित है, और बिलियन-पैरामीटर मॉडल तक स्केलिंग को भविष्य का कदम बताया गया है।