Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

कल्पना कीजिए कि आपके पास एक शानदार, सुपर-स्मार्ट रोबोट दिमाग (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो कहानियाँ लिख सकता है, समस्याओं को हल कर सकता है और सवालों के जवाब दे सकता है। आमतौर पर, यह दिमाग दूर स्थित एक विशाल, महंगे डेटा सेंटर में रहता है जिसे "क्लाउड" कहा जाता है। इसका उपयोग करने के लिए, आपको इंटरनेट के माध्यम से अपने सवाल भेजने होते हैं और जवाब का इंतज़ार करना पड़ता है।

लेकिन क्या होगा यदि आप ऐसी जगह पर हों जहाँ इंटरनेट न हो, या जहाँ डेटा बाहर भेजना सुरक्षा के लिए जोखिम भरा हो (जैसे कि कोई गुप्त सैन्य अड्डा या रिमोट ड्रोन)? आपको उस दिमाग की ज़रूरत वहीं अपने पास चाहिए, एक छोटे, सस्ते कंप्यूटर पर। इसे "एज कंप्यूटिंग" (Edge Computing) कहा जाता है।

यह पेपर एक लोकल रोबोट ब्रेन बनाने के लिए शॉपिंग गाइड की तरह है। लेखकों ने यह देखने के लिए चार अलग-अलग छोटे कंप्यूटरों (सिंगल-बोर्ड कंप्यूटर्स) का परीक्षण किया कि कौन सा कंप्यूटर इन स्मार्ट ब्रेन्स को चलाने के लिए सबसे अच्छा है, बिना किसी विशाल पावर प्लांट या उन्हें ले जाने के लिए बड़े सूटकेस की आवश्यकता के।

यहाँ बताया गया है कि उन्होंने यह कैसे किया और उन्हें क्या मिला, सरल उपमाओं (analogies) का उपयोग करते हुए:

समस्या: "क्लाउड" बनाम "बैकपैक"

क्लाउड में स्मार्ट ब्रेन चलाना शहर के दूसरे छोर पर स्थित एक रेस्टोरेंट से पिज्जा ऑर्डर करने जैसा है। यह तब बहुत अच्छा है जब आपके पास एक तेज़ सड़क (इंटरनेट) हो, लेकिन अगर सड़क बंद हो, या यदि आप डिलीवरी ड्राइवर को अपना गुप्त पता नहीं दिखाना चाहते (गोपनीयता), तो आप फंस जाते हैं।

लेखक जानना चाहते थे: क्या हम अपने खुद के किचन में पिज्जा बना सकते हैं?
उन्होंने हाथ में आने वाले (या उससे भी छोटे) चार अलग-अलग "ओवन" (हार्डवेयर सेटअप) का परीक्षण किया ताकि यह देखा जा सके कि क्या वे इन स्मार्ट ब्रेन्स को उपयोगी होने के लिए पर्याप्त तेज़ी से चला सकते हैं।

टेस्ट किचन: चार अलग-अलग "ओवन"

शोधकर्ताओं ने पिज्जा बनाने के लिए (AI चलाने के लिए) चार अलग-अलग "ओवन" (हार्डवेयर सेटअप) तैयार किए:

1. द टाइनी ब्रिक (M5Stack): एक छोटा, क्रेडिट कार्ड के आकार का कंप्यूटर जिसमें एक विशेष सहायक चिप (NPUs) पहले से ही बनी हुई है। यह एक छोटी माचिस की डिब्बी के आकार का है।
2. द स्टैंडर्ड बोर्ड (Raspberry Pi 5): एक लोकप्रिय, किफायती कंप्यूटर बोर्ड, लेकिन यह सब कुछ केवल अपने मुख्य दिमाग (CPU) के साथ करने की कोशिश करता है।
3. द अपग्रेडेड बोर्ड (Raspberry Pi 5 + HAT): वही स्टैंडर्ड बोर्ड, लेकिन इसके साथ एक विशेष "स्पीड बूस्टर" कार्ड (Hailo NPU) लगा हुआ है।
4. द पावरहाउस (Jetson Orin Nano): एक अधिक महंगा, शक्तिशाली बोर्ड जिसमें एक हाई-एंड ग्राफिक्स कार्ड (GPU) पहले से ही लगा हुआ है।

सफलता को मापने का नया तरीका

आमतौर पर, लोग बस पूछते हैं: "यह कितना तेज़ है?" (टोकन्स प्रति सेकंड)। लेकिन लेखकों ने महसूस किया कि छोटे, पोर्टेबल उपकरणों के लिए, केवल गति ही एकमात्र चीज़ नहीं है जो मायने रखती है। उन्होंने सफलता को मापने के दो नए तरीके पेश किए:

• "सूटकेस डेंसिटी" टेस्ट (थ्रूपुट डेंसिटी):
  कल्पना कीजिए कि आप हाइकिंग ट्रिप के लिए पैकिंग कर रहे हैं। आप केवल सबसे शक्तिशाली टेंट नहीं चाहते; आप वह सबसे शक्तिशाली टेंट चाहते हैं जो आपके सबसे छोटे बैकपैक में फिट हो सके। लेखों ने मापा कि एक डिवाइस अपने आकार के प्रति घन इंच (cubic inch) में कितनी "स्मार्ट सोच" पैदा कर सकता है।

  • विजेता: छोटा M5Stack यहाँ चैंपियन था। भले ही यह कुल मिलाकर सबसे तेज़ नहीं था, लेकिन इसने सबसे छोटे स्थान में सबसे अधिक कंप्यूटिंग पावर पैक की।

• "बैटरी लाइफ" टेस्ट (प्रति मिलियन टोकन ऊर्जा):
  कल्पना कीजिए कि आप मैराथन दौड़ रहे हैं। आप केवल तेज़ नहीं दौड़ना चाहते; आप बिना थके तेज़ दौड़ना चाहते हैं। उन्होंने मापा कि दस लाख शब्द उत्पन्न करने के लिए कितनी बिजली की आवश्यकता थी।

  • विजेता: M5Stack और Jetson GPU सबसे ऊर्जा-कुशल (energy-efficient) थे। स्टैंडर्ड Raspberry Pi, बिना किसी बूस्टर के, एक ऐसे धावक की तरह था जो बहुत जल्दी थक जाता है, और बहुत कम गति के लिए बहुत अधिक ऊर्जा खर्च करता है।

परिणाम: क्या सबसे अच्छा काम आया?

• "स्पीड डेमन" (गति का जादूगर): Jetson Orin Nano कुल मिलाकर सबसे तेज़ था। यदि आपको प्रति सेकंड सबसे अधिक उत्तर चाहिए और आपके पास थोड़ी जगह और शक्ति है, तो यही वह एक है जिसे आपको चुनना चाहिए।
• "स्पेस सेवर" (जगह बचाने वाला): M5Stack (वह छोटा ईंट जैसा कंप्यूटर) तंग जगहों के लिए सबसे अच्छा था। इसने साबित कर दिया कि आप एक स्मार्ट ब्रेन को माचिस की डिब्बी जितनी छोटी चीज़ में भी फिट कर सकते हैं।
• "स्मार्ट अपग्रेड": Raspberry Pi में Hailo स्पीड बूस्टर जोड़ने से यह बहुत बेहतर हो गया। यह Raspberry Pi (अकेले) की तुलना में बहुत तेज़ हो गया और इसने बहुत कम ऊर्जा का उपयोग किया।
• "यह न करें": बिना किसी विशेष बूस्टर चिप के स्टैंडर्ड Raspberry Pi पर इन स्मार्ट ब्रेन्स को चलाने की कोशिश करना बहुत अक्षम था। यह धीमा था और बहुत अधिक शक्ति खा रहा था, जैसे भारी बूट पहनकर मैराथन दौड़ने की कोशिश करना।

यह क्यों मायने रखता है? (पेपर के विशिष्ट दावे)

लेखक कहते हैं कि ये निष्कर्ष तीन विशिष्ट वास्तविक दुनिया के परिदृश्यों के लिए महत्वपूर्ण हैं जिनका उल्लेख पेपर में किया गया है:

1. अनमैन्ड व्हीकल्स (ड्रोन): ड्रोन की बैटरी बहुत छोटी होती है। उन्हें एक ऐसे स्मार्ट ब्रेन की आवश्यकता होती है जो बैटरी को खत्म न करे। पेपर दिखाता है कि आप एक ड्रोन पर एक ऐसा स्मार्ट ब्रेन लगा सकते हैं जो इतना छोटा हो कि उड़ सके और इतना कुशल हो कि कम बिजली के कारण ड्रोन क्रैश न हो।
2. पोर्टेबल, रग्ड ऑपरेशन्स (कठिन वातावरण में संचालन): उन सैनिकों या श्रमिकों के बारे में सोचें जो कठिन वातावरण में सामान ले जाते हैं। उन्हें ऐसे कंप्यूटरों की आवश्यकता है जो छोटे, मजबूत केस में फिट हो सकें। "सूटकेस डेंसिटी" टेस्ट दिखाता है कि कौन से कंप्यूटर इन तंग, रग्ड बॉक्स में सबसे अच्छी तरह फिट होते हैं।
3. सैटेलाइट ग्राउंड स्टेशन्स: लोग दूरदराज के स्थानों में उपग्रहों से बात करने के लिए छोटे, पोर्टेबल स्टेशन बना रहे हैं। उन्हें मुख्य कार्यालय के साथ कनेक्शन का इंतज़ार किए बिना स्थानीय स्तर पर डेटा प्रोसेस करने की आवश्यकता होती है। पेपर दिखाता है कि ये छोटे कंप्यूटर यह काम संभाल सकते हैं, खासकर यदि वे बिजली बचाने के लिए विशेष बूस्टर चिप का उपयोग करते हैं।

निचोड़ (Bottom Line)

अब आपके पास स्मार्ट AI होने के लिए विशाल डेटा सेंटर की आवश्यकता नहीं है। आप इसे एक छोटे बॉक्स में रख सकते हैं। हालाँकि, आप किसी भी छोटे कंप्यूटर को उठाकर काम नहीं चला सकते; आपको एक सही छोटे कंप्यूटर और एक विशेष "सहायक" चिप (एक्सेलेरेटर) के संयोजन की आवश्यकता है ताकि यह तेज़ और ऊर्जा-कुशल बन सके।

• यदि आपको अधिकतम गति चाहिए, तो Jetson लें।
• यदि आपको अधिकतम छोटापन चाहिए, तो M5Stack लें।
• यदि आप एक अच्छा संतुलन चाहते हैं, तो एक स्टैंडर्ड बोर्ड में बूस्टर चिप जोड़ें।

यह पेपर आपको सही उपकरण चुनने का नक्शा देता है ताकि आप कहीं भी स्मार्ट AI चला सकें, यहाँ तक कि जहाँ इंटरनेट भी नहीं पहुँचता।