कल्पना कीजिए कि आप अपने हैंडहेल्ड कंसोल पर खेलने के लिए एक बेहतरीन वीडियो गेम चुनने की कोशिश कर रहे हैं। आपके पास खेलों का एक विशाल संग्रह है, जिसमें छोटे पहेली वाले साहसिक खेल से लेकर विशाल, विस्तृत रोल-प्लेइंग महाकाव्य तक सब कुछ शामिल है। लेकिन यहाँ एक पेच है: आपका कंसोल थोड़ा नखरेबाज है। यदि आप इसे बहुत लंबे समय तक खेलते हैं, तो यह गर्म हो जाता है, इसकी बैटरी तेजी से खत्म होती है, और यह इस आधार पर अलग-अलग तरह से काम करता है कि आप इसे कैसे पकड़ते हैं या दिन का कौन सा समय है। यदि आप यह देखने के लिए हर एक गेम को डाउनलोड और टेस्ट करने की कोशिश करते हैं कि वह सुचारू रूप से चलता है या नहीं, तो आप डाउनलोड होने के इंतज़ार में अपना पूरा दिन बिता देंगे, और फिर पता चलेगा कि उनमें से आधे गेम क्रैश हो गए या लैग करने लगे। आपको यह अनुमान लगाने का एक तरीका चाहिए कि केवल गेम के विवरण और आपके कंसोल के वर्तमान मिजाज को देखकर कौन सा गेम वास्तव में काम करेगा। यह ठीक वही समस्या है जिसका सामना हमारे फोन और छोटे गैजेट्स पर चल रही आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया कर रही है।

वैज्ञानिक "लार्ज लैंग्वेज मॉडल्स" (LLMs)—सुपर-स्मार्ट AI दिमाग जो कहानियाँ लिख सकते हैं, सवालों के जवाब दे सकते हैं और समस्याओं को हल कर सकते हैं—को विशाल क्लाउड सर्वर के बजाय सीधे हमारे उपकरणों पर चलाने की कोशिश कर रहे हैं। यह गोपनीयता और गति के लिए अच्छा है, लेकिन यह भविष्यवाणी करना एक दुःस्वप्न है। एक AI मॉडल एक फोन पर बिल्कुल सही चल सकता है लेकिन दूसरे पर फ्रीज हो सकता है, भले ही दोनों फोन समान दिखते हों। क्यों? क्योंकि AI की गति एक अराजक मिश्रण पर निर्भर करती है: सवाल कितना लंबा है, फोन कितना गर्म हो रहा है, कितनी बैटरी बची है, और यहाँ तक कि AI को चलाने के लिए उपयोग किए जाने वाले विशिष्ट सॉफ्टवेयर पर भी। यदि हम यह अनुमान नहीं लगा सकते कि कोई AI वास्तव में कितनी तेजी से चलेगा, इससे पहले कि हम वास्तव में उसे चलाकर देखें, तो हम उन मॉडल्स को टेस्ट करने में बहुत अधिक समय और ऊर्जा बर्बाद कर देते हैं जो शायद विफल हो जाएंगे। यहीं से "भविष्यवाणी करने" की कहानी शुरू होती है।

AI की गति के लिए क्रिस्टल बॉल

इस शोध पत्र में, जॉर्जिया स्टेट यूनिवर्सिटी और आर्मी रिसर्च लैबोरेटरी की एक टीम ने AI की गति के लिए एक "क्रिस्टल बॉल" बनाई है। वे इसे एक रनटाइम-अवेयर लेटेंसी प्रेडिक्शन फ्रेमवर्क कहते हैं। आइए इसे समझते हैं। "लेटेंसी" (Latency) बस एक तकनीकी शब्द है जिसका अर्थ है कि किसी चीज़ को होने में कितना समय लगता है। "रनटाइम-अवेयर" (Runtime-aware) का अर्थ है कि सिस्टम AI के काम करने के दौरान क्या हो रहा है उस पर ध्यान देता है, न कि केवल इस बात पर कि कागज़ पर AI कैसा दिखता है। और "ट्रांसफ़रेबल" (Transferable) का अर्थ है कि यह क्रिस्टल बॉल तब भी काम करती है जब आप एक प्रकार के डिवाइस से दूसरे प्रकार के डिवाइस पर जाते हैं।

शोधकर्ताओं ने महसूस किया कि हर AI मॉडल को हर एक डिवाइस पर टेस्ट करना दुनिया के हर आइसक्रीम फ्लेवर को चखने जैसा है ताकि आप अपना पसंदीदा ढूंढ सकें। यह बहुत धीमा और महंगा है। इसके बजाय, वे एक ऐसा सिस्टम चाहते थे जो एक नए डिवाइस और एक नए AI मॉडल को देख सके और कह सके, "हे, यह कॉम्बिनेशन शायद जवाब देने में लगभग 10 सेकंड लेगा।"

यह क्रिस्टल बॉल कैसे काम करती है

उनके सिस्टम का असली रहस्य यह है कि यह केवल स्थिर तथ्यों को नहीं देखता है। कल्पना कीजिए कि आप अनुमान लगा रहे हैं कि एक कार कितनी तेज चलेगी। एक "स्टैटिक" (Static) अनुमान केवल कार के इंजन के आकार और वजन को देखेगा। लेकिन एक "रनटाइम-अवेयर" अनुमान मौसम, ट्रैफ़िक और यह भी देखेगा कि ड्राइवर सुस्त है या नहीं।

शोधकर्ताओं का सिस्टम दो चीजें एक साथ करता है:

1. द स्टैटिक पाथ (The Static Path): यह सेटअप के "आईडी कार्ड" को देखता है। इसमें मॉडल का आकार, फोन या गैजेट का प्रकार और सेटिंग्स शामिल हैं।
2. द डायनेमिक पाथ (The Dynamic Path): यह चलते समय डिवाइस की "धड़कन" को ट्रैक करता है। यह ट्रैक करता है कि चिप कितनी गर्म हो रही है, प्रोसेसर कितनी तेजी से घूम रहा है, और कितनी मेमोरी उपयोग की जा रही है।

सिस्टम AI के काम को दो चरणों में विभाजित करता है, जैसे कि दो चरणों वाली एक दौड़:

• द प्रीफिल फेज (The Prefill Phase): यह वह समय है जब AI आपके सवाल को पढ़ता है और अपने विचार जुटाता है। यह आमतौर पर एक तेज़, अचानक होने वाली स्प्रिंट की तरह होता है।
• द डिकोड फेज (The Decode Phase): यह वह समय है जब AI शब्द दर शब्द उत्तर लिखता है। यह एक लंबी, स्थिर जॉगिंग की तरह है।

इन दोनों चरणों को अलग-अलग मानकर और "आईडी कार्ड" की जानकारी को "धड़कन" के डेटा के साथ मिलाकर, सिस्टम एक बहुत ही स्मार्ट भविष्यवाणी बनाता है। उन्होंने एक विशेष "गेटेड फ्यूजन" (Gated Fusion) तंत्र का उपयोग किया है, जो एक स्मार्ट ट्रैफिक लाइट की तरह है जो यह तय करता है कि स्थिति के आधार पर स्थिर तथ्यों को अधिक सुनना है या लाइव ट्रैफ़िक स्थितियों को।

कैलिब्रेशन का जादू

यहाँ सबसे महत्वपूर्ण ट्रिक है: सिस्टम डिफ़ॉल्ट रूप से एकदम सटीक नहीं है। यदि आप इसे एक पिक्सेल 8 फोन पर प्रशिक्षित करते हैं और इसे पिक्सेल 8 प्रो पर उपयोग करने की कोशिश करते हैं, तो यह गलत नंबर दे सकता है क्योंकि दोनों फोन थोड़े अलग हैं।

इसे ठीक करने के लिए, शोधकर्ता एक कैलिब्रेशन सेट (Calibration set) का उपयोग करते हैं। इसे एक त्वरित "टेस्ट ड्राइव" के रूप में समझें। आप देखते हैं कि वह नया डिवाइस वास्तव में कैसे व्यवहार करता है, यह देखने के लिए आप AI को उस डिवाइस पर कुछ ही बार (शायद 6 से 20 बार) चलाते हैं। सिस्टम फिर इन कुछ वास्तविक परिणामों का उपयोग अपनी क्रिस्टल बॉल को ट्यून करने के लिए करता है, जिससे इसकी भविष्यवाणियां नए डिवाइस की वास्तविकता के साथ संरेखित हो जाती हैं।

इस कैलिब्रेशन के परिणाम नाटकीय हैं। बिना इसके, पिक्सेल 8 प्रो पर AI को "डिकोड" (उत्तर लिखने) में लगने वाले समय के लिए सिस्टम की भविष्यवाणियां बहुत गलत थीं, जिसका स्कोर (जिसे $R^2$ कहा जाता है) -1.085 था। यह एक बहुत बुरा स्कोर है, जिसका अर्थ है कि भविष्यवाणी केवल रैंडम अनुमान लगाने से भी बदतर थी। लेकिन थोड़े से कैलिब्रेशन के बाद, यह स्कोर उछलकर 0.927 हो गया, जो लगभग पूर्ण है। यह एक धुंधली फोटो को अचानक कुछ समायोजनों के साथ एकदम स्पष्ट फोकस में लाने जैसा है।

सिस्टम का परीक्षण

टीम ने यह सुनिश्चित करने के लिए कि यह केवल एक विशिष्ट फोन के लिए कोई इत्तेफाक नहीं है, विभिन्न गैजेट्स पर अपने विचार का परीक्षण किया। उन्होंने उपयोग किया:

• पिक्सेल 8 और पिक्सेल 8 प्रो: मुख्य सितारे, जो आधुनिक मोबाइल फोन का प्रतिनिधित्व करते हैं।
• जेटसन नैनो (Jetson Nano): एक छोटा कंप्यूटर जिसका उपयोग अक्सर रोबोट और ड्रोन में किया जाता है।
• ऑरेंज पाई 5 प्रो (Orange Pi 5 Pro): एक छोटा, सिंगल-बोर्ड कंप्यूटर।
• RTX 3090: एक शक्तिशाली ग्राफिक्स कार्ड जो आमतौर पर हाई-एंड गेमिंग पीसी में पाया जाता है।

उन्होंने पाया कि एक ही AI मॉडल बड़े गेमिंग कार्ड (64.38 टोकन प्रति सेकंड) पर अविश्वसनीय रूप से तेज़ हो सकता है लेकिन छोटे ऑरेंज पाई (8.42 टोकन प्रति सेकंड) पर बहुत धीमा हो सकता है। यह साबित करता है कि आप केवल मॉडल के आधार पर गति का अनुमान नहीं लगा सकते; आपको डिवाइस को जानना होगा।

यह क्यों मायने रखता है: स्क्रीनिंग प्रक्रिया

अंतिम लक्ष्य केवल गति की भविष्यवाणी करना नहीं है; यह समय बचाना है। कल्पना कीजिए कि आपके पास 100 अलग-अलग AI मॉडल हैं और आपको अपने विशिष्ट फोन के लिए सबसे अच्छा वाला चुनना है। इस सिस्टम के बिना, आपको उन सभी को डाउनलोड और टेस्ट करना होगा। इस सिस्टम के साथ, आप सभी 100 की गति तुरंत भविष्यवाणी कर सकते हैं।

शोधकर्ता फिर पारेटो ऑप्टिमाइज़ेशन (Pareto optimization) नामक रणनीति का उपयोग करते हैं। यह एक फैंसी तरीका है यह कहने का कि वे "स्वीट स्पॉट" (सबसे उपयुक्त बिंदु) की तलाश कर रहे हैं। वे एक ऐसा मॉडल चाहते हैं जो तेज़ और स्मार्ट हो। यदि मॉडल A, मॉडल B से धीमा है लेकिन उससे स्मार्ट नहीं है, तो मॉडल A बेकार है। सिस्टम खराब विकल्पों को फ़िल्टर कर देता है और आपको वास्तविक परीक्षण के लिए सर्वश्रेष्ठ उम्मीदवारों की एक छोटी सूची देता है।

अपने परीक्षणों में, इस स्क्रीनिंग प्रक्रिया ने सफलतापूर्वक सर्वश्रेष्ठ मॉडल्स को दौड़ में बनाए रखा। उदाहरण के लिए, पिक्सेल 8 प्रो से पिक्सेल 8 पर जाते समय, सिस्टम ने आधे उम्मीदवारों को फ़िल्टर कर दिया लेकिन यह सुनिश्चित किया कि सबसे अच्छा वाला अभी भी वहां मौजूद है।

उन्होंने क्या पाया (और क्या नहीं)

यह शोध पत्र सुझाव देता है कि यह तरीका AI को तैनात करने को तेज़ और सस्ता बनाने के लिए एक शक्तिशाली उपकरण है। उन्होंने पाया कि:

• स्थिर अनुमान पर्याप्त नहीं हैं: केवल मॉडल का आकार जानने से यह नहीं पता चलता कि वह किसी विशिष्ट फोन पर कितनी तेज़ी से चलेगा।
• कैलिब्रेशन महत्वपूर्ण है: आप एक डिवाइस से दूसरे डिवाइस पर भविष्यवाणी को कॉपी-पेस्ट नहीं कर सकते; भविष्यवाणी को ठीक करने के लिए आपको थोड़े से वास्तविक डेटा की आवश्यकता होती है।
• फेज (चरण) मायने रखता है: AI के "पढ़ने" वाले हिस्से और "लिखने" वाले हिस्से को अलग-अलग मानने से आपकी भविष्यवाणी बहुत अधिक सटीक हो जाती है।

हालाँकि, लेखक यह नोट करते हैं कि यह एक शुरुआत है। उनके सर्वोत्तम परिणाम पिक्सेल फोन पर आए, और हालांकि उन्होंने दिखाया कि उनका सिस्टम जेटसन और ऑरेंज पाई जैसे अन्य उपकरणों पर भी काम कर सकता है, फिर भी उन्होंने अभी तक उन पर पूरी तरह से गहन प्रशिक्षण नहीं दिया है। उन्होंने यह भी नोट किया कि कभी-कभी, शक्तिशाली कंप्यूटरों पर, छोटे मॉडल हमेशा बड़े मॉडल्स की तुलना में तेज़ नहीं चलते हैं, जो एक अजीब सा विचित्र व्यवहार है जिसे उनका सिस्टम समझाने में मदद करता है।

संक्षेप में, यह शोध पत्र एक चतुर, लचीला तरीका प्रदान करता है जिससे आप यह अनुमान लगा सकते हैं कि आपका AI आपके गैजेट पर कितनी तेज़ी से चलेगा, बिना घंटों इंतज़ार किए। यह एक अराजक अनुमान लगाने वाले खेल को एक गणनात्मक, डेटा-संचालित निर्णय में बदल देता है, जिससे हमें अपने उपकरणों पर सबसे अच्छे AI अनुभव प्राप्त करने में मदद मिलती है बिना अपना समय और बैटरी बर्बाद किए।