The Energy Blind Spot: NVIDIA's Flagship Edge AI Hardware Cannot Support Process-Level Energy Attribution

आधुनिक कंप्यूटिंग की दुनिया में, एक नए प्रकार की बुद्धिमत्ता उभर रही है। केवल एक प्रश्न का उत्तर देने के बजाय, ये सिस्टम स्वायत्त एजेंटों (autonomous agents) के रूप में कार्य करते हैं। वे एक व्यापक लक्ष्य लेते हैं, उसे चरणों की एक श्रृंखला में विभाजित करते हैं, मदद के लिए अन्य उपकरणों का आह्वान करते हैं, और विफल होने पर पुनः प्रयास करते हैं। यह प्रक्रिया, जिसे ऑर्केस्ट्रेशन (orchestration) कहा जाता है, विशाल डेटा केंद्रों से हटकर डेस्क और वाहनों में रखे छोटे, शक्तिशाली कंप्यूटरों की ओर बढ़ रही है। ये एज डिवाइस (edge devices) स्थानीय स्तर पर जटिल आर्टिफिशियल इंटेलिजेंस चलाने के लिए डिज़ाइन किए गए हैं, जिससे समय और बैंडविड्थ की बचत होती है। हालाँकि, जैसे-जैसे ये सिस्टम अधिक सामान्य होते जा रहे हैं, एक महत्वपूर्ण प्रश्न उठता है: वे वास्तव में कितनी ऊर्जा की खपत करते हैं? शोधकर्ताओं और नियामकों के लिए, किसी विशिष्ट कार्य की सटीक ऊर्जा लागत जानना आवश्यक है। दक्षता को मापने, नए पर्यावरणीय कानूनों का अनुपालन सुनिश्चित करने और यह समझने का यही एकमात्र तरीका है कि क्या ये स्थानीय सिस्टम क्लाउड की तुलना में वास्तव में बिजली बचा रहे हैं।

शोधकर्ताओं की एक टीम ने हाल ही में इस काम के लिए उपलब्ध सबसे उन्नत हार्डवेयर की ओर अपना ध्यान केंद्रित किया: प्रमुख प्रौद्योगिकी कंपनियों द्वारा एक विशिष्ट NVIDIA चिप का उपयोग करके बनाए गए नए पीढ़ी के डेस्कटॉप कंप्यूटर। वे देखना चाहते थे कि क्या ये मशीनें उन्हें ठीक-ठीक बता सकती हैं कि एक एजेंट के काम करते समय सिस्टम के प्रत्येक भाग ने कितनी ऊर्जा का उपयोग किया। जो उन्हें मिला वह एक महत्वपूर्ण अदृश्य क्षेत्र (blind spot) था। जबकि कंप्यूटर अविश्वसनीय रूप से तेज़ और सक्षम हैं, वे अपने स्वयं के ऊर्जा उपयोग के बारे में रिपोर्ट करने के मामले में पूरी तरह से मौन हैं। शोधकर्ताओं ने पाया कि हार्डवेयर में इस ऊर्जा को आंतरिक रूप से मापने की क्षमता है, लेकिन मशीन को चलाने वाला सॉफ्टवेयर जानबूझकर इस जानकारी को उपयोगकर्ताओं से छिपाता है।

यह जांच ASUS Ascent GX10 नामक एक डेस्कटॉप सिस्टम पर केंद्रित थी, जो GB10 नामक एक शक्तिशाली चिप का उपयोग करता है। यह चिप एक सेंट्रल प्रोसेसर को जोड़ती है, जो AI एजेंटों के जटिल नियोजन (planning) और टूल-कॉलिंग को संभालता है, और एक ग्राफिक्स प्रोसेसर को जो दृश्य कार्यों के लिए भारी काम करता है। शोधकर्ताओं ने कंप्यूटर से ऊर्जा डेटा मांगने के हर संभव तरीके का गहन ऑडिट किया। उन्होंने इंजीनियरों द्वारा उपयोग किए जाने वाले मानक इंटरफेस की जाँच की जो बिजली की निगरानी करते हैं, और उन काउंटरों की तलाश की जो समय के साथ ऊर्जा के उपयोग को ट्रैक करते हैं, जो कार के ओडोमीटर के समान है। उन्होंने पाया कि जबकि ग्राफिक्स प्रोसेसर अपने बिजली उपयोग की रिपोर्ट कर रहा था, सेंट्रल प्रोसेसर ने ऐसा कोई डेटा प्रदान नहीं किया। CPU के लिए कोई काउंटर नहीं थे, चिप को बिजली देने वाली विद्युत लाइनों पर कोई पावर मॉनिटर नहीं थे, और कोई मानक सिस्टम मैनेजमेंट टूल्स भी नहीं थे जो इन नंबरों को प्रकट कर सकें।

यह स्थिति विशेष रूप से चौंकाने वाली है क्योंकि डेटा वास्तव में मशीन के भीतर मौजूद है। चिप का आंतरिक फर्मवेयर (firmware), जो सिस्टम को ठंडा और कुशल रखने के लिए बिजली के प्रवाह को प्रबंधित करता है, पहले से ही विभिन्न प्रोसेसर भागों द्वारा उपयोग की जाने वाली ऊर्जा की गणना कर रहा है। यह मुख्य प्रोसेसर कोर द्वारा उपयोग की जाने वाली ऊर्जा, छोटे एफिशिएंसी कोर द्वारा उपयोग की जाने वाली ऊर्जा और ग्राफिक्स चिप द्वारा खपत की जाने वाली ऊर्जा का निरंतर हिसाब रखता है। हालाँकि, निर्माताओं ने इस जानकारी को साझा न करने का निर्णय लिया है। जब शोधकर्ताओं ने चिप के पीछे की कंपनी से पूछा कि क्या उनके पास इस डेटा को जारी करने की कोई योजना है, तो जवाब था कि ऐसी कोई योजना नहीं है। इसका अर्थ यह है कि जबकि कंप्यूटर जानता है कि एक कार्य पूरा करने के लिए वह वास्तव में कितनी ऊर्जा जला रहा है, उपयोगकर्ता इसे देख नहीं सकता।

यह अंतर इसलिए महत्वपूर्ण है क्योंकि इन AI एजेंटों के काम करने का तरीका काफी हद तक सेंट्रल प्रोसेसर पर निर्भर करता है। नियोजन, पुन: प्रयास और उपकरणों का समन्वय ग्राफिक्स चिप पर नहीं, बल्कि CPU पर होता है। पिछले अध्ययनों से पता चला है कि यह ऑर्केस्ट्रेशन कार्य एक AI सिस्टम द्वारा उपयोग की जाने वाली कुल ऊर्जा के लगभग आधे हिस्से के बराबर हो सकता है। CPU के ऊर्जा उपयोग को मापने का कोई तरीका न होने के कारण, यह जानना असंभव है कि एक एजेंट चलाने की वास्तविक लागत क्या है। शोधकर्ता विभिन्न सॉफ्टवेयर डिज़ाइनों की तुलना यह देखने के लिए नहीं कर सकते कि कौन सा अधिक कुशल है, और कंपनियाँ यह सत्यापित नहीं कर सकतीं कि वे पर्यावरणीय नियमों को पूरा कर रही हैं या नहीं। आज नंबर प्राप्त करने का एकमात्र तरीका पूरे कंप्यूटर को एक बाहरी पावर मीटर से जोड़ना है, लेकिन यह केवल पूरे मशीन के लिए कुल योग दिखाता है, जिसमें CPU का काम, मेमोरी, कूलिंग फैन और ग्राफिक्स चिप सब मिल जाते हैं। यह वैसा ही है जैसे यह जानने की कोशिश करना कि कार के एक एकल इंजन में कितना ईंधन लगता है, केवल पूरे वाहन के कुल ईंधन गेज को देखकर।

शोधकर्ताओं ने पुष्टि की कि यह स्वयं भौतिक चिप की सीमा नहीं है, बल्कि इसे नियंत्रित करने वाले सॉफ्टवेयर का एक निर्णय है। उन्होंने प्रमाण पाया कि आंतरिक फर्मवेयर इन नंबरों को एक मानक संचार चैनल के माध्यम से उजागर करने में सक्षम है जिसका उपयोग इंजीनियरों द्वारा किया जाता है, लेकिन यह चैनल वर्तमान में बंद है। उन्होंने एक अलग निर्माता के एक समान कंप्यूटर, Acer Veriton का भी परीक्षण किया और पाया कि उस विशिष्ट बोर्ड पर, समुदाय द्वारा बनाए गए टूल का उपयोग करके छिपे हुए डेटा तक पहुँचा जा सकता है, जो यह सिद्ध करता है कि जानकारी वहीं है और हार्डवेयर इसे साझा करने में सक्षम है। दोनों मशीनों के बीच का अंतर यह सुझाव देता है कि गायब डेटा एक तकनीकी असंभवता के बजाय एक उत्पाद विकल्प का परिणाम है।

पेपर निष्कर्ष निकालता है कि आगे का स्पष्ट मार्ग बताता है। इस समस्या को ठीक करने की तकनीक पहले से ही मौजूद है। कंप्यूटर का आंतरिक सिस्टम डेटा साझा करने के लिए तैयार है, और ओपन-सोर्स समुदाय द्वारा इसे पढ़ने के लिए आवश्यक सॉफ्टवेयर उपकरण बनाए जा रहे हैं। केवल निर्माताओं को कंप्यूटर के फर्मवेयर को अपडेट करने की आवश्यकता है ताकि उस स्विच को चालू किया जा सके जो इस जानकारी को देखने की अनुमति देता है। जब तक ऐसा नहीं होता, बाजार में मौजूद सबसे उन्नत एज AI कंप्यूटर 'एनर्जी ब्लैक बॉक्स' बने रहेंगे। एक ऐसे क्षेत्र के लिए जो तेजी से बढ़ रहा है और स्थिरता (sustainability) के बढ़ते दबाव का सामना कर रहा है, किए जा रहे कार्य की ऊर्जा लागत को मापने में असमर्थता एक मौलिक बाधा है। शोधकर्ताओं का तर्क है कि इन सिस्टमों को वैज्ञानिक और नियामक उद्देश्यों के लिए वास्तव में उपयोगी बनाने के लिए, ऊर्जा उपयोग को देखने की क्षमता को प्रोसेसर के तापमान या गति को देखने की क्षमता की तरह एक बुनियादी आवश्यकता माना जाना चाहिए।