🤖 machine learning

EnergyLens: Interpretable Closed-Form Energy Models for Multimodal LLM Inference Serving

एनर्जीलेंस (EnergyLens) एक व्याख्या योग्य, बारह-पैरामीटर वाले क्लोज्ड-फॉर्म एनर्जी मॉडल को पेश करता है जिसे सिम्बोलिक रिग्रेशन के माध्यम से व्युत्पन्न किया गया है, जो न्यूनतम प्रोफाइलिंग डेटा के साथ विविध मल्टीमॉडल एलएलएम (LLM) और हार्डवेयर पर इन्फरेंस ऊर्जा की सटीक भविष्यवाणी करता है, और कॉन्फ़िगरेशन चयन तथा एक्सट्रपलेशन में मौजूदा ब्लैक-बॉक्स और विश्लेषणात्मक बेसलाइनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Vittorio Palladino, Gianluca Palermo, Michael E. Papka, Zhiling Lan

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vittorio Palladino, Gianluca Palermo, Michael E. Papka, Zhiling Lan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल कंपनी के लिए एक बहुत बड़ी, हाई-स्पीड डिलीवरी सर्विस चला रहे हैं। आपके "ट्रक" AI मॉडल (लार्ज लैंग्वेज मॉडल्स) हैं और आपके "पैकेज" उपयोगकर्ता के अनुरोध (जैसे कविता लिखना, किसी फोटो का विश्लेषण करना या वीडियो का सारांश निकालना) हैं।

आपका लक्ष्य हर पैकेज को जितनी जल्दी हो सके (लो लेटेंसी) और जितनी कम लागत में (कम ऊर्जा) डिलीवर करना है। लेकिन समस्या यह है: तेज़ होने का मतलब हमेशा सस्ता होना नहीं होता।

कभी-कभी, दो ट्रकों को एक संकरी सड़क पर एक साथ भेजना (एक रणनीति जिसे 'टेंसर पैरेललिज्म' कहा जाता है) एक बड़े ट्रक को भेजने की तुलना में तेज़ होता है, लेकिन यह बहुत अधिक ईंधन जलाता है क्योंकि ट्रक समन्वय करने के लिए लगातार एक-दूसरे को चिल्लाकर निर्देश देते हैं। दूसरी ओर, काम को ट्रकों की एक लंबी कतार में बांटना (जिसे 'पाइपलाइन पैरेललिज्म' कहा जाता है) थोड़ा धीमा हो सकता है, लेकिन यह बहुत सारा ईंधन बचाता है क्योंकि ट्रक अपने स्टॉप के बीच में ब्रेक ले सकते हैं।

लंबे समय तक, इस डिलीवरी सर्विस को बेहतर बनाने की कोशिश करने वाले लोगों ने एक बड़ी गलती की: उन्होंने यह मान लिया कि यदि कोई रूट सबसे तेज़ था, तो वह स्वचालित रूप से सबसे अधिक ईंधन-कुशल भी होगा। उन्होंने "ब्लैक बॉक्स" कंप्यूटरों (जटिल AI मॉडल) का भी उपयोग किया जो ऊर्जा के उपयोग का अनुमान लगाने की कोशिश करते थे, लेकिन इन कंप्यूटरों को नियम सीखने के लिए हजारों टेस्ट रन की आवश्यकता होती थी, और वे यह नहीं समझा सकते थे कि उन्होंने एक निश्चित अनुमान क्यों लगाया।

पेश है EnergyLens।

EnergyLens क्या है?

EnergyLens को एक मास्टर मैकेनिक के रूप में सोचें जो सड़क के सटीक नियमों को सरल भाषा में लिखता है।

अनुमान लगाने या हजारों टेस्ट ड्राइव की आवश्यकता होने के बजाय, EnergyLens एक विशेष उपकरण का उपयोग करता है जिसे "सिंबोलिक रिग्रेशन" कहा जाता है। कल्पना कीजिए कि आप एक कंप्यूटर को ईंधन की रसीदों का एक ढेर देते हैं और उससे छिपे हुए गणितीय पैटर्न को खोजने के लिए कहते हैं। आपको केवल संख्याओं की एक भ्रमित करने वाली सूची देने के बजाय, यह एक सरल, पठनीय फॉर्मूला (जैसे कि एक रेसिपी) देता है जो बताता है कि ऊर्जा का उपयोग कैसे किया जाता है, जैसे कि:

कितने ट्रकों का उपयोग किया गया (पैरेललिज्म)।
पैकेज कितना बड़ा है (बैच साइज)।
डिलीवरी रूट कितना लंबा है (सीक्वेंस लेंथ)।

यह कैसे काम करता है (उपमा)

पेपर बताता है कि AI इन्फरेंस (inference) दो अलग-अलग चरणों में होता है, जैसे कि एक रेस्टोरेंट की रसोई:

"प्रीफिल" चरण (ऑर्डर पकाना): रसोई पूरे ऑर्डर (इनपुट टेक्स्ट या इमेज) को एक साथ पढ़ती है। यह भारी काम है।
"डिकोड" चरण (व्यंजन परोसना): रसोई एक बार में एक व्यंजन परोसना शुरू करती है (आउटपुट शब्द दर शब्द जेनरेट करना)। यह मेमोरी-हैवी है।

EnergyLens इन दोनों चरणों को अलग-अलग मानता है। यह समझता है कि ऑर्डर पकाने का "ईंधन खर्च" व्यंजनों को परोसने की लागत से अलग है। यह यह भी समझता है कि "ट्रक समन्वय" (टेंसर पैरेललिज्म) परोसने की तुलना में पकाने को अलग तरह से प्रभावित करता है।

इन कारकों को अलग करके, EnergyLens ऊर्जा उपयोग की भविष्यवाणी करने के लिए एक 12-सामग्री वाली रेसिपी (एक क्लोज्ड-फॉर्म इक्वेशन) बनाता है।

यह पुराने तरीकों से बेहतर क्यों है?

यह पेपर EnergyLens की तुलना दो अन्य तरीकों से करता है:

"स्पीड-प्रॉक्सी" विधि: यह मानती है कि "तेज़ = सस्ता।" पेपर दिखाता है कि यह गलत है। 20% से अधिक मामलों में, सबसे तेज़ कॉन्फ़िगरेशन वास्तव में सबसे अधिक ऊर्जा बर्बाद करता है। EnergyLens वास्तविक ईंधन-कुशल मार्ग खोजता है, न कि केवल तेज़ वाला।
"ब्लैक बॉक्स" विधि: ये जटिल AI मॉडल हैं जिन्हें सीखने के लिए सैकड़ों टेस्ट रन की आवश्यकता होती है। ये उन छात्रों की तरह हैं जो उत्तर तो रट लेते हैं लेकिन गणित को नहीं समझते।
- EnergyLens को नियम सीखने के लिए केवल 50 टेस्ट रन (लगभग 10 गुना कम) की आवश्यकता होती है।
- EnergyLens व्याख्या योग्य (interpretable) है: आप फॉर्मूले को देख सकते हैं और कह सकते हैं, "आह, मैं देख सकता हूँ कि इस विशिष्ट टर्म के कारण 4 ट्रकों का उपयोग करने से ऊर्जा बचती है।" ब्लैक बॉक्स आपको यह नहीं बता सकता।

परिणाम

शोधकर्ताओं ने विभिन्न प्रकार के "ट्रकों" (विभिन्न AI मॉडल), "सड़कों" (NVIDIA, Intel और AMD के विभिन्न कंप्यूटर चिप्स) और "पैकेज" (टेक्स्ट, इमेज और वीडियो) पर EnergyLens का परीक्षण किया।

सटीकता (Accuracy): जब सबसे कुशल, सबसे ईंधन-बचत करने वाले कॉन्फ़िगरेशन को चुनने के लिए कहा गया, तो EnergyLens 88.2% बार सही रहा। पिछला सबसे अच्छा तरीका केवल 60.9% बार ही सही था।
सामान्यीकरण (Generalization): एक बार जब "रेसिपी" लिख दी जाती है, तो यह बिना दोबारा लिखे नए प्रकार के ट्रकों और सड़कों पर काम करती है। आपको बस एक छोटे से नए टेस्ट रन के आधार पर कुछ नंबरों (कोएफिशिएंट्स) को बदलने की आवश्यकता होती है।
एक्सट्रपलेशन (Extrapolation): भले ही आप EnergyLens से किसी ऐसे डिलीवरी रूट के लिए ऊर्जा उपयोग की भविष्यवाणी करने को कहें जो उसने पहले कभी नहीं देखा है (उससे 10 गुना लंबा), फिर भी वह सही अनुमान लगाता है। "ब्लैक बॉक्स" तरीके इस स्थिति में बुरी तरह विफल हो जाते हैं।

मुख्य निष्कर्ष

EnergyLens एक व्यावहारिक, पारदर्शी उपकरण है जो डेटा सेंटरों को अनुमान लगाने के बजाय गणना करने में मदद करता है। यह साबित करता है कि ऊर्जा उपयोग की भविष्यवाणी करने के लिए आपको किसी विशाल सुपरकंप्यूटर की आवश्यकता नहीं है; आपको बस सही गणितीय फॉर्मूले की आवश्यकता है जो वास्तव में यह समझता है कि ये AI मॉडल कैसे काम करते हैं। यह "कितनी ऊर्जा खर्च होगी?" के रहस्य को एक सरल, समाधान योग्य समीकरण में बदल देता है।

तकनीकी सारांश: EnergyLens

समस्या विवरण

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) डेंस (dense), मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE), और स्टेट-स्पेस आर्किटेक्चर को शामिल करने के लिए विकसित हो रहे हैं, और जैसे उन्हें विविध मल्टीमॉडल वर्कलोड (टेक्स्ट, इमेज, वीडियो) के लिए हेट्रोजेनियस एक्सेलेरेटर्स (NVIDIA, Intel, AMD) पर तैनात किया जा रहा है, इन्फरेंस ऊर्जा (inference energy) को अनुकूलित करना लेटेंसी और थ्रूपुट को अनुकूलित करने जितना ही महत्वपूर्ण हो गया है। हालांकि, ऊर्जा भविष्यवाणी के मौजूदा दृष्टिकोणों में तीन प्राथमिक सीमाएं हैं:

लेटेंसी प्रॉक्सी (Latency Proxies): कई विश्लेषणात्मक मॉडल ऊर्जा के लिए लेटेंसी को एक प्रॉक्सी के रूप में उपयोग करते हैं। लेखक प्रदर्शित करते हैं कि परीक्षण किए गए 20% से अधिक कॉन्फ़िगरेशन में लेटेंसी और ऊर्जा के इष्टतम (optima) अलग-अलग होते हैं, जिससे लेटेंसी-आधारित रणनीतियों का उपयोग करने पर 79.8% तक ऊर्जा दंड (energy penalties) होता है।
ब्लैक-बॉक्स सरोगेट्स (Black-Box Surrogates): डेटा-संचालित मशीन लर्निंग मॉडल (जैसे, रैंडम फॉरेस्ट, न्यूरल नेटवर्क) उचित सटीकता प्राप्त करते हैं लेकिन वे "डेटा-भूखे" (data-hungry) होते हैं, जिन्हें सामान्यीकरण करने के लिए सैकड़ों प्रोफाइलिंग नमूनों की आवश्यकता होती है। उनमें व्याख्यात्मकता (interpretability) का अभाव है, वे कोई भौतिक अंतर्दृष्टि नहीं देते कि कोई कॉन्फ़िगरेशन क्यों कुशल है, और वे अनदेखे बैच आकार या हार्डवेयर तक विश्वसनीय रूप से एक्सट्रपलेशन (extrapolate) करने में विफल रहते हैं।
सामान्यीकरण की कमी (Lack of Generalizability): मौजूदा विश्लेषणात्मक मॉडल अक्सर टेंसर पैरेललिज्म (TP) और पाइपलाइन पैरेललिज्म (PP) के विशिष्ट भौतिक प्रभावों को अलग करने में विफल रहते हैं, या वे विभिन्न मोडैलिटीज में बैच साइज और सीक्वेंस लेंथ के साथ ऊर्जा के गैर-रैखिक स्केलिंग को समझने में विफल रहते हैं।

कार्यप्रणाली: EnergyLens फ्रेमवर्क

लेखक EnergyLens का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो GPU ऊर्जा खपत के लिए कॉम्पैक्ट, क्लोज्ड-फॉर्म गणितीय अभिव्यक्तियों की खोज करने के लिए सिंबोलिक रिग्रेशन (symbolic regression) का उपयोग करता है। ब्लैक-बॉक्स मॉडल के विपरीत, EnergyLens ऐसे फॉर्मूले निकालता है जहाँ पद (terms) सीधे मापने योग्य सिस्टम गुणों के अनुरूप होते हैं।

1. यूनिफाइड एनर्जी मॉडल

EnergyLens का मूल भाग एक बारह-पैरामीटर वाला क्लोज-फॉर्म समीकरण है जो ऊर्जा ( $E$ ) को तीन भौतिक रूप से आधारित घटकों में विभाजित करता है:
$E = E_{prefill} + E_{decode} + E_{overhead}$

फेज डिकंपोजिशन (Phase Decomposition): मॉडल कंप्यूट-बाउंड प्रीफिल (prefill) चरण (इनपुट टोकन को प्रोसेस करना) को मेमोरी-बाउंड डिकोड (decode) चरण (आउटपुट टोकन जेनरेट करना) से स्पष्ट रूप से अलग करता है।
पैरेललिज्म डिकपलिंग (Parallelism Decoupling): मॉडल टेंसर पैरेललिज्म ( $d_{TP}$ ) और पाइपलाइन पैरेललिज्म ( $d_{PP}$ ) के बीच अंतर करता है। यह पहचानता है कि TP कुशल टेंसर-कोर उपयोग के माध्यम से प्रति-GPU गणना को कम करता है लेकिन सिंक्रोनाइज़ेशन ओवरहेड पेश करता है, जबकि PP पाइपलाइन बबल्स पेश करता है और आइडल स्टेज के दौरान उपकरणों को चालू रखता है।
गैर-रैखिक स्केलिंग (Non-Linear Scaling): फॉर्मूला बैच साइज बढ़ने के साथ फिक्स्ड ओवरहेड्स (जैसे कर्नेल लॉन्च और KV-कैश इनिशियलाइजेशन) के उप-रैखिक अमॉर्टाइजेशन (sublinear amortization) और विभिन्न मोडैलिटीज (जैसे वीडियो/इमेज वर्कलोड के लिए लॉगरिदमिक कंप्रेशन) के लिए विशिष्ट स्केलिंग कानूनों को कैप्चर करता है।

सामान्य रूप (पेपर में समीकरण 4) है:
$E = \alpha_p \frac{\text{total input tokens}}{(\text{batch size}^{\beta_p} + \epsilon_p)} d_{TP}^{\gamma_{1,p}} d_{PP}^{\gamma_{2,p}} + \alpha_d \frac{\text{max tokens}}{(\text{batch size}^{\beta_d} + \epsilon_d)} d_{TP}^{\gamma_{1,d}} d_{PP}^{\gamma_{2,d}} + \delta_1 d_{TP} + \delta_2 d_{PP}$

2. ट्रेनिंग और फिटिंग

डेटा संग्रह (Data Collection): एक प्रोफाइलिंग फ्रेमवर्क व्यवस्थित रूप से NVIDIA, Intel, और AMD GPUs पर पैरेललिज्म रणनीतियों, क्वांटाइजेशन स्कीमों, बैच साइज और सीक्वेंस लेंथ का स्वीप (sweep) करता है।
सिंबोलिक रिग्रेशन (Symbolic Regression): फ्रेमवर्क गणितीय अभिव्यक्तियों के स्पेस को खोजने के लिए खोज करता है ताकि वह संरचना मिल सके जो प्रोफाइलिंग डेटा में सबसे अच्छा फिट बैठती है।
पैरामीटर एस्टीमेशन (Parameter Estimation): एक बार जब फॉर्मूला स्ट्रक्चर फिक्स हो जाता है, तो बारह स्केलर पैरामीटर्स ( $\phi$ ) को एक छोटे प्रतिनिधि डेटासेट का उपयोग करके L-BFGS-B ऑप्टिमाइजेशन के माध्यम से फिट किया जाता है।
सैंपल एफिशिएंसी (Sample Efficiency): मॉडल को उच्च सटीकता प्राप्त करने के लिए केवल 50 प्रोफाइलिंग माप की आवश्यकता होती है, जो एन्सेम्बल ML विधियों (~500 नमूने) की तुलना में 10 गुना कम है।

मुख्य योगदान

यूनिफाइड क्लोज-फॉर्म मॉडल: एक एकल ऊर्जा मॉडल का विकास जो TP और PP योगदान को अलग करता है और प्रीफिल से डिकोड ऊर्जा को अलग करता है, जिसके पैरामीटर स्पष्ट भौतिक अर्थ रखते हैं।
सिंबोलिक रिग्रेशन डिस्कवरी: यह प्रदर्शन करना कि सिंबोलिक रिग्रेशन विविध आर्किटेक्चर (Dense, MoE, SSM), मोडैलिटीज (टेक्स्ट, इमेज, वीडियो) और हार्डवेयर वेंडर्स के बीच सामान्यीकरण करने वाली नॉन-लीनियर फॉर्मूला संरचनाओं को उजागर कर सकता है, बिना फॉर्मूला टेम्पलेट बदले।
व्यवस्थित प्रोफाइलिंग फ्रेमवर्क: एक ऐसा फ्रेमवर्क लागू करना जो एनालिटिकल मॉडलिंग के लिए आवश्यक स्ट्रक्चर्ड डेटा उत्पन्न करने के लिए पैरेललिज्म, क्वांटाइजेशन और वर्कलोड पैरामीटर्स के संयुक्त स्थान (joint space) का अन्वेषण करता है।
डायरेक्ट एनर्जी मॉडलिंग: लेटेंसी को प्रॉक्सी के रूप में उपयोग करने के बजाय सीधे ऊर्जा को मॉडल करके, फ्रेमवर्क उन पैरेललिज्म कॉन्फ़िगरेशन की पहचान करता है जिन्हें लेटेंसी-आधारित ऑप्टिमाइज़र व्यवस्थित रूप से अनदेखा कर देते हैं।

प्रयोगात्मक परिणाम

लेखकों ने NVIDIA A100, AMD MI100, और Intel Max 1550 GPUs पर डेंस ट्रांसफॉर्मर, MoE, और स्टेट-स्पेस मॉडल्स के 940 परिदृश्यों में EnergyLens का मूल्यांकन किया।

कॉन्फ़िगरेशन सिलेक्शन एक्यूरेसी: EnergyLens 88.2% Top-1 कॉन्फ़िगरेशन सिलेक्शन एक्यूरेसी प्राप्त करता है (एकल सर्वश्रेष्ठ ऊर्जा कॉन्फ़िगरेशन की पहचान करना), जो निकटतम एनालिटिकल बेसलाइन, MAVERIQ (जिसने 60.9% प्राप्त किया) को काफी पीछे छोड़ देता है।
पेयरवाइज रैंकिंग (Pairwise Ranking): EnergyLens 95.8% पेयरवाइज रैंकिंग एक्यूरेसी (यह भविष्यवाणी करना कि दो कॉन्फ़िगरेशन में से कौन सा अधिक कुशल है) प्राप्त करता है, जबकि MAVERIQ के लिए यह 91.5% है।
सैंपल एफिशिएंसी: EnergyLens एन्सेम्बल ML विधियों (रैंडम फॉरेस्ट, ग्रेडिएंट बूस्टिंग) की प्रेडिक्टिव एक्यूरेसी से मेल खाता है, जबकि इसके लिए 10 गुना कम प्रोफाइलिंग नमूनों (n=50 पर 13.0% MAPE बनाम रैंडम फॉरेस्ट के लिए 49.0% MAPE) की आवश्यकता होती है।
जनरलाइजेशन (Generalization):
- क्रॉस-हार्डवेयर: मॉडल केवल स्केलर गुणांकों को फिर से फिट करके GPU वेंडर्स (NVIDIA, Intel, AMD) के बीच ट्रांसफर होता है।
- क्रॉस-मोडैलिटी: यह टेक्स्ट, इमेज+टेक्स्ट, और वीडियो+टेक्स्ट वर्कलोड पर मजबूती से काम करता है।
- एक्सट्रपलेशन: EnergyLens अनदेखे बैच साइज (ट्रेनिंग डेटा से 3x से 10x बड़े) तक विश्वसनीय रूप से एक्सट्रपलेट करता है, जिसमें सात में से पांच डेटासेट्स पर ≥93% पेयरवाइज एक्यूरेसी है, जबकि लीनियर-बैच बेसलाइन काफी विफल हो जाते हैं।
रोबस्टनेस (Robustness): लेटेंसी-आधारित प्रॉक्सी के विपरीत, जिन्हें सटीक प्रति-कॉन्फ़िगरेशन पावर मेजरमेंट की आवश्यकता होती है, EnergyLens ऊर्जा को नेटिवली मॉडल करता है और पावर टेलीमेट्री उपलब्ध न होने पर भी उच्च सटीकता बनाए रखता है।

महत्व और दावे

लेखक दावा करते हैं कि EnergyLens ऊर्जा-अनुकूल LLM परिनियोजन (deployment) के लिए एक व्यावहारिक, व्याख्यात्मक उपकरण प्रदान करता है। इसका महत्व इस प्रकार है:

व्याख्यात्मकता (Interpretability): ब्लैक-बॉक्स सरोगेट्स के विपरीत, EnergyLens "ऑडिटेबल" भविष्यवाणियां प्रदान करता है जहां ऑपरेटर ऊर्जा खपत के भौतिक ड्राइवरों (जैसे, TP बनाम PP स्केलिंग की सापेक्ष लागत को सत्यापित करना) को समझने के लिए पदों का निरीक्षण कर सकते हैं।
एक्शनेबिलिटी (Actionability): मॉडल व्यापक माप के बिना परिनियोजन के लिए पारेटो-इष्टतम (Pareto-optimal) कॉन्फ़िगरेशन की पहचान करने में सक्षम बनाता है।
लागत-प्रभावशीलता (Cost-Effectiveness): प्रोफाइलिंग बजट को सैकड़ों नमूनों से घटाकर ~50 तक कम करके, यह ऊर्जा-जागरूक कॉन्फ़िगरेशन ट्यूनिंग को उत्पादन वातावरण के लिए व्यवहार्य बनाता है।
भौतिक आधार (Physical Grounding): यह खोज कि लेटेंसी और ऊर्जा के इष्टतम अलग-अलग होते हैं, और पाइपलाइन पैरेललिज्म ऊर्जा को कम कर सकता है भले ही वह लेटेंसी को कम न करे, यह प्रचलित धारणा को चुनौती देता है कि लेटेंसी ऊर्जा दक्षता के लिए एक पर्याप्त प्रॉक्सी है।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान टेम्पलेट में एडिटिव टर्म्स का उपयोग किया गया है, भविष्य के कार्य MoE और लॉन्ग-कॉन्टेक्स्ट वर्कलोड के लिए मल्टीप्लिकेटिव इंटरैक्शन की खोज कर सकते हैं, और ऑनलाइन रीकॉन्फ़िगरेशन के साथ एकीकरण कर सकते हैं। फ्रेमवर्क और डेटासेट्स को ओपन-सोर्स के रूप में जारी करने का इरादा है।