🤖 machine learning

Energy Scaling Laws for Diffusion Models: Quantifying Compute in Image Generation

यह शोध पत्र एक अनुकूलित कपलान स्केलिंग लॉ (Kaplan scaling law) प्रस्तावित करता है जो इन्फरेंस को टेक्स्ट एनकोडिंग, डिनोइजिंग और डिकोडिंग घटकों में विभाजित करके डिफ्यूजन मॉडल्स के लिए GPU ऊर्जा खपत का सटीक अनुमान लगाता है, यह प्रदर्शित करते हुए कि डिनोइजिंग ऊर्जा उपयोग पर हावी है और टिकाऊ एआई नियोजन के लिए विश्वसनीय क्रॉस-आर्किटेक्चर अनुमान को सक्षम बनाता है।

मूल लेखक: Aniketh Iyengar, Jiaqi Han, Boris Ruf, Vincent Grari, Marcin Detyniecki, Stefano Ermon

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aniketh Iyengar, Jiaqi Han, Boris Ruf, Vincent Grari, Marcin Detyniecki, Stefano Ermon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही महंगा, उच्च-शक्ति वाला किचन रोबोट (एक GPU) है जो सामग्री के ढेर को एक आदर्श, फोटोरियलिस्टिक केक (एक छवि) में बदल सकता है। यह रोबोट केवल एक बार में केक नहीं बनाता; इसे सही बनावट पाने के लिए दर्जनों बार मिश्रण करना, चखना, सुधारना और फिर से मिश्रण करना पड़ता है। इमेज बनाने के लिए डिफ्यूजन मॉडल्स (Diffusion Models) इसी तरह काम करते हैं।

समस्या यह है कि यह रोबोट बहुत अधिक बिजली खाता है। केक जितना जटिल होगा (उच्च रिज़ॉल्यूशन) और आप जितनी बार मिश्रण करेंगे (अधिक स्टेप्स), आपका बिजली का बिल उतना ही अधिक होगा।

यह शोध पत्र इन इमेज बनाने वाले रोबोटों के लिए एक स्मार्ट ऊर्जा कैलकुलेटर की तरह है। लेखकों ने एक सरल प्रश्न का उत्तर देने की कोशिश की: "यदि मैं केक का आकार, रोबोट का प्रकार, या मिश्रण करने की संख्या बदल दूँ, तो क्या मैं बिना रोबोट चलाए ठीक से अनुमान लगा सकता हूँ कि वह कितनी बिजली का उपयोग करेगा?"

यहाँ उनके निष्कर्षों का रोजमर्रा के उदाहरणों के साथ विवरण दिया गया है:

1. ऊर्जा का "नुस्खा" (स्केलिंग लॉ - The Scaling Law)

लेखकों ने भाषा मॉडल (जिसे कपलान स्केलिंग लॉ कहा जाता है) की दुनिया से एक प्रसिद्ध नियम लिया और उसे इमेज जनरेशन के लिए अनुकूलित किया। इस नियम को एक सार्वभौमिक नुस्खे के रूप में सोचें जो कहता है: "रोबोट जितना अधिक काम करेगा, वह उतनी ही अधिक ऊर्जा खाएगा।"

उन्होंने पाया कि इन इमेज रोबोटों के लिए, यह संबंध लगभग पूरी तरह से सीधा है। यदि आप गणित की मात्रा (जिसे FLOPs कहा जाता है) को दोगुना कर देते हैं, तो यह लगभग दोगुनी ऊर्जा का उपयोग करता है। यह कार चलाने जैसा है: यदि आप दोगुना लंबा रास्ता तय करते हैं, तो आप दोगुना ईंधन खर्च करते हैं।

2. "मिश्रण करना" (Mixing) सबसे भारी काम है

जब रोबोट केक बनाता है, तो इसके तीन भाग होते हैं:

ऑर्डर पढ़ना (Text Encoding): यह पढ़ना कि आपको किस तरह का केक चाहिए।
बैटर मिलाना (Iterative Denoising): वास्तविक बेकिंग प्रक्रिया जहाँ यह शोर (noise) को साफ करता है।
केक को सजाना (Decoding): अंतिम छवि को तैयार करना।

शोध पत्र में पाया गया कि चरण 2 (मिश्रण करना) सबसे भारी काम है। यह उपयोग की जाने वाली ऊर्जा के 90% से अधिक हिस्से के लिए जिम्मेदार है। रोबोट अपना लगभग सारा समय और बिजली बैटर को बार-बार मिलाने में खर्च करता है, न कि ऑर्डर पढ़ने या केक सजाने में। यही कारण है कि बिजली का बिल इतना अधिक है: रोबोट को एक एकल छवि के लिए 10 से 50 बार मिश्रण करना पड़ता है।

3. "रोबोट मॉडल" उतना महत्वपूर्ण नहीं है जितना आप सोचते हैं

शोधकर्ताओं ने चार अलग-अलग प्रकार के रोबोटों (Stable Diffusion 2, Stable Diffusion 3.5, Flux, और Qwen) और तीन अलग-अलग प्रकार के किचन (NVIDIA A100, A4000, और A6000 GPUs) पर इस नियम का परीक्षण किया।

चौंकाने वाली बात यह है: यह नियम उन सभी पर काम करता है।

यदि आप जानते हैं कि एक "Flux" रोबोट कितनी ऊर्जा का उपयोग करता है, तो आप उसी गणित का उपयोग यह अनुमान लगाने के लिए कर सकते हैं कि एक "Qwen" रोबोट कितनी ऊर्जा का उपयोग करेगा, भले ही वे अलग तरह से बने हों।
इससे कोई फर्क नहीं पड़ता कि आप एक पेशेवर डेटा-सेंटर रोबोट (A100) का उपयोग कर रहे हैं या एक हाई-एंड वर्कस्टेशन रोबोट (A6000) का; "किया गया कार्य" और "उपयोग की गई ऊर्जा" के बीच का संबंध सुसंगत रहता है।

यह खोजने जैसा है कि चाहे आप टोयोटा चला रहे हों या फोर्ड, यदि आप समान दूरी और समान गति से चलते हैं, तो आप लगभग समान ईंधन जलाएंगे। आपको सड़क पर मौजूद हर कार का परीक्षण करने की आवश्यकता नहीं है; आपको बस दूरी और गति जानने की आवश्यकता है।

4. वे "नॉब्स" (Knobs) जो बिल को बदलते हैं

शोध पत्र ने यह भी देखा कि जब आप रोबोट के नॉब्स घुमाते हैं तो क्या होता है:

रिज़ॉल्यूशन (आकार): छवि को बड़ा बनाना (256x256 से 1024x1024 तक) ऐसा है जैसे रोबोट से एक कप केक के बजाय एक विशाल वेडिंग केक बनाने के लिए कहना। ऊर्जा की लागत नाटकीय रूप से बढ़ जाती है।
प्रिसिजन (सटीकता): "float32" (अत्यधिक सटीक) बनाम "float16" (मानक सटीकता) का उपयोग करना ऐसा है जैसे रोबोट से किचन स्केल के बजाय सूक्ष्म स्केल के साथ सामग्री मापने के लिए कहना। सुपर-प्रेसिजन मोड में काफी अधिक ऊर्जा (कुछ मामलों में लगभग 7 गुना अधिक) लगती है।
स्टेप्स (मिश्रण): रोबोट को 10 के बजाय 50 बार मिश्रण करने के लिए कहना ऐसा है जैसे उससे 10 मिनट के बजाय एक घंटे तक बैटर को चलाने के लिए कहना। ऊर्जा की लागत रैखिक रूप से (linearly) बढ़ती है।

5. यह क्यों महत्वपूर्ण है (इसका महत्व क्या है?)

इस शोध पत्र से पहले, यदि किसी कंपनी को यह जानना होता कि दस लाख उपयोगकर्ताओं के लिए इमेज जनरेटर चलाना कितना महंगा होगा, तो उन्हें वास्तव में सिस्टम चलाना पड़ता था और पावर मीटर को मापना पड़ता था। यह सिक्का उछालकर अपने बिजली के बिल का अनुमान लगाने जैसा था।

अब, उनके पास एक पूर्वानुमान उपकरण (predictive tool) है।

प्लानर्स के लिए: एक कंपनी कह सकती है, "यदि हम इस नए रोबोट पर स्विच करते हैं और 4K इमेज मांगते हैं, तो हमें ठीक कितनी बिजली की आवश्यकता होगी," और इसके लिए उन्हें पहले से रोबोट खरीदने की आवश्यकता नहीं है।
पर्यावरण के लिए: यह हमें AI के "कार्बन फुटप्रिंट" को समझने में मदद करता है। शोध पत्र नोट करता है कि एक उच्च-गुणवत्ता वाली छवि उत्पन्न करने में उतनी ही ऊर्जा लग सकती है जितनी कि 10 सामान्य टेक्स्ट-आधारित AI चैट (जैसे चैटबॉट से सवाल पूछना) में लगती है।

सारांश

यह शोध पत्र सिद्ध करता है कि इमेज जनरेशन में ऊर्जा की खपत अनुमानित (predictable) है। यह एक सरल गणितीय नियम का पालन करती है: अधिक गणित = अधिक ऊर्जा। इस नियम को समझकर, हम बेहतर योजना बना सकते हैं, सही उपकरण चुन सकते हैं, और डिजिटल आर्ट बनाने की पर्यावरणीय लागत को समझ सकते हैं, और यह सब बिना एक भी टेस्ट चलाए किया जा सकता है।

तकनीकी सारांश: डिफ्यूजन मॉडल्स के लिए ऊर्जा स्केलिंग लॉ (Energy Scaling Laws)

समस्या विवरण (Problem Statement)

उच्च गुणवत्ता वाले इमेज सिंथेसिस के लिए डिफ्यूजन मॉडल्स की तीव्र तैनाती ने पर्याप्त कम्प्यूटेशनल लागतों को जन्म दिया है, जिससे ऊर्जा खपत और पर्यावरणीय प्रभाव के संबंध में गंभीर चिंताएं उत्पन्न हो गई हैं। सिंगल-पास मॉडल्स के विपरीत, डिफ्यूजन मॉडल्स को पुनरावृत्ति (iterative) डिनोइजिंग स्टेप्स (आमतौर पर 10–50) की आवश्यकता होती है, जहाँ प्रत्येक स्टेप में एक पूर्ण नेटवर्क इवैल्यूएशन शामिल होता है, जो ऊर्जा उपयोग को बढ़ा देता है। जबकि मौजूदा ऊर्जा अनुकूलन रणनीतियाँ आर्किटेक्चरल सुधारों या हार्डवेयर त्वरण (acceleration) पर ध्यान केंद्रित करती हैं, विविध मॉडल कॉन्फ़िगरेशन और हार्डवेयर सेटअपों में ऊर्जा खपत का अनुमान लगाने के लिए सिद्धांतों पर आधारित, भविष्य कहनेवाला (predictive) तरीकों की कमी है। वर्तमान दृष्टिकोण अक्सर पोस्ट-हॉक अनुभवजन्य मापों (empirical measurements) या विशेष बेंचमार्क पर निर्भर करते हैं, जो ग्राउंड ट्रुथ तो प्रदान करते हैं लेकिन आर्किटेक्चरल जटिलता (FLOPs) को सीधे ऊर्जा पदचिह्नों (energy footprints) से जोड़ने वाले सामान्यीकरण योग्य भविष्य कहनेवाला ढांचे प्रदान करने में विफल रहते हैं।

कार्यप्रणाली (Methodology)

लेखक डिफ्यूजन मॉडल इन्फरेंस के लिए GPU ऊर्जा खपत की भविष्यवाणी करने के लिए कपलान स्केलिंग लॉ (Kaplan scaling laws)—जो मूल रूप से ट्रांसफार्मर-आधारित लैंग्वेज मॉडल प्रशिक्षण के लिए विकसित किए गए थे—को अनुकूलित करने का प्रस्ताव करते हैं। मुख्य परिकल्पना यह है कि ऊर्जा का उपयोग कम्प्यूटेशनल जटिलता (FLOPs) के साथ एक पावर-लॉ संबंध का पालन करता है, जिसे हार्डवेयर और कॉन्फ़िगरेशन कारकों द्वारा नियंत्रित किया जाता है।

सैद्धांतिक ढांचा (Theoretical Framework)

कुल ऊर्जा खपत ( $E$ ) को कम्प्यूटेशनल जटिलता, परिशुद्धता (precision), हार्डवेयर आर्किटेक्चर और रेजोल्यूशन के फलन (function) के रूप में मॉडल किया गया है। लेखक एक लॉग-लीनियर रिग्रेशन मॉडल तैयार करते हैं:
$\log(E) = \log(A) + \alpha \log(\text{FLOPs} \times 2^{I_{cfg}}) + \beta_{dtype} I_{dtype} + \beta_{gpu} I_{gpu} + \beta_{res} \log\left(\frac{H \times W}{256}\right)$
जहाँ:

FLOPs: प्राथमिक प्रेडिक्टर है, जिसे टेक्स्ट एनकोडिंग, इटरेटिव डिनोइजिंग और इमेज डिकोडिंग में विभाजित किया गया है। लेखक तर्क देते हैं कि इटरेटिव डिनोइजिंग ऊर्जा खपत पर हावी है (कुल FLOPs के >90% के लिए जिम्मेदार), जिससे मॉडल कुल कंप्यूट को $N \times T \times \text{FLOPs}_{denoise}$ के रूप में अनुमानित कर सकता है।
$I_{cfg}$ : क्लासिफायर-फ्री गाइडेंस (Classifier-Free Guidance) के लिए एक इंडिकेटर है, जो प्रभावी रूप से कम्प्यूटेशनल लागत को दोगुना कर देता है।
$I_{dtype}$ और $I_{gpu}$ : फ्लोटिंग-पॉइंट प्रिसिजन (fp16 बनाम fp32) और GPU आर्किटेक्चर (A100, A4000, A6000) के लिए वन-हॉट एनकोडेड वेरिएबल्स हैं।
$\beta_{res}$ : एक बायस टर्म है जो रेजोल्यूशन-निर्भर दक्षता विविधताओं को संभालता है जिन्हें केवल FLOPs द्वारा कैप्चर नहीं किया जा सकता है (जैसे, मेमोरी बैंडविड्थ उपयोगिता)।

प्रयोगात्मक डिजाइन (Experimental Design)

अध्ययन इस ढांचे को निम्नलिखित के माध्यम से व्यापक प्रयोगों के माध्यम से मान्य करता है:

मॉडल्स: विभिन्न आर्किटेक्चर वाले चार स्टेट-ऑफ-द-आर्ट डिफ्यूजन मॉडल्स: स्टेबल डिफ्यूजन 2 (U-Net), स्टेबल डिफ्यूजन 3.5 (MMDiT), फ्लक्स (Flux - MMDiT के साथ फ्लो-मैचिंग), और क्यूवेन (Qwen - MMDiT)।
हार्डवेयर: तीन NVIDIA GPU आर्किटेक्चर (A100, RTX A4000, RTX A6000)।
कॉन्फ़िगरेशन: रेजोल्यूशन ( $256^2$ से $1024^2$ ), प्रिसिजन (fp16/fp32), स्टेप काउंट (10–50), और गाइडेंस सेटिंग्स के बदलाव।
मापन (Measurement): ऊर्जा खपत को 1Hz सैंपलिंग दर पर कोडकार्बन (CodeCarbon) के एमिशन ट्रैकर (NVML के माध्यम से) का उपयोग करके मापा गया था, जिसमें आइडल बेसलाइन को घटाकर डायनेमिक GPU पावर को अलग किया गया था।

मुख्य योगदान (Key Contributions)

स्केलिंग लॉ का अनुकूलन: डिफ्यूजन मॉडल इन्फरेंस ऊर्जा की भविष्यवाणी करने के लिए कपलान-शैली के स्केलिंग लॉ का पहला अनुप्रयोग, जो FLOPs और ऊर्जा पदचिह्नों के बीच एक सैद्धांतिक संबंध स्थापित करता है।
FLOP डिकंपोजिशन: डिफ्यूजन इन्फरेंस लागत का विस्तृत विश्लेषणात्मक डिकंपोजिशन, जो पुष्टि करता है कि इटरेटिव डिनोइजिंग प्रमुख कम्प्यूटेशनल घटक है।
क्रॉस-आर्किटेक्चर सामान्यीकरण: यह प्रदर्शन कि विशिष्ट मॉडल-हार्डवेयर संयोजनों पर सीखे गए ऊर्जा स्केलिंग लॉ अनदेखे मॉडल्स (जैसे, Flux/SD3.5 डेटा से Qwen की ऊर्जा की भविष्यवाणी करना) और अनदेखे हार्डवेयर प्लेटफॉर्मों पर प्रभावी ढंग से सामान्यीकृत होते हैं।
हार्डवेयर-अवेयर मॉडलिंग: एक एकीकृत भविष्य कहनेवाला ढांचे में प्रिसिजन और GPU आर्किटेक्चर प्रभावों को शामिल करना, जो प्रति-ऑपरेटर प्रोफाइलिंग के बिना ऊर्जा अनुमान को सक्षम बनाता है।
डिप्लॉयमेंट फ्रेमवर्क: बड़े पैमाने पर डिफ्यूजन डिप्लॉयमेंट के ऊर्जा प्रभाव का अनुमान लगाने के लिए एक व्यावहारिक कार्यप्रणाली, जो टिकाऊ AI योजना में सहायता करती है।

परिणाम (Results)

उच्च भविष्य कहनेवाला सटीकता: प्रस्तावित ऊर्जा स्केलिंग लॉ व्यक्तिगत आर्किटेक्चर के भीतर उच्च सटीकता प्राप्त करता है, जिसमें Flux, SD3.5, और Qwen जैसे मॉडल्स के लिए A100 पर $R^2 > 0.9$ (अक्सर 0.99 से अधिक) है।
कंप्यूट-बाउंड प्रकृति: स्केलिंग एक्सपोनेंट ( $\alpha$ ) 1.0 के करीब पहुँचता है (जैसे, Flux के लिए 0.989), जो इस परिकल्पना को सत्यापित करता है कि डिफ्यूजन इन्फरेंस काफी हद तक कंप्यूट-बाउंड है न कि मेमोरी-बाउंड।
क्रॉस-मॉडल ट्रांसफर: मॉडल्स के उपसमुच्चयों (जैसे, Flux + SD3.5) पर प्रशिक्षित स्केलिंग लॉ सफलतापूर्वक रखे गए (held-out) मॉडल्स (जैसे, Qwen) के लिए ऊर्जा खपत की भविष्यवाणी करते हैं, जिसमें मजबूत रैंक सहसंबंध ( $R, R_s > 0.9$ ) देखे गए।
क्रॉस-आर्किटेक्चर ट्रांसफर: फ्रेमवर्क सफलतापूर्वक आर्किटेक्चरल प्रतिमानों को जोड़ता है, MMDiT मॉडल्स (Flux/SD3.5) से प्राप्त लॉ का उपयोग करके U-Net मॉडल्स (SD2) के लिए ऊर्जा की भविष्यवाणी करता है, और इसके विपरीत भी।
ऊर्जा परिमाण (Energy Magnitude): अध्ययन मात्रात्मक रूप से बताता है कि एक एकल उच्च-रेजोल्यूशन डिफ्यूजन इमेज एक विशिष्ट लार्ज लैंग्वेज मॉडल क्वेरी (जैसे, एक उच्च-गुणवत्ता वाली Qwen इमेज के लिए 3.58 Wh बनाम ChatGPT क्वेरी के लिए ~0.34 Wh तक) की तुलना में 10 गुना अधिक ऊर्जा की खपत कर सकती है। कॉन्फ़िगरेशन के आधार पर ऊर्जा खपत तीन ऑर्डर ऑफ मैग्नीट्यूड तक फैली हुई है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह टिकाऊ AI डिप्लॉयमेंट योजना के लिए एक आवश्यक आधार के रूप में ऊर्जा खपत अनुमान को स्थापित करता है। यह प्रमाणित करके कि FLOP-आधारित मॉडल डिफ्यूजन मॉडल्स के लिए व्यावहारिक मार्गदर्शन प्रदान कर सकते हैं, यह कार्य सक्षम बनाता है:

प्री-डिप्लॉयमेंट प्लानिंग: संगठन विस्तृत अनुभवजन्य परीक्षण के बिना विभिन्न GPU प्लेटफॉर्मों पर ऊर्जा लागत का अनुमान लगा सकते हैं।
कार्बन-अवेयर ऑप्टिमाइजेशन: सिस्टम ग्रिड कार्बन तीव्रता के आधार पर हाइपरपैरामीटर्स (प्रिसिजन, रेजोल्यूशन, स्टेप्स) को गतिशील रूप से समायोजित कर सकते हैं।
मानकीकरण: कार्यप्रणाली ऊर्जा खपत की रिपोर्टिंग के लिए एक मानकीकृत दृष्टिकोण प्रदान करती है, जो नियामक अनुपालन और पुनरुत्पादक ऊर्जा लेखांकन (reproducible energy accounting) का समर्थन करती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि सिस्टम-व्यापी दायरे (CPU/RAM/कूलिंग को छोड़कर) और विशिष्ट हार्डवेयर प्रकारों (NVIDIA-केंद्रित) के संबंध में सीमाएं मौजूद हैं, फिर भी फ्रेमवर्क डिफ्यूजन मॉडल्स में ऊर्जा-जटिलता संबंधों के मौलिक, आर्किटेक्चर-अज्ञेय (architecture-agnostic) सिद्धांतों को सफलतापूर्वक कैप्चर करता है। यह जनरेटिव AI के पर्यावरणीय प्रभाव का आकलन करने और उसे कम करने के लिए एक स्केलेबल टूल प्रदान करता है।