This Is Taking Too Long -- Investigating Time as a Proxy for Energy Consumption of LLMs
यह शोध पत्र API-आधारित लार्ज लैंग्वेज मॉडल्स की अपारदर्शी ऊर्जा खपत का अनुमान लगाने के लिए इन्फरेंस टाइम (inference time) को एक प्रॉक्सी के रूप में उपयोग करने का प्रस्ताव देता है, जो स्थानीय रूप से होस्ट किए गए समकक्षों के वास्तविक ऊर्जा डेटा के साथ समय के मापन को सह-संबंधित करके इस दृष्टिकोण को मान्य करता है ताकि उपयोगकर्ताओं को पर्यावरणीय लागत समझने में मदद मिल सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र, "This Is Taking Too Long" का सरल भाषा में अनुवाद दिया गया है, जिसमें कुछ रचनात्मक उपमाओं का उपयोग किया गया है।
बड़ी समस्या: "ब्लैक बॉक्स" बिजली का बिल
कल्पना कीजिए कि आप एक रेस्टोरेंट में खाना ऑर्डर करते हैं। मेनू आपको खाने की कीमत तो बताता है, लेकिन यह नहीं बताता कि शेफ ने खाना पकाने में कितनी बिजली खर्च की, बर्तन धोने में कितना पानी बर्बाद हुआ, या आपके पास खाना पहुँचाने के लिए डिलीवरी ट्रक ने कितना ईंधन जलाया।
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ—जैसे कि ChatGPT या Mistral को चलाने वाले मॉडल—ठीक यही हो रहा है। जब आप AI से कोई सवाल पूछते हैं, तो आपको जवाब तो मिल जाता है, लेकिन आपको यह पता नहीं होता कि उस जवाब को तैयार करने में कितनी ऊर्जा (energy) लगी। इन मॉडल्स को चलाने वाली कंपनियाँ अपने सर्वरों को एक "ब्लैक बॉक्स" की तरह रखती हैं—वे अपना बिजली का बिल साझा नहीं करतीं।
यह एक समस्या है क्योंकि AI बहुत बड़ा होता जा रहा है, और यह भारी मात्रा में बिजली खा रहा है, जो पर्यावरण को नुकसान पहुँचाता है। हमें यह जानने का तरीका चाहिए कि हमारा AI उपयोग कितना "गंदा" (प्रदूषणकारी) है, लेकिन हम किसी कंपनी के गुप्त सर्वर फार्म में मीटर नहीं लगा सकते।
जासूस की तरकीब: समय ही सुराग है
चूँकि शोधकर्ता (लार्स क्रुप और उनकी टीम) गुप्त सर्वर के अंदर झाँक नहीं सके, इसलिए उन्होंने एक चतुर तरीका अपनाया: समय (Time)।
इसे इस तरह समझें: यदि आप जानते हैं कि एक विशिष्ट कार का इंजन कितनी तेजी से गैस जलाता है, और आप जानते हैं कि यात्रा में कितना समय लगा, तो आप अनुमान लगा सकते हैं कि कितना ईंधन इस्तेमाल हुआ होगा।
- परिकल्पना (Hypothesis): AI को सवाल का जवाब देने में लगने वाला समय सीधे तौर पर इस बात से जुड़ा है कि वह कितनी ऊर्जा का उपयोग करता है।
- चुनौती: एक तेज़ जवाब का मतलब एक बहुत ही कुशल इंजन भी हो सकता है, या यह एक विशाल, बहुत अधिक ईंधन खपत करने वाला इंजन भी हो सकता है जो बस खाली सड़क पर चल रहा था। इसे हल करने के लिए, शोधकर्ताओं को एक "कंट्रोल ग्रुप" की आवश्यकता थी।
प्रयोग: "लोकल बनाम रिमोट" की दौड़
अपनी थ्योरी का परीक्षण करने के लिए, टीम ने दो धावकों के बीच एक दौड़ आयोजित की:
- लोकल धावक (कंट्रोल ग्रुप): उन्होंने जर्मनी में अपने कंप्यूटरों पर विशिष्ट, ज्ञात ग्राफिक्स कार्ड (GPUs) का उपयोग करके AI मॉडल्स को इंस्टॉल किया। वे जानते थे कि इन कार्डों ने ठीक कितनी बिजली खर्च की। उन्होंने एक ही "कार्य" (जैसे गणित की व्याख्या लिखना या एक रचनात्मक कहानी बनाना) को बार-बार चलाया।
- रिमोट धावक (रहस्यमय समूह): उन्होंने इंटरनेट पर होस्ट किए गए AI मॉडल्स से वही सवाल पूछे (API के माध्यम से)। वे हार्डवेयर को देख नहीं सकते थे, लेकिन वे यह सटीक रूप से माप सकते थे कि जवाब मिलने में कितना समय लगा।
उपमा: कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि एक अजनबी कौन सी कार चला रहा है। आप कार को देख नहीं सकते, लेकिन आप यह माप सकते हैं कि उन्हें पॉइंट A से पॉइंट B तक जाने में कितना समय लगा।
- यदि वे बहुत तेज़ हैं, तो आप अनुमान लगा सकते हैं कि उनके पास फेरारी (H100 GPU) है।
- यदि वे धीमे हैं, तो आप एक मानक सेडान (A100 GPU) का अनुमान लगा सकते हैं।
- अपनी कारों (आपके स्थानीय परीक्षणों) के समय से उनके समय की तुलना करके, आप बहुत अच्छा अनुमान लगा सकते हैं कि वे क्या चला रहे हैं।
उन्हें क्या पता चला
परिणाम काफी खुलासा करने वाले थे:
- इंटरनेट तेज़ है (लेकिन शायद "भारी" भी है): इंटरनेट पर मौजूद AI मॉडल शोधकर्ताओं के स्थानीय कंप्यूटरों पर चलने वाले मॉडल्स की तुलना में काफी तेज़ थे।
- "GPU डिटेक्टिव" का काम: इंटरनेट वाले AI की गति को देखकर, शोधकर्ता यह निष्कर्ष निकाल सके कि कंपनियाँ संभवतः नवीनतम, सबसे शक्तिशाली ग्राफिक्स कार्ड (H100 और H200 चिप्स) का उपयोग कर रही हैं। ये AI की दुनिया के "फेरारी" हैं।
- ऊर्जा का अनुमान: एक बार जब उन्होंने यह पता लगा लिया कि कौन सा हार्डवेयर उपयोग किया जा रहा है, तो वे ऊर्जा की लागत की गणना कर सके।
- उन्होंने पाया कि "समय" (Time) विधि का उपयोग करने से उन्हें ऊर्जा खपत का काफी सटीक अनुमान मिला।
- उन्होंने यह भी खोजा कि AI मॉडल्स के "फ्री" (मुफ्त) और "पेड" (सशुल्क) संस्करण बहुत समान हार्डवेयर पर चलते हैं, जिसका अर्थ है कि फ्री वर्जन जरूरी नहीं कि "खराब" (धीमे) उपकरणों पर चल रहा हो; यह बस एक समान सेटअप है।
यह क्यों महत्वपूर्ण है
यह शोध पत्र एक तरह से उन AI के लिए "फ्यूल गेज" (ईंधन मापने वाला यंत्र) देने जैसा है जिसे हम रोज़ाना उपयोग करते हैं।
- आम लोगों के लिए: यह हमें यह समझने में मदद करता है कि हर बार जब हम AI से ईमेल लिखने या गणित का सवाल हल करने के लिए कहते हैं, तो उसके साथ एक छिपा हुआ "कार्बन खर्च" जुड़ा होता है।
- कंपनियों के लिए: यह AI प्रदाताओं पर पारदर्शिता के लिए दबाव डालता है। यदि हम उनके जवाबों के समय को मापकर उनके ऊर्जा उपयोग का अनुमान लगा सकते हैं, तो वे अपने पर्यावरणीय प्रभाव को आसानी से छिपा नहीं सकते।
- ग्रह के लिए: यह शोधकर्ताओं और नीति निर्माताओं को यह समझने में मदद करता है कि AI को कैसे टिकाऊ बनाया जाए। यदि हमें पता है कि कौन से सेटअप सबसे अधिक ऊर्जा का उपयोग करते हैं, तो हम उन्हें बेहतर बनाने का प्रयास कर सकते हैं।
निचोड़
शोधकर्ताओं ने सिद्ध कर दिया कि समय ऊर्जा का एक अच्छा प्रतिनिधि (proxy) है। भले ही हम सर्वरों को देख नहीं सकते, लेकिन केवल यह मापकर कि एक AI सोचने में कितना समय लेता है, हम इसके पीछे के हार्डवेयर और फलस्वरूप, यह कितनी बिजली जला रहा है, इसके बारे में एक स्मार्ट अनुमान लगा सकते हैं। यह एक बहुत ही उच्च-तकनीकी, अपारदर्शी समस्या पर रोशनी डालने का एक सरल, कम-तकनीकी तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।