🤖 machine learning

Transparent Screening for LLM Inference and Training Impacts

यह शोध पत्र एक पारदर्शी, ऑडिट योग्य ढांचे को प्रस्तुत करता है जो प्राकृतिक-भाषा अनुप्रयोग विवरणों को सीमित पर्यावरणीय अनुमानों में परिवर्तित करता है ताकि बड़े भाषा मॉडलों के इन्फरेंस और प्रशिक्षण प्रभावों का तुलनात्मक विश्लेषण सक्षम किया जा सके, विशेष रूप से उन अपारदर्शी मालिकाना सेवाओं के लिए जहाँ प्रत्यक्ष माप उपलब्ध नहीं है।

मूल लेखक: Arnault Pachot, Thierry Petit

प्रकाशित 2026-04-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arnault Pachot, Thierry Petit

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप दो कारों की ईंधन दक्षता (fuel efficiency) की तुलना करने की कोशिश कर रहे हैं, लेकिन निर्माताओं ने उनके गैस टैंकों को लॉक कर दिया है और वे आपको यह नहीं बता रहे हैं कि दोनों कारें प्रति गैलॉन कितने मील चलती हैं। एक कार एक छोटी, कुशल हैचबैक है (जैसे एक छोटा AI मॉडल), और दूसरी एक विशाल, बहुत अधिक ईंधन खपत करने वाला ट्रक है (जैसे एक विशाल AI मॉडल)। आप डैशबोर्ड नहीं देख सकते, और न ही आप ड्राइवर से पूछ सकते हैं।

यह पेपर एक पारदर्शी, ईमानदार "अनुमान लगाने वाली मशीन" बनाने के बारे में है जो यह आकलन कर सके कि ये AI कारें कितनी "ईंधन" (बिजली और कार्बन) का उपयोग करती हैं, भले ही निर्माता वास्तविक आंकड़े साझा न करें।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इस पेपर का विवरण दिया गया है:

1. समस्या: "ब्लैक बॉक्स" का रहस्य

बड़ी AI कंपनियाँ (जैसे GPT-4 या Claude के पीछे वाली) गुप्त प्रयोगशालाओं की तरह हैं। वे विशाल मॉडल बनाती हैं जो अद्भुत काम करते हैं, लेकिन वे शायद ही कभी कहती हैं, "हे, इस विशिष्ट अनुरोध (request) में 0.5 वॉट बिजली खर्च हुई।"

समस्या: वास्तविक डेटा के बिना, लोग कहानियाँ बनाते हैं या मनगढ़ंत अनुमान लगाते हैं। कुछ कहते हैं कि AI हानिरहित है; अन्य कहते हैं कि यह ग्रह को नष्ट कर रहा है। किसी के पास भी सबूत (receipts) नहीं हैं।
लक्ष्य: लेखकों (Arnault और Thierry) ने ImpactLLM Observatory नामक एक टूल बनाया है। यह यह दावा नहीं करता कि इसे सटीक सत्य पता है। इसके बजाय, यह एक पारदर्शी "प्रॉक्सी" (proxy) बनाता है—जो हमारे पास उपलब्ध जानकारी के आधार पर एक सर्वोत्तम अनुमान है, ताकि हम सेब की तुलना सेब से कर सकें।

2. इन्फरेंस इंजन (Inference Engine): "कॉफी शॉप" की उपमा

जब आप AI से कोई प्रश्न पूछते हैं, तो उसे इन्फरेंस (Inference) कहा जाता है।

पुराना तरीका: अनुमान लगाने के लिए आपको एक 50 पन्नों का तकनीकी फॉर्म भरना पड़ता।
नया तरीका: आप बस एक चैट बॉक्स में एक वाक्य टाइप करते हैं: "हम ग्राहक सहायता के लिए GPT-4o-mini का उपयोग करते हैं, महीने में लगभग 4,000 बार।"
जादू: यह टूल एक स्मार्ट अनुवादक की तरह काम करता है। यह आपके साधारण वाक्य को लेता है और उसे गणित में तोड़ देता है:
- आपने कितने शब्द टाइप किए?
- AI ने बदले में कितने शब्द लिखे? (लिखने में पढ़ने की तुलना में अधिक ऊर्जा लगती है)।
- AI का मस्तिष्क कितना बड़ा है?
- सर्वर कहाँ स्थित है? (कुछ देशों में बिजली कुछ अन्य देशों की तुलना में अधिक "गंदी" यानी प्रदूषणकारी होती है)।

"बाउंडेड" (Bounded) अनुमान:
एक डरावना नंबर जैसे "0.12345 Wh" देने के बजाय, यह टूल आपको एक रेंज (सीमा) देता है (कम, मध्यम, उच्च)।

उपमा: यह मौसम के पूर्वानुमान की तरह है जो कहता है, "बारिश होने की 60% संभावना है, थोड़ी बहुत या फिर तूफान।" यह स्वीकार करता है, "हमें 100% यकीन नहीं है, लेकिन यहाँ एक ईमानदार रेंज दी गई है।"

3. ट्रेनिंग इंजन (Training Engine): "स्कूली शिक्षा" की उपमा

इससे पहले कि एक AI आपसे चैट कर सके, उसे "स्कूल जाना" पड़ता है। यह ट्रेनिंग (Training) है।

चुनौती: हमारे पास इस बात का लगभग कोई डेटा नहीं है कि इन मॉडल्स को प्रशिक्षित करने में कितनी ऊर्जा लगी। यह कुछ ऐसा है जैसे किसी छात्र की चार साल की यूनिवर्सिटी की डिग्री देखकर यह अनुमान लगाना कि उसने कितनी कैलोरी खाई होगी।
समाधान: लेखक मॉडल के आकार और उसने कितनी "पढ़ाई" की, इसके आधार पर एक "प्रॉक्सी" का उपयोग करते हैं। वे एक नियम का उपयोग करते हैं: "हर 1 बिलियन पैरामीटर्स (मस्तिष्क कोशिकाओं) के लिए, मॉडल ने संभवतः 20 बिलियन शब्द पढ़े होंगे।"
परिणाम: वे बिजली में एक अनुमानित "स्कूली लागत" (schooling cost) की गणना करते हैं। फिर से, वे एक एकल गलत-सटीक (fake-precise) नंबर के बजाय एक रेंज दिखाते हैं।

4. यह क्यों महत्वपूर्ण है: "मेन्यू" प्रभाव

यह पेपर एक तालिका (Observatory) प्रस्तुत करता है जो विभिन्न AI मॉडल्स को अगल-बगल सूचीबद्ध करती है।

अंतर्दृष्टि: यह पाया गया है कि सभी AI समान नहीं होते हैं।
- "हैचबैक": छोटे मॉडल्स (जैसे Ministral 3B) अविश्वसनीय रूप से कुशल हैं। उन्हें चैटबॉट के लिए उपयोग करने में उतनी ही कार्बन लागत आ सकती है जितनी कि कार चलाने में कुछ मील की होती है।
- "सुपरटैंकर": विशाल मॉडल्स (जैसे Claude Opus) शक्तिशाली हैं लेकिन "प्यास" अधिक रखते हैं। एक विशाल मॉडल से एक अकेला अनुरोध, एक छोटे मॉडल के 500 अनुरोधों के बराबर ऊर्जा का उपयोग कर सकता है।
संदर्भ: यह टूल यह भी दिखाता है कि AI कहाँ चलता है, यह मायने रखता है। यदि सर्वर फ्रांस (जहाँ बहुत अधिक परमाणु ऊर्जा है) में है, तो कार्बन फुटप्रिंट बहुत कम है। यदि यह कोयले पर निर्भर देश में है, तो फुटप्रिंट बहुत बड़ा है।

5. मुख्य दर्शन: "ईमानदार सन्निकटन" (Honest Approximation)

लेखक बहुत स्पष्ट हैं: हम अनुमान लगाकर झूठ नहीं बोल रहे हैं।

गलत तरीका: यह दावा करना कि हमें सटीक संख्या पता है जब हमें नहीं पता।
सही तरीका: यह कहना, "इन विशिष्ट नियमों के आधार पर यह हमारा सबसे अच्छा अनुमान है, और हमने इसकी गणना ठीक इसी तरह की है ताकि आप हमारे गणित की जांच कर सकें।"

सारांश

इस पेपर को AI ऊर्जा उपयोग के लिए "कंज्यूमर रिपोर्ट्स" के रूप में समझें।
चूंकि AI कंपनियाँ हमें आधिकारिक ईंधन अर्थव्यवस्था स्टिकर नहीं दे रही हैं, इसलिए इन शोधकर्ताओं ने एक पारदर्शी कैलकुलेटर बनाया है जो हमें अनुमति देता है:

टाइप करें कि हम क्या कर रहे हैं।
एक रेंज देखें कि इसमें कितनी ऊर्जा लगने की संभावना है।
विभिन्न मॉडल्स की तुलना करें यह देखने के लिए कि कौन से "हाइब्रिड" हैं और कौन से "गैस गज़लर" (बहुत अधिक ईंधन खपत करने वाले) हैं।

यह AI को रोकने के बारे में नहीं है; यह यह सुनिश्चित करने के बारे में है कि हमें सवारी की लागत पता हो ताकि हम काम के लिए सही वाहन चुन सकें।

यहाँ अरनॉल्ट पाचोट और थियरी पेटिट के शोध पत्र "Transparent Screening for LLM Inference and Training Impacts" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के तेजी से बढ़ते उपयोग ने पर्यावरणीय जवाबदेही में एक महत्वपूर्ण अंतर पैदा कर दिया है। जबकि LLMs सार्वजनिक विमर्श और व्यावहारिक अनुप्रयोगों पर हावी हैं, मालिकाना (proprietary) सेवा प्रदाताओं से प्रत्यक्ष पर्यावरणीय टेलीमेट्री (ऊर्जा खपत और कार्बन उत्सर्जन) आमतौर पर उपलब्ध नहीं होती है।

चुनौती: प्रत्यक्ष डेटा के बिना, LLM के पर्यावरणीय प्रभावों के संबंध में चर्चाएँ अपारदर्शी दावों, असमर्थ तुलनाओं या विरोधात्मक आख्यानों पर निर्भर करती हैं।
वर्तमान दृष्टिकोणों की सीमा: केवल अनुमान से बचना कठोरता में सुधार नहीं करता है; यह अनवेरिफाइड (unverified) दावों के लिए एक शून्य छोड़ देता है। मौजूदा उपकरणों में अक्सर अपने अनुमानों के बारे में पारदर्शिता की कमी होती है या वे इन्फरेंस (inference) और ट्रेनिंग (training) प्रभावों के बीच अंतर करने में विफल रहते हैं।
लक्ष्य: एक ऐसा ढांचा तैयार करना जो सीमित दृश्यता (observability) की स्थिति में भी LLM प्रभावों के लिए ऑडिट योग्य, स्रोत-लिंक्ड और पुनरुत्पादनीय (reproducible) अनुमान प्रदान कर सके, जिससे झूठी सटीकता का दावा किए बिना तुलनात्मक विश्लेषण सक्षम हो सके।

2. कार्यप्रणाली (Methodology)

लेखक एक पारदर्शी स्क्रीनिंग फ्रेमवर्क (Transparent Screening Framework) का प्रस्ताव करते हैं जो प्राकृतिक-भाषा अनुप्रयोग विवरणों को सीमित पर्यावरणीय अनुमानों में परिवर्तित करता है। यह कार्यप्रणाली प्रदाता के दावों के बजाय देखे गए साहित्य (literature) पर आधारित "प्रॉक्सी" मॉडल्स पर निर्भर करती है।

A. इन्फरेंस स्क्रीनिंग विधि (Inference Screening Method)

इन्फरेंस एस्टिमेटर को गति और व्याख्यात्मकता के लिए डिज़ाइन किया गया है, जो LLMs के परिचालन चरण (operational phase) पर केंद्रित है।

इनपुट: उपयोगकर्ता प्राकृतिक-भाषा विवरण प्रदान करते हैं (जैसे, "हम ग्राहक सहायता के लिए GPT-4o-mini का उपयोग करते हैं, 4,000 उपयोग/माह")। एक पार्सर मॉडल, अनुरोध प्रकार, टोकन वॉल्यूम, उपयोग और देश के संदर्भ को निकालता है।
मुख्य आधार (Core Anchor): यह विधि एक साहित्य-आधारित आधार का उपयोग करती है: 0.24 Wh/प्रॉम्प्ट (Gemini Apps के लिए Elsworth et al. से प्राप्त औसत प्रॉम्प्ट ऊर्जा)।
गणना तर्क (Calculation Logic):
1. भारित प्रॉम्प्ट वॉल्यूम ( $V_t$ ): इनपुट प्रोसेसिंग और आउटपुट जनरेशन के बीच विषमता (asymmetry) को ध्यान में रखता है।
  $V_t = T_{in} + \omega T_{out}$
  जहाँ $\omega = 1.8$ (एक आंतरिक प्रायोर जो दर्शाता है कि आउटपुट जनरेशन अधिक कम्प्यूटेशनल रूप से गहन है)।
2. प्रभावी सक्रिय पैरामीटर्स ( $P^{eff}_{t,s}$ ): कॉन्टेक्स्ट विंडो, सर्विस मोड, मोडैलिटी और आर्किटेक्चर के आधार पर कच्चे पैरामीटर काउंट ( $P_t$ ) को समायोजित करता है।
  $P^{eff}_{t,s} = P_t \times F_{ctx} \times F_{srv} \times F_{mod} \times F_{arch}$
3. ऊर्जा अनुमान ( $\hat{E}_{t,s}$ ): एकल बिंदु अनुमान के बजाय एक लो-सेंट्रल-हाई इंटरवल को परिभाषित करने के लिए घातांकों ( $\alpha, \beta$ ) का उपयोग करके आधार ऊर्जा को प्रभावी पैरामीटर्स और टोकन वॉल्यूम के अनुपात के आधार पर स्केल करता है।
  $\hat{E}_{t,s} = E_a \times \left(\frac{P^{eff}_{t,s}}{P_a}\right)^{\alpha_s} \times \left(\frac{V_t}{V_{ref}}\right)^{\beta_s}$
4. कार्बन गणना: उपयोगकर्ता द्वारा चुने गए देश की विशिष्ट बिजली कार्बन तीव्रता ( $CI_c$ ) का उपयोग करके ऊर्जा को कार्बन ( $\hat{C}$ ) में परिवर्तित करता है।

B. ट्रेनिंग स्क्रीनिंग विधि (Training Screening Method)

स्पार्स (sparse) सार्वजनिक डेटा के कारण ट्रेनिंग अनुमान अधिक अनिश्चितता का सामना करते हैं।

दृष्टिकोण: यह पैरामीटर काउंट के साथ ट्रेनिंग प्रायर्स (priors) को संयोजित करने वाला एक बाउंडेड प्रॉक्सी उपयोग करता है।
सूत्र:
$\hat{E}^{train}_{t,s} = E^{train}_a \times \left(\frac{P_t}{P_a}\right)^{\alpha_s} \times \left(\frac{Tok_t}{Tok_a}\right)^{\beta_s} \times F_{reg} \times F_{arch-tr} \times F_{hw}$
मुख्य धारणाएं:
- टोकन प्रायोर: जब विशिष्ट डेटा अनुपलब्ध हो, तो यह Chinchilla स्केलिंग लॉ के आधार पर प्रति पैरामीटर 20 ट्रेनिंग टोकन को डिफॉल्ट करता है।
- रेजीम (Regime): जब तक व्यापक सार्वजनिक डेटा मौजूद न हो, यह "फाउंडेशन-प्रीट्रेनिंग" रेजीम को डिफॉल्ट मानता है।
- स्कोप: इस ट्रेनिंग प्रॉक्सी का उपयोग ऑब्जर्वेटरी के तुलनात्मक तालिकाओं के लिए किया जाता है लेकिन इन्फरेंस पर ध्यान केंद्रित करने के लिए इसे उपयोगकर्ता-सामना करने वाले एप्लिकेशन से बाहर रखा गया है।

3. मुख्य योगदान (Key Contributions)

पारदर्शी स्क्रीनिंग फ्रेमवर्क: एक ऐसी कार्यप्रणाली पेश करता है जो सीमित दृश्यता के तहत LLM प्रभावों का अनुमान लगाने के लिए झूठी सटीकता के बजाय ऑडिटेबिलिटी को प्राथमिकता देती है।
बाउंडेड मल्टी-फैक्टर प्रॉक्सी: इन्फरेंस और ट्रेनिंग अनुमानों को अलग करता है, स्पष्ट रूप से धारणाओं (जैसे, टोकन वेट, पैरामीटर समायोजन) को बताता है और एकल-बिंदु भविष्यवाणियों के बजाय अनिश्चितता अंतराल (लो-सेंट्रल-हाई) प्रदान करता है।
ऑपरेशनल ऑब्जर्वेटरी: 41 मार्केट मॉडल्स को कवर करने वाला एक कार्यरत सिस्टम (ImpactLLM Observatory) लागू करता है, जो उपयोगकर्ताओं को प्राकृतिक भाषा इनपुट देने और तत्काल, स्रोत-लिंक्ड तुलनात्मक डेटा प्राप्त करने की अनुमति देता है।
संदर्भों का एकीकरण (Contextualization): यह क्षेत्रीय बिजली मिश्रण को स्पष्ट रूप रूप से एकीकृत करता है, यह प्रदर्शित करता है कि कैसे एक ही मॉडल का होस्टिंग देश के आधार पर कार्बन फुटप्रिंट काफी भिन्न हो सकता है।

4. परिणाम और अवलोकन (Results and Observations)

यह शोध पत्र ImpactLLM Observatory के परिणाम प्रस्तुत करता है, जो कई प्रमुख निष्कर्षों को उजागर करता है:

प्रभाव का पैमाना: मॉडल्स के बीच स्क्रीनिंग वैल्यू में भारी अंतर है। उदाहरण के लिए, Ministral 3B के लिए एक मानकीकृत अनुरोध ~0.0056 Wh देता है, जबकि Claude Opus 4.1 ~2.99 Wh देता है (लगभग 500 गुना का अंतर)।
वार्षिककरण (Annualization) महत्वपूर्ण है: प्रति-अनुरोध के छोटे मान वास्तविक दुनिया के उपयोग वॉल्यूम के साथ गुणा होने पर महत्वपूर्ण हो जाते हैं। एक हल्का मॉडल उपयोग करने वाला चैटबॉट भी, यदि उपयोग अधिक है, तो पर्याप्त वार्षिक उत्सर्जन उत्पन्न कर सकता है।
बिजली का संदर्भ प्रभुत्व: होस्टिंग देश की कार्बन तीव्रता अक्सर व्याख्या में हावी रहती है। फ्रांस (कम कार्बन ग्रिड) में होस्ट किया गया मॉडल, अमेरिका (उच्च कार्बन ग्रिड) में होस्ट किए गए समान मॉडल की तुलना में काफी कम उत्सर्जन दिखा सकता है।
ट्रेनिंग बनाम इन्फरेंस: जबकि इन्फरेंस मुख्य फोकस है, फ्रंटियर मॉडल्स (जैसे, Claude Opus 4.1) के लिए ट्रेनिंग अनुमान इन्फरेंस लागतों की तुलना में कई गुना अधिक हैं (जैसे, ~125 GWh), हालांकि ये अत्यधिक अनिश्चित प्रॉक्सी बने हुए हैं।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:

नीति और शासन: यह ढांचा एक "चर्चा उपकरण" के रूप में कार्य करता है ताकि संरचनात्मक रुझानों को सुलभ बनाया जा सके। यह उजागर करता है कि मॉडल-स्केल विकास सार्वजनिक पर्यावरणीय रिपोर्टिंग से आगे निकल सकता है, जो बेहतर प्रकटीकरण मानकों को प्रेरित करता है।
वैज्ञानिक कठोरता: अस्पष्ट दावों को "स्रोत-लिंक्ड, निरीक्षण योग्य प्रॉक्सी" से बदलकर, यह शोध पत्र AI स्थिरता पर अधिक अनुशासित बहस का तर्क देता है। यह अनिश्चितता को समाप्त करने का दिखावा करने के बजाय अनुमान को व्यवस्थित करता है।
पुनरुत्पादनीयता (Reproducibility): ऑब्जर्वेटरी का प्रत्येक मान एक विशिष्ट दस्तावेज़, सिस्टम बाउंड्री और धारणा से जुड़ा है, जिससे स्वतंत्र सत्यापन संभव होता है।

सीमाएं:

डेटा की कमी: पद्धति सीमित साहित्य एंकरों पर निर्भर करती; डेटा की इस कमी के प्रति ईमानदार रहने के लिए अनिश्चितता अंतराल (uncertainty intervals) व्यापक हैं।
मालिकाना प्रणालियों की अपारदर्शिता: बंद-स्रोत (closed-source) मॉडल्स के आर्किटेक्चर और हार्डवेयर कॉन्फ़िगरेशन के लिए विधि को प्रासंगिक प्रॉक्सी पर निर्भर रहना पड़ता है।
ट्रेनिंग अनिश्चितता: ट्रेनिंग उत्सर्जन को स्पार्स रिपोर्ट और अनुमानित टोकन प्रायर्स से पुनर्गठित किया जाता है; इस अनिश्चितता को कम करने के लिए अधिक सार्वजनिक डेटा की आवश्यकता है।
पार्सर की अस्पष्टता: प्राकृतिक भाषा इनपुट अस्पष्ट हो सकते हैं, जिसके लिए सिस्टम को उपयोगकर्ता के सत्यापन के लिए निकाली गई धारणाओं को सामने लाना आवश्यक होता है।

निष्कर्ष (Conclusion)

शोध पत्र निष्कर्ष निकालता है कि मालिकाना LLM सेवाओं के लिए, अनिश्चितता संरचनात्मक रूप से अपरिहार्य है। सबसे मूल्यवान दृष्टिकोण प्रत्यक्ष माप का दावा करना नहीं है, बल्कि एक पारदर्शी, पुनरुत्पादनीय स्क्रीनिंग प्रॉक्सी प्रदान करना है। यह ढांचा हितधारकों को मॉडल्स की तुलना करने, संदर्भ (जैसे बिजली ग्रिड) के प्रभाव को समझने और AI की पर्यावरणीय लागतों के संबंध में अधिक सूचित नीति चर्चा को चलाने में सक्षम बनाता है।