Wasted large language models: A life cycle thinking approach
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के बढ़ते पर्यावरणीय प्रभाव को कम करने के लिए एक जीवन चक्र संबंधी दृष्टिकोण के रूप में यूरोपीय संघ के अपशिष्ट पदानुक्रम (waste hierarchy) ढांचे को लागू करने का प्रस्ताव देता है, जो इस बात पर जोर देता है कि अनावश्यक उपयोग और नए मॉडलों के प्रशिक्षण को रोकना उनके कार्बन फुटप्रिंट को कम करने की सबसे प्रभावी रणनीति है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हम एक ऐसे युग में रह रहे हैं जहाँ मशीनें आश्चर्यजनक गति से कविताएँ लिख सकती हैं, जटिल समीकरण हल कर सकती हैं और कंप्यूटर कोड तैयार कर सकती हैं। ये मशीनें लार्ज लैंग्वेज मॉडल्स (large language models) द्वारा संचालित होती हैं, जो एक प्रकार की कृत्रिम बुद्धिमत्ता (artificial intelligence) है जो विशाल मात्रा में जानकारी को प्रोसेस करके सीखती है। हालाँकि ये उपकरण हमारे काम करने के तरीके में क्रांति लाने का वादा करते हैं, लेकिन इनके साथ एक भारी कीमत भी आती है: इन्हें प्रशिक्षित करने और चलाने के लिए अत्यधिक बिजली की खपत होती है, जिससे ग्रह पर एक महत्वपूर्ण कार्बन फुटप्रिंट छूट जाता है। वर्षों से, वैज्ञानिक इन मॉडल्स को अधिक ऊर्जा-कुशल बनाने का प्रयास कर रहे हैं, ताकि उनके पर्यावरणीय प्रभाव को कम किया जा सके। हालाँकि, 'जेवन्स विरोधाभास' (Jevons paradox) नामक एक घटना अक्सर इन प्रयासों को विफल कर देती है; जैसे-जैसे मॉडल अधिक कुशल और चलाने में सस्ते होते जाते हैं, हम उनका उपयोग कम करने के बजाय अधिक करने लगते हैं, जिससे कुल ऊर्जा खपत में शुद्ध वृद्धि होती है। यह एक अलग प्रकार के समाधान की तत्काल आवश्यकता पैदा करता है, जो केवल दक्षता से परे देखे और तकनीक के संपूर्ण जीवन चक्र पर विचार करे, उसके निर्माण से लेकर उसके अंतिम सेवानिवृत्ति तक।
नॉर्वे के सिनटेफ डिजिटल (SINTEF Digital) के शोधकर्ताओं की एक टीम ने इस समस्या के बारे में सोचने का एक नया तरीका प्रस्तावित किया है, जिसमें उन्होंने उस अवधारणा को लागू किया है जो आमतौर पर भौतिक कचरे के लिए आरक्षित होती है: अपशिष्ट पदानुक्रम (waste hierarchy)। यूरोपीय संघ में, भौतिक कचरे से संबंधित कानून पाँच चरणों को प्राथमिकता देते हैं: कचरे को उत्पन्न होने से रोकना, वस्तुओं का पुन: उपयोग करना, उन्हें नए पदार्थों में पुनर्चक्रित (recycle) करना, उनसे ऊर्जा प्राप्त करना और अंत में, उन्हें जिम्मेदारी से निपटाना। शोधकर्ता सुझाव देते हैं कि हमें लार्ज लैंग्वेज मॉडल्स को केवल सॉफ्टवेयर के रूप में नहीं, बल्कि उत्पादों के रूप में देखना चाहिए जो कचरा बन सकते हैं। जिस तरह एक प्लास्टिक की बोतल को तब फेंक दिया जा सकता है जब वह उपयोगी न रहे, उसी तरह एक भाषा मॉडल भी कचरा बन सकता है जब उसे नए संस्करण द्वारा प्रतिस्थापित किया जाता है या बस छोड़ दिया जाता है। इन डिजिटल उपकरणों को एक उत्पाद के रूप में देखते हुए जिनका एक जीवन चक्र होता है, लेखक तर्क देते हैं कि हम केवल उन्हें तेज़ या छोटा बनाने से आगे बढ़कर उनके पर्यावरणीय प्रभाव को कम करने के नए तरीके खोज सकते हैं।
शोधकर्ताओं के तर्क का मूल यह है कि कृत्रिम बुद्धिमत्ता के जलवायु प्रभाव को कम करने का सबसे प्रभावी तरीका नए मॉडल्स के अनावश्यक निर्माण से बचकर कचरे को रोकना है। जब एक नया मॉडल प्रशिक्षित किया जाता है, तो इसमें डेटा प्रोसेसिंग, प्रयोग और वास्तविक सीखने की प्रक्रिया के लिए भारी ऊर्जा की आवश्यकता होती है। यदि हम मौजूदा मॉडल के जीवन को बढ़ा सकें या विभिन्न कार्यों के लिए इसके पुन: उपयोग के तरीके खोज सकें, तो हम एक नया मॉडल शून्य से बनाने के लिए ऊर्जा जलाने की आवश्यकता से बच सकते हैं। यह शोध पत्र इस बात पर प्रकाश डालता है कि भौतिक वस्तुओं के विपरीत, सॉफ्टवेयर टूट या घिस नहीं सकता, इसलिए मॉडल्स के कचरा बनने का मुख्य कारण यह है कि उन्हें नए, तेज़ संस्करणों द्वारा प्रतिस्थापित कर दिया जाता है। यह तीव्र बदलाव एक प्रतिस्पर्धी बाजार द्वारा संचालित है जहाँ प्रयोगशालाएं लगातार अपडेट किए गए मॉडल जारी करती हैं, जो अक्सर पिछले मॉडल्स को पूरी तरह से उपयोग किए जाने से पहले ही अप्रचलित बना देते हैं। शोधकर्ता सुझाव देते हैं कि हमारा ध्यान पूर्णतम प्रदर्शन (absolute best performance) के पीछे भागने से हटकर "पर्याप्त अच्छा" (good enough) खोजने की ओर स्थानांतरित करना, प्रतिस्थापन के इस चक्र को काफी धीमा कर सकता है और प्रशिक्षण में खर्च होने वाली ऊर्जा को कम कर सकता है।
जो कचरा उत्पन्न होता है उसे प्रबंधित करने के लिए, लेखक यह भी देखते हैं कि अपशिष्ट पदानुक्रम के अन्य चरण डिजिटल मॉडल्स पर कैसे लागू होते हैं। पुन: उपयोग (Reuse) सबसे सीधा दृष्टिकोण है; क्योंकि डिजिटल मॉडल्स को बिना किसी लागत के कॉपी किया जा सकता है, इसलिए हमें उन्हें अप्रचलित मानने से पहले विभिन्न अनुप्रयोगों में उनके उपयोग को अधिकतम करना चाहिए। यह शोध पत्र "फाइन-ट्यूनिंग" (fine-tuning) जैसी तकनीकों की ओर संकेत करता है, जहाँ एक मौजूदा मॉडल को किसी विशिष्ट कार्य में विशेषज्ञता देने के लिए थोड़े से नए प्रशिक्षण के साथ दिया जाता है, जो कि पुनर्चक्रण (recycling) का एक रूप है। यह मौजूदा, ऊर्जा-गहन मॉडल को शून्य से फिर से बनाने के बजाय उसे अनुकूलित करने की अनुमति देता है। इसी तरह, "रिकवरी" (recovery) में इन मॉडल्स को लंबे समय तक उपयोगी बनाने के तरीके खोजना शामिल है, जैसे कि उनकी सटीकता में सुधार के लिए उन्हें बाहरी डेटाबेस से जोड़ना ताकि उन्हें फिर से प्रशिक्षित करने की आवश्यकता न पड़े। यहाँ तक कि निपटान (disposal) का अंतिम चरण, जिसका अर्थ आमतौर पर किसी चीज़ को फेंक देना होता है, यहाँ भी एक भूमिका निभाता है। जबकि एक डिजिटल फ़ाइल को हटाने से कोई भौतिक अवशेष नहीं बचता, लेकिन वे सर्वर जो अनुपयोगी मॉडल्स को स्टोर करते हैं, वे अभी भी बिजली की खपत करते हैं। इसलिए, उन मॉडल्स को सक्रिय रूप से हटाना जो अब आवश्यक नहीं हैं, ऊर्जा बचाने और उन्हें बनाने में लगे संसाधनों का सम्मान करने का एक व्यावहारिक तरीका है।
शोधकर्ता इस "इस्तेमाल करो और फेंको वाली मानसिकता" (throwaway mentality) के प्रति भी आगाह करते हैं जो डिजिटल सुविधा को बढ़ावा देती है। क्योंकि एक मॉडल को हटाना लागतहीन लगता है, इसलिए डेवलपर्स और उपयोगकर्ता अक्सर इसके निर्माण में निवेश की गई अपार ऊर्जा और समय को अनदेखा कर देते हैं। शोध पत्र नोट करता है कि वर्तमान में इन उपकरणों के साथ हमारे संवाद में एक अंतराल है; इंटरफेस अक्सर निरंतर उपयोग को प्रोत्साहित करते हैं लेकिन उपयोगकर्ताओं को पर्यावरणीय लागत समझने में मदद नहीं करते या उन्हें अधिक कुशल विकल्पों की ओर निर्देशित नहीं करते हैं। लेखक सुझाव देते हैं कि हमें इस बात के प्रति सचेत होना चाहिए कि वास्तव में एक लार्ज लैंग्वेज मॉडल की आवश्यकता कब है बनाम कब एक सरल, कम ऊर्जा-गहन उपकरण पर्याप्त होगा। वे तर्क देते हैं कि हालांकि तकनीक शक्तिशाली है, लेकिन इसका मूल्य इसकी लागत के विरुद्ध तौला जाना चाहिए, और केवल निरंतर मॉडल अपडेट के चलन का आँख मूंदकर पालन करना हमें उन उत्पादों पर संसाधन बर्बाद करने की ओर ले जा सकता है जो बहुत कम शुद्ध लाभ प्रदान करते हैं।
अंततः, यह अध्ययन यह दावा नहीं करता है कि इसने कृत्रिम बुद्धिमत्ता के जलवायु संकट को हल कर लिया है, न ही यह सुझाव देता है कि हमें नए मॉडल्स विकसित करना पूरी तरह से बंद कर देना चाहिए। इसके बजाय, यह इन उपकरणों के जीवन चक्र के बारे में अधिक सावधानी से सोचने का एक ढांचा प्रदान करता है। लार्ज लैंग्वेज मॉडल्स को ऐसे उत्पादों के रूप में देखते हुए जो कचरा बन सकते हैं, हम अनावश्यक प्रशिक्षण को रोकने, मौजूदा मॉडल्स के उपयोगी जीवन को बढ़ाने और अनुपयोगी मॉडल्स का जिम्मेदारी से निपटान करने के अवसरों की पहचान कर सकते हैं। लेखक प्रस्ताव देते हैं कि कृत्रिम बुद्धिमत्ता के लिए अधिक टिकाऊ भविष्य की ओर बढ़ने के लिए दृष्टिकोण में यह बदलाव आवश्यक है, जो हमें कुछ नया बनाने की जल्दबाजी करने से पहले हमारे द्वारा पहले से खर्च किए गए संसाधनों को महत्व देने का आग्रह करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।