Decoupling Performance from Energy in AI-Based Business Optimization: An Error-Driven Control Loop for Sustainable Tabular Reasoning
यह शोध पत्र एक त्रुटि-संचालित प्रॉम्प्ट अनुकूलन ढांचे का प्रस्ताव करता है जो प्रॉम्प्ट ट्यूनिंग को एक डिस्क्रीट-टाइम फीडबैक कंट्रोल लूप के रूप में मानता है, यह प्रदर्शित करते हुए कि यह वित्तीय तर्क कार्यों पर LoRA या पूर्ण फाइन-ट्यूनिंग की तुलना में काफी कम ऊर्जा की खपत करते हुए, उनके समकक्ष प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक व्यावसायिक जगत में, कंपनियाँ वित्तीय रिपोर्ट पढ़ने, जटिल तालिकाओं के बारे में प्रश्नों के उत्तर देने और महत्वपूर्ण निर्णय लेने के लिए तेजी से आर्टिफिशियल इंटेलिजेंस (AI) पर निर्भर हो रही हैं। ये सिस्टम लार्ज लैंग्वेज मॉडल्स (LLMs) पर आधारित हैं, जो विशाल मात्रा में टेक्स्ट पर प्रशिक्षित शक्तिशाली कंप्यूटर प्रोग्राम हैं। हालाँकि ये मॉडल अविश्वसनीय रूप से सक्षम हैं, लेकिन उन्हें विशिष्ट, विशेष कार्यों को करने के लिए सिखाने हेतु आमतौर पर 'फाइन-ट्यूनिंग' नामक प्रक्रिया की आवश्यकता होती है। यह प्रक्रिया एक छात्र को नए विषय के लिए पुन: प्रशिक्षित करने के समान है; इसमें मॉडल को उसके आंतरिक सेटिंग्स को समायोजित करते हुए हजारों उदाहरणों के माध्यम से चलाना शामिल है। हालाँकि, यह पुन: प्रशिक्षण अत्यधिक ऊर्जा-गहन है, जो भारी मात्रा में बिजली की खपत करता है और एक महत्वपूर्ण कार्बन फुटप्रिंट उत्पन्न करता है। जैसे-जैसे नियम सख्त हो रहे हैं और कंपनियाँ अपने पर्यावरणीय प्रभाव को कम करने का प्रयास कर रही हैं, ऐसे तरीकों की बढ़ती आवश्यकता है जो पारंपरिक पुन: प्रशिक्षण की भारी ऊर्जा लागत के बिना इन AI सिस्टम को विशिष्ट कार्यों के लिए अनुकूलित कर सकें।
डेब्रेसेन विश्वविद्यालय, हंगरी के शोधकर्ताओं की एक टीम ने एक अलग मार्ग की खोज की है। मॉडल के आंतरिक मस्तिष्क को पुन: प्रशिक्षित करने के बजाय, उन्होंने इसे दिए जाने वाले निर्देशों को बदलने पर ध्यान केंद्रित किया। उन्होंने AI के प्रदर्शन को सुधारने की प्रक्रिया को केवल एक प्रशिक्षण सत्र के रूप में नहीं, बल्कि एक फीडबैक लूप के रूप में माना, जो ठीक वैसे ही है जैसे एक थर्मोस्टेट कमरे के तापमान को नियंत्रित करता है। उनके सिस्टम में, एक छोटा, कुशल कंप्यूटर मॉडल वित्तीय तालिकाओं के आधार पर अंकगणितीय प्रश्नों को हल करने का प्रयास करता है। जब वह कोई गलती करता है, तो सिस्टम उस त्रुटि को केवल खारिज नहीं करता है; बल्कि वह समान गलतियों को एक साथ समूहबद्ध करता है। इसके बाद एक मानव विशेषज्ञ इन समूहों को देखता है और उस विशिष्ट प्रकार की त्रुटि को ठीक करने के लिए एक सरल, स्पष्ट भाषा में नियम लिखता है। यह नियम AI को दिए जाने वाले निर्देशों में जोड़ दिया जाता है, और यह प्रक्रिया दोहराई जाती है। शोधकर्ताओं ने इस पूरे चक्र द्वारा उपयोग की गई बिजली को सीधे दीवार के आउटलेट (वॉल आउटलेट) से मापा, और इसकी तुलना पारंपरिक पुन: प्रशिक्षण विधियों की अनुमानित ऊर्जा लागत से की।
इसके परिणाम चौंकाने वाले थे। चार बिलियन पैरामीटर्स वाले एक छोटे भाषा मॉडल का उपयोग करके, शोधकर्ताओं ने वित्तीय प्रश्नों के उत्तर देने की इसकी क्षमता को लगभग 57 प्रतिशत से बढ़ाकर 66 प्रतिशत सटीकता तक पहुँचा दिया। यह सुधार केवल कुछ मानव-लिखित नियमों को जोड़ने के माध्यम से प्राप्त किया गया था। त्रुटियों को खोजने, नियम लिखने और परिणामों के परीक्षण की इस पूरी प्रक्रिया में केवल 351 वाट-घंटे (watt-hours) बिजली की खपत हुई। इसे समझने के लिए, शोधकर्ताओं ने अनुमान लगाया कि उसी मॉडल के आंशिक अपडेट के लिए पारंपरिक विधि का उपयोग करने में 7,400 वाट-घंटे से अधिक और पूर्ण पुन: प्रशिक्षण के लिए 3,500 वाट-घंटे से अधिक बिजली की आवश्यकता होती। नया तरीका आंशिक पुन: प्रशिक्षण के अनुमान की तुलना में लगभग बीस गुना कम और पूर्ण पुन: प्रशिक्षण की तुलना में दस गुना कम ऊर्जा का उपयोग करता है।
यह निष्कर्ष विशेष रूप से महत्वपूर्ण है कि यह छोटा, अनुकूलित मॉडल उन बहुत बड़े, प्रोप्रायटरी (मालिकाना) सिस्टम के समान प्रदर्शन करता है जिनका उपयोग आमतौर पर ऐसे कार्यों के लिए किया जाता है। शोधकर्ताओं ने पाया कि उनका छोटा मॉडल, जो किसी संगठन के भीतर स्थानीय हार्डवेयर पर चल रहा था, एक ऐसे बड़े, वाणिज्यिक मॉडल की सटीकता के बराबर हो सकता था जिसे नियमों के साथ मैन्युअल रूप से प्रोग्राम किया गया था। यह सुझाव देता है कि कंपनियों को उच्च-गुणवत्ता वाले परिणाम प्राप्त करने के लिए आवश्यक रूप से भारी, ऊर्जा-गहन पुन: प्रशिक्षण चक्रों में निवेश करने की आवश्यकता नहीं है। इसके बजाय, वे एक अधिक सटीक, मानव-निर्देशित दृष्टिकोण का उपयोग कर सकते हैं जो उनके अपने नेटवर्क के भीतर डेटा को सुरक्षित रखता है और अनुकूलन के प्रत्येक चरण की समीक्षा और समझ को संभव बनाता है।
अध्ययन ने यह भी रेखांकित किया कि ऊर्जा की बचत काफी हद तक इस बात पर निर्भर करती है कि कंप्यूटर मॉडल कितनी तेजी से सोचता है। मॉडल प्रश्न पूछने में जितना तेज़ होगा, लूप के परीक्षण चरणों के दौरान उतनी ही कम ऊर्जा बर्बाद होगी। उनके द्वारा परीक्षण किए गए विशिष्ट मॉडल के लिए, ऊर्जा की बचत पर्याप्त थी। हालाँकि, धीमे मॉडलों के लिए, इस नई विधि और पारंपरिक पुन: प्रशिक्षण के बीच का अंतर कम हो गया, फिर भी नया तरीका प्रतिस्पर्धी बना रहा। शोधकर्ताओं ने जोर दिया कि जबकि बिजली की बचत वास्तविक और मापने योग्य है, इस प्रक्रिया के लिए मानवीय प्रयास की अभी भी आवश्यकता है। एक डोमेन विशेषज्ञ ने त्रुटि समूहों की समीक्षा करने और नियम लिखने में कुछ घंटे बिताए। यह मानवीय समय एक ऐसा खर्च है जो बिजली के मीटर में दर्ज नहीं होता है, लेकिन यह एक ऐसा खर्च है जिसे प्रबंधित और ऑडिट किया जा सकता है, जो बड़े प्रशिक्षण दौरों की अपारदर्शी ऊर्जा खपत के विपरीत है।
अंततः, यह कार्य वित्त और ऊर्जा जैसे विनियमित क्षेत्रों में काम करने वाली कंपनियों के लिए एक व्यावहारिक विकल्प प्रदान करता है। इन उद्योगों को सटीक, व्याख्या योग्य और टिकाऊ निर्णयों की आवश्यकता होती है। प्रदर्शन को ऊर्जा से अलग करके, शोधकर्ताओं ने प्रदर्शित किया कि भारी पर्यावरणीय लागत के बिना अत्यधिक प्रभावी AI उपकरण बनाना संभव है। यह विधि सटीक है क्योंकि यह सटीक उत्तरों के विरुद्ध परीक्षित है, व्याख्या योग्य है क्योंकि प्रत्येक परिवर्तन एक पठनीय वाक्य है, और प्रमाणित है क्योंकि ऊर्जा का उपयोग सीधे मापा गया है। जैसे-जैसे कंपनियाँ अपने कार्बन उत्सर्जन और ऊर्जा उपयोग का दस्तावेजीकरण करने के बढ़ते दबाव का सामना कर रही हैं, यह दृष्टिकोण आर्टिफिशियल इंटेलिजेंस को वास्तविक दुनिया की जरूरतों के अनुरूप ढालने का एक स्पष्ट, पारदर्शी तरीका प्रदान करता है, जिससे एक संभावित पर्यावरणीय देनदारी को एक प्रबंधनीय, कुशल व्यावसायिक प्रक्रिया में बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।