Green Prompting: Characterizing Prompt-driven Energy Costs of LLM Inference
यह शोध पत्र अनुभवजन्य रूप से यह प्रदर्शित करता है कि केवल प्रॉम्प्ट की लंबाई ही नहीं, बल्कि प्रॉम्प्ट के अर्थ संबंधी भाव और विशिष्ट कार्य-संबंधी कीवर्ड्स, लार्ज लैंग्वेज मॉडल इन्फरेंस (Large Language Model inference) की ऊर्जा खपत को महत्वपूर्ण रूप से प्रभावित करते हैं, जो रणनीतिक प्रॉम्प्ट डिज़ाइन के माध्यम से दक्षता को अनुकूलित करने की क्षमता को उजागर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन अविश्वसनीय रूप से भूखा, रोबोट शेफ है। यह शेफ कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है, या आपको बता सकता है कि किसी फिल्म की समीक्षा अच्छी है या बुरी। लेकिन एक पेंच है: हर बार जब शेफ खाना बनाता है (उत्तर जेनरेट करता है), तो वह बहुत अधिक बिजली खर्च करता है।
यह शोध पत्र एक समूह के वैज्ञानिकों की तरह है जिन्होंने जासूसी टोपी पहनी है ताकि यह पता लगाया जा सके कि आखिर क्या चीज़ शेफ को अधिक या कम बिजली जलाने पर मजबूर करती है। वे जानना चाहते थे: क्या ऑर्डर टिकट का आकार (प्रॉम्ट) सबसे ज्यादा मायने रखता है? या यह कुछ और है?
यहाँ उनके निष्कर्षों की कहानी है, जिसे सरल रूप में समझाया गया है:
1. बड़ी गलतफहमी: यह ऑर्डर टिकट के बारे में नहीं है
आप सोच सकते हैं कि यदि आप शेफ को एक लंबा, जटिल ऑर्डर टिकट (एक लंबा प्रॉम्ट) देते हैं, तो उसे पढ़ने में अधिक ऊर्जा लगेगी।
- वास्तविकता: वैज्ञानिकों ने पाया कि ऑर्डर टिकट की लंबाई बहुत कम मायने रखती है। चाहे आप रेसिपी पूछने के लिए एक छोटा सा नोट लिखें या एक लंबा पैराग्राफ, इसे पढ़ने में खर्च होने वाली ऊर्जा लगभग एक समान होती है।
- उपमा: प्रॉम्ट को एक वेटर को दिए जाने वाले मेनू की तरह समझें। चाहे मेनू एक पेज का हो या दस पेज का, वेटर को रसोई तक केवल एक बार ही जाना पड़ता है। ऊर्जा की लागत मेनू पढ़ने में नहीं है; यह खाना बनाने में है।
2. असली अपराधी: भोजन का आकार (प्रतिक्रिया की लंबाई)
अध्ययन में पाया गया कि उत्तर की लंबाई ऊर्जा लागत का सबसे बड़ा कारण है।
- वास्तविकता: यदि शेफ एक छोटा, एक वाक्य का उत्तर लिखता है, तो वह बहुत कम बिजली का उपयोग करता है। यदि शेफ एक उपन्यास लिखता है, तो वह भारी मात्रा में बिजली का उपयोग करता है।
- उपमा: कल्पना करें कि शेफ एक कार है। प्रॉम्ट केवल वह गंतव्य (destination) है जिसे आप GPS में टाइप करते हैं। ऊर्जा की लागत पता टाइप करने में नहीं है; यह कार द्वारा तय की गई दूरी है। यदि आप शेफ से "एक कहानी लिखें" कहते हैं, तो वह एक लंबी दूरी तय करता है (कई शब्द जेनरेट करता है), जिससे बहुत अधिक ईंधन जलता है। यदि आप पूछते हैं "क्या यह खुशी भरा है?" तो वह एक छोटी दूरी तय करता है।
3. "जादुई शब्दों" का जादू (कीवर्ड्स)
यह सबसे आश्चर्यजनक हिस्सा है। वैज्ञानिकों ने पाया कि आपके अनुरोध में मौजूद विशिष्ट शब्द स्विच की तरह काम करते हैं जो शेफ को बताते हैं कि "तेजी से और कम पकाएं" या "धीरे और बहुत ज्यादा पकाएं।"
- वास्तविकता: "व्याख्या करें" (explain), "तर्क दें" (justify), या "वर्णन करें" (describe) जैसे शब्दों का उपयोग अक्सर शेफ को लंबे, विस्तृत उत्तर लिखने के लिए प्रेरित करता है, जिससे अधिक ऊर्जा खर्च होती है। "वर्गीकृत करें" (classify), "सारांशित करें" (summarize), या "पहचानें" (identify) जैसे शब्दों का उपयोग अक्सर छोटे, सटीक उत्तरों को प्रेरित करता है, जिससे ऊर्जा बचती है।
- उपमा: यह एक रेस्तरां में ऑर्डर देने जैसा है।
- यदि आप कहते हैं, "मुझे इस व्यंजन के इतिहास के बारे में विस्तृत व्याख्या दें," तो शेफ एक घंटे तक चीजें काटने, भूनने और सजाने में लग जाता है। (उच्च ऊर्जा)।
- यदि आप कहते, "इस व्यंजन को तीखा या हल्का के रूप में वर्गीकृत करें," तो शेफ बस उसे चखता है और कहता है "तीखा"। (कम ऊर्जा)।
- अध्ययन में पाया गया कि एक "उच्च-ऊर्जा वाले शब्द" को "कम-ऊर्जा वाले शब्द" से बदलकर, उसी कार्य के लिए बिजली के बिल को 60% तक कम किया जा सकता है!
4. अलग शेफ, अलग आदतें
उन्होंने तीन अलग-अलग "शेफों" (AI मॉडल जिन्हें Mistral, Gemma और Vicuna कहा जाता है) का परीक्षण किया। भले ही उन्हें समान ब्लूप्रिंट के साथ बनाया गया था, लेकिन उनके व्यक्तित्व अलग थे।
- Gemma सबसे अधिक बातूनी था। एक साधारण सवाल पूछे जाने पर भी, यह लंबे, शब्दबहुल उत्तर लिखने की प्रवृत्ति रखता था। यह कुल मिलाकर चलाने के लिए सबसे महंगा था क्योंकि यह बस बोलना बंद ही नहीं करता था।
- Mistral अधिक संक्षिप्त था।
- सबक: सिर्फ इसलिए कि दो मॉडल एक ही आकार के हैं, इसका मतलब यह नहीं है कि उन्हें चलाना समान लागत वाला होगा। कुछ स्वाभाविक रूप से दूसरों की तुलना में अधिक "वर्मोस" (शब्दबहुल) होते हैं।
5. इमोजी का आश्चर्य
उन्होंने यह भी देखा कि उनमें से एक मॉडल (Vicuna) को इमोजी का बहुत शौक था।
- वास्तविकता: इमोजी वास्तव में आपकी सोच से कहीं अधिक ऊर्जा खर्च करते हैं! AI की दुनिया में, एक एकल इमोजी केवल एक "अक्षर" नहीं है; इसे अक्सर कई छोटे टुकड़ों (टोकन) में तोड़ दिया जाता है जिन्हें कंप्यूटर को प्रोसेस करना पड़ता है।
- उपमा: यह ऐसा है जैसे शेफ को केवल एक शब्द लिखने के बजाय एक चित्र बनाने के लिए कहना। "लाल" लिखने की तुलना में चित्र बनाने में अधिक प्रयास (या अधिक बिजली) लगता है।
मुख्य बात: ऊर्जा कैसे बचाएं
इस शोध पत्र का मुख्य निष्कर्ष यह है कि आप प्रश्न कैसे पूछते हैं, यह प्रश्न से अधिक महत्वपूर्ण है।
यदि आप पैसा बचाना चाहते हैं और ग्रह की मदद करना चाहते हैं (बिजली का कम उपयोग करके), तो आपको एक नया, महंगा कंप्यूटर खरीदने की आवश्यकता नहीं है। आपको बस एक बेहतर "प्रॉम्ट इंजीनियर" बनने की आवश्यकता है।
- ऐसा न कहें: "कृपया विस्तार से समझाएं कि आकाश नीला क्यों है और वायुमंडल का इतिहास दें।" (यह AI को एक किताब लिखने पर मजबूर करता है)।
- ऐसा कहें: "आकाश नीला होने के कारण को वर्गीकृत करें।" (यह AI को एक त्वरित उत्तर देने के लिए प्रेरित करता है)।
अपने शब्दों को सावधानी से चुनकर, आप AI को ठीक से बता सकते हैं कि आप कितना "खाना पकाना" चाहते हैं, जिससे प्रक्रिया में बहुत सारी ऊर्जा बचाई जा सकती है। यह बिल्कुल वैसा ही है जैसे आप अपनी कार को कहते, "दुकान तक जाओ," बजाय इसके कि "दुकान जाओ, फिर पार्क जाओ, फिर समुद्र तट जाओ, और फिर घर वापस आओ।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।