Beyond Test-Time Compute Strategies: Advocating Energy-per-Token in LLM Inference
यह शोध पत्र "प्रति-टोकन ऊर्जा" (energy-per-token) को एक प्रमुख दक्षता मीट्रिक के रूप में अपनाने की वकालत करता है और गतिशील, ऊर्जा-जागरूक रूटिंग रणनीतियों का प्रस्ताव करता है जो संवर्धित लघु भाषा मॉडलों (Small Language Models) और नियंत्रित तर्क गहराई (reasoning depth) का लाभ उठाकर सटीकता और कम्प्यूटेशनल लागत के बीच संतुलन बनाते हैं ताकि टिकाऊ एआई परिनियोजन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास ज्ञान का एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल, या LLM) और एक छोटा, चतुर सहायक (एक स्मॉल लैंग्वेज मॉडल, या SLM) है। आप उनसे एक सवाल पूछना चाहते हैं, लेकिन आप दो चीजों को लेकर चिंतित हैं: जवाब कितना समझदारी भरा है और उस जवाब को पाने में कितनी बिजली खर्च हुई।
यह पेपर एक जासूसी कहानी की तरह है जो AI से सवाल पूछने के छिपे हुए ऊर्जा बिल की जांच करता है। सरल शब्दों में इसका विवरण यहाँ दिया गया है:
1. समस्या: "बड़ा बनाम छोटा" दुविधा
आमतौर पर, लोग सोचते हैं कि बड़ा ही बेहतर होता है। यदि आपके पास एक कठिन गणित की समस्या है, तो आप "बड़े दिमाग" (एक विशाल AI मॉडल) को काम पर रखते हैं क्योंकि वह बुद्धिमान है। यदि आपके पास "मौसम कैसा है?" जैसा सरल प्रश्न है, तो आप "छोटे दिमाग" का उपयोग करते हैं।
लेकिन एक पेंच है: बड़े दिमागों को खिलाना महंगा होता है। वे बहुत अधिक बिजली खाते हैं। लेखकों ने महसूस किया कि कभी-कभी, हम एक अखरोट तोड़ने के लिए हथौड़े का उपयोग कर रहे होते हैं, जिससे ऊर्जा बर्बाद होती है जब एक छोटे हथौड़े से काम चल सकता था।
2. नया विचार: "प्रति टोकन ऊर्जा" (Energy per Token)
AI की दुनिया में, शब्दों को "टोकन" नामक छोटे टुकड़ों में तोड़ा जाता है। लेखक प्रस्ताव देते हैं कि हमें केवल यह देखना बंद कर देना चाहिए कि "जवाब कितना स्मार्ट है?" और यह पूछना शुरू करना चाहिए, "इस विशिष्ट शब्द को उत्पन्न करने में कितनी ऊर्जा खर्च हुई?"
वे इसे "एनर्जी-पर-टोकन" कहते हैं। इसे एक कार की ईंधन दक्षता (fuel efficiency) की जांच करने जैसा समझें। आप केवल एक तेज़ कार नहीं चाहते; आप एक ऐसी कार चाहते हैं जो बिना टैंक भर पेट्रोल जलाए आपको वहां तक पहुँचा दे।
3. आश्चर्य: सभी "छोटे दिमाग" एक जैसे नहीं होते
शोधकर्ताओं ने समान प्रश्नों पर विभिन्न AI मॉडलों का परीक्षण किया। उन्होंने दो आश्चर्यजनक चीजें पाईं:
- अलग-अलग आर्किटेक्चर, अलग-अलग लागत: भले ही दो AI मॉडल एक ही आकार के हों (समान संख्या में "न्यूरॉन्स"), एक "ईंधन-कुशल हाइब्रिड" हो सकता है जबकि दूसरा "पेट्रोल पी जाने वाला ट्रक"। वे समान शब्दों को अलग-अलग मात्रा में ऊर्जा का उपयोग करके प्रोसेस करते हैं।
- "लंबे उत्तर" का दंड: AI मॉडल एक बार में एक शब्द के हिसाब से उत्तर उत्पन्न करते हैं। उत्तर जितना लंबा होगा, उतनी ही अधिक ऊर्जा लगेगी, लेकिन यह सीधा (linear) नहीं है। यह एक मैराथन दौड़ने जैसा है: पहला मील आसान है, लेकिन 20वें मील तक, आपका शरीर प्रत्येक कदम पर बहुत अधिक मेहनत कर रहा होता है। जैसे-जैसे AI अधिक बोलता है, उसका ऊर्जा उपयोग गैर-रेखीय (nonlinearly) रूप से बढ़ जाता है।
4. "ओवर-थिंकर" का जाल (चेन-ऑफ-थॉट)
हाल ही में, लोगों ने पाया कि यदि आप एक छोटे AI को "कदम-दर-कदम सोचने" (जिसे चेन-ऑफ-थॉट तकनीक कहा जाता है) के लिए कहते हैं, तो वह बहुत स्मार्ट हो जाता है। यह आपके छोटे सहायक को यह बताने जैसा है, "सिर्फ अनुमान मत लगाओ; पहले अपनी तर्क प्रक्रिया लिखो।"
लेखकों ने एक बड़ा ट्रेड-ऑफ (समझौता) पाया:
- अच्छा: छोटा AI बहुत स्मार्ट हो जाता है, लगभग बड़े AI जितना ही।
- बुरा: यह ऊर्जा के मामले में 100 से 150 गुना अधिक महंगा हो जाता है।
- रूपक (Metaphor): यह एक बच्चे को गणित की समस्या हल करने के लिए कहने जैसा है। यदि आप उनसे बस पूछते हैं, तो वे अनुमान लगा सकते हैं। यदि आप उन्हें "अपना काम दिखाएं" और हर एक चरण को विस्तार से लिखने के लिए कहते हैं, तो वे सही उत्तर प्राप्त करते हैं, लेकिन वे पेंसिल का एक पूरा डिब्बा और एक घंटा बर्बाद कर देते हैं। इस बीच, "बड़ा AI" (एक गणित का प्रोफेसर) एक पेंसिल से तुरंत इसे हल कर सकता था।
5. समाधान: "स्मार्ट ट्रैफिक कॉप"
तो, हम क्या करें? हम AI का उपयोग करना बंद नहीं कर सकते, और हम हमेशा सबसे बड़े, सबसे महंगे मॉडलों का उपयोग भी नहीं कर सकते।
लेखक एक स्मार्ट राउटर (AI प्रश्नों के लिए एक ट्रैफिक पुलिस) बनाने का प्रस्ताव देते हैं। यह कैसे काम करता है, यहाँ देखें:
- ट्रैफिक कॉप प्रश्न को देखता है:
- क्या यह एक सरल प्रश्न है? (जैसे, "फ्रांस की राजधानी क्या है?") -> इसे छोटे AI को भेजें। ऊर्जा बर्बाद करने की आवश्यकता नहीं है।
- क्या यह एक जटिल तर्क पहेली है? (जैसे, "इस कैलकुलस की समस्या को हल करें।") -> इसे बड़े AI को भेजें। यह छोटे AI को "कदम-दर-कदम सोचने" के लिए मजबूर करने की तुलना में तेज़ और सस्ता है।
- क्या यह एक पेचीदा मध्य-स्तर का प्रश्न है? -> शायद छोटे AI का उपयोग एक सीमा के साथ करें। उसे "कदम-दर-कदम सोचने" के लिए कहें, लेकिन एक टोकन बजट लगा दें। "3 चरणों तक सोचें, फिर रुकें और मुझे उत्तर दें।" यह छोटे AI को लंबी, ऊर्जा-खर्च करने वाली बड़बड़ाहट करने से रोकता है।
मुख्य निष्कर्ष
हमें सभी AI प्रश्नों के साथ एक जैसा व्यवहार करना बंद करना होगा। जिस तरह आप कॉफी लेने के लिए एक विशाल सेमी-ट्रक नहीं चलाएंगे, हमें सरल कार्यों के लिए विशाल, ऊर्जा-खर्च करने वाली AI रणनीतियों का उपयोग नहीं करना चाहिए।
सतत (Sustainable) AI का भविष्य केवल बड़े मॉडल बनाने के बारे में नहीं है; यह सही प्रश्न को सही मॉडल तक पहुँचाने और यह जानने के बारे में है कि ग्रह की ऊर्जा बचाने के लिए AI को "ज्यादा सोचने" से कब रोकना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।