GAR: Carbon-Aware Routing for LLM Inference via Constrained Optimization
यह शोध पत्र ग्रीन-अवेयर राउटिंग (GAR) को प्रस्तुत करता है, जो एक निरंतर बहु-उद्देश्यीय अनुकूलन ढांचा है जो सटीकता और विलंबता सेवा-स्तर के उद्देश्यों का सख्ती से पालन करते हुए विषम मॉडलों (heterogeneous models) में अनुरोधों को गतिशील रूप से रूट करके LLM इन्फरेंस के लिए CO2 उत्सर्जन को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंपनी के लिए एक व्यस्त डिलीवरी सर्विस चलाते हैं जो विभिन्न आकारों के ट्रकों के बेड़े का उपयोग करके पैकेज (प्रश्नों के उत्तर) डिलीवर करती है। कुछ ट्रक बहुत छोटे और ईंधन-कुशल हैं लेकिन धीमे हैं या भारी भार उठाने में खराब हैं। अन्य विशाल, शक्तिशाली सुपर-ट्रक हैं जो किसी भी चीज़ को तुरंत संभाल सकते हैं लेकिन वे इतना ईंधन पीते हैं जैसे कल ही दुनिया खत्म होने वाली हो।
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, ये "ट्रक" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। वर्तमान में, जब कोई उपयोगकर्ता प्रश्न पूछता है, तो सिस्टम आमतौर पर केवल गति (speed) या लागत (cost) के आधार पर एक ट्रक चुनता है। इसे इस बात की ज्यादा परवाह नहीं होती कि वह ट्रक कितना "कार्बन प्रदूषण" पैदा करता है, भले ही दिन के कुछ समय में या कुछ स्थानों पर "ईंधन" (बिजली) अधिक गंदा (प्रदूषित) हो जाता हो।
आपके द्वारा साझा किया गया पेपर GAR (Green-Aware Routing) नामक एक नई प्रणाली पेश करता है। GAR को एक सुपर-स्मार्ट ट्रैफिक कंट्रोलर के रूप में समझें जो न केवल गति और कीमत देखता है, बल्कि हर एक डिलीवरी के पर्यावरणीय प्रभाव पर भी नज़र रखता है।
यहाँ GAR कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:
1. समस्या: "सबसे गंदा" ट्रक अक्सर डिफ़ॉल्ट होता है
अभी, यदि आप कोई प्रश्न पूछते हैं, तो सिस्टम सुरक्षा के लिए सबसे बड़े और सबसे शक्तिशाली ट्रक को भेज सकता है, या समय बचाने के लिए सबसे तेज़ वाले को।
- समस्या: कभी-कभी, एक छोटा ट्रक भी काम को उतनी ही अच्छी तरह से कर सकता है, लेकिन सिस्टम को यह तब तक पता नहीं चलता जब तक कि वह पहले से ही बड़े, प्रदूषण फैलाने वाले ट्रक को भेज नहीं देता।
- ग्रिड कारक: कल्पना करें कि बिजली ग्रिड एक नदी की तरह है। कभी-कभी पानी साफ होता है (पवन/सौर ऊर्जा जैसे नवीकरणीय ऊर्जा), और कभी-कभी पानी गंदा होता है (जीवाश्म ईंधन)। "गंदा" समय दिन के समय और आपके स्थान के आधार पर बदलता रहता है। GAR इस बात को जानता है। यह कोशिश करता है कि "गंदे" ट्रकों को केवल तभी भेजे जब पानी साफ हो, या बेहतर होगा कि जब पानी गंदा हो तो "साफ" ट्रकों को भेजे।
2. समाधान: "ग्रीन-अवेयर" ट्रैफिक कंट्रोलर
GAR एक निर्णय लेने वाला तंत्र है जो ट्रक चुनने से पहले तीन चीजों को देखता है:
- क्या यह काम सही ढंग से पूरा करेगा? (सटीकता - Accuracy)
- क्या यह पर्याप्त तेज़ होगा? (विलंबता - Latency)
- यह कितना प्रदूषण पैदा करेगा? (कार्बन उत्सर्जन - Carbon Emissions)
यह सुनिश्चित करने के लिए विशेष नियमों (गणितीय बाधाओं) का उपयोग करता है कि यह कभी भी ऐसा ट्रक न चुने जो बहुत धीमा या बहुत कम सटीक हो। लेकिन उन ट्रकों में से जो पर्याप्त तेज़ और सटीक हैं, यह उस ट्रक को चुनता है जो सबसे कम प्रदूषण पैदा करता है।
3. यह निर्णय कैसे लेता है (द "लाइटवेट प्रेडिक्टर्स")
GAR यह देखने के लिए वास्तव में ट्रक चलाने में समय बर्बाद नहीं करना चाहता कि वह काम करता है या नहीं। ऐसा करना बहुत धीमा होगा। इसके बजाय, यह पिछले डेटा पर प्रशिक्षित "क्रिस्टल बॉल्स" (हल्के अनुमानक/lightweight estimators) का उपयोग करता है ताकि यह अनुमान लगाया जा सके:
- "यदि हम इस प्रश्न को 7B मॉडल पर भेजते हैं, तो क्या यह उत्तर सही देगा?"
- "इसमें कितना समय लगेगा?"
- "इस समय उस विशिष्ट यात्रा से कितना कार्बन उत्पन्न होगा?"
ये अनुमान एक मिलीसेकंड से भी कम समय में होते हैं। इन अनुमानों के आधार पर, GAR गुणवत्ता मानकों को पूरा करते हुए सबसे "हरे" (पर्यावरण के अनुकूल) विकल्प को चुनता है।
4. "रोलिंग बजट" (कार्बन वॉलेट)
कल्पना कीजिए कि आपके पास प्रदूषण के लिए एक मासिक बजट है। आप अपने पूरे प्रदूषण को महीने के अंत के लिए बचाकर नहीं रख सकते; आपको हर दिन सीमाओं के भीतर रहना होगा।
- GAR-PD (स्मार्ट मैनेजर): यह GAR का सबसे उन्नत संस्करण है। यह पिछले 100 डिलीवरीों की एक "स्लाइडिंग विंडो" रखता है। यदि टीम हाल ही में बहुत अधिक कार्बन का उपयोग कर रही है, तो सिस्टम स्वचालित रूप से अधिक सख्त हो जाता है, जिससे स्वच्छ ट्रकों का चयन करना अनिवार्य हो जाता है। यदि टीम बहुत पर्यावरण के अनुकूल रही है, तो यह थोड़ी अधिक लचीलेपन की अनुमति देता है। यह वास्तविक समय में हिसाब-किताब को संतुलित करता है।
5. परिणाम: कम धुएं के साथ अधिक करना
लेखकों ने छह अलग-अलग प्रकार के कठिन कार्यों (जैसे गणित की समस्याएं, विज्ञान क्विज़ और रीडिंग कॉम्प्रिहेन्शन) और पांच अलग-अलग AI मॉडलों (छोटे से लेकर बहुत बड़े तक) के बेड़े का उपयोग करके इस प्रणाली का परीक्षण किया।
- बड़ा विजेता: मानक "सबसे बड़ा ट्रक" दृष्टिकोण (सबसे बड़ा LLM) बहुत सटीक था लेकिन इसने बहुत अधिक प्रदूषण पैदा किया (प्रति अनुरोध 2.75 ग्राम CO2)।
- "सबसे छोटा ट्रक" दृष्टिकोण: इसने प्रदूषण को बहुत बचाया लेकिन इसके उत्तर बहुत बार गलत निकले।
- GAR-PD: यह सबसे सटीक संतुलन था। इसने सबसे बड़े ट्रक के लगभग बराबर सटीकता (97% के बराबर) प्राप्त की लेकिन प्रदूषण को 74% तक कम कर दिया। यह एक साथ तेज़, सटीक और हरा-भरा रहने में सफल रहा।
सारांश उपमा
इसे भोजन वितरण (food delivery) ऑर्डर करने की तरह समझें।
- पुराना तरीका: आप हमेशा सबसे प्रसिद्ध, महंगे रेस्टोरेंट से ऑर्डर करते हैं क्योंकि आप सबसे अच्छा खाना चाहते हैं, भले ही वे दूर हों और गैस जलाने वाली मोटरसाइकिल का उपयोग करते हों।
- GAR का तरीका: आप एक स्मार्ट ऐप से पूछते हैं: "मुझे एक बर्गर चाहिए जो स्वादिष्ट हो और 20 मिनट में पहुँच जाए।" ऐप मौसम की जाँच करता है (क्या ग्रिड साफ है?), रेस्टोरेंट्स की जाँच करता है (कौन इसे कर सकता है?), और उस विकल्प को चुनता है जो पास है और इलेक्ट्रिक बाइक का उपयोग करता है। आपको वही स्वादिष्ट बर्गर मिलता है, लेकिन ग्रह खुश रहता है।
संक्षेप में: GAR AI अनुरोधों को रूट करने का एक नया तरीका है जो "ग्रह को बचाने" को एक प्राथमिक लक्ष्य के रूप में मानता है, न कि केवल एक विचार के रूप में, यह सुनिश्चित करता है कि हमें स्मार्ट उत्तर मिलें बिना दुनिया को जलाने के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।