Multi-Bin Batching for Increasing LLM Inference Throughput
यह शोध पत्र मल्टी-बिन बैचिंग (Multi-Bin Batching) का प्रस्ताव देता है, जो एक नियंत्रण नीति है जो समान अनुमानित निष्पादन समय वाले LLM अनुरोधों को पूर्व-निर्धारित बिनों में समूहित करती है ताकि स्टैटिक बैचिंग के तहत अनुमानित थ्रूपुट को प्रमाणिक रूप से अधिकतम किया जा सके, जिससे भिन्न जनरेशन लंबाई के कारण होने वाले संसाधन कम उपयोग को महत्वपूर्ण रूप से कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल युग में, लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) बुद्धिमान उपकरणों की एक नई लहर के पीछे के इंजन बन गए हैं, जो कहानियाँ लिखने, कोड को डीबग करने और जटिल प्रश्नों के उत्तर देने में सक्षम हैं। ये सिस्टम एक अनुक्रम में अगले शब्द की भविष्यवाणी करके काम करते हैं, एक बार में एक टोकन करके, एक ऐसी प्रक्रिया जिसमें अत्यधिक कंप्यूटिंग शक्ति की आवश्यकता होती है। इन सिस्टम्स को एक साथ कई लोगों के लिए उपयोगी बनाने के लिए, सर्वरों को एक साथ हजारों अनुरोधों (रिक्वेस्ट) को संभालना पड़ता है। ऐसा करने का मानक तरीका 'बैचिंग' नामक एक तकनीक है, जहाँ कंप्यूटर कई अनुरोधों को एक साथ समूहबद्ध करता है और उन्हें एक ही समय में प्रोसेस करता है, ठीक वैसे ही जैसे एक बस कई यात्रियों को एक ही गंतव्य तक ले जाती है। यह समानांतर प्रसंस्करण (पैरेलल प्रोसेसिंग) गति के लिए आवश्यक है, लेकिन यह एक सूक्ष्म अक्षमता भी पैदा करता है: पूरे समूह को अगले सफर के लिए प्रस्थान करने से पहले सबसे धीमे यात्री के समाप्त होने तक प्रतीक्षा करनी पड़ती है। यदि दस लोगों के एक समूह में एक व्यक्ति को तैयार होने में लंबा समय लगता है जबकि अन्य तुरंत तैयार हो जाते हैं, तो कंप्यूटर उस एक धीमे अनुरोध की प्रतीक्षा में खाली बैठा रहता है, जिससे कीमती समय और ऊर्जा बर्बाद होती है।
शोधकर्ताओं ने इस प्रतीक्षा खेल को ठीक करने का तरीका लंबे समय से खोजा है बिना बैचिंग की दक्षता को छोड़े। एक नया अध्ययन 'मल्टी-बिन बैचिंग' नामक एक समाधान प्रस्तावित करता है, जो आने वाले अनुरोधों को इस आधार पर अलग-अलग प्रतीक्षा पंक्तियों में व्यवस्थित करता है कि वे कितने समय तक चलने की उम्मीद है। हर अनुरोध को एक ही मिश्रित कतार में डालने के बजाय, सिस्टम प्रत्येक उपयोगकर्ता द्वारा चाहे जाने वाले उत्तर की लंबाई की भविष्यवाणी करता है और उन्हें विभिन्न "बिन्स" (bins) में वर्गीकृत करता है। जो अनुरोध संक्षिप्त होने की संभावना रखते हैं वे एक बिन में जाते हैं, जबकि जो लंबे होने की संभावना रखते हैं वे दूसरे में जाते हैं। इसके बाद इन बिन्स के भीतर बैच बनाए जाते हैं, यह सुनिश्चित करते हुए कि किसी भी एकल समूह के अनुरोधों की अवधि समान हो। यह तेज़ अनुरोधों को धीमे अनुरोधों द्वारा रोके जाने से रोकता है, जिससे कंप्यूटर अपने काम को बहुत जल्दी पूरा कर सकता है और अगला बैच शुरू कर सकता है।
शोधकर्ताओं ने इस विचार का परीक्षण एक गणितीय ढांचे का उपयोग करके किया जो सर्वर को अनुरोधों के निरंतर प्रवाह को संसाधित करने वाली एक एकल मशीन मानता है। उन्होंने सिद्ध किया कि बिन्स की संख्या बढ़ाकर, सिस्टम उस सैद्धांतिक अधिकतम गति के करीब पहुँच सकता है जहाँ स्ट्रैग्लर्स (पीछे छूट जाने वालों) के लिए प्रतीक्षा करने में कोई समय बर्बाद नहीं होता है। अपने विश्लेषण में, उन्होंने दिखाया कि यदि बिन्स को सही ढंग से सेट किया जाता है, तो कंप्यूटर द्वारा एक समूह के पूरा होने की प्रतीक्षा करने में लगने वाला समय काफी कम हो जाता है। अध्ययन ने यह भी पता लगाया कि यह कैसे काम करता है जब उत्तर उत्पन्न करने में लगने वाला समय एक विशिष्ट सांख्यिकीय पैटर्न का पालन करता है, जिससे यह पुष्टि होती है कि अनिश्चितता के बावजूद तर्क बना रहता है। मुख्य निष्कर्ष यह है कि अनुरोधों को उनके आगमन के क्रम में संसाधित करने के बजाय, समान कार्यों को एक साथ समूहित करना, उस निष्क्रिय समय को नाटकीय रूप रूप से कम कर सकता है जो वर्तमान सिस्टमों को प्रभावित करता है।
यह देखने के लिए कि क्या यह सिद्धांत वास्तविक दुनिया में काम करता है, टीम ने एक उच्च श्रेणी के ग्राफिक्स कार्ड पर एक लोकप्रिय ओपन-सोर्स मॉडल का उपयोग करके प्रयोग किए। उन्होंने अपने नए तरीके की तुलना मानक बैचिंग पद्धति और 'कंटीन्यूअस बैचिंग' (continuous batching) नामक एक अधिक उन्नत प्रणाली से की, जो एक स्थान खाली होते ही नए अनुरोधों को समूह में शामिल होने की अनुमति देती है। एक नियंत्रित परीक्षण में जहाँ शोधकर्ताओं को पता था कि प्रत्येक उत्तर में कितना समय लगेगा, उनके मल्टी-बिन तरीके ने सोलह बिन्स के साथ मानक दृष्टिकोण की तुलना में 150 प्रतिशत से अधिक बेहतर प्रदर्शन किया। इस विशिष्ट परिदृश्य में, इसने कंटीन्यूअस बैचिंग प्रणाली को भी थोड़ा पीछे छोड़ दिया, जो यह सुझाव देता है कि यदि आप कार्य की अवधि की सटीक भविष्यवाणी कर सकते हैं, तो उन्हें घने समूहों में छाँटना एक अत्यधिक प्रभावी रणनीति है।
हालाँकि, वास्तविक दुनिया इतनी अनुमानित नहीं होती है। जब शोधकर्ताओं ने इस पद्धति को वास्तविक उपयोगकर्ता प्रश्नों के डेटासेट पर लागू किया, जहाँ उन्हें उत्तर की लंबाई के बारे में निश्चित होने के बजाय उसका अनुमान लगाना था, तो परिणाम अभी भी प्रभावशाली लेकिन अधिक मामूली थे। प्रतिक्रिया की लंबाई का अनुमान लगाने के लिए एक हल्के टूल का उपयोग करते हुए, मल्टी-बिन सिस्टम ने मानक पद्धति की तुलना में थ्रूपुट (throughput) में 150 प्रतिशत का सुधार किया, जो एक बड़ी बढ़त है। फिर भी, यह कंटीन्यूअस बैचिंग प्रणाली से पीछे रह गया, जो समग्र रूप से सबसे तेज़ बनी रही। अनुमानित परिणामों और आदर्श "पूर्ण ज्ञान" वाले परिणामों के बीच का अंतर यह दर्शाता है कि भविष्यवाणी की सटीकता बहुत मायने रखती है; जब सिस्टम ने लंबाई का सही अनुमान लगाया, तो प्रदर्शन काफी बढ़ गया। यह इंगित करता है कि जबकि छँटाई की रणनीति शक्तिशाली है, इसकी पूर्ण क्षमता इस बात पर निर्भर करती है कि कार्य शुरू होने से पहले उसकी अवधि की भविष्यवाणी करने का तरीका कितना अच्छा है।
अध्ययन यह निष्कर्ष निकालता है कि यह बिनिंग दृष्टिकोण पहले से उपयोग में आने वाले परिष्कृत सिस्टमों का प्रतिस्थापन नहीं है, बल्कि एक शक्तिशाली उपकरण है जिसे उनमें जोड़ा जा सकता है। मुख्य प्रोसेसिंग कतार तक पहुँचने से पहले एक स्मार्ट सॉर्टिंग तंत्र के रूप में कार्य करके, यह आधुनिक सर्वरों को ट्रैफ़िक को अधिक कुशलता से संभालने में मदद कर सकता है। शोधकर्ताओं ने पाया कि बिन्स की संख्या एक 'ट्यूनिंग नॉब' की तरह कार्य करती है: बहुत कम होने पर, सिस्टम अभी भी बेमेल गति से प्रभावित होता है; बहुत अधिक होने पर, अनुरोधों को छाँटने में लगने वाला समय चीज़ों को धीमा कर सकता है। 'स्वीट स्पॉट' (इष्टतम बिंदु) विशिष्ट वर्कलोड और सिस्टम कितनी सटीकता से कार्य की लंबाई का अनुमान लगा सकता है, इस पर निर्भर करता है। अंततः, यह कार्य प्रदर्शित करता है कि अनुरोधों को समूहबद्ध करने के तरीके में एक साधारण बदलाव—समान कार्यों को अजनबियों के बजाय पड़ोसियों के रूप में मानना—हमारे दैनिक डिजिटल जीवन को संचालित करने वाले आर्टिफिशियल इंटेलिजेंस सिस्टम के लिए महत्वपूर्ण गति सुधार अनलॉक कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।