Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching
यह शोध पत्र कंटीन्यूअस डेप्थ बैचिंग (CDB) को प्रस्तुत करता है, जो एक नवीन शेड्यूलिंग फ्रेमवर्क है जो लूप वाले लैंग्वेज मॉडल्स के लिए कुशल, एंड-टू-एंड डेप्थ-एडेप्टिव इन्फरेंस को सक्षम बनाता है, जो लूप इटरेशन्स को बाउंड्री स्टेजेस से अलग करता है और शेड्यूलिंग को GPU कंप्यूटेशन के साथ ओवरलैप करता है, जिससे मानक तरीकों की तुलना में 1.9x तक उच्च थ्रूपुट और काफी कम लेटेंसी प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, सुपर-फास्ट लाइब्रेरी चला रहे हैं जहाँ एक अकेला लाइब्रेरियन एक साथ हज़ारों सवालों के जवाब दे सकता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह लाइब्रेरियन एक "लार्ज लैंग्वेज मॉडल" (LLM) है, और सवाल उपयोगकर्ताओं के टेक्स्ट प्रॉम्प्ट हैं। आमतौर पर, समय और पैसा बचाने के लिए, लाइब्रेरियन सभी सवालों को एक सख्त लाइन में प्रोसेस करता है, जिससे हर एक सवाल को बिल्कुल समान ध्यान दिया जाता है, चाहे सवाल कितना भी सरल या जटिल क्यों न हो। यह कुशल है, लेकिन यह बर्बादी भी है: "2+2 क्या है?" का जवाब देने में उतनी ही दिमागी शक्ति लगती है जितनी कि एक जटिल भौतिकी (फिजिक्स) की समस्या को हल करने में, जबकि पहला सवाल बहुत ही आसान है।
हाल ही में, वैज्ञानिकों ने "लूप वाले" (looped) मॉडल्स नामक एक चतुर तकनीक की खोज की। एक सीधी रेखा के बजाय, इन मॉडल्स में एक "सोचने का लूप" (thinking loop) होता है। वे अपने काम की जाँच कर सकते हैं, अपने उत्तर को एक विशेष सोचने वाले कक्ष (thinking chamber) से गुजार सकते हैं, और यदि उत्तर अच्छा दिखता है, तो वे रुक जाते हैं। यदि उत्तर संदिग्ध लगता है, तो वे इसे दोबारा सोचने वाले कक्ष से गुजारते हैं। इसका मतलब है कि आसान सवालों को एक त्वरित पास मिलता है, जबकि कठिन सवालों को गहरे विचार के अतिरिक्त लूप मिलते हैं। यह एक छात्र की तरह है जो एक साधारण गणित के सवाल को देखते ही तुरंत उत्तर लिख देता है, लेकिन एक कठिन कैलकुलस की समस्या के लिए व्हाइटबोर्ड पर दस मिनट तक लिखता रहता है। यह सुनने में एकदम सही लगता है, लेकिन यह उस लाइब्रेरियन के लिए एक बुरा सपना बन जाता है जो लाइन को मैनेज करने की कोशिश कर रहा है। अगर लाइन में मौजूद हर किसी को सोचने के लिए अलग-अलग समय चाहिए, तो पूरी लाइन अटक जाती है। लाइब्रेरियन अगले समूह को प्रोसेस नहीं कर सकता जब तक कि वर्तमान समूह का काम पूरा न हो जाए, और यदि कुछ लोग अभी भी सोच रहे हैं जबकि अन्य काम पूरा कर चुके हैं, तो सिस्टम थम जाता है। यह पेपर ठीक इसी ट्रैफिक जाम को हल करता है।
लेखक इस ट्रैफिक जाम को ठीक करने के लिए कंटीन्यूअस डेप्थ बैचिंग (CDB) नामक एक नई प्रणाली पेश करते हैं। उन्होंने महसूस किया कि लाइन को प्रबंधित करने का पुराना तरीका (जिसे स्टैंडर्ड बैचिंग कहा जाता है) बहुत कठोर था। इसने हर सवाल को ऐसे माना जैसे उसे लूप्स की समान संख्या की आवश्यकता हो, जिससे नए मॉडल्स का गति वाला लाभ बर्बाद हो गया। इसे हल करने के लिए, उन्होंने एक डायनेमिक शेड्यूलर बनाया जो एक अत्यंत संगठित ट्रैफिक कंट्रोलर की तरह काम करता है। पूरे समूह के खत्म होने का इंतजार करने के बजाय, यह कंट्रोलर पूरे हुए सवालों को तुरंत लाइन से बाहर जाने देता है और तुरंत उन्हें नए सवालों से बदल देता है जो शुरू होने के लिए प्रतीक्षा कर रहे हैं।
इसे एक व्यस्त रेस्टोरेंट किचन की तरह समझें। पुराने सिस्टम में, यदि एक शेफ एक साथ एक साधारण सलाद (आसान टोकन) और एक जटिल सूफ़ले (कठिन टोकन) बना रहा है, तो पूरे किचन को सूफ़ले के तैयार होने तक इंतजार करना पड़ता है ताकि सलाद परोसा जा सके या नया ऑर्डर शुरू किया जा सके। नया CDB सिस्टम अलग है। जैसे ही सलाद तैयार होता है, उसे प्लेट में सजाकर भेज दिया जाता है, और शेफ तुरंत सब्जियां काटने के लिए एक नया ऑर्डर उठा लेता है, जिससे किचन लगातार व्यस्त रहता है। पेपर दिखाता है कि ऐसा करने से, सिस्टम "सोचने के लूप" को पूरी गति से चला सकता है और कभी भी शेफ के हाथ खाली नहीं रहते।
शोधकर्ताओं ने दो अलग-अलग AI मॉडल्स पर इसका परीक्षण किया, जिन्हें ओरो (Ouro) और हुगिन (Huginn) नाम दिया गया है। उन्होंने पाया कि CDB अविश्वसनीय रूप से अच्छा काम करता है। ओरो मॉडल के लिए, नए सिस्टम ने सैद्धांतिक रूप से संभव अधिकतम गति का 99% तक हासिल किया। सरल शब्दों में, इसका मतलब है कि सिस्टम उतना ही तेज़ है जितना कि यह हो सकता है यदि आप जादुई रूप से बर्बाद होने वाले हर एक सेकंड को हटा सकें। वास्तविक दुनिया के परीक्षणों में, यह पुराने तरीकों की तुलना में प्रति सेकंड 1.5 से 1.9 गुना अधिक अनुरोधों (requests) को प्रोसेस करने में सक्षम रहा। जब सिस्टम भारी लोड के तहत था, जैसे कि हजारों उपयोगकर्ताओं वाली एक व्यस्त वेबसाइट, तो जवाबों के लिए प्रतीक्षा समय 45% से 90% तक कम हो गया।
हालाँकि, पेपर यह भी बताता है कि यह जादू स्वचालित नहीं है। यह सिस्टम तब सबसे अच्छा काम करता है जब "सोचने का लूप" मुख्य कार्य होता है। यदि लूप से पहले के चरण (जैसे सवाल पढ़ना) और लूप के बाद के चरण (जैसे अंतिम उत्तर लिखना) बहुत धीमे या भारी हैं, तो वे पूरी प्रक्रिया को धीमा कर सकते हैं। लेखकों ने पाया कि जिन मॉडल्स में ये अतिरिक्त चरण भारी होते हैं, वहां गति में सुधार तो अच्छा है लेकिन उतना नाटकीय नहीं है। उन्होंने यह भी पता लगाया कि एक साथ कितने सवालों को प्रोसेस करने के लिए एक "स्वीट स्पॉट" (सही संतुलन) होता है। यदि आप बहुत कम सवाल प्रोसेस करने की कोशिश करते हैं, तो सिस्टम हर कदम के लिए मॉडल के "दिमाग" (वेट्स) को फिर से लोड करने में समय बर्बाद करता है। यदि आप बहुत अधिक सवाल प्रोसेस करते हैं, तो सिस्टम बोझिल हो जाता है। CDB एक नया स्लॉट खुलने पर नई लाइन को लगातार भरने के माध्यम से इस सही संतुलन को खोजने में मदद करता है।
लेखकों द्वारा उपयोग किया गया एक सबसे चतुर तरीका "लुकअहेड गेट" (lookahead gate) है। सामान्यतः, सिस्टम को यह जानने के लिए इंतजार करना पड़ता है कि क्या उत्तर अच्छा है ताकि वह सोचने के लूप को छोड़ सके। इससे एक छोटा सा ठहराव आता है जहाँ कंप्यूटर बस इंतजार करता रहता है। नया सिस्टम उत्तर का एक कदम पहले अनुमान लगा लेता है, जिससे वर्तमान सवाल के समाप्त होने से पहले ही अगले बैच के सवालों को तैयार किया जा सकता है। यह एक कंडक्टर की तरह है जो वर्तमान खंड के समाप्त होने से ठीक पहले ऑर्केस्ट्रा के अगले खंड को संकेत देता है, ताकि संगीत के बीच में कोई सन्नाटा न रहे। इस छोटे से बदलाव ने कंप्यूटर के "खाली समय" (idle time) को लगभग शून्य कर दिया, जिससे पूरी प्रक्रिया अविश्वसनीय रूप से सुचारू हो गई।
संक्षेप में, यह पेपर साबित करता है कि हम इन स्मार्ट, स्वयं-सुधार करने वाले AI मॉडल्स को वास्तव में वास्तविक दुनिया में उपयोग करने के लिए पर्याप्त तेज़ बना सकते हैं। "सोचने के लूप्स" को एक लचीले शेड्यूल के रूप में देखने के बजाय एक कठोर लाइन के रूप में मानकर, और पूर्ण हुए कार्यों को नए कार्यों से लगातार बदलकर, लेखकों ने एक ऐसा सिस्टम बनाया है जो न केवल स्मार्ट है बल्कि काफी तेज़ और अधिक कुशल भी है। उन्होंने केवल यह सुझाव नहीं दिया कि यह काम कर सकता है; उन्होंने इसे बनाया, वास्तविक हार्डवेयर पर परीक्षण किया, और दिखाया कि यह बड़े पैमाने पर गति में लाभ देता है, जिससे एक सैद्धांतिक विचार को AI के भविष्य के लिए एक व्यावहारिक उपकरण में बदल दिया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।