LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding
LiLiCorr एक हल्का (lightweight) तरीका है जो एक ड्राफ्टर के प्रति-पोजीशन मार्जिनल डिस्ट्रीब्यूशंस को कुशलतापूर्वक सह-संबंधित करके जॉइंट टोकन कोहेरेंस को कैप्चर करता है, जिससे न्यूनतम लेटेंसी ओवरहेड के साथ स्वीकृति लंबाई (acceptance lengths) और समग्र थ्रूपुट में उल्लेखनीय वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ किताब पढ़ना तात्कालिक हो जाता है, इसलिए नहीं कि शब्द तेज़ी से दिखाई देते हैं, बल्कि इसलिए क्योंकि आपका मन पन्ना पलटने से पहले ही पूरे पैराग्राफ का पूर्वानुमान लगा सकता है। यह 'स्पेक्युलेटिव डिकोडिंग' (speculative decoding) नामक एक तकनीक का वादा है, जो आर्टिफिशियल इंटेलिजेंस को अभूतपूर्व गति से बोलने और लिखने के योग्य बनाने के लिए डिज़ाइन की गई है। इसके मूल में श्रम का एक सरल विभाजन है: एक छोटा, तेज़ मॉडल एक ड्राफ्ट्समैन (मसौदा तैयार करने वाला) के रूप में कार्य करता है, जो अनुमान लगाता है कि आगे क्या होगा, जबकि एक बड़ा, अधिक शक्तिशाली मॉडल एक जज (न्यायाधीश) के रूप में कार्य करता है, जो उन अनुमानों को सत्यापित करता है। यदि जज ड्राफ्ट्समैन के अनुमान से सहमत होता है, तो सिस्टम उस अनुमान को स्वीकार कर लेता है और आगे बढ़ जाता है, जिससे हर एक शब्द को शून्य से उत्पन्न करने के धीमे, चरण-दर-चरण कार्य को छोड़ दिया जाता है। ड्राफ्ट्समैन पर शब्दों की एक लंबी श्रृंखला को सही बताने के लिए जितना अधिक भरोसा किया जा सकेगा, पूरी बातचीत उतनी ही तेज़ी से प्रवाहित होगी। हालाँकि, एक निरंतर समस्या ने इस तकनीक को पीछे खींच रखा है: ड्राफ्ट्समैन अक्सर व्यक्तिगत शब्दों को तो सही कर देता है, लेकिन उन्हें एक सुसंगत वाक्य में पिरोने में विफल रहता है। यह एक ऐसे संगीतकार की तरह है जो अलग-अलग तौर पर हर स्वर को पूरी तरह से बजाता है, लेकिन जब उन स्वरों को क्रम में बजाया जाता है, तो वह एक बेसुरी और निरर्थक धुन बना देता है।
NVIDIA के शोधकर्ताओं ने इस विशिष्ट सुसंगतता (coherence) की समस्या को गति से समझौता किए बिना हल करने के लिए 'LiLiCorr' नामक एक नई विधि पेश की है। यह प्रणाली 'DFlash' नामक एक ड्राफ्टिंग मॉडल पर आधारित है, जो एक ही तीव्र विस्फोट में भविष्य के शब्दों के पूरे ब्लॉक की भविष्यवाणी करने में सक्षम है। हालाँकि DFlash अविश्वसनीय रूप से तेज़ है, लेकिन यह प्रत्येक शब्द की स्थिति को एक स्वतंत्र घटना मानता है, जिसका अर्थ है कि यह पहले स्थान के लिए "The dog" और दूसरे के लिए "meows" का सुझाव दे सकता है, लेकिन यह समझने में विफल हो सकता है कि पूरे वाक्य के संदर्भ के लिए "The cat" बेहतर होता। नया दृष्टिकोण ड्राफ्ट्समैन को पूर्ण बनाने के लिए फिर से प्रशिक्षित करने की कोशिश नहीं करता है; इसके बजाय, यह तर्क की एक हल्की परत जोड़ता है जो एक त्वरित संपादक (editor) के रूप में कार्य करती है। यह संपादक ड्राफ्ट्समैन द्वारा प्रस्तावित प्रत्येक स्थिति के शीर्ष कुछ उम्मीदवारों (candidates) को देखता है और जाँचता है कि वे आपस में कितनी अच्छी तरह जुड़ते हैं। यह प्रत्येक उम्मीदवार शब्द को दो दिशात्मक संकेतों का एक जोड़ा सौंपता है, एक यह दर्शाता है कि वह पिछले शब्द के साथ कितना फिट बैठता है, और दूसरा यह दर्शाता है कि वह अगले शब्द के लिए कितनी अच्छी नींव रखता है। इन संकेतों की तुलना करके, सिस्टम तुरंत पहचान सकता है कि शब्दों का कौन सा क्रम एक सुचारू और तार्किक पथ बनाता है, जिससे उन बेसुरी संयोजनों को हटा दिया जाता है जिन्हें बड़ा मॉडल अस्वीकार कर देता।
इस डिज़ाइन की प्रतिभा इसकी दक्षता में निहित है। प्रत्येक शब्द को एक धीमी, क्रमिक श्रृंखला में एक-एक करके जाँचने के बजाय, सिस्टम उम्मीदवार शब्दों के बीच सभी संभावित कनेक्शनों का मूल्यांकन एक साथ करता है, जो एक एकल, विशाल गणना का उपयोग करता है जो समानांतर (parallel) रूप से होती है। यह सिस्टम को लगभग तुरंत ही सबसे सुसंगत अनुक्रम खोजने की अनुमति देता है, जिससे केवल विकल्पों को लॉक करने के लिए एक सरल, अंतिम चरण बचता है। शोधकर्ताओं ने पाया कि इस संपादक को ड्राफ्ट्समैन के साथ मिलकर काम करने के लिए प्रशिक्षित करने से, दोनों मॉडल सहयोग करना सीख गए, जिससे अंततः ड्राफ्ट्समैन ऐसे उम्मीदवार प्रस्तावित करने लगा जिन्हें संपादक के लिए लंबे, स्वीकृत श्रृंखलाओं में जोड़ना आसान था। गणित की समस्याओं को हल करने से लेकर कोड लिखने और बातचीत करने तक, नौ अलग-अलग बेंचमार्क में परीक्षणों में, इस नई पद्धति ने लगातार पिछले दृष्टिकोणों को पछाड़ दिया। इसने अन-एडिटेड ड्राफ्ट्समैन की तुलना में स्वीकृत शब्दों की संख्या में नौ से उन्नीस प्रतिशत तक की वृद्धि की, और इसने बहत्तर में से सत्तर परीक्षण परिदृश्यों में उच्चतम समग्र गति प्रदान की। यहाँ तक कि जब सिस्टम को उसके प्रशिक्षण डेटा से दस गुना लंबे इनपुट को संभालने के लिए कहा गया, तब भी इसने अपनी बढ़त बनाए रखी, जो यह सिद्ध करता है कि उम्मीदवारों को जोड़ने की यह विधि मजबूत और स्केलेबल है।
परिणाम बताते हैं कि AI को तेज़ बनाने में बाधा केवल ड्राफ्ट्समैन को तेज़ बनाने के बारे में नहीं है, बल्कि ड्राफ्ट्समैन के अनुमानों को सत्यापित करना आसान बनाने के बारे में है। अनुमानों की सुसंगतता को जज के पास भेजे जाने से पहले ही ठीक करके, सिस्टम अस्वीकृति और पुन: निर्माण के बर्बाद समय से बच जाता है। यह दृष्टिकोण मुख्य मॉडल को भारी काम करने के लिए विशाल कम्प्यूटेशनल शक्ति की आवश्यकता नहीं देता है; इसके बजाय, यह एक छोटे, विशिष्ट नेटवर्क का उपयोग करता है जो प्रक्रिया में नगण्य समय जोड़ता है—जो टेक्स्ट के प्रति ब्लॉक के कुल समय का केवल लगभग 2.8 प्रतिशत है। शोधकर्ताओं ने प्रदर्शित किया कि यह छोटा सा जुड़ाव एक विशाल रिटर्न देता है, जिससे सिस्टम पहले की तुलना में काफी तेज़ी से जानकारी को प्रोसेस कर पाता है। जबकि अन्य विधियों ने हर एक शब्द पर जटिल जाँच चलाकर या मुख्य मॉडल से अतिरिक्त काम करवाकर इसे हल करने का प्रयास किया है, LiLiCorr उन सूचनाओं को व्यवस्थित करके अपने परिणाम प्राप्त करता है जो ड्राफ्ट्समैन पहले से ही प्रदान कर रहा है। निष्कर्ष संकेत देते हैं कि उच्च-गति वाले AI के भविष्य के लिए, कुंजी केवल बड़े मॉडल बनाने में नहीं है, बल्कि उनके द्वारा उत्पन्न शब्दों के बीच के बिंदुओं को जोड़ने के स्मार्ट और अधिक कुशल तरीके बनाने में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।