X-CoSD: Communication-Efficient Cross-Vocabulary Collaborative Speculative Decoding
यह शोधपत्र X-CoSD का प्रस्ताव करता है, जो एक संचार-कुशल और लॉसलेस (lossless) सहयोगात्मक स्पेक्युलेटिव डिकोडिंग फ्रेमवर्क है, जो हाइब्रिड रीसैंपलिंग और सर्वर-रीसैंपलिंग-विद-डिवाइस-वेरिफिकेशन वेरिएंट को पेश करके विषम वोकैबुलरी (heterogeneous vocabularies) वाले उपकरणों और सर्वरों के बीच वितरित LLM इन्फरेंस को सक्षम बनाता है, जिससे आउटपुट की गुणवत्ता से समझौता किए बिना टोकन जनरेशन को महत्वपूर्ण रूप से त्वरित किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, सबसे शक्तिशाली उपकरण लार्ज लैंग्वेज मॉडल्स हैं, जो विशाल डिजिटल मस्तिष्क हैं जो कोड लिख सकते हैं, कहानियाँ रच सकते हैं और जटिल समस्याओं को हल कर सकते हैं। हालाँकि, ये मॉडल भारी होते हैं और इन्हें चलाने में समय लगता है, जिन्हें अक्सर उपयोगकर्ता से बहुत दूर स्थित विशाल सर्वरों की आवश्यकता होती है। इन्हें तेज़ बनाने के लिए, शोधकर्ताओं ने 'स्पेक्ट्रमल डिकोडिंग' (speculative decoding) नामक एक तकनीक विकसित की है। एक ऐसी टीम की कल्पना करें जहाँ एक त्वरित, हल्का सहायक कुछ वाक्य तैयार करता है, और एक वरिष्ठ विशेषज्ञ तुरंत उनकी जाँच करता है। यदि सहायक सही है, तो टीम तेज़ी से आगे बढ़ती है; यदि सहायक गलत है, तो विशेषज्ञ गलती को सुधारता है। यह सहयोग सिस्टम को विशेषज्ञ के अकेले काम करने की तुलना में बहुत तेज़ी से टेक्स्ट जेनरेट करने की अनुमति देता है। फिर भी, इस टीम वर्क को फोन और एक दूर स्थित सर्वर के बीच होने के लिए, उन्हें ठीक एक ही भाषा बोलनी होगी, जिसमें शब्दों और प्रतीकों की विशिष्ट सूची तक शामिल है जिन्हें वे पहचानते हैं। वास्तविक दुनिया में, विभिन्न उपकरण अक्सर अलग-अलग शब्दकोशों का उपयोग करते हैं, जो एक ऐसी बाधा पैदा करता है जिसने इस तेज़ सहयोग को सुचारू रूप से काम करने से रोका है।
सियोल नेशनल यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस बाधा को एक नए फ्रेमवर्क के साथ हल किया है जिसे वे X-CoSD कहते हैं। उनका कार्य एक विशिष्ट समस्या को संबोधित करता है: जब फोन और सर्वर का शब्दावली (vocabulary) समान नहीं होता है, तो सर्वर को हर बार गलती होने पर फोन को भारी मात्रा में डेटा वापस भेजना पड़ता है, जिससे पूरी प्रक्रिया धीमी हो जाती है। शोधकर्ताओं ने एक ऐसा सिस्टम डिज़ाइन किया है जो फोन और सर्वर को तब भी सहयोग करने की अनुमति देता है जब उनके शब्दकोश मेल नहीं खाते, बिना लेखन की गुणवत्ता या प्रतिक्रिया की गति से समझौता किए। उन्होंने सिद्ध किया कि उनकी विधि शक्तिशाली सर्वर मॉडल की सटीक बुद्धिमत्ता को बनाए रखती है और इंटरनेट पर यात्रा करने वाले डेटा को काफी कम कर देती है।
समस्या का मूल कारण यह है कि ये मॉडल त्रुटियों को कैसे संभालते हैं। जब सर्वर फोन के ड्राफ्ट की जाँच करता है और किसी टोकन को अस्वीकार करता है, तो उसे एक नया, सही विकल्प प्रदान करना होता है। शब्दावली के बेमेल होने को ठीक करने के पिछले प्रयासों में, सर्वर फोन को अपनी पूरी 'प्रोबेबिलिटी मैप' (संभावना मानचित्र)—यानी हर उस संभावित शब्द की सूची जिसे वह अगला चुन सकता है—वापस भेज देता था। यह एक शिक्षक द्वारा छात्र को हर बार एक वर्तनी की गलती होने पर पूरी पाठ्यपुस्तक भेजने जैसा है। यह अविश्वसनीय रूप से अक्षम है, विशेष रूप से वायरलेस नेटवर्क पर जहाँ बड़ी मात्रा में डेटा भेजना समय और शक्ति लेता है। शोधकर्ताओं ने महसूस किया कि फोन को केवल उन्हीं शब्दों को देखने की आवश्यकता है जिन पर फोन और सर्वर दोनों सहमत हैं, साथ ही उन शब्दों को संभालने के लिए थोड़ी अतिरिक्त जानकारी की आवश्यकता है जिन्हें केवल सर्वर जानता है।
इसे हल करने के लिए, टीम ने 'हाइब्रिड रीसैंपलिंग' (hybrid resampling) नामक एक विधि पेश की। पूर्ण शब्दकोश भेजने के बजाय, सर्वर केवल उन शब्दों की संभावनाएँ भेजता है जो फोन और सर्वर दोनों के शब्दकोशों में दिखाई देते हैं। यह उन अद्वितीय शब्दों के भार (weight) को दर्शाने वाला एक एकल अंक भी भेजता है जो केवल सर्वर के पास हैं। इस सीमित जानकारी के साथ, फोन गणितीय रूप से निर्णय ले सकता है कि साझा सूची से शब्द चुनना है या सर्वर से अपने अद्वितीय सूची से शब्द चुनने के लिए कहना है। यदि फोन साझा सूची से एक शब्द चुनता है, तो यह तुरंत होता है। यदि सर्वर को एक अद्वितीय शब्द चुनने की आवश्यकता होती है, तो वह पूरी सूची भेजने के बजाय केवल वह एक शब्द वापस भेजता है। यह दृष्टिकोण सुनिश्चित करता है कि अंतिम आउटपुट पूरी तरह से सटीक बना रहे, जो वही होता जो शक्तिशाली सर्वर अपने आप में उत्पन्न करता, लेकिन यह उस भारी डेटा ट्रांसफर से बच जाता है जो पहले सिस्टम को धीमा कर देता था।
शोधकर्ता एक उन्नत संस्करण के साथ एक कदम आगे गए जिसे X-CoSD-E कहा जाता है, जो दक्षता की एक और परत जोड़ता है। इस सेटअप में, जब कोई गलती होती है, तो सर्वर पहले फोन को कुछ प्रतिस्थापन उम्मीदवारों (replacement candidates) का एक छोटा समूह भेजता है। फोन इन कुछ विकल्पों की तुरंत जाँच करता है। यदि उनमें से कोई भी पर्याप्त रूप से अच्छा है, तो प्रक्रिया वहीं रुक जाती है, और आगे कोई डेटा नहीं भेजा जाता है। सर्वर केवल तभी संभावनाओं की बड़ी सूची भेजता है जब फोन प्रारंभिक उम्मीदवारों में से प्रत्येक को अस्वीकार कर देता है। यह "पहले कुछ आजमाएं" वाली रणनीति का अर्थ है कि अधिकांश मामलों में, सिस्टम भारी डेटा ट्रांसफर से बच जाता है। टीम ने मशीन अनुवाद, समाचार लेखों का सारांश निकालने और गणित की समस्याओं को हल करने सहित विभिन्न कार्यों पर, फोन और सर्वर के लिए विभिन्न मॉडलों का उपयोग करके इसका परीक्षण किया।
परिणामों ने दिखाया कि यह नई विधि अकेले काम करने वाले शक्तिशाली सर्वर मॉडल की तरह ही प्रभावी है, जो टेक्स्ट जेनरेशन की उच्च गुणवत्ता को बनाए रखती है। साथ ही, इसने वापस और आगे भेजे जाने वाले डेटा की मात्रा को काफी कम कर दिया। अपने प्रयोगों में, नए सिस्टम ने पिछले तरीकों की तुलना में बहुत तेज़ी से टोकन जेनरेट किए जो अलग-अलग शब्दकोशों को संभालने की कोशिश करते थे, विशेष रूप से तब जब इंटरनेट कनेक्शन धीमा था या डेटा ट्रांसफर सीमित था। शोधकर्ताओं ने पाया कि भेजी जाने वाली जानकारी और कब भेजी जानी चाहिए, इसका सावधानीपूर्वक प्रबंधन करके, वे सहयोग को निर्बाध रख सकते हैं। यह कार्य प्रदर्शित करता है कि उच्च-गति वाला, सहयोगात्मक आर्टिफिशियल इंटेलिजेंस संभव है, भले ही शामिल उपकरण एक ही भाषा न बोलते हों, जो रोजमर्रा के उपकरणों पर अधिक कुशल और सुलभ AI टूल के द्वार खोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।