Decoupled Contrastive Decoding via Expert-Aligned Drafting
यह शोध पत्र डिकपल्ड कॉन्ट्रास्टिव डीकोडिंग (DCD) प्रस्तुत करता है, जो प्रस्तावों के लिए एक विशेषज्ञ-संरेखित ड्राफ्टर का उपयोग करते हुए और सत्यापन के लिए अनाड़ी मॉडल को सुरक्षित रखते हुए कॉन्ट्रास्टिव डीकोडिंग को त्वरित करता है, जिससे ड्राफ्टर को कॉन्ट्रास्टिव सिग्नल के साथ संरेखित करने से होने वाली प्रदर्शन गिरावट से बचा जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बेहतरीन कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपका एक सख्त संपादक है जो अविश्वसनीय रूप से बुद्धिमान है लेकिन बोलने में बहुत धीमा है। हर बार जब आप एक नया शब्द लिखना चाहते हैं, तो आपको इस संपादक के सोचने, उसे जांचने और फिर उसे ज़ोर से बोलने का इंतज़ार करना पड़ता है। बड़े भाषा मॉडल (Large Language Models) जैसे शक्तिशाली कंप्यूटर दिमाग वर्तमान में इसी तरह काम करते हैं: वे लिखने में बहुत कुशल हैं, लेकिन वे धीमे हैं क्योंकि उन्हें हर एक शब्द को एक-एक करके जांचना पड़ता है।
चीजों को तेज़ करने के लिए, वैज्ञानिकों ने "स्पेक्युलेटिव डिकोडिंग" (Speculative Decoding) नामक एक तरकीब खोजी। इसे एक तेज़, ऊर्जावान सहायक की तरह समझें जो आपके कहानी के अगले कुछ शब्दों का अनुमान आपके धीमे संपादक के मौका मिलने से पहले ही लगा लेता है। सहायक तेज़ी से पूरा वाक्य लिख देता है, और फिर धीमा संपादक बस यह जांचता है कि उसके अनुमान सही थे या नहीं। यदि वे सही थे, तो बहुत बढ़िया! आपने समय बचा लिया। यदि नहीं, तो संपादक गलती को सुधार देता है। सामान्य लेखन के लिए यह चमत्कार की तरह काम करता है।
लेकिन, इसमें एक पेंच है। कभी-कभी, कंप्यूटर दिमाग तथ्य बना लेता है या ऐसी चीज़ों के बारे में "भ्रम" (hallucinate) पैदा करता है जो सच नहीं होती हैं। इसे ठीक करने के लिए, शोधकर्ता "कॉन्ट्रास्टिव डिकोडिंग" (Contrastive Decoding) नामक तकनीक का उपयोग करते हैं। यह एक दूसरे, कम बुद्धिमान सहायक (एक "अमेच्योर" या नौसिखिया) के होने जैसा है जो गलतियाँ करने के प्रति प्रवृत्त है। सिस्टम स्मार्ट संपादक के अनुमान की तुलना नौसिखिए के अनुमान से करता है। यदि स्मार्ट संपादक कहता है "हाँ" और नौसिखिया कहता है "नहीं," तो सिस्टम जानता है कि स्मार्ट संपादक पर और भी अधिक भरोसा करना है। यह एक सुरक्षा जाल है जो इसकी लेखन क्षमता को अधिक सटीक बनाता है। हालाँकि, यह सुरक्षा जाल महंगा है क्योंकि इसके लिए हर एक शब्द के लिए स्मार्ट संपादक और अनाड़ी नौसिखिए दोनों को चलाना पड़ता है, जो सब कुछ फिर से धीमा कर देता है। बड़ा सवाल यह था: क्या हम सुरक्षा जाल को बरकरार रखते हुए इसे तेज़ बना सकते हैं?
यह शोध पत्र, जिसका शीर्षक "डिकपल्ड कॉन्ट्रास्टिव डिकोडिंग वाया एक्सपर्ट-अलाइन्ड ड्राफ्टिंग" (Decoupled Contrastive Decoding via Expert-Aligned Drafting) है, ठीक इसी समस्या में गहराई से उतरता है। लेखकों ने, जो शंघाई जियाओ टोंग यूनिवर्सिटी और शंघाई आर्टिफिशियल इंटेलिजेंस लेबोरेटरी के शोधकर्ता हैं, यह देखना चाहा कि क्या वे तेज़ सहायक को "नौसिखिए" सुरक्षा जाल का उपयोग करने के लिए प्रशिक्षित करके और भी स्मार्ट बना सकते हैं। उन्होंने पूछा: क्या तेज़ सहायक को लिखते समय जटिल सुरक्षा नियमों की नकल करने की कोशिश करनी चाहिए, या उसे बस जितनी जल्दी हो सके लिखना चाहिए और फिर सुरक्षा जांच होने का इंतज़ार करना चाहिए?
शोधकर्ताओं ने इस विचार का परीक्षण करने के लिए चुस्त प्रयोगों की एक श्रृंखला का उपयोग किया। उन्होंने तेज़ सहायक को सीधे "नौसिखिए" संकेत को समझने के लिए प्रशिक्षित करने की कोशिश की, इस उम्मीद में कि वह एक सुपर-अनुमान लगाने वाला बन जाएगा जो अपनी गलतियों से खुद बच सकेगा। लेकिन उन्होंने कुछ आश्चर्यजनक पाया: तेज़ सहायक को सुरक्षा नियम सिखाने की कोशिश ने वास्तव में इसे और खराब कर दिया। यह एक रेस कार ड्राइवर को दौड़ते समय गणित की पहेली हल करने के लिए सिखाने जैसा था; ड्राइवर भ्रमित हो गया और अधिक गलतियाँ करने लगा। "नौसiah" (अमेच्योर) संकेत अक्सर सहायक की स्वाभाविक गलतियों को सुधारने के लिए बहुत कमजोर था, और उन्हें मिलाने से गलतियाँ और बढ़ गईं।
इसलिए, लेखकों ने एक नया समाधान प्रस्तावित किया जिसे डिकपल्ड कॉन्ट्रास्टिव डिकोडिंग (DCD) कहा जाता है। तेज़ सहायक को सुरक्षा नियम सीखने के लिए मजबूर करने के बजाय, उन्होंने उसे वह करने दिया जिसमें वह सबसे अच्छा है: बस स्मार्ट संपादक की शैली का उपयोग करके अगले शब्दों का अनुमान लगाना। उन्होंने तेज़ अनुमान लगाने के चरण से "अनाड़ी नौसिखिए" को पूरी तरह से हटा दिया। सुरक्षा जांच (कॉन्ट्रास्टिव डिकोडिंग) केवल तब होती है जब सहायक ने अपने अनुमान लगा लिए होते हैं, यानी सत्यापन चरण के दौरान।
परिणाम प्रभावशाली थे। तेज़ सहायक को सरल और केंद्रित रखकर, और जटिल सुरक्षा जांच का उपयोग केवल अंत में करके, वे चीजों को काफी तेज़ करने में सफल रहे। अपने परीक्षणों में, इस नई विधि ने पुराने, धीमे तरीके की तुलना में कंप्यूटर दिमाग को 1.65 से 1.95 गुना तेज़ बनाया। इसने उस प्रक्रिया में लगने वाले समय को भी 5 से 12 गुना कम कर दिया, जहाँ उन तरीकों का उपयोग किया गया था जिनमें नौसिखिए को अनुमान लगाने के चरण में शामिल करने की कोशिश की गई थी।
शोध पत्र निष्कर्ष निकालता है कि गति और सटीकता दोनों पाने का सबसे अच्छा तरीका भूमिकाओं को अलग रखना है: तेज़ सहायक को एक शुद्ध, विशेषज्ञ-संरेखित अनुमान लगाने वाला रहने दें, और सुरक्षा जांच को केवल तभी होने दें जब सत्यापन का समय हो। यह "डिकपल्ड" (विच्छेदित) दृष्टिकोण यह सुनिश्चित करता है कि कंप्यूटर दिमाग अपनी सच्चाई बताने की क्षमता खोए बिना तेज़ बना रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।