Speculative Decoding Across Languages
यह शोध पत्र टास्क-विशिष्ट फाइनट्यूनिंग (task-specific finetuning), मोनोलिंगुअल फाइनट्यूनिंग (monolingual finetuning) और एन-ग्राम मॉडल (n-gram models) की तुलना करके गैर-अंग्रेजी भाषाओं के लिए स्पेक्युलेटिव डिकोडिंग दक्षता को बढ़ाने के तरीकों की जांच करता है, जिसमें यह पाया गया है कि जबकि टास्क-विशिष्ट डिस्टिलेशन (task-specific distillation) दक्षता में सुधार करता है लेकिन सामान्यीकरण का अभाव रखता है, वहीं एन-ग्राम मॉडल कम स्वीकृति दरों के बावजूद अपने तीव्र ड्राफ्ट जनरेशन के कारण लगातार महत्वपूर्ण गति-वृद्धि प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लंबी कहानी लिखने या किसी ऐसे दस्तावेज़ का अनुवाद करने की कोशिश कर रहे हैं जो आपकी मातृभाषा नहीं है। आपके पास एक बहुत ही बुद्धिमान, लेकिन धीमा, "मास्टर राइटर" (लार्ज लैंग्वेज मॉडल) है जो काम को पूरी तरह से कर सकता है, लेकिन हर एक शब्द लिखने से पहले उसे सोचने में बहुत समय लगता है।
काम को तेज़ करने के लिए, आपने एक "स्पीडी असिस्टेंट" (ड्राफ्ट मॉडल) को काम पर रखा है। असिस्टेंट अगले कुछ शब्दों का अनुमान तेज़ी से लगाता है, और मास्टर राइटर बस उन्हें चेक करता है। यदि अनुमान सही होते हैं, तो मास्टर राइटर उन सभी को एक साथ स्वीकार कर लेता है, जिससे बहुत समय बच जाता है। इसे स्पेक्टेटिव डिकोडिंग (Speculative Decoding) कहा जाता है।
हालाँकि, शोधकर्ताओं ने पाया कि इसमें एक बड़ी समस्या है: असिस्टेंट अंग्रेजी में तो बहुत अच्छा है, लेकिन अन्य भाषाओं में बहुत बुरा है।
यहाँ बताया गया है कि उन्होंने इन विशिष्ट भाषाओं के लिए एक बेहतर असिस्टेंट को प्रशिक्षित करने के लिए क्या करने की कोशिश की, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:
समस्या: "एक-आकार-सभी-के-लिए-नहीं" वाला असिस्टेंट
जब शोधकर्ताओं ने इस स्पीड-अप ट्रिक को 11 अलग-अलग भाषाओं (जैसे नेपाली, चेरोकी, या योरूबा) के लिए आज़माया, तो मानक "स्पीडी असिस्टेंट" (एक छोटा AI मॉडल) बार-बार गलत अनुमान लगाने लगा। क्योंकि असिस्टेंट अक्सर गलत अनुमान लगा रहा था, इसलिए मास्टर राइटर को अनुमानों को खारिज करना पड़ा और फिर से शुरू करना पड़ा। इससे यह प्रक्रिया केवल मास्टर राइटर को अकेले लिखने देने की तुलना में अधिक धीमी हो गई।
यह एक टूर गाइड को काम पर रखने जैसा है जो लंदन को तो बखूबी जानता है लेकिन उसने कभी नेपाल का दौरा नहीं किया है। यदि आप उनसे काठमांडू में आपका मार्गदर्शन करने के लिए कहते हैं, तो वे लगातार रास्ता भटक जाएंगे, और आपको उन्हें सुधारने में उतना ही समय बर्बाद करना पड़ेगा जितना कि खुद चलकर जाने में लगता।
तीन समाधान जिनका परीक्षण किया गया
शोधकर्ताओं ने इन विशिष्ट भाषाओं के लिए एक बेहतर असिस्टेंट को प्रशिक्षित करने के तीन तरीके आज़माए:
1. "विशेषज्ञ इंटर्न" (टास्क-स्पेसिफिक डिस्टिलेशन)
उन्होंने मास्टर राइटर का उपयोग किया और असिस्टेंट को विशेष रूप से अंग्रेजी से लक्षित भाषा में अनुवाद करने का तरीका सिखाया।
- परिणाम: यह अनुवाद के लिए बहुत अच्छा रहा। असिस्टेंट उस विशिष्ट भाषा में अनुवाद कार्य के लिए अगले शब्द का अनुमान लगाने में बहुत कुशल हो गया।
- पेंच: यह असिस्टेंट एक विशेषज्ञ की तरह था जो केवल अनुवाद करना जानता है। जब शोधकर्ताओं ने असिस्टेंट से उसी भाषा में एक कहानी (एक पूरी तरह से अलग कार्य) लिखने के लिए कहा, तो असिस्टेंट बुरी तरह विफल रहा। वह सामान्यीकरण (generalize) नहीं कर सका। वह बहुत अधिक विशिष्ट था।
2. "सामान्यज्ञ पाठक" (जनरल डोमेन डिस्टिलेशन)
असिस्टेंट को केवल अनुवाद सिखाने के बजाय, उन्होंने उसे उस भाषा में भारी मात्रा में सामान्य टेक्स्ट (समाचार, किताबें, आदि) खिलाया और उससे पैटर्न सीखने को कहा।
- परिणाम: इससे ज्यादा मदद नहीं मिली। असिस्टेंट बिना प्रशिक्षित संस्करण की तुलना में शब्दों का अनुमान लगाने में काफी बेहतर नहीं हुआ। यह एक लाइब्रेरी की किताबें पढ़ने जैसा था, लेकिन इससे वह यह नहीं सीख पाया कि कहानी कैसे लिखी जाए या वाक्य को प्रभावी ढंग से कैसे अनुवाद किया जाए।
3. "सुपर-फास्ट कैलकुलेटर" (N-ग्राम मॉडल्स)
एक जटिल AI मॉडल के बजाय, उन्होंने N-ग्राम मॉडल नामक एक बहुत ही सरल सांख्यिकीय विधि का उपयोग किया। इसे एक "स्मार्ट" AI के रूप में नहीं, बल्कि एक सुपर-फास्ट कैलकुलेटर के रूप में सोचें जो पिछले कुछ शब्दों को देखता है और कहता है, "सांख्यिकीय रूप से, अगला शब्द आमतौर पर 'the' या 'is' होता है।"
- परिणाम: यह सबसे बड़ा सरप्राइज था।
- सटीकता: यह बहुत स्मार्ट नहीं था। इसने AI मॉडल्स की तुलना में अधिक गलत अनुमान लगाए।
- गति: यह अविश्वसनीय रूप से तेज़ था। क्योंकि यह इतना सरल था, यह लगभग तुरंत अनुमान उत्पन्न कर सकता था।
- परिणाम: भले ही इसके अनुमान गलत होते थे, लेकिन इसके अनुमानों की अत्यधिक गति का मतलब था कि पूरा सिस्टम काम को बहुत तेज़ी से पूरा कर देता था। यह एक ऐसे बच्चे की तरह था जो शब्दों का अनुमान तो गलत लगाता है लेकिन एक सेकंड में 100 शब्द टाइप करता है, बनाम एक प्रोफेसर की तरह जो एक शब्द प्रति सेकंड टाइप करता है लेकिन हमेशा सही होता है। उस बच्चे ने वास्तव में कुल मिलाकर काम को अधिक तेज़ी से पूरा किया।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि अन्य भाषाओं के लिए, "स्मार्ट लेकिन धीमे" AI असिस्टेंट अक्सर काम को तेज़ करने में विफल रहते हैं।
- यदि आपको एक विशिष्ट कार्य (जैसे अनुवाद) करना है, तो आप एक विशेष AI असिस्टेंट को प्रशिक्षित कर सकते हैं, लेकिन यह आपको अन्य कार्यों (जैसे कहानी लिखने) में मदद नहीं करेगा।
- यदि आप विभिन्न कार्यों और भाषाओं में निरंतर गति चाहते हैं, तो सबसे अच्छा विकल्प वास्तव में सरल, तेज़, सांख्यिकीय मॉडल (N-gram) है। यह सबसे स्मार्ट नहीं है, लेकिन यह इतना तेज़ है कि यह हर बार स्मार्ट और धीमे मॉडल्स को हरा देता है।
संक्षेप में: अन्य भाषाओं के लिए, कभी-कभी काम को पूरा करने का सबसे अच्छा तरीका "मूर्ख लेकिन तेज़" दृष्टिकोण होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।