Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models
यह शोध पत्र रिपल-पिवट सर्च (RPS) प्रस्तुत करता है, जो डिफ्यूजन लार्ज लैंग्वेज मॉडल्स के लिए एक प्रशिक्षण-मुक्त समानांतर डिकोडिंग विधि है, जो अनिश्चितता में कमी के "रिपल प्रभाव" को ट्रिगर करने के लिए सक्रिय रूप से मिड-एन्ट्रॉपी पिवट स्थितियों को प्रतिबद्ध करके अनुमान (इन्फरेंस) को त्वरित करता है, जिससे जनरेशन की गुणवत्ता को बनाए रखते हुए या उसमें सुधार करते हुए 18 तक की गति वृद्धि प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर कहानियों को एक-एक शब्द करके नहीं पढ़ते, जैसे कोई व्यक्ति धीरे-धीरे पन्ने पलटता है, बल्कि वे एक खाली पन्ने को एक बार में देख सकते हैं और एक ही विशाल छलांग में पूरी कहानी का अनुमान लगा सकते हैं। यह "डिफ्यूजन लैंग्वेज मॉडल" (diffusion language model) नामक एक नए प्रकार के आर्टिफिशियल इंटेलिजेंस का वादा है। पुराने ढंग के मॉडल्स के विपरीत जो वाक्यों को एक-एक शब्द करके बनाते हैं (जो कि एक-एक करके ईंटें रखने जैसा है), ये नए मॉडल्स एक ऐसे पन्ने से शुरुआत करते हैं जो "रहस्यमयी बक्सों" (मास्क्ड टोकन्स) से भरा होता है और वे एक साथ उन सभी में क्या भरा जाना चाहिए, इसका पता लगाने की कोशिश करते हैं। वे ऐसा एक शोर भरे अनुमान (noisy guess) से शुरू करके, उसे थोड़ा सा साफ करके, और इस प्रक्रिया को तब तक दोहराकर करते हैं जब तक कि टेक्स्ट समझ में आने योग्य न हो जाए। वैज्ञानिकों के लिए बड़ा सवाल यह है कि: हम इस सफाई की प्रक्रिया को सुपर फास्ट कैसे बना सकते हैं बिना कंप्यूटर को भ्रमित किए या उसे अर्थहीन बातें लिखने दिए? यदि हम बहुत अधिक बक्सों को बहुत तेज़ी से भरने की कोशिश करते हैं, तो कंप्यूटर शुरुआत में गलती कर सकता है, और वह गलती पूरी कहानी को बिगाड़ सकती है। लेकिन यदि हम बहुत धीमे चलते हैं, तो हम गति का लाभ खो देते हैं। यह दौड़ने और सावधान रहने के बीच का एक नाजुक संतुलन है।
यह शोध पत्र इस संतुलन को हल करने के लिए रिपल-पिवट सर्च (Ripple-Pivot Search - RPS) नामक एक चतुर नई रणनीति पेश करता है। शोधकर्ताओं ने इन मॉडल्स के सोचने के तरीके में एक दिलचस्प "रिपल इफेक्ट" (लहर प्रभाव) की खोज की। उन्होंने पाया कि यदि आप रहस्यमयी पन्ने के बीच में एक विशिष्ट "पिवट" (pivot) स्थान चुनते हैं—एक ऐसा स्थान जिसके बारे में मॉडल थोड़ा अनिश्चित है लेकिन पूरी तरह से अनजान नहीं है—और उसे सही ढंग से भर देते हैं, तो यह पूरे पन्ने में स्पष्टता की एक लहर भेजता है। यह एक क्रॉसवर्ड पहेली में एक कठिन सुराग को सुलझाने जैसा है; एक बार जब आप उस एक शब्द को सही कर लेते हैं, तो अचानक तीन अन्य शब्द स्पष्ट हो जाते हैं, और आप उन्हें तुरंत भर सकते हैं। पुराने तरीके उन सबसे आसान शब्दों को भरने जैसे थे (जिनके बारे में मॉडल 100% निश्चित है), जिससे कठिन हिस्सों में ज्यादा मदद नहीं मिली। हालाँकि, RPS एक ऐसे जासूस की तरह काम करता है जो जानता है कि पूरी पहेली को खोलने के लिए पहले किस "मध्यम-कठिनाई" वाले सुराग को हल करना है।
टीम ने पाया कि इन "मिड-एन्ट्रॉपी" (mid-entropy) पिवट स्थितियों (वे स्थान जहाँ मॉडल कुछ हद तक आश्वस्त है लेकिन अभी भी विकल्प मौजूद हैं) के प्रति सक्रिय रूप से प्रतिबद्ध होकर और उस स्थान के लिए सावधानीपूर्वक सबसे अच्छे शब्द का चुनाव करके (न कि केवल सबसे स्पष्ट शब्द का), वे एक श्रृंखला अभिक्रिया (chain reaction) शुरू कर सकते हैं। यह मॉडल को अगले चरण में कई अधिक शब्दों को अनमास्क करने की अनुमति देता है, जिससे पूरी प्रक्रिया तेज हो जाती है। गणित की समस्याओं को हल करने और कोड लिखने जैसे विभिन्न मॉडल्स और कार्यों पर उनके परीक्षणों में, RPS ने मानक तरीके की तुलना में कंप्यूटर को 4 से 10 गुना तेज़ बनाया, जबकि उच्च गुणवत्ता वाला टेक्स्ट भी लिखा। वास्तव में, कुछ मामलों में, इसने पिछले तेज़ तरीकों की तुलना में बेहतर कोड लिखा, जिससे सटीकता में 5.49% तक सुधार हुआ। जब उन्होंने इस नई विधि को "केवी कैशिंग" (KV caching) नामक एक मेमोरी-बचाने वाली तकनीक के साथ जोड़ा, तो गति का उछाल अविश्वसनीय रूप से 18 गुना तेज़ हो गया।
शोधकर्ताओं ने यह भी दिखाया कि यह केवल एक भाग्यशाली अनुमान नहीं है; यह एक विशिष्ट, दोहराने योग्य पैटर्न है। उन्होंने सिद्ध किया कि केवल एक कदम आगे देखकर कि कौन सा शब्द चयन स्पष्टता की सबसे बड़ी "लहर" (ripple) पैदा करेगा, मॉडल अधिक स्मार्ट निर्णय ले सकता है। उन्होंने इस विचार को खारिज कर दिया कि केवल सबसे आत्मविश्वासी शब्दों को चुनना ही सबसे अच्छा तरीका है, और इसके बजाय यह दिखाया कि "स्वीट स्पॉट" अक्सर अनिश्चितता के बीच में होता है। परिणाम बताते हैं कि यदि हम रणनीतिक रूप से यह तय करने के बारे में कि कहाँ और क्या प्रतिबद्ध होना है, तो हम उन कहानियों की गुणवत्ता से समझौता किए बिना अगली पीढ़ी के इन AI मॉडल्स की वास्तविक गति क्षमता को अनलॉक कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।