Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting
यह शोध पत्र प्रोग्रेसिव ट्री ड्राफ्टिंग (PTD) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त और मॉडल-अज्ञेय (model-agnostic) स्पेक्युलेटिव डिकोडिंग विधि है, जो बिना किसी सहायक मॉड्यूल के 2 गुना तक डिकोडिंग गति बढ़ाने के लिए लक्षित LLM के भीतर एक संरचित, निर्देशित समानांतर रणनीति का लाभ उठाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट दोस्त के साथ एक कहानी लिखने की कोशिश कर रहे हैं। सामान्यतः, यह रोबोट बहुत सावधान होता है लेकिन बहुत धीमा भी होता है: यह एक बार में एक शब्द लिखता है, सोचने के लिए रुकता है, अपने काम की जाँच करता है, और फिर अगला शब्द लिखता है। यह "एक-एक करके" वाली प्रक्रिया एक सिंगल-लेन सड़क की तरह है जहाँ ट्रैफिक जाम आसानी से लग सकता है क्योंकि रोबot को आगे बढ़ने के लिए हर एक शब्द का इंतज़ार करना पड़ता है।
कुछ समय के लिए, लोगों ने इसे तेज़ करने की कोशिश की और एक "ड्राफ्टिंग असिस्टेंट" (मसौदा सहायक) को काम पर रखा—एक छोटा, तेज़ रोबोट जो अगले कुछ शब्दों का अनुमान लगा सके। लेकिन इससे एक नई समस्या पैदा हुई: आपको उस सहायक को भुगतान करना पड़ता था, उसे बड़े रोबोट की तरह बोलना सिखाना पड़ता था, और उनके बीच लगातार नोट्स भेजने पड़ते थे। यह एक संदेशवाहक को काम पर रखने जैसा था जिसे इधर-उधर दौड़ना पड़ता था, जिससे सब कुछ धीमा हो जाता था।
फिर, कुछ चतुर शोधकर्ताओं ने एक अलग तरकीब आजमाई: उन्होंने बड़े रोबोट को बिना किसी सहायक के अपने भविष्य के शब्दों का अनुमान लगाने के लिए कहा। उन्होंने कोशिश की कि रोबोट एक साथ कई अलग-अलग कहानी के रास्तों के बारे में सोचे। हालाँकि, यह पेपर तर्क देता है कि ये शुरुआती "सेल्फ-गेसिंग" (स्वयं अनुमान लगाने वाली) विधियाँ थोड़ी अस्त-व्यस्त थीं। रोबोट अक्सर दो या तीन ऐसे वाक्य लिख देता था जो लगभग एक जैसे ही थे, जिससे उसकी मानसिक शक्ति डुप्लिकेट विचारों पर बर्बाद हो जाती थी। यह एक शेफ से तीन अलग-अलग भोजन बनाने के लिए कहने जैसा था, यह महसूस करने के बाद कि वे सभी अंततः एक ही सूप बन गए हैं।
पेपर का बड़ा विचार: "ट्री" (पेड़) की तरकीब
COLM 2026 में स्वीकृत इस पेपर के लेखक, रोबोट की सोच को व्यवस्थित करने का एक नया तरीका प्रस्तावित करते हैं जिसे प्रोग्रेसिव ट्री ड्राफ्टिंग (PTD) कहा जाता है। रोबोट को यादृच्छिक, अलग-अलग रास्तों पर भटकने देने के बजाय, वे उसे विचारों का एक "पेड़" उगाने के लिए निर्देशित करते हैं।
यह इस प्रकार काम करता है:
- शाखाओं का निकलना (The Branching): कल्पना कीजिए कि रोबोट एक वाक्य से शुरू करता है। केवल अगला शब्द अनुमान लगाने के बजाय, वह एक पेड़ की तरह शाखाएं निकालता है, एक ही समय में कई अलग-अलग अंत आज़माता है (जैसे "हवाई एक आनंदमय स्थान है" बनाम "हवाई एक प्रसिद्ध स्थान है")।
- छंटाई करना (The Pruning): यही जादू वाला हिस्सा है। यदि पेड़ की दो शाखाएं बहुत समान दिखने लगती हैं (जैसे दो शाखाएं बिल्कुल एक ही दिशा में बढ़ रही हों), तो रोबोट अतिरिक्त शाखाओं की "छंटाई" कर देता है। वह ऊर्जा बचाने के लिए डुप्लिकेट्स को काट देता है।
- विकास (The Growth): रोबोट इस पेड़ को चरण-दर-चरण विकसित करता रहता है, लेकिन वह लगातार यह जाँचता रहता है कि शाखाएं वास्तव में अलग और समझ में आने योग्य हैं या नहीं। यह एक माली की तरह है जो पौधे को बेतहाशा बढ़ने देता है लेकिन मृत या एक जैसे टहनियों को काट देता है ताकि पौधा स्वस्थ और विविध बना रहे।
उन्होंने क्या पाया
शोधकर्ताओं ने इस विचार का परीक्षण कई प्रसिद्ध रोबोट दिमागों (जैसे LLaMA और Qwen) पर किया और कुछ रोमांचक परिणाम पाए:
- गति: इस पेड़ विधि का उपयोग करके, रोबोट गणित की समस्याओं पर 2.30 गुना तेज़ और कोडिंग कार्यों पर 2.08 गुना तेज़ लिख सका। सामान्य चैट कार्यों पर, यह लगभग 1.67 गुना तेज़ था।
- कोई अतिरिक्त मदद नहीं चाहिए: सबसे अच्छी बात यह है कि इस विधि के लिए किसी अतिरिक्त "सहायक" रोबोट या विशेष प्रशिक्षण की आवश्यकता नहीं है। यह मौजूदा रोबोट के साथ सीधे काम करता है।
- बेहतर गुणवत्ता: क्योंकि रोबोट को अलग-अलग रास्तों (पेड़ की शाखाओं) को खोजने के लिए मजबूर किया जाता है (केवल एक ही अनुमान को दोहराने के बजाय), जो शब्द वह स्वीकार करता है वे लंबे होते हैं और आपस में अधिक सार्थक होते हैं।
उन्होंने किसे खारिज कर दिया
यह पेपर बहुत स्पष्ट है कि क्या चीज़ उनके नए तरीके जितनी अच्छी काम नहीं करती है। वे इस विचार के विरुद्ध तर्क देते कि केवल रोबोट को कई रैखिक पथों (अनुमानों की एक सीधी रेखा) का अनुमान लगाने देना ही काफी है। उनके विश्लेषण ने दिखाया कि "पेड़" की संरचना और डुप्लिकेट्स की "छंटाई" के बिना, रोबोट अपना आधा से अधिक समय उन विचारों के बारे में सोचने में बर्बाद कर देता है जो 80% तक समान होते हैं। उन्होंने यह भी दिखाया कि बाहरी "ड्राफ्टिंग मॉड्यूल" (सहायक रोबोट) जोड़ने से बहुत अधिक संचार शोर (communication noise) पैदा होता है और इसके लिए बहुत अधिक प्रशिक्षण की आवश्यकता होती है, जिससे वे उनके स्व-निर्देशित ट्री मेथड की तुलना में कम कुशल हो जाते हैं।
वे कितने आश्वस्त हैं?
लेखक इन आंकड़ों को लेकर काफी आश्वस्त हैं क्योंकि उन्होंने वास्तविक हार्डवेयर (NVIDIA L20 GPUs) पर वास्तविक प्रयोग चलाए। उन्होंने केवल सिमुलेशन नहीं किया; उन्होंने "टोकन प्रति सेकंड" में गति को मापा और पाया कि उनकी विधि अन्य लोकप्रिय "नो-ट्रेनिंग" विधियों जैसे Lookahead Decoding और Self-Draft को लगातार मात देती है। उदाहरण के लिए, GSM-8k गणित बेंचमार्क पर, उनकी विधि ने 2.30× की गति प्राप्त की, जबकि अगली सबसे अच्छी विधि केवल 1.90× तक ही पहुँच सकी।
संक्षेप में, पेपर सुझाव देता है कि यदि आप चाहते हैं कि AI बिना अतिरिक्त मदद के तेज़ी से बात करे, तो उसे सीधे रेखाओं में भटकने के बजाय विचारों का एक स्मार्ट, छंटा हुआ पेड़ उगाने के लिए निर्देशित करें। यह रोबोट के दिमाग का अधिकतम लाभ उठाने का एक तरीका है ताकि यह सुनिश्चित हो सके कि वह एक ही चीज़ के बारे में दो बार सोचकर अपना समय बर्बाद न करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।