Efficient Diffusion LLMs via Temporal-Spatial Parallel Decoding and Confidence Extrapolation
यह शोध पत्र टेम्पोरल-स्पेशियल पैरेलल डिकोडिंग और कॉन्फिडेंस एक्सट्रपलेशन को संयोजित करने वाले एक ट्रेस-अवेयर डिकोडिंग फ्रेमवर्क का प्रस्ताव करता है ताकि अभिसरित (converged) टोकन की गतिशील रूप से पहचान की जा सके और भविष्य के रुझानों का पूर्वानुमान लगाया जा सके, जिससे आउटपुट गुणवत्ता को बनाए रखते हुए डिफ्यूजन-आधारित लार्ज लैंग्वेज मॉडल्स की लेटेंसी को महत्वपूर्ण रूप से कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई क्रॉसवर्ड या जिगसॉ, लेकिन आपको इसे एक बहुत ही विशिष्ट, असामान्य तरीके से करना है। एक मानक AI (जो बाएं से दाएं एक-एक करके टुकड़े रखता है) के विपरीत, आप बोर्ड को खाली, मास्क किए गए वर्गों से भरकर शुरू करते हैं। आपका लक्ष्य उन सभी को एक साथ भरना है।
हालाँकि, एक पेच है: आपको अंतिम उत्तर तुरंत पता नहीं चलता। आपको एक "अनुमान" लगाना होगा, अपनी आत्मी십 (confidence) की जांच करनी होगी, और यदि आप सुनिश्चित नहीं हैं, तो आपको अपना अनुमान मिटाकर फिर से प्रयास करना होगा। आपको इस अनुमान लगाने और मिटाने की पूरी प्रक्रिया को पूरे बोर्ड के लिए, बार-बार दोहराना होगा, जब तक कि हर एक वर्ग बिल्कुल सही न हो जाए।
समस्या: पूरे हो चुके टुकड़ों पर समय बर्बाद करना
यह लेख एक बड़ी अक्षमता की ओर इशारा करता है। कल्पना कीजिए कि आप एक फॉर्म भर रहे हैं। आप अपना नाम लिखते हैं, और आप 100% सुनिश्चित हैं कि यह सही है। लेकिन क्योंकि सिस्टम के लिए पूरे फॉर्म को 50 बार "पुनः जांचने" की आवश्यकता है, आप अपना नाम 49 बार और भी लिखते रहते हैं, भले ही वह बदला नहीं है। यह भारी मात्रा में समय और ऊर्जा बर्बाद करता है।
वर्तमान AI मॉडल (जिन्हें Diffusion LLMs कहा जाता है) बिल्कुल यही करते हैं। वे शब्दों को "डिनोइजिंग" (पुनः जांचने) करना जारी रखते हैं जो पहले से ही पूरे हो चुके हैं, बस इसलिए कि कहीं कोई गलती न हो जाए। वे सरल नियमों पर भी निर्भर करते हैं जैसे, "यदि आत्मविश्वास का स्कोर 90% से ऊपर है, तो रुक जाओ।" लेकिन यह पेपर बताता है कि यह नियम बहुत कठोर है। कभी-कभी एक शब्द स्थिर होता है लेकिन स्कोर अभी तक 90% तक नहीं पहुंचा होता है, और कभी-कभी एक शब्द स्थिर दिखता है लेकिन वास्तव में वह बदलने वाला होता है।
समाधान: एक स्मार्ट ट्रैफिक कंट्रोलर
लेखकों ने इस बर्बादी को ठीक करने के लिए दो मुख्य उपकरणों के साथ एक नया सिस्टम प्रस्तावित किया है: TSPD और CE।
1. TSPD: "ट्रैफिक कंट्रोलर" (टेम्पोरल-स्पेशियल पैरेलल डिकोडिंग)
AI की जनरेशन प्रक्रिया को एक व्यस्त राजमार्ग के रूप में सोचें जहाँ कई कारें (शब्द) अपने गंतव्य तक पहुँचने की कोशिश कर रही हैं।
- पुराना तरीका: हर निकास (exit) पर एक ट्रैफिक पुलिस वाला हर एक कार को व्यक्तिगत रूप से स्टॉपवॉच का उपयोग करके चेक करता है। यदि एक कार वहां 5 सेकंड से है, तो पुलिस वाला कहता है, "ठीक है, आप जा सकते हैं।" यह धीमा है और इस बात पर ध्यान नहीं देता कि अलग-अलग कारें वास्तव में कितनी तेजी से चल रही हैं।
- TSPD का तरीका: यह नया कंट्रोलर एक स्मार्ट ट्रैफिक सिस्टम की तरह है जो हर कार के इतिहास को देखता है। यह केवल वर्तमान में कार को नहीं देखता; यह उसके "प्रक्षेपवक्र" (trajectory) को देखता है।
- टेम्पोरल (समय): यह पूछता है, "क्या यह शब्द कुछ समय से स्थिर रहा है? क्या यह एक अंतिम उत्तर की ओर बढ़ रहा है, या यह आगे-पीछे डगमगा रहा है?"
- स्पेशियल (स्थान): यह जानता है कि वाक्य के अंत में स्थित शब्दों को शुरुआत के शब्दों की तुलना में स्थिर होने में अधिक समय लग सकता है। यह शब्दों के स्थान के आधार पर अपने नियमों को समायोजित करता है।
- परिणाम: कंट्रोलर कह सकता है, "यह शब्द तीन स्टेप्स से स्थिर है और एक सीधी रेखा में चल रहा है। भले ही आत्मविश्वास का स्कोर अभी तक परफेक्ट नहीं हुआ है, फिर भी मैं इसे लॉक कर रहा हूँ।" यह AI को उन शब्दों को दोबारा जांचने में समय बर्बाद करने से रोकता है जो पहले से ही पूरे हो चुके हैं।
2. CE: "क्रिस्टल बॉल" (कॉन्फिडेंस एक्सट्रपलेशन)
कभी-कभी, एक शब्द सही होने के स्पष्ट रास्ते पर होता है, लेकिन वह अभी तक "फिनिश लाइन" (उच्च आत्मविश्वास स्कोर) तक नहीं पहुँचा होता है।
- पुराना तरीका: AI निष्क्रिय होकर प्रतीक्षा करता है। यह पूर्ण प्रक्रिया को स्टेप-दर-स्टेप चलाना जारी रखता है, इस उम्मीद में कि स्कोर अंततः बढ़ जाएगा।
- CE का तरीका: यह एक "क्रिस्टल बॉल" मॉड्यूल है। यह एक शब्द के आत्मविश्वास के हालिया रुझान (trend) को देखता है। यदि यह देखता है कि आत्मविश्वास लगातार और अनुमानित रूप से बढ़ रहा है, तो यह कहता है, "मैं भविष्य देख सकता हूँ। दो और स्टेप्स में, यह शब्द निश्चित रूप से 95% कॉन्फिडेंट होगा। चलिए इंतजार करने के बजाय इसे अभी लॉक कर देते हैं।"
- सुरक्षा जांच: यह कोई अंधा अनुमान नहीं है। यह अपने पूर्वानुमान की "अनिश्चितता" (uncertainty) की गणना करता है। यदि रुझान अस्थिर है या इतिहास बहुत छोटा है, तो क्रिस्टल बॉल चुप रहती है, और AI सामान्य रूप से प्रतीक्षा करता है। यह सुनिश्चित करता है कि वे तेजी दिखाने के चक्कर में गलतियाँ न करें।
परिणाम: तेज, लेकिन कम बुद्धिमान नहीं
लेखकों ने एक बड़े AI मॉडल (LLaDA-8B) पर गणितीय समस्याओं और कोडिंग जैसे कार्यों के लिए इनका परीक्षण किया।
- गति: उन्होंने पाया कि इन दो उपकरणों का उपयोग करके, AI टेक्स्ट की लंबाई के आधार पर 5 से 58 गुना तेज हो गया।
- गुणवत्ता: बहुत तेज होने के बावजूद, जवाबों की गुणवत्ता (सटीकता) मूल धीमी संस्करण के लगभग समान रही।
- अनुकूलता: यह सिस्टम एक प्लग-इन की तरह काम करता है। यह मौजूदा AI को तोड़ता नहीं है; यह बस उसके ऊपर बैठता है और उसे बताता है कि कब काम रोकना है। यह अन्य स्पीड-अप ट्रिक्स (जैसे KV कैशिंग) के साथ मिलकर और भी बेहतर काम करता है।
सारांश में
यह पेपर एक तरीका पेश करता है जिससे "डिफ्यूजन" AI मॉडल (जो अनुमानों को बार-बार सुधारकर टेक्स्ट जनरेट करते हैं) को बहुत तेज़ बनाया जा सके। हर शब्द को एक कठोर टाइमर समाप्त होने तक अंधाधुंध पुनः जांचने के बजाय, वे एक स्मार्ट कंट्रोलर का उपयोग करते हैं जो प्रत्येक शब्द के इतिहास को देखता है और एक "भविulator" (predictor) का उपयोग करते हैं जो अनुमान लगाता है कि कोई शब्द कब पूरा होने वाला है। यह AI को पूरे हुए कार्यों पर काम करना बंद करने की अनुमति देता है, जिससे सटीकता खोए बिना बहुत सारा समय बचाया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।