Accelerating Constrained Decoding with Token Space Compression
यह शोध पत्र CFGzip प्रस्तुत करता है, जो एक ऑफलाइन टोकन स्पेस संपीड़न तकनीक है जो कंस्ट्रेंड डिकोडिंग के कम्प्यूटेशनल ओवरहेड को काफी कम कर देता है, जिससे जटिल कॉन्टेक्स्ट-फ्री ग्रामर के लिए कुल जनरेशन समय में 7.5x तक की तेजी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन थोड़े अस्त-व्यस्त शेफ (LLM) है जो लगभग कुछ भी बना सकता है। हालाँकि, आपको उनसे एक बहुत ही सख्त, जटिल रेसिपी (एक कॉन्टेक्स्ट-फ्री ग्रामर या CFG) का पालन करते हुए एक व्यंजन तैयार करवाना है, जैसे कि कोई विशिष्ट प्रोग्रामिंग भाषा या एक सटीक डेटा फॉर्मेट।
यह सुनिश्चित करने के लिए कि शेफ गलत सामग्री न डाल दे और पूरा व्यंजन खराब न हो जाए, आप उनके साथ एक सख्त ग्रामर इंजन (जैसे एक हेड शेफ या फूड सेफ्टी इंस्पेक्टर) को नियुक्त करते हैं। खाना बनाने से पहले, इंस्पेक्टर यह देखने के लिए पूरे पेंट्री (पेंट्री/स्टोर रूम) की जांच करता है कि क्या उस सटीक चरण में वह विशिष्ट सामग्री मान्य है।
समस्या: "पेंट्री" बहुत बड़ी है
समस्या यह है कि शेफ की पेंट्री (टोकन वोकैबुलरी) विशाल है, जिसमें सैकड़ों हजारों अलग-अलग सामग्रियां (शब्द, प्रतीक, कोड स्निपेट्स) शामिल हैं।
हर बार जब शेफ एक नई सामग्री डालना चाहता है, तो इंस्पेक्टर को यह देखने के लिए पूरी पेंट्री की जांच करनी पड़ती है कि वह आइटम वैध है या नहीं। सरल रेसिपी (जैसे JSON डेटा) के लिए, यह तेज़ है। लेकिन जटिल रेसिपी (जैसे C++ कोड या "Bython" नामक एक काल्पनिक भाषा) के लिए, इंस्पेक्टर अभिभूत हो जाता है। उन्हें इतनी सारी संभावनाओं की जांच करनी पड़ती है कि खाना बनाने की प्रक्रिया बहुत धीमी हो जाती है—कभी-कभी सामान्य से 2 से 10 गुना अधिक समय लग जाता है। शोध पत्र इसे "अत्यधिक उच्च ओवरहेड" (intractably high overhead) कहता है।
समाधान: CFGZIP (द "ग्रुपिंग" ट्रिक)
लेखक एक नया टूल पेश करते हैं जिसे CFGZIP कहा जाता है। पेंट्री की हर एक सामग्री की जांच करने के बजाय, CFGZIP खाना शुरू करने से पहले पेंट्री को पुनर्गठित करता है।
यहाँ इसका सादृश्य (Analogy) दिया गया है:
- सामग्रियों का समूहीकरण (Grouping Ingredients): CFGZIP पेंट्री को देखता है और महसूस करता है कि रेसिपी के उद्देश्य के लिए कई सामग्रियां एक-दूसरे के स्थान पर ली जा सकती हैं। उदाहरण के लिए, कोड रेसिपी के एक विशिष्ट भाग में,
if,else, औरwhileशब्द व्याकरणिक रूप से एक ही तरह से कार्य कर सकते हैं। या, एक अलग संदर्भ में, संख्याएं1,2, और3सभी वैध प्लेसहोल्डर के रूप में काम कर सकती हैं। - "प्रतिनिधि" बकेट बनाना (Creating "Representative" Buckets): CFGZIP इन बदली जाने वाली सामग्रियों को बकेट्स (buckets) में समूहित करता है। वह प्रत्येक बकेट से एक "प्रतिनिधि" (representative) सामग्री चुनता है (आमतौर पर सबसे छोटी वाली) जो पूरे समूह का प्रतिनिधित्व करती है।
- नया वर्कफ़्लो:
- खाना बनाने से पहले (Offline): सिस्टम पेंट्री को इन बकेट्स में बांटने का कठिन काम करता है। यह काम एक बार किया जाता है और सहेज लिया जाता है।
- खाना बनाने के दौरान (Inference): जब शेफ एक सामग्री चुनता है, तो सिस्टम उसे तुरंत उसके बकेट के "प्रतिनिधि" से बदल देता है। इंस्पेक्टर को अब पूरी पेंट्री के बजाय केवल उस प्रतिनिधि की रेसिपी के विरुद्ध जांच करनी होती है।
- परिणाम: क्योंकि अब इंस्पेक्टर को विशाल मूल पेंट्री के बजाय प्रतिनिधियों की एक छोटी सूची की जांच करनी पड़ रही है, इसलिए यह प्रक्रिया अविश्वसनीय रूप से तेज़ हो जाती है।
यह एक बड़ी बात क्यों है
शोध पत्र का दावा है कि एक शीर्ष श्रेणी के ग्रामर इंजन (XGrammar2) के साथ CFGZIP का उपयोग करने से भारी गति मिलती है:
- लेटेंसी में कमी (Latency Reduction): नियमों की जांच करने में लगने वाला समय 10 से 100 गुना (दो ऑर्डर ऑफ मैग्नीट्यूड) तक कम हो जाता है।
- कुल गति (Total Speedup): जटिल कार्यों के लिए टेक्स्ट जनरेट करने की पूरी प्रक्रिया 7.5 गुना तेज़ हो जाती है।
- गुणवत्ता में कोई कमी नहीं: यह एक "लॉसलेस" (lossless) संपीड़न है। अंतिम आउटपुट मूल प्रक्रिया के बिना प्राप्त आउटपुट के समान बाइट-दर-बाइट (byte-for-byte) समान होता है। शेफ अभी भी वही सटीक व्यंजन बनाता है; वे बस वहां बहुत तेज़ी से पहुँच जाते हैं।
शोध पत्र के वास्तविक परिणाम
शोधकर्ताओं ने तीन अलग-अलग AI मॉडल (Llama, Qwen, और GPT) और चार अलग-अलग कार्यों पर इसका परीक्षण किया:
- JSON और XML: मानक डेटा फॉर्मेट।
- C++: एक जटिल प्रोग्रामिंग भाषा।
- Bython: एक काल्पनिक, बनाई गई प्रोग्रामिंग भाषा (Python के समान लेकिन स्पेस के बजाय ब्रेसेस और सेमीकोलन के साथ)।
निष्कर्ष:
- मानक फॉर्मेट (JSON) के लिए, गति अच्छी थी लेकिन क्रांतिकारी नहीं, क्योंकि वे नियम पहले से ही सरल हैं।
- जटिल और अपरिचित भाषाओं (जैसे C++ और Bython) के लिए, अंतर बहुत बड़ा था। CFGZIP के बिना, ग्रामर इंजन इतना धीमा था कि इसने AI को इन कार्यों के लिए व्यावहारिक रूप से अनुपयोगी बना दिया था। CFGZIP के साथ, AI जटिल कोड को तेज़ी से और सही ढंग से जनरेट कर सका।
- दिलचस्प बात यह है कि "Bython" कार्य के लिए (जिसे AI ने पहले कभी नहीं देखा था), इस नियंत्रित पद्धति का उपयोग करने से AI की काम करने वाला कोड लिखने की क्षमता को 2.3% से बढ़ाकर 46.9% (एक मॉडल के लिए) कर दिया गया, जो साबित करता है कि कठिन कार्य के समय सख्त नियम AI की मदद करते हैं।
पकड़ (सीमाएं)
शोध पत्र एक मुख्य सीमा नोट करता है: तैयारी का समय (Preparation Time)।
पेंट्री को बकेट्स में बांटना (ऑफलाइन प्री-कंप्यूटेशन) समय लेता है।
- यदि आपको किसी एक-बार के, त्वरित कार्य के लिए JSON फ़ाइल जनरेट करने की आवश्यकता है, तो पेंट्री को व्यवस्थित करने में लगने वाला समय सामान्य रूप से कार्य करने से अधिक लंबा हो सकता है।
- हालाँकि, यदि आप बड़े पैमाने पर कोड जनरेशन कर रहे हैं या एक ही जटिल नियमों का बार-बार उपयोग कर रहे हैं, तो प्रारंभिक सेटअप का समय सार्थक है क्योंकि खाना बनाना (जनरेशन) बहुत अधिक तेज़ हो जाता है।
सारांश
CFGZIP एक स्मार्ट लाइब्रेरियन की तरह है जो आपके आने से पहले एक विशाल लाइब्रेरी को "विषय बकेट्स" (topic buckets) में पुनर्गठित कर देता है। आपको सही किताब खोजने के लिए हर एक किताब खोजने के बजाय, लाइब्रेरियन बस आपको उस "विषय बकेट" के प्रतिनिधि की ओर इशारा करता है। यह बिना किसी किताब को खोए या कहानी बदले, सही जानकारी खोजने (या इस मामले में, सही कोड जनरेट करने) को नाटकीय रूप से तेज़ बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।