💬 NLP

CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference

CSV-Decode एक नवीन फ्रेमवर्क है जो ऑफलाइन क्लस्टरिंग और ज्यामितीय सीमाओं (geometric bounds) के माध्यम से प्रमाणित उप-शब्दावलियों (sub-vocabularies) का निर्माण करके लार्ज लैंग्वेज मॉडल इन्फरेंस को त्वरित करता है, जिससे सटीक टॉप- $k$ चयन और $\varepsilon$ -अनुमानित सॉफ्टमैक्स वितरणों की गारंटी के साथ कुशल स्पार्स कंप्यूटेशन सक्षम होता है।

मूल लेखक: Dong Liu, Shu Wang, Yanxuan Yu, Haisheng Wang, Ben Lengerich

प्रकाशित 2026-07-28

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dong Liu, Shu Wang, Yanxuan Yu, Haisheng Wang, Ben Lengerich

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जादुई पुस्तकालय के सामने खड़े हैं जिसमें पृथ्वी की हर भाषा में बोले गए हर शब्द का संग्रह है। आप एक कहानीकार हैं, और आपका काम कहानी का अगला वाक्य लिखना है। ऐसा करने के लिए, आपको उस पूरे पुस्तकालय में से सबसे अच्छा एकल शब्द चुनना होगा। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "पुस्तकालयों" को शब्दावली (vocabularies) कहा जाता है, और "कहानीकारों" को लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है। ये मॉडल अविश्वसनीय रूप से स्मार्ट हैं, लेकिन उनके पास एक बहुत बड़ी समस्या है: 1,00,000 या यहाँ तक कि 2,50,000 शब्दों के पुस्तकालय में से हर शब्द को खोजना बहुत अधिक समय और ऊर्जा लेता है। यह घास के ढेर में से एक विशिष्ट सुई को खोजने की तरह है, जहाँ आप एक बार में घास का हर एक तिनका उठा रहे हों। यह धीमी प्रक्रिया उन्हें चैट करने, कोडिंग करने या सवालों के जवाब देने जैसे वास्तविक समय के कार्यों के लिए तेज़ बनाने में बाधा डालती है। वैज्ञानिकों ने खोज के उबाऊ हिस्सों को बिना गलतियाँ किए छोड़ने का तरीका खोजने की कोशिश की है, लेकिन पिछले अधिकांश प्रयास या तो बहुत अधिक अनुमान लगाते थे (जिससे त्रुटियों का जोखिम रहता था) या उनमें पूरी लाइब्रेरी को फिर से बनाने की आवश्यकता होती थी।

यह लेख CSV-Decode नामक एक चतुर नई तकनीक पेश करता है। कहानी के किसी भी दिए गए क्षण के लिए, हर शब्द की जाँच करने के बजाय, लेखक यह समझते हैं कि केवल कुछ ही शब्द सही होने की संभावना रखते हैं। बाकी सब केवल "शोर" (noise) हैं। टीम ने ज्यामिति (geometry) का उपयोग करके एक तरीका निकाला है—इसे ऐसे समझें जैसे समान शब्दों के समूहों के चारों ओर अदृश्य घेरे बनाना—यह गणितीय रूप से सिद्ध करने के लिए कि कुछ समूहों के शब्द उत्तर नहीं हो सकते। ऐसा करने से, वे बिना देखे ही पुस्तकालय के विशाल हिस्सों को सुरक्षित रूप से अनदेखा कर सकते हैं। उन्होंने इस प्रणाली को इतना कुशल बनाया कि यह AI को 2 से 3 गुना तेज़ (और कुछ कार्यों पर लगभग 5 गुना तक तेज़) चलाता है, जबकि यह गारंटी भी देता है कि उत्तर सही है। उन्होंने कई अलग-अलग मॉडलों पर इसका परीक्षण किया और पाया कि यह बिना गुणवत्ता से समझौता किए, बिना किसी गलती के, बहुत प्रभावी ढंग से काम करता है।

समस्या: "लाइब्रेरी" की बाधा (The "Library" Bottleneck)

एक लार्ज लैंग्वेज मॉडल को एक अत्यंत बुद्धिमान छात्र के रूप में सोचें जिसने एक विशाल शब्दकोश याद कर लिया है। जब यह छात्र एक वाक्य लिखना चाहता है, तो उसे तय करना होता है कि अगला शब्द क्या होगा। यह निर्णय लेने के लिए, वह अपने "हिडन स्टेट" (उसका वर्तमान विचार) को देखता है और अपने शब्दकोश के प्रत्येक शब्द के साथ उसकी तुलना करता है ताकि देख सके कि कौन सा सबसे उपयुक्त है।

समस्या यह है कि आधुनिक शब्दकोश बहुत बड़े होते हैं। कुछ मॉडलों के शब्दकोशों में 2,50,000 से अधिक शब्द होते हैं। एक विचार की तुलना 2,50,000 शब्दों से करना बहुत अधिक कंप्यूटिंग शक्ति लेता है। यह ऐसा है जैसे यदि आपको अपने निबंध की अगली पंक्ति लिखने से पहले एक स्टेडियम में 2,50,000 लोगों से पूछना पड़े, "क्या यह सही शब्द है?" यह प्रक्रिया इतनी धीमी और महंगी है कि यह मुख्य चीज़ है जो AI मॉडल्स की गति को रोक रही है।

पुराने तरीके: अनुमान और फिर से अनुमान (The Old Ways: Guessing and Guessing Again)

इस नए तरीके से पहले, वैज्ञानिकों ने चीजों को तेज़ करने के कुछ अन्य तरीके आजमाए थे:

Adaptive Softmax: यह सबसे आम शब्दों को एक साथ समूहबद्ध करने और दुर्लभ शब्दों को अनदेखा करने जैसा है। लेकिन यह कठोर है; यह कहानी के आधार पर नहीं बदलता है, और इसके लिए अक्सर पूरे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता होती है।
Hierarchical Softmax: यह शब्दों को एक पेड़ की संरचना (जैसे फैमिली ट्री) में व्यवस्थित करता है, ताकि आपको हर पत्ती की जाँच न करनी पड़े। लेकिन इस पेड़ को बनाना कठिन है, और यह हमेशा शब्दों के अर्थ को अच्छी तरह से नहीं पकड़ पाता है।
Speculativie Decoding: यह एक जूनियर असिस्टेंट की तरह है जो अगले कुछ शब्दों का अनुमान लगाता है, और फिर मुख्य छात्र यह जाँचता है कि क्या वे सही हैं। हालांकि यह मदद करता है, फिर भी मुख्य छात्र को अनुमानों को सत्यापित करने के लिए बहुत अधिक काम करना पड़ता है, और यह पूरे शब्दकोश की जाँच करने की मूल समस्या को हल नहीं करता है।

इस पेपर के लेखक तर्क देते हैं कि ये विधियाँ या तो सटीकता से समझौता करती हैं (गलतियाँ करती हैं) या शब्दों की जाँच करने की मौलिक गणितीय समस्या को हल नहीं करती हैं।

नया विचार: "ज्यामितीय बाड़" (The New Idea: The "Geometric Fence")

लेखकों ने, डोंग लियू और सहयोगियों के नेतृत्व में, एक अलग दृष्टिकोण अपनाया। उन्होंने महसूस किया कि कंप्यूटर की मेमोरी में शब्द केवल यादृच्छिक सूचियाँ नहीं हैं; वे उनके अर्थ के आधार पर एक ज्यामितीय स्थान में व्यवस्थित हैं। जो शब्द समान अर्थ रखते हैं (जैसे "बिल्ली" और "बिलौटा"), वे एक साथ क्लस्टर में होते हैं, जबकि जो बहुत भिन्न हैं (जैसे "बिल्ली" और "हवाई जहाज"), वे एक-दूसरे से दूर होते हैं।

यहाँ जादू का नुस्खा है:

समूहीकरण (Grouping): AI के लिखने शुरू करने से पहले, लेखक शब्दकोश को समान शब्दों के समूहों में बांट देते हैं (जैसे सभी "जानवर" शब्दों को एक बॉक्स में और सभी "वाहन" शब्दों को दूसरे बॉक्स में रखना)।
बाड़ (The Fence): प्रत्येक बॉक्स के लिए, वे एक "ज्यामितीय बाड़" की गणना करते हैं। यह बाड़ एक गणितीय सीमा है जो उस बॉक्स के भीतर किसी भी शब्द के प्राप्त होने वाले अधिकतम संभव स्कोर को दर्शाती है।
शॉर्टकट (The Shortcut): जब AI अगले शब्द के बारे में सोच रहा होता है, तो वह बॉक्स के भीतर प्रत्येक शब्द की जाँच नहीं करता है। इसके बजाय, वह "बाड़" की जाँच करता है। यदि "वाहन" बॉक्स के लिए बाड़ का स्कोर उस सर्वोत्तम शब्द के स्कोर से कम है जिसे AI ने पहले ही ढूंढ लिया है, तो वह निश्चित रूप से जान जाता है कि "वाहन" बॉक्स में कोई भी शब्द विजेता नहीं हो सकता। इसलिए, वह बिना कोई काम किए पूरे बॉक्स को छोड़ देता है!

यह एक जंगल में चलने जैसा है और एक साइन बोर्ड देखना है जो कहता है, "खजाना निश्चित रूप से इस घाटी में नहीं है क्योंकि वहां का उच्चतम बिंदु बहुत कम है।" आपको उस घाटी के हर पेड़ पर चढ़ने की ज़रूरत नहीं है; आप बस उसके पास से निकल सकते हैं।

यह कैसे काम करता है: "प्रमाणित" स्किप (How It Works: The "Certified" Skip)

पेपर दो मुख्य तरीकों को पेश करता है जिससे यह सुनिश्चित किया जा सके कि यह स्किप करना सुरक्षित है:

Exact Top-k Certification: यदि आपको शीर्ष 10 सर्वश्रेष्ठ शब्दों की आवश्यकता है (उदाहरण के लिए, सबसे अच्छा एक चुनने के लिए), तो सिस्टम गणितीय रूप से सिद्ध करता है कि चुने गए समूह के बाहर का कोई भी शब्द शीर्ष 10 में नहीं हो सकता। यह 100% गारंटी है।
$\epsilon$ -Certified Softmax: यदि आपको सभी शब्दों की संभावनाओं (probabilities) की आवश्यकता है (शब्दों को उनकी संभावना के आधार पर चुनने के लिए), तो सिस्टम गारंटी देता है कि त्रुटि बहुत कम (एक विशिष्ट छोटे नंबर, $\epsilon$ से कम) है।

यह प्रणाली वास्तविक समय में काम करती है। यह सबसे आशाजनक समूहों की "बाड़" की जाँच करके शुरू होती है। यदि कोई समूह अच्छा दिखता है, तो यह बॉक्स खोलता है और उसके अंदर के शब्दों की जाँच करता है। यदि कोई समूह खराब दिखता है, तो यह उसे हमेशा के लिए बंद छोड़ देता है। यह तब तक चलता रहता है जब तक कि इसने पर्याप्त शब्द न ढूंढ लिए हों, या जब तक कि यह सुरक्षा सीमा तक न पहुँच जाए।

परिणाम: तेज़, सुरक्षित और हरित (The Results: Fast, Safe, and Green)

लेखकों ने इस विचार का परीक्षण करने के लिए एक पूर्ण प्रणाली बनाई। उन्होंने कोड चलाने के लिए शक्तिशाली ग्राफिक्स कार्ड (GPUs) का उपयोग किया और Llama-3, Mistral, और CodeLlama सहित कई प्रसिद्ध AI मॉडलों पर इसका परीक्षण किया।

उन्होंने यह पाया:

गति (Speed): नए तरीके ने AI को मानक तरीके की तुलना में 2.67 से 4.95 गुना तेज़ बना दिया। कुछ विशिष्ट कार्यों में, जैसे कोडिंग लिखना, यह लगभग 5 गुना तेज़ था।
सटीकता (Accuracy): इतने सारे शब्दों को छोड़ने के बावजूद, आउटपुट की गुणवत्ता लगभग पूर्ण बनी रही। मॉडलों ने अपनी मूल गुणवत्ता का 99.3% बनाए रखा।
सुरक्षा (Safety): सिस्टम को शायद ही कभी "फ़ालबैक" (स्किप करना बंद करके सब कुछ जाँचने) की आवश्यकता पड़ी। फ़ालबैक दर 2% से कम थी, जिसका अर्थ है कि इसने लगभग हर बार सही शब्दों को सफलतापूर्वक छोड़ा।
ऊर्जा (Energy): क्योंकि यह कम गणित करता है, इसलिए यह प्रति शब्द उत्पन्न होने पर 52% कम ऊर्जा का उपयोग करता है। यह पैसा बचाने और पर्यावरण की मदद करने के लिए एक बड़ी बात है।

उन्होंने यह भी परीक्षण किया कि यह कई कंप्यूटरों (GPUs) का एक साथ उपयोग करने पर कैसा काम करता है। यह लगभग पूरी तरह से स्केल हुआ, जिसका अर्थ है कि अधिक कंप्यूटर जोड़ने से संचार में समय बर्बाद किए बिना गति बढ़ गई।

यह क्यों महत्वपूर्ण है

यह पेपर केवल एक अच्छा विचार ही नहीं सुझाता है; यह एक काम करने वाली प्रणाली प्रदान करता है जिसके गणितीय प्रमाण हैं कि यह काम करता है। यह दिखाता है कि हमें तेज़ होने और स्मार्ट होने के बीच चुनाव करने की आवश्यकता नहीं है। यह समझने के लिए कि शब्द कैसे संबंधित हैं, ज्यामिति का उपयोग करके, हम अधिक कुशल AI सिस्टम बना सकते हैं।

लेखक स्वीकार करते हैं कि यह विधि इस बात पर निर्भर करती है कि शब्दों को कितनी अच्छी तरह समूहबद्ध किया गया है। यदि समूह अव्यवस्थित हैं, तो "बाड़" बहुत ढीली हो सकती है, और सिस्टम को अधिक शब्दों की जाँच करनी पड़ सकती है। हालाँकि, उनके प्रयोगों ने दिखाया कि सही समूहीकरण के साथ, यह विधि अविश्वसनीय रूप से प्रभावी है।

भविष्य में, लेखक उम्मीद करते हैं कि समूहीकरण को और भी स्मार्ट बनाया जा सकता है ताकि यह विभिन्न प्रकार की कहानियों या भाषाओं के अनुकूल खुद को ढाल सके। लेकिन फिलहाल, CSV-Decode एक शक्तिशाली नया उपकरण है जो हमारे लार्ज लैंग्वेज मॉडल्स को तेज़, सस्ता और सभी के लिए अधिक सुलभ बनाता है। यह लाखों शब्दों की जाँच करने के असंभव कार्य को एक त्वरित, आत्मविश्वासी स्किप में बदल देता है, यह सिद्ध करता है कि कभी-कभी, सही उत्तर खोजने का सबसे अच्छा तरीका यह जानना है कि आपको किन उत्तरों को देखने की आवश्यकता नहीं है।

तकनीकी सारांश: CSV-Decode

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) इन्फरेंस चरण के दौरान, विशेष रूप से आउटपुट लेयर के भीतर, एक महत्वपूर्ण कम्प्यूटेशनल बाधा (bottleneck) का सामना करते हैं। जैसे-जैसे आधुनिक मॉडल्स (जैसे Gemma2, Qwen2.5) में शब्दावली (vocabulary) का आकार $V$ 32,000 से बढ़कर 256,000 से अधिक टोकन्स तक पहुँच गया है, आउटपुट लेयर की गणना—जो हिडन स्टेट्स को प्रोबेबिलिटी डिस्ट्रीब्यूशन में बदलती है—प्रमुख लागत बन गई है। इस ऑपरेशन में $O(Vd) $जटिलता वाला मैट्रिक्स-वेक्टर प्रोडक्ट शामिल है, जहाँ$ d$ हिडन डायमेंशन है। बड़े मॉडल्स के लिए, इसके परिणामस्वरूप प्रत्येक डिकोडिंग स्टेप में अरबों ऑपरेशन्स होते हैं, जो स्केलेबिलिटी को सीमित करते हैं, लेटेंसी बढ़ाते हैं और ऊर्जा खपत को बढ़ाते हैं।

इन बाधाओं को कम करने के लिए मौजूदा दृष्टिकोण, जैसे कि Adaptive Softmax, Hierarchical Softmax, Approximate Nearest Neighbor (ANN) विधियाँ, और Speculative Decoding, महत्वपूर्ण सीमाओं से ग्रस्त हैं। इनमें से कई के लिए मॉडल रिट्रेनिंग की आवश्यकता होती है, वे आर्किटेक्चरल बदलावों की मांग करते हैं, शुद्धता की गारंटी (जैसे सटीक top-k रैंकिंग या सटीक प्रोबेबिलिटी डिस्ट्रीबशन) से समझौता करते हैं, या आउटपुट लेयर की गणना को सीधे संबोधित करने में विफल रहते हैं।

कार्यप्रणाली (Methodology): CSV-Decode

यह पेपर CSV-Decode (Certifiable Sub-Vocabulary Decoding) प्रस्तावित करता है, जो ज्योमेट्रिक अपर बाउंड्स (geometric upper bounds) का उपयोग करके प्रत्येक डिकोडिंग स्टेप के लिए छोटे, डायनेमिक सब-वोकैबुलरी (sub-vocabularies) का निर्माण करता है। मुख्य अंतर्दृष्टि यह है कि किसी दिए गए कॉन्टेक्स्ट के लिए, शब्दावली का केवल एक छोटा हिस्सा ही सिमेंटिक रूप से प्रासंगिक होता है, जबकि अधिकांश टोकन्स का प्रोबेबिलिटी मास नगण्य होता है।

मुख्य तंत्र (Core Mechanism)

ऑफलाइन क्लस्टरिंग (Offline Clustering): शब्दावली एम्बेडिंग्स को K-means क्लस्टरिंग का उपयोग करके $C$ क्लस्टर्स में विभाजित किया जाता है। प्रत्येक क्लस्टर $c$ को एक सेंट्रॉइड $\mu_c$ और एक रेडियस $R_c$ (सेंट्रॉइड से क्लस्टर के किसी भी टोकन की अधिकतम यूक्लिडियन दूरी) द्वारा परिभाषित किया जाता है।
ज्योमेट्रिक अपर बाउंड्स (Geometric Upper Bounds): एक दिए गए हिडन स्टेट $h_t$ के लिए, यह विधि क्लस्टर $c$ में किसी भी टोकन द्वारा प्राप्त किए जा सकने वाले अधिकतम लॉगिट के लिए एक टाइट अपर बाउंड $U_c(h_t)$ व्युत्पन्न करती है। इसे कॉची-श्वॉर्स इनइक्वेलिटी (Cauchy-Schwarz inequality) का उपयोग करके निकाला जाता है:
$\ell_i(t) \leq \langle \mu_c, h_t \rangle + R_c \|h_t\|_2 + \max_{j \in c} b_j$
यह बाउंड सिस्टम को यह निर्धारित करने की अनुमति देता है कि क्या पूरे क्लस्टर को बिना अंतिम परिणाम को प्रभावित किए गणना से सुरक्षित रूप से हटाया जा सकता है।
एडेप्टिव ऑनलाइन एल्गोरिदम (Adaptive Online Algorithm):
- एल्गोरिदम उनके अपर बाउंड्स द्वारा क्रमबद्ध अनओपन क्लस्टर्स (unopened clusters) की एक प्रायोरिटी क्यू (priority queue) बनाए रखता है।
- यह उच्चतम अपर बाउंड वाले क्लस्टर को खोलता है और स्पार्स GEMV (General Matrix-Vector) कर्नेल्स का उपयोग करके उसके टोकन्स के लिए लॉगिट्स की गणना करता है।
- प्रक्रिया तब तक चलती है जब तक कि सर्टिफिकेशन (certification) प्राप्त न हो जाए या सब-वोकैबुलरी बजट ( $K_{max}$ ) तक न पहुँच जाए।

सर्टिफिकेशन मैकेनिज्म (Certification Mechanisms)

CSV-Decode दो कठोर शुद्धता गारंटी प्रदान करता है:

सटीक Top-k सर्टिफिकेशन (Exact Top-k Certification): यह गारंटी देता है कि निर्मित सब-वोकैबुलरी के बाहर का कोई भी टोकन top- $k$ सेट में नहीं आ सकता। यह तब सत्यापित होता है जब सभी अनओपन क्लस्टर्स का अपर बाउंड वर्तमान सब-वोकैबुलरी के $k$ -वें सबसे बड़े लॉगिट से स्पष्ट रूप से कम होता है।
$\epsilon$ -सर्टिफाइड सॉफ्टमैक्स एप्रोक्सिमेशन ( $\epsilon$ -Certified Softmax Approximation): यह गारंटी देता कि वास्तविक सॉफ्टमैक्स डिस्ट्रीब्यूशन और अनुमानित डिस्ट्रीब्यूशन (सब-वोकैबुलरी पर आधारित) के बीच टोटल वेरिएशन डिस्टेंस $\epsilon$ द्वारा सीमित है।

सिस्टम इम्प्लीमेंटेशन (System Implementation)

लेखकों ने एक पूर्ण सिस्टम बनाया है जिसमें निम्नलिखित शामिल हैं:

स्पार्स GEMV कर्नेल्स (Sparse GEMV Kernels): चयनित टोकन लॉगिट्स की गणना को तेज करने के लिए COO स्पार्स फॉर्मेट और मल्टी-लेवल टाइलिंग का उपयोग करने वाले अनुकूलित CUDA कर्नेल्स।
मल्टी-GPU शेडिंग (Multi-GPU Sharding): क्लस्टर-आधारित शेडिंग रणनीति (Round-robin, Hotness-weighted, या Semantic grouping) के माध्यम से क्लस्टर्स को विभिन्न GPUs पर वितरित करना, जिससे NCCL के माध्यम से संचार ओवरहेड को कम किया जा सके।
CUDA Graphs: इटरेटिव डिकोडिंग में कर्नेल लॉन्च ओवरहेड को कम करने के लिए एकीकरण।
फालबैक मैकेनिज्म (Fallback Mechanisms): सर्टिफिकेशन विफलताओं को संभालने के लिए इंटेलिजेंट रणनीतियाँ, जिसमें सब-वोकैबुलरी का विस्तार करना या फुल वोकैबुलरी गणना पर वापस जाना शामिल है।

प्रमुख योगदान (Key Contributions)

ज्योमेट्रिक अपर बाउंड्स (Geometric Upper Bounds): प्रमाणित रूप से सही सब-वोकैबुलरी बनाने के लिए सेंट्रॉइड-प्लस-रेडियस बाउंड्स का उपयोग करने वाली एक नवीन विधि, जो क्लस्टर्स के लिए टाइट लॉगिट बाउंड्स निकालने के लिए कॉची-श्वॉर्स इनइक्वेलिटी का लाभ उठाती है।
दोहरा प्रमाणन (Dual Certification): सटीक top-k सर्टिफिकेशन और $\epsilon$ -बाउंडेड सॉफ्टमैक्स एप्रोक्सिमेशन प्रदान करना, जो गणितीय गारंटी सुनिश्चित करता है जो अक्सर अनुमानित विधियों में गायब होती है।
एडेप्टिव ऑनलाइन एल्गोरिदम (Adaptive Online Algorithm): एक कुशल एल्गोरिदम जो सर्टिफिकेशन मानदंडों के आधार पर डायनेमिक रूप से सब-वोकैबुलरी का विस्तार करता है, जिससे कम्प्यूटेशनल दक्षता और सटीकता के बीच संतुलन बनता है।
सिस्टम इम्प्लीमेंटेशन (System Implementation): अनुकूलित स्पार्स कर्नेल्स, मल्टी-GPU सपोर्ट और CUDA ग्राफ एकीकरण के साथ एक प्रोडक्शन-रेडी सिस्टम।
व्यापक मूल्यांकन (Comprehensive Evaluation): 11 मॉडल्स (Llama-3, Qwen2.5, CodeLlama, DeepSeek-Coder सहित) और कई डेटासेट्स (Wikitext-103, HumanEval, MT-Bench) पर व्यापक प्रयोग।

प्रयोगात्मक परिणाम (Experimental Results)

मूल्यांकन उच्च गुणवत्ता बनाए रखते हुए महत्वपूर्ण प्रदर्शन सुधार प्रदर्शित करता है:

स्पीडअप (Speedup): CSV-Decode मानक ऑटो-रिग्रेसिव डिकोडिंग की तुलना में 2.67× से 4.95× स्पीडअप प्राप्त करता है। यह स्टेट-ऑफ-द-आर्ट स्पेकुलेटिव डिकोडिंग विधियों (जैसे PEARL, Medusa, REST) को 1.16× से 1.27× से लगातार पछाड़ता है।
गुणवत्ता प्रतिधारण (Quality Retention): यह विधि 99.3% गुणवत्ता प्रतिधारण (परप्लेक्सिटी और top-k सटीकता द्वारा मापा गया) बनाए रखती है, जिसका सर्टिफिकेशन सफलता दर 98.2% है।
फालबैक दर (Fallback Rates): विभिन्न कॉन्फ़िगरेशन में फालबैक दर (जिसके लिए फुल वोकैबुलरी गणना की आवश्यकता होती है) 2% से नीचे रहती है।
स्केलेबिलिटी (Scalability): 8 A100 GPUs पर, सिस्टम लगभग रैखिक स्केलिंग दक्षता ( $\eta \geq 0.90$ ) प्राप्त करता है, जिसमें संचार ओवरहेड 10% से कम है।
ऊर्जा दक्षता (Energy Efficiency): यह दृष्टिकोण प्रति-टोकन ऊर्जा खपत को लगभग 52% कम करता है।
वोकैबुलरी प्रभाव (Vocabulary Impact): स्पीडअप शब्दावली के आकार के साथ लॉगरिदमिक रूप से स्केल करता है, जिससे यह विधि बहुत बड़ी शब्दावली वाले मॉडल्स (जैसे 256K टोकन्स) के लिए विशेष रूप से प्रभावी हो जाती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि CSV-Decode शुद्धता से समझौता किए बिना मॉडल क्षमता और कम्प्यूटेशनल दक्षता के बीच मौलिक तनाव को संबोधित करता है। एम्बेडिंग स्पेस में ज्योमेट्रिक रीजनिंग का लाभ उठाकर, यह एक सिद्धांतित आधार प्रदान करता है जो:

अन्य विधियों के लिए आवश्यक रिट्रेनिंग या महत्वपूर्ण आर्किटेक्चरल बदलावों की आवश्यकता को समाप्त करता है।
प्रमाणित गारंटी (exact top-k या bounded error) प्रदान करता है, जो उन अनुप्रयोगों के लिए महत्वपूर्ण है जिनमें सटीक प्रोबेबिलिटी डिस्ट्रीब्यूशन या रैंकिंग की आवश्यकता होती है।
बड़े वोकैबुलरी और मल्टी-GPU वातावरण में प्रभावी ढंग से स्केल करता है, जिससे यह वास्तविक दुनिया के प्रोडक्शन डिप्लॉयमेंट के लिए उपयुक्त बनता है जहाँ लेटेंसी और ऊर्जा लागत सर्वोपरि है।

लेखक CSV-Decode को केवल एक ऑप्टिमाइजेशन के रूप में नहीं, बल्कि आउटपुट लेयर गणना के लिए एक नए प्रतिमान (paradigm) के रूप में देखते हैं जो एडेप्टिव क्लस्टरिंग, क्वांटाइजेशन इंटीग्रेशन और मल्टीमॉडल मॉडल्स के विस्तार की संभावनाएं खोलता है।