Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing
यह शोध पत्र "कॉपी-एज़-डिकोड" (Copy-as-Decode) को प्रस्तुत करता है, जो एक व्याकरण-प्रतिबंधित डिकोडिंग तंत्र है जो अपरिवर्तित टोकन के ऑटोरेग्रेसिव पुनर्जनन (autoregressive regeneration) को एकल समानांतर-प्रीफिल ऑपरेशन (single parallel-prefill operation) से बदलकर LLM टेक्स्ट और कोड संपादन को त्वरित करता है, जिससे सिंथेटिक वैधता बनाए रखते हुए 303 गुना तक की गति वृद्धि प्राप्त होती है और महत्वपूर्ण सैद्धांतिक वॉल-क्लॉक समय की कमी मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेशेवर संपादक हैं जो एक विशाल, 100 पन्नों की पांडुलिपि (manuscript) पर काम कर रहे हैं। एक क्लाइंट आपको एक नोट भेजता है: "तीसरे पैराग्राफ को बदल दें, लेकिन बाकी सब कुछ बिल्कुल वैसा ही रहने दें।"
पुराना तरीका (Standard AI):
वर्तमान AI मॉडल एक बहुत ही विनम्र लेकिन थोड़े अक्षम लेखक (scribe) की तरह व्यवहार करते हैं। भले ही दस्तावेज़ का 95% हिस्सा एकदम सही है और उसे बदलने की आवश्यकता नहीं है, फिर भी AI पूरी 100 पन्नों को शुरू से, शब्द दर शब्द, फिर से पढ़ता है और नया संस्करण देने के लिए पूरी चीज़ को फिर से टाइप करता है। यह एक सिंगल टाइपो (typo) को ठीक करने के लिए पूरी किताब को फिर से लिखने जैसा है। इसमें बहुत समय लगता है और बहुत अधिक ऊर्जा बर्बाद होती है।
नया तरीका (Copy-as-Decode):
यह पेपर एक चतुर नई तकनीक पेश करता है जिसे Copy-as-Decode कहा जाता है। पूरी किताब को फिर से लिखने के बजाय, AI को एक स्मार्ट प्रोजेक्ट मैनेजर की तरह काम करने के लिए सिखाया जाता है जो "कट और पेस्ट" (Cut and Paste) कमांड का उपयोग करता है।
यह कैसे काम करता है, इसे सरल उपमाओं (analogies) में तोड़कर यहाँ समझाया गया है:
1. "दो-उपकरण" व्याकरण (The Instruction Manual)
AI को स्वतंत्र रूप से लिखने देने के बजाय, हम उसे केवल दो उपकरणों के साथ एक सख्त, सरल निर्देश पुस्तिका देते हैं:
- उपकरण A (Copy): "मूल दस्तावेज़ से लाइन 10 से 50 तक लें और उन्हें यहाँ पेस्ट करें।"
- उपकरण B (Generate): "यहाँ कुछ नया लिखें।"
AI को केवल "लिखने" की अनुमति नहीं है। उसे स्पष्ट रूप से कहना होगा, "मैं इन हिस्सों को कॉपी कर रहा हूँ" और "मैं इन हिस्सों को लिख रहा हूँ।" यह एक शेफ को यह कहने के लिए मजबूर करने जैसा है कि, "मैं कटोरे से पहले से कटे हुए प्याज का उपयोग करूँगा (Copy)" और "मैं इन नई गाजरों को खुद काटेगा (Generate)।"
2. "जादुई क्लिपबोर्ड" (Parallel Prefill)
यही वह गुप्त मंत्र है जो इसे तेज़ बनाता है।
- सामान्य AI: 100 शब्दों को कॉपी करने के लिए, AI को पहले शब्द के बारे में सोचना होगा, फिर दूसरे के बारे में, फिर तीसरे के बारे में... एक-एक करके। यह एक गलियारे में चलने और एक-एक करके 100 किताबें उठाने जैसा है।
- Copy-as-Decode: क्योंकि AI जानता है कि उसे कौन से शब्द कॉपी करने की आवश्यकता है (वे मूल दस्तावेज़ में पहले से ही मौजूद हैं), उसे उन पर "सोचने" की आवश्यकता नहीं है। यह एक जादुई क्लिपबोर्ड का उपयोग करता है। यह एक ही झटके में 100 शब्दों के पूरे हिस्से को पकड़ लेता है और उन्हें नए पेज पर चिपका देता है।
कंप्यूटर की भाषा में, इसे Parallel Prefill कहा जाता है। 100 शब्दों को कॉपी करने के लिए 100 कदम उठाने के बजाय, यह 1 बड़ी छलांग लगाता है।
3. "गार्जियन" (The FSM)
आपको चिंता हो सकती है: "क्या होगा अगर AI भ्रमित हो जाए और ऐसी लाइन कॉपी करने की कोशिश करे जो मौजूद ही नहीं है?"
यह पेपर एक छोटे, सुपर-फास्ट "गार्जियन" (एक Finite State Machine) का उपयोग करता है जो AI की हर हरकत पर नज़र रखता है।
- यदि AI उस समय कोई रैंडम अक्षर टाइप करने की कोशिश करता है जब उसे लाइन नंबर टाइप करना चाहिए, तो गार्जियन उसे तुरंत रोक देता है।
- यह सुनिश्चित करता है कि AI कभी भी सिंटैक्स एरर (syntax error) न करे। यह एक स्पेल-चेकर की तरह है जो न केवल आपकी स्पेलिंग सुधारता है बल्कि आपको गलत शब्द टाइप करने से भौतिक रूप से रोकता भी है।
यह क्यों मायने रखता है? (परिणाम)
शोधकर्ताओं ने कोड और टेक्स्ट एडिटिंग कार्यों पर इसका परीक्षण किया और पाया कि कुछ अद्भुत चीजें हुई हैं:
- गति (Speed): 8 से 512 शब्दों के टेक्स्ट ब्लॉक्स के लिए, यह तरीका पुराने तरीके की तुलना में 7 से 300 गुना तेज़ है। यह दुकान तक पैदल जाने और टेलीपोर्ट होने के बीच का अंतर है।
- सटीकता (Accuracy): उन्होंने पाया कि वास्तविक दुनिया के एडिटिंग कार्यों (जैसे कोड में बग ठीक करना) में, 74% से 98% अंतिम टेक्स्ट केवल "कॉपी-पेस्ट" है। AI को वास्तव में "सोचने" और "लिखने" के लिए बहुत कम समय की आवश्यकता होती है।
- विश्वसनीयता (Reliability): क्योंकि AI को उन हिस्सों के लिए "Copy" टूल का उपयोग करने के लिए मजबूर किया जाता है जिन्हें वह जानता है, वह गलती से कभी भी उस लाइन को नहीं बदलता जिसे उसे रखना था। कॉपी किए गए हिस्सों के लिए यह गणितीय रूप से सही होना गारंटीकृत है।
कमी (The "Span Selection" Problem)
यह सिस्टम अविश्वसनीय रूप से तेज़ है, लेकिन यह इस बात पर निर्भर करता है कि AI एक विशिष्ट कार्य में कितना अच्छा है: पॉइंटिंग (Pointing)।
AI को सटीक रूप से पहचानना होगा कि कौन सी लाइनें कॉपी करनी हैं।
- यदि AI कहता है, "लाइन 10-20 कॉपी करें," लेकिन उसे "11-21" कहना चाहिए था, तो पूरा काम बिगड़ जाता है।
- पेपर दिखाता है कि यदि AI केवल एक लाइन भी चूक जाता है, तो सफलता दर 100% से गिरकर लगभग 15% रह जाती है।
- अच्छी खबर: शोधकर्ताओं ने दिखाया कि एक छोटा, अप्रशिक्षित AI भी इस पॉइंटिंग कार्य को ठीक से करने में सक्षम है (तुरंत लगभग 12-17% सही होता है), और अधिक प्रशिक्षण के साथ, यह बहुत बेहतर हो जाएगा।
सारांश
Copy-as-Decode एक कार को मैनुअल ट्रांसमिशन से अपग्रेड करने जैसा है जहाँ आपको हर मील के लिए गियर बदलना पड़ता है, और एक ऐसी कार में जिसमें "टर्बो बूस्ट" है जो उन मील को तुरंत पार कर लेती है जिन्हें आपको चलाने की ज़रूरत नहीं है।
यह AI को बताता है: "पहिए का पुनर्जन्म न करें। यदि टेक्स्ट पहले से ही वहां है, तो बस उसकी ओर इशारा करें और उसे तुरंत पकड़ लें। अपने दिमाग का उपयोग केवल उन हिस्सों के लिए करें जिन्हें वास्तव में बदलने की आवश्यकता है।" यह टेक्स्ट और कोड को संपादित करना काफी तेज़, सस्ता और अधिक विश्वसनीय बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।