कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, इसे करने का सबसे अच्छा तरीका यह था कि रोबोट को एक बार में एक शब्द, बाएं से दाएं लिखना सिखाया जाए, ठीक वैसे ही जैसे इंसान किताब पढ़ते समय करते हैं। इस विधि को "ऑटोरिग्रेसिव" (autoregressive) जनरेशन कहा जाता है, जो बहुत भरोसेमंद है लेकिन धीमी हो सकती है, जैसे एक अकेला व्यक्ति टाइपराइटर पर उपन्यास टाइप कर रहा हो। हाल ही में, वैज्ञानिकों ने एक नया तरीका खोजा जिसे "डिफ्यूजन" (diffusion) कहा जाता है, जो एक चित्रकार की तरह है जो एक खाली कैनवास से शुरुआत करता है जो स्टैटिक शोर (static noise) से ढका होता है और धीरे-धीरे उसे साफ करता है जब तक कि एक स्पष्ट तस्वीर सामने न आ जाए। यह विधि रोबोट को एक साथ कई शब्द अनुमान लगाने की अनुमति देती है, जिससे वह संभावित रूप से बहुत तेज़ी से लिख सकता है। हालाँकि, इसमें एक पेंच है: जबकि यह "शोर-सफाई" (noise-cleaning) वाला तरीका लचीला होने में बहुत अच्छा है, यह कभी-कभी शब्दों के क्रम को लेकर भ्रमित हो जाता है, जिससे निरर्थक शब्द (gibberish) बन जाते हैं। बड़ा सवाल शोधकर्ताओं के लिए यह है: हम टाइपराइटर के तार्किक प्रवाह को खोए बिना चित्रकार की गति कैसे प्राप्त करें?

यह शोध पत्र उसी पहेली को सुलझाता है और इन "शोर-सफाई" वाले मॉडलों के एक विशिष्ट, नए संस्करण को देखता है जिसे ब्लॉक डिफ्यूजन लैंग्वेज मॉडल्स (BDLMs) कहा जाता है। लेखकों, काई सुन हौ (Kai Syun Hou) और जेम्स क्वोक (James Kwok) ने कुछ आश्चर्यजनक खोजा: भले ही ये मॉडल किसी भी क्रम में शब्द अनुमान लगाने के लिए लचीले बनाए गए हैं, वे वास्तव में पुराने जमाने के बाएं-से-दाएं टाइपराइटर की तरह ही "सोचते" हैं, जितना कि किसी ने उम्मीद नहीं की थी। उन्होंने पाया कि इन मॉडलों को एक सख्त बाएं-से-दाएं क्रम का पालन करने के लिए मजबूर करना, जबकि उन्हें एक बार में कुछ शब्द अनुमान लगाने की अनुमति देना, एक आदर्श संतुलन बनाता है। वे इस नई विधि को PARD (पैरलेल ऑटोरिग्रेसिव डिकोडिंग) कहते हैं। इसे लेखकों की एक टीम के रूप में सोचें जो क्रम में लिखने के लिए सहमत हैं, लेकिन एक व्यक्ति के पूरा वाक्य खत्म करने का इंतज़ार करने के बजाय, वे सभी अगले कुछ शब्दों को एक साथ पूरा करने के लिए कूद पड़ते हैं यदि वे पर्याप्त आश्वस्त हों। परिणाम यह है कि रोबोट पुराने धीमे तरीके की तुलना में काफी तेज़ी से लिखता है, लेकिन कहानी उतनी ही तार्किक और उच्च गुणवत्ता वाली रहती है।

"शोर-सफाई" करने वाले रोबोट की कहानी

यह समझने के लिए कि यह क्यों महत्वपूर्ण है, आइए दो अलग-अलग तरीकों की कल्पना करें जिनसे एक रोबोट वाक्य लिखने की कोशिश कर सकता है।

पुराना तरीका (Autoregressive): कल्पना कीजिए कि एक रोबोट एक समय में एक अक्षर लिखता है। वह "T" लिखता है, फिर "h", फिर "e", फिर " "। वह वर्तमान शब्द को पूरा किए बिना अगला शब्द नहीं लिख सकता। यह बहुत सावधान है और शायद ही कभी गलतियाँ करता है, लेकिन यह धीमा है। यह एक अकेले व्यक्ति की तरह है जो उपन्यास टाइप कर रहा है; वे पहला पृष्ठ समाप्त करने के बाद ही अंतिम पृष्ठ टाइप कर सकते हैं।

नया तरीका (Diffusion): अब कल्पना कीजिए कि एक रोबमान एक ऐसे वाक्य से शुरू करता है जहाँ हर शब्द को एक प्रश्न चिह्न (या "मास्क") से बदल दिया गया है। उसका काम पूरे वाक्य को देखना और गायब शब्दों का अनुमान लगाना है। उसे क्रम में अनुमान लगाने की आवश्यकता नहीं है। वह अंतिम शब्द पहले, फिर पहला शब्द, फिर बीच का शब्द अनुमान लगा सकता है। यह एक चित्रकार की तरह है जो एक धुंधले कैनवास को देख रहा है और अंतिम छवि को समझने की कोशिश कर रहा है। इसका लाभ गति है: रोबोट एक ही समय में वाक्य के कई हिस्सों को ठीक कर सकता है। नुकसान यह है कि यदि वह वाक्य की शुरुआत करने से पहले अंत का अनुमान लगा लेता है, तो वह संदर्भ को गलत समझ सकता है और निरर्थक बातें पैदा कर सकता है।

कुछ समय के लिए, वैज्ञानिकों ने "शोर-सफाई" वाले रोबोट को काम करने के लिए बनाने की कोशिश की, जिसमें उसे किसी भी क्रम में शब्द अनुमान लगाने की छूट दी गई, इस उम्मीद में कि वह सबसे अच्छा रास्ता ढूंढ लेगा। लेकिन इस शोध पत्र के लेखकों ने गौर किया कि कुछ अजीब है। उन्होंने एक नए प्रकार के रोबोट का परीक्षण किया जिसे ब्लॉक डिफ्यूजन लैंग्वेज मॉडल (BDLM) कहा जाता है। ये रोबोट विशेष हैं क्योंकि इन्हें टेक्स्ट के टुकड़ों (ब्लॉक्स) में काम करने के लिए प्रशिक्षित किया गया है, जो अगले ब्लॉक का अनुमान लगाने के लिए पिछले ब्लॉक्स के साफ टेक्स्ट का उपयोग करते हैं।

बड़ी खोज: रोबोट क्रम पसंद करता है

लेखकों ने यह देखने के लिए प्रयोगों की एक श्रृंखला चलाई कि ये रोबोट वास्तव में कैसे व्यवहार करते हैं। उन्होंने एक मानक "शोर-सफाई" वाले रोबोट (LLaDA) की तुलना नए "ब्लॉक" रोबोट (SDAR) से की।

उन्होंने पाया कि मानक रोबोट वास्तव में यादृच्छिक (random) क्रम में शब्दों का अनुमान लगाने को पसंद करता है। लेकिन नया ब्लॉक रोबोट बहुत अलग व्यवहार करता है। भले ही वह किसी भी क्रम में अनुमान लगा सकता है, वह स्वाभाविक रूप से बाएं से दाएं अनुमान लगाना पसंद करता है, ठीक पुराने टाइपराइटर रोबोट की तरह।

इसे साबित करने के लिए, उन्होंने रोबोट के "आत्मविश्वास" (confidence) को देखा। यदि आप रोबोट से अगले शब्द का अनुमान लगाने के लिए कहते हैं, तो आमतौर पर प्रत्येक संभावना के लिए उसके पास एक "कॉन्फिडेंस स्कोर" होता है। लेखकों ने पाया कि ब्लॉक रोबोट के लिए, सबसे आत्मविश्वासी अनुमान लगभग हमेशा शेष वाक्य के बिल्कुल शुरुआत वाले शब्द होते थे। ऐसा लगता है जैसे रोबोट की एक गुप्त आदत है: "मैं जानता हूँ कि मैं इधर-उधर कूद सकता हूँ, लेकिन मुझे वास्तव में बाईं ओर से शुरू करने में सबसे अधिक सहजता महसूस होती है।"

उन्होंने यह समझाने के लिए गणित का भी उपयोग किया कि ऐसा क्यों होता है। उन्होंने महसूस किया कि प्रशिक्षण के दौरान, ब्लॉक रोबोट को ऐसे बहुत से उदाहरण दिखाए जाते हैं जहाँ वाक्य का बायां हिस्सा पहले से लिखा होता है, और उसे केवल दाएं हिस्से का अनुमान लगाना होता है। यह बिल्कुल वैसा ही है जैसे पुराना "टाइपराइटर" रोबोट सीखता है। दूसरी ओर, मानक "शोर-सफाई" वाला रोबोट उन वाक्यों पर प्रशिक्षित किया जाता है जहाँ शब्द हर जगह गायब होते हैं, इसलिए वह वास्तव में बाएं हिस्से पर निर्भर रहना नहीं सीखता। चूंकि ब्लॉक रोबोट इसी तरह प्रशिक्षित है, इसलिए वह "बाएं-से-दाएं" जाना चाहता है।

समाधान: PARD (लेखकों की एक टीम)

तो, यदि ब्लॉक रोबोट स्वाभाविक रूप से बाएं-से-दाएं जाना चाहता है, तो इसे केवल बाएं-से-दाएं क्यों नहीं होने दिया जाता? समस्या यह है कि यदि यह सख्ती से बाएं-से-दाएं जाता है, तो यह एक साथ कई शब्द अनुमान लगाने का गति वाला लाभ खो देता है। यह फिर से धीमा हो जाता है।

लेखकों ने PARD (पैरलेल ऑटोरिग्रेसिव डिकोडिंग) नामक एक चतुर समाधान निकाला।

कल्प_िए कि लेखकों का एक समूह मिलकर एक कहानी पर काम कर रहा है।

1. नियम: उन्हें क्रम में, बाएं से दाएं लिखना होगा।
2. मोड़: एक व्यक्ति के शब्द खत्म करने का इंतज़ार करने के बजाय, वे सभी अगले कुछ शब्दों को देखते हैं। यदि वे अगले शब्द के बारे में बहुत आश्वस्त हैं, तो वे उसे लिखते हैं। यदि वे उसके बाद वाले शब्द के बारे में भी बहुत आश्वस्त हैं, तो वे उसे भी लिखते हैं।
3. सुरक्षा जाल: यदि वे दूसरे शब्द के बारे में सुनिश्चित नहीं हैं, तो वे रुक जाते हैं। वे केवल तेज़ होने के लिए दूसरे शब्द का अनुमान नहीं लगाते; वे तब तक प्रतीक्षा करते हैं जब तक कि वे सुनिश्चित न हो जाएं।

यही PARD करता है। यह रोबोट के कॉन्फिडेंस स्कोर को देखता है। यदि रोबोट पहले मास्क किए गए शब्द के बारे में आश्वस्त है, तो यह उसे लिखता है। फिर यह तुरंत जाँचता है कि क्या रोबोट अगले शब्द के बारे में भी आश्वस्त है। यदि हाँ, तो यह उसे भी लिखता है। यह आगे बढ़ता रहता है, आश्वस्त शब्दों के एक "प्रिफिक्स" (prefix) को लिखता है, जब तक कि यह उस शब्द तक नहीं पहुँच जाता जहाँ रोबोट अनिश्चित होता है।

परिणाम: तेज़ और सटीक

लेखकों ने तीन अलग-अलग ब्लॉक रोबोटों और छह अलग-अलग कार्यों पर इसका परीक्षण किया, जिसमें कोड लिखना और गणित की समस्याओं को हल करना शामिल है।

• गति: PARD पुराने "टाइपराइटर" तरीके की तुलना में बहुत तेज़ था। कुछ मामलों में, यह एक मॉडल पर 3.64 गुना तेज़ था। इसने एक सेकंड में 152 टोकन (टेक्स्ट के टुकड़े) की दर से टोकन लिखे, जबकि धीमे तरीके के लिए यह केवल 70 था।
• गुणवत्ता: गति के बावजूद, इसके द्वारा लिखी गई कहानियाँ और कोड उतने ही अच्छे थे, और अक्सर अन्य तेज़ तरीकों से बेहतर थे जो यादृच्छिक क्रम में शब्दों का अनुमान लगाते हैं। वास्तव में, SDAR मॉडल पर, PARD को कोडिंग टेस्ट में 81.1% स्कोर मिला, जबकि रैंडम ऑर्डर पद्धति को 75.0% मिला।
• तुलना: उन्होंने PARD की तुलना अन्य फैंसी "फास्ट" तरीकों से की जो शब्दों का अनुमान लगाने के लिए जटिल नियमों का उपयोग करते हैं। जटिल तरीके यादृच्छिक रूप से कूदकर पहेली सुलझाने की तरह थे; PARD पहले किनारों के टुकड़ों (edge pieces) को हल करने जैसा था, जो इन विशिष्ट रोबोटों के लिए सबसे कुशल रास्ता साबित हुआ।

यह क्यों मायने रखता है

शोध पत्र सुझाव देता है कि इन नए "ब्लॉक" रोबोटों के लिए, "किसी भी क्रम में अनुमान लगाने" का पुराना विचार वास्तव में सबसे अच्छा तरीका नहीं है। रोबोट स्वाभाविक रूप से बाएं-से-दाएं सोचने की ओर झुके हुए हैं क्योंकि उन्हें इसी तरह प्रशिक्षित किया गया है। उनके इस झुकाव का सम्मान करके और केवल तभी समानांतर गति जोड़कर जब रोबोट आश्वस्त हो, हमें दोनों दुनियाओं का सर्वश्रेष्ठ मिलता है: लेखकों की टीम की गति और एक सावधान टाइपिस्ट की सटीकता।

लेखक सावधानीपूर्वक नोट करते हैं कि यह एक "ट्रेनिंग-फ्री" (प्रशिक्षण-मुक्त) विधि है। उन्होंने रोबोट को पुन: प्रशिक्षित नहीं किया या उनके मस्तिष्क को नहीं बदला; उन्होंने बस पूछने का तरीका बदल दिया। यह इसे एक बहुत ही व्यावहारिक उपकरण बनाता है जिसे मौजूदा मॉडलों के साथ अभी उपयोग किया जा सकता है।

संक्षेप में, यह शोध पत्र दिखाता है कि कभी-कभी, आगे बढ़ने का सबसे तेज़ तरीका यह याद रखना है कि एक सीधी रेखा में चलें, लेकिन बड़े कदम तब उठाएं जब आप सुनिश्चित हों कि आप कहाँ जा रहे हैं।