Probability Distributions Computed by Autoregressive Transformers
यह शोध पत्र ऑटोरेग्रेसिव ट्रांसफॉर्मर भाषा मॉडलों द्वारा व्यक्त की जा सकने वाली संभाव्यता वितरणों (probability distributions) को अभिलक्षणित करता है, यह प्रदर्शित करते हुए कि उनकी ऑटोरेग्रेसिव और संभाव्य प्रकृति अभिव्यक्ति क्षमता (expressivity) को बढ़ा सकती है और गैर-संभाव्य भाषा पहचानकर्ताओं में पाई जाने वाली तुल्यता को तोड़ सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ट्रांसफॉर्मर (वह AI मॉडल जो ChatGPT जैसे टूल्स के पीछे है) की कल्पना एक बहुत ही बुद्धिमान, लेकिन थोड़ी कठोर, रोबोटिक लाइब्रेरियन के रूप में करें। वर्षों से, शोधकर्ताओं ने इस लाइब्रेरियन का अध्ययन करने के लिए उससे एक सरल "हाँ या ना" वाला प्रश्न पूछा है: "क्या यह विशिष्ट पुस्तक 'साइंस फिक्शन' अनुभाग में होनी चाहिए?" यदि रोबोट "हाँ" कहता है, तो पुस्तक स्वीकार कर ली जाती है; यदि "नहीं," तो उसे अस्वीकार कर दिया जाता है। यही वह क्या है जिसे पेपर क्लासिफायर (Classifier) कहता है।
हालाँकि, वास्तविक दुनिया में, हम केवल लाइब्रेरियन को किताबें छाँटने के लिए नहीं कहते। हम उससे एक कहानी लिखने के लिए कहते हैं। हम उसे कुछ शुरुआती शब्द देते हैं, और वह अगले शब्द का अनुमान लगाता है, फिर अगले का, और फिर अगले का, जिससे एक प्रोबेबिलिटी डिस्ट्रीब्यूशन (अगले शब्द के बारे में एक अनुमान) बनता है। यह वह है जिसे पेपर ऑटोरिग्रेशर (Autoregressor) कहता है।
पेपर एक मौलिक प्रश्न पूछता है: क्या रोबोट कहानियाँ लिखने में बेहतर है या किताबें छाँटने में? या इसके विपरीत, क्या किताबें छाँटने की उसकी क्षमता हमें वह सब कुछ बता देती है जो हमें उसकी कहानी लिखने की क्षमता के बारे में जानने की आवश्यकता है?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. सोचने के दो तरीके
लेखकों ने महसूस किया कि अधिकांश पिछले शोधों ने ट्रांसफॉर्मर को एक जज (Judge) की तरह माना, जबकि वास्तविक AI जिसका हम उपयोग करते हैं वह एक कहानीकार (Storyteller) की तरह कार्य करता है।
- जज (The Judge): पूरे वाक्य को देखता है और कहता है, "सत्य" या "असत्य।"
- कहानीकार (The Storyteller): अब तक के वाक्य को देखता है और कहता है, "90% संभावना है कि अगला शब्द 'बिल्ली' होगा और 10% संभावना है कि यह 'कुत्ता' होगा।"
2. "बूलियन" दुनिया (सरल मामला)
कल्पना करें कि एक दुनिया है जहाँ रोबोट केवल काले और सफेद (सही/गलत) के साथ काम करता है।
- निष्कर्ष: इस सरल दुनिया में, जज और कहानीकार अनिवार्य रूप से एक ही व्यक्ति हैं। यदि रोबोट एक पुस्तक को सही ढंग से छाँट सकता है, तो वह एक ऐसी कहानी भी लिख सकता है जो उन्हीं नियमों का पालन करती है, और इसके विपरीत भी।
- पेंच (The Catch): जबकि वे समान रूप से शक्तिशाली हैं, कहानीकार को उसी काम को करने के लिए जज की तुलना में बहुत अधिक जटिल आंतरिक "निर्देश पुस्तिका" (तर्क) की आवश्यकता होती है। यह ऐसा है जैसे जज एक पैटर्न को तुरंत पहचान सकता है, लेकिन कहानीकार को उस समान पैटर्न को शब्द-दर-शब्द बनाने के लिए एक लंबी, जटिल रेसिपी लिखनी पड़ती है।
3. "रियल-वेटेड" दुनिया (जटिल मामला)
अब, कल्पना करें कि रोबोट ग्रे शेड्स (संभावनाओं, जैसे 0.5, 0.9, आदि) के साथ काम करता है। वास्तविक AI इसी तरह काम करता है।
- निष्कर्ष: यहाँ, जज और कहानीकार एक ही नहीं हैं। उनके पास अलग-अलग सुपरपावर्स हैं।
- कहानीकार अधिक लचीला है: यह कुछ प्रकार के प्रोबेबिलिटी पैटर्न उत्पन्न कर सकता है जिन्हें जज पहचान ही नहीं सकता।
- जज अधिक कठोर है: कुछ विशिष्ट प्रोबेबिलिटी पैटर्न हैं जिन्हें जज पहचान सकता है लेकिन कहानीकार उत्पन्न नहीं कर सकता क्योंकि कहानीकार को सख्त नियमों का पालन करना पड़ता है ताकि उसकी संभावनाएँ हमेशा 100% तक जुड़ सकें।
- उपमा: जज को एक सुरक्षा गार्ड के रूप में सोचें जो तुरंत नकली आईडी का पता लगा सकता है। कहानीकार एक जालसाज है जो नकली आईडी बनाने की कोशिश कर रहा है। कभी-कभी जालसाज एक ऐसी नकली आईडी बना सकता है जिसे गार्ड नहीं पकड़ पाता (क्योंकि गार्ड केवल एक विशिष्ट सूची के विरुद्ध जाँच करता है)। लेकिन कभी-कभी, जालसाज कागज और स्याही के नियमों से इतना बंधा होता है कि वह उस प्रकार की नकली आईडी नहीं बना पाता जिसे गार्ड आसानी से पकड़ सके।
4. "टाइम ट्रैवल" तर्क
पेपर इन रोबोटों द्वारा किए जाने वाले कार्यों का वर्णन करने के लिए "लीनियर टेम्पोरल लॉजिक" (LTL) नामक एक विशेष प्रकार के तर्क का उपयोग करता है। यह समय यात्रा के नियमों की तरह है:
- "कल" (Y): पिछले शब्द को देखना।
- "ऐतिहासिक रूप से" (H): सभी पिछले शब्दों को देखना।
- "से" (S): एक विशिष्ट बिंदु से पीछे देखना।
लेखकों ने पाया कि:
- यदि रोबोट के पास "कल" और "ऐतिहासिक रूप से" (पीछे देखने) की पहुंच है, तो जज और कहानीकार समान हैं।
- यदि रोबोट प्रतिबंधित है (उदाहरण के लिए, वह केवल कुछ चरणों तक पीछे देख सकता है या केवल "ऐतिहासिक रूप से" का उपयोग करता है), तो कहानीकार जज की तुलना में स्पष्ट रूप से अधिक शक्तिशाली हो जाता है। कहानीकार उन पैटर्नों को संभाल सकता है जिन्हें प्रतिबंधित जज नहीं संभाल सकता।
5. "गिनती" की समस्या
पेपर ने उन रोबोटों को भी देखा जो गिनती करने में अच्छे हैं (जैसे एक स्ट्रिंग में 'a' की संख्या गिनना)।
- पिछले शोध ने दिखाया कि जज के रूप में, ये रोबोट अपने आकार के आधार पर केवल एक निश्चित सीमा तक ही गिन सकते थे।
- हालाँकि, कहानीकार के रूप में, वे वास्तव में थोड़े अधिक जटिल गिनती वाले कार्यों को संभाल सकते थे। अगले शब्द की भविष्यवाणी करने की प्रक्रिया ने उन्हें पूरे स्ट्रिंग का निर्णय लेने की तुलना में थोड़ा अधिक "दिमाग की शक्ति" (brainpower) दी।
सारांश
मुख्य निष्कर्ष यह है कि हम यह मानकर नहीं चल सकते कि एक ट्रांसफॉर्मर जो एक "जज" (पैटर्न पहचानना) के रूप में कर सकता है, वही वह सब है जो वह एक "कहानीकार" (टेक्स्ट उत्पन्न करना) के रूप में कर सकता है।
- सरल, ब्लैक-एंड-व्हाइट परिदृश्यों में, वे काफी हद तक एक ही हैं।
- संभावनाओं के जटिल, वास्तविक दुनिया के परिदृश्य में, "कहानीकार" के पास अद्वितीय क्षमताएं हैं जो "जज" के पास नहीं हैं, और इसके विपरीत भी।
इसका अर्थ यह है कि जब वैज्ञानिक AI क्षमताओं का परीक्षण करते हैं, तो उन्हें सावधान रहने की आवश्यकता है। सिर्फ इसलिए कि एक रोबोट "वर्गीकरण परीक्षण" में विफल रहता है, इसका मतलब यह नहीं है कि वह "कहानी लिखने" में भी विफल होगा, और एक रोबोट जो छाँटने में बहुत अच्छा है, उसे कहानी उत्पन्न करने के विशिष्ट नियमों के साथ संघर्ष करना पड़ सकता है। यह पेपर यह समझने के लिए एक मानचित्र प्रदान करता है कि ये अंतर वास्तव में कहाँ निहित हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।