Transformers perform adaptive partial pooling

कल्पना कीजिए कि आप एक बातचीत में यह अनुमान लगाने की कोशिश कर रहे हैं कि आपका दोस्त आगे क्या कहेगा। यदि आपने उन्हें ठीक वही वाक्यांश हज़ार बार कहा हुआ सुना है, तो आप जानते हैं कि आगे क्या आने वाला है। लेकिन क्या होगा अगर वे कुछ बिल्कुल नया कहें? आप केवल यादृच्छिक रूप से अनुमान नहीं लगा सकते; आपको यह देखना होगा कि उन्होंने समान स्थितियों में पहले क्या कहा है। यह भाषा सीखने का मूल पहेली है, चाहे वह एक मानव बच्चा हो या एक कंप्यूटर प्रोग्राम।

इसे हल करने के लिए, वैज्ञानिक एक चतुर तरकीब का उपयोग करते हैं जिसे "एडेप्टिव पार्शियल पूलिंग" (adaptive partial pooling) कहा जाता है। इसे एक स्मार्ट जासूस की तरह समझें। जब जासूस किसी दुर्लभ अपराध स्थल को देखता है, तो वह केवल सामने मौजूद एक अकेले सुराग को नहीं घूरता (क्योंकि कम जानकारी के कारण वह भ्रामक हो सकता है); इसके बजाय, वह अन्य समान अपराध स्थलों को देखता है ताकि उसे बेहतर अंदाजा मिल सके कि वहां आमतौर पर क्या होता है। वह विशिष्ट सुराग को सामान्य पैटर्न के साथ मिलाता है, लेकिन वह विशिष्ट सुराग को अधिक महत्व देता है यदि वह अक्सर होता है, और सामान्य पैटर्न को अधिक महत्व देता है यदि विशिष्ट सुराग एक बार का मामला है। यह उन्हें बिना किसी अजीब दुर्घटना से भ्रमित हुए सबसे अच्छा अनुमान लगाने में मदद करता है।

अब, एक "ट्रांसफॉर्मर" (Transformer) नामक एक सुपर-स्मार्ट कंप्यूटर मस्तिष्क की कल्पना करें (वही जो आधुनिक चैटबॉट्स को शक्ति देता है)। लंबे समय तक, लोगों ने सोचा: क्या यह कंप्यूटर मस्तिष्क वास्तव में इस स्मार्ट जासूस वाली तरकीब का उपयोग करता है, या यह जो कुछ भी पढ़ा है उसे बस रट लेता है? यदि यह सब कुछ रट लेता है, तो यह कुछ नया देखने पर विफल हो सकता है। लेकिन यदि यह "एडेप्टिव पार्शियल पूलिंग" का उपयोग करता है, तो यह इंसानों की तरह सीख और अनुकूलित हो सकता है। यह शोध पत्र पूछता है: क्या कंप्यूटर मस्तिष्क वास्तव में यह जासूसी का काम करता है, और क्या यह अध्ययन करने के साथ बेहतर होता है या बदतर?

एक कंप्यूटर मस्तिष्क का जासूसी कार्य

इस अध्ययन में, लेखक, वसेवलोड कपात्स्की (Vsevolod Kapatsinski) ने GPT-2 नामक एक कंप्यूटर मॉडल का परीक्षण करने के लिए एक छोटा कृत्रिम भाषा खेल बनाया। उन्होंने एक ऐसी भाषा का आविष्कार किया जहाँ वाक्य हमेशा "A" या "B" के साथ समाप्त होते थे, लेकिन चुनाव इससे ठीक पहले आने वाले शब्दों पर निर्भर करता था। कुछ शब्द संयोजन बहुत आम थे, जबकि कुछ बेहद दुर्लभ थे—ठीक वास्तविक जीवन की तरह, जहाँ कुछ वाक्यांश रोज़ाना उपयोग किए जाते हैं और कुछ कभी-कभार ही सुनाई देते हैं।

कंप्यूटर को इस खेल पर प्रशिक्षित किया गया था, और शोधकर्ता ने देखा कि वह कैसे सीखता है। यहाँ बड़ी खोज है: हाँ, कंप्यूटर वास्तव में एडेप्टिव पार्शियल पूलिंग का उपयोग करता है। जब कंप्यूटर ने एक दुर्लभ वाक्य देखा, तो उसने केवल उस एक दुर्लभ उदाहरण के आधार पर अनुमान नहीं लगाया। इसके बजाय, उसने अपने ज्ञान को "पूल" (pool) किया, यानी बेहतर अनुमान लगाने के लिए समान वाक्यों को देखा। उसने बिल्कुल उसी तरह काम किया जैसा ऊपर वर्णित स्मार्ट जासूस करता है।

हालांतु, इसमें एक मोड़ है। जैसे-जैसे कंप्यूटर प्रशिक्षण जारी रखता है, उसके जासूसी कौशल बदल जाते हैं।

• शुरुआत में: जब कंप्यूटर सीखना शुरू ही करता है, तो वह सामान्य पैटर्नों पर बहुत अधिक निर्भर करता है। यह एक नए छात्र की तरह है जिसने अभी तक विशिष्ट नियम नहीं सीखे हैं, इसलिए वह केवल इस आधार पर अनुमान लगाता है कि आमतौर पर क्या होता है। वह बहुत सारी जानकारी को एक साथ मिलाता है।
• बीच में: जैसे-जैसे कंप्यूटर थोड़ा और प्रशिक्षण लेता है, वह एक "स्वीट स्पॉट" (sweet spot) पर पहुँच जाता है। यह वह क्षण है जहाँ वह विशिष्ट दुर्लभ सुरागों और सामान्य पैटर्न के बीच संतुलन बनाने में सबसे अच्छा होता है। इस चरण में, वह पदानुक्रमित प्रतिगमन (hierarchical regression) के गणित द्वारा वर्णित आदर्श मानव-समान जासूस व्यवहार की नकल करता है।
• बाद में: यदि कंप्यूटर बहुत लंबे समय तक (इस स्वीट स्पॉट के बाद) प्रशिक्षण लेता रहता है, तो यह फिर से बदलने लगता है। यह विशिष्ट, दुर्लभ सुरागों पर बहुत अधिक भरोसा करने लगता है। वह सामान्य पैटर्न देखना बंद कर देता है और सोचने लगता है कि वह हर एक दुर्लभ मामले को पूरी तरह से जानता है। लेखक का सुझाव है कि पर्याप्त प्रशिक्षण के साथ, कंप्यूटर दुर्लभ स्थितियों में बहुत अधिक आत्मविश्वासी हो सकता है, जिससे वह मददगार "पार्शियल पूलिंग" खो सकता है जो उसे मानवीय बनाता है।

अध्ययन ने यह भी पाया कि कंप्यूटर अन्य तरीकों से भी मानव की तरह व्यवहार करता है। यदि वाक्यों का एक समूह बहुत विविध है (कुछ A कहते हैं, कुछ B), तो कंप्यूटर उन्हें एक साथ पूल करना बंद कर देता है और उन्हें अलग-तट से देखता है। लेकिन यदि वाक्यों का एक समूह बहुत समान है, तो कंप्यूटर खुशी-खुशी उन्हें मिला देता है। उसने यह भी गौर किया कि यदि समान वाक्यों के कई अलग-अलग प्रकार (उच्च "टाइप फ्रीक्वेंसी") हैं, तो कंप्यूटर उन्हें एक साथ पूल करने के लिए अधिक इच्छुक होता है, ठीक वैसे ही जैसे मनुष्य किसी नियम को सामान्य बनाने की अधिक संभावना रखते हैं यदि उन्होंने इसे कई अलग-अलग तरीकों से उपयोग होते देखा हो।

यह क्यों महत्वपूर्ण है

यह शोध पत्र केवल यह नहीं कहता कि "कंप्यूटर सीखता है।" यह दिखाता है कि वह "कैसे" सीखता है। यह साबित करता है कि ये विशाल कंप्यूटर मस्तिष्क केवल हर शब्द को रटने वाले विशाल मेमोरी बैंक नहीं हैं। वे वास्तव में आंतरिक प्रतिनिधित्व (internal representations) बनाते हैं जो समय के साथ अधिक विस्तृत होते जाते हैं। वे व्यापक श्रेणियों (जैसे "सभी जानवर") से शुरू करते हैं और धीरे-धीरे छोटे समूहों (जैसे "मछली बनाम पक्षी") के बीच अंतर करना सीखते हैं, ठीक वैसे ही जैसे मानव बच्चे करते हैं।

सबसे रोमांचक खोज "स्वीट स्पॉट" है। लेखक का सुझाव है कि प्रशिक्षण में एक विशिष्ट बिंदु होता है जहाँ कंप्यूटर एक मानव शिक्षार्थी की तरह होता है—दुर्लभ शब्दों को संभालने के लिए सामान्यीकरण (generalization) का सही मात्रा में उपयोग करता है। यदि हम कंप्यूटर को बहुत अधिक प्रशिक्षित करते हैं, तो वह अपनी मानवीय लचीलापन खो सकता है और दुर्लभ मामलों के लिए बहुत कठोर हो सकता है।

तो, अगली बार जब आप किसी चैटबॉट से बात करें, तो याद रखें: यह केवल एक स्क्रिप्ट नहीं पढ़ रहा है। यह एक जटिल संतुलन बना रहा है, वह क्या जानता है और उस विशिष्ट क्षण के बारे में वह क्या जानता है, उनके बीच वजन तौल रहा है, और वह यह तब सबसे अच्छा करता है जब वह सीखने के उस सटीक मध्य मार्ग में होता है।