When Reward Is Not Grammar: A Reward-Action Validity Audit of Deep Reinforcement Learning for English Inflection
यह शोध पत्र एक रिवॉर्ड-एक्शन वैधता ऑडिट (reward-action validity audit) प्रस्तुत करता है यह प्रदर्शित करने के लिए कि अंग्रेजी आकृति विज्ञान (English morphology) सीखने का दावा करने वाला एक डीप क्यू-नेटवर्क (Deep Q-Network) नोटबुक वास्तव में अपने रिवॉर्ड फंक्शन, एक्शन अभिव्यंजना (action expressiveness), स्टेट एनकोडिंग और मूल्यांकन पद्धति में मौलिक खामियों के कारण व्याकरण संबंधी नियमों को प्राप्त करने में विफल रहता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की हलचल भरी दुनिया में, शोधकर्ता अक्सर मशीनों को मानव भाषा के छिपे हुए नियम सिखाने की कोशिश करते हैं। वे 'रीइन्फोर्समेंट लर्निंग' (सुदृढीकरण सीखना) नामक एक विधि का उपयोग करते हैं, जो काफी हद तक एक कुत्ते को प्रशिक्षित करने जैसा है: कंप्यूटर एक क्रिया करता है, और यदि उसे सही परिणाम मिलता है, तो उसे एक डिजिटल ट्रीट या इनाम मिलता है। समय के साथ, कंप्यूटर उन क्रियाओं को दोहराना सीख जाता है जिनसे सबसे अधिक इनाम मिलते हैं। यह दृष्टिकोण यह परीक्षण करने का एक लोकप्रिय तरीका बन गया है कि क्या कोई मशीन मानव पाठ के विशाल डेटाबेस की आवश्यकता के बिना वास्तव में व्याकरण को समझ सकती है। उम्मीद यह है कि केवल सही उत्तरों को पुरस्कृत करके, एक एआई (AI) इस तर्क को खोज सकता है कि हम शब्दों को कैसे बदलते हैं, जैसे कि एक एकवचन संज्ञा को बहुवचन में बदलना या एक क्रिया को भूतकाल में बदलना। यदि यह सफल होता है, तो यह सिद्ध करेगा कि मशीनें केवल रटने के बजाय अनुभव के माध्यम से भाषा की संरचनाओं को सीख सकती हैं।
हालाँकि, कोवेंट्री यूनिवर्सिटी के एक नए अध्ययन से पता चलता है कि कुछ हालिया प्रयोगों में, डिजिटल ट्रीट बहुत आसानी से दिए जा रहे थे। शोधकर्ताओं, निकेश अधिकारी, शंकर घिमिरे और सागर नेप्यून ने एक विशिष्ट कंप्यूटर प्रोग्राम की बारीकी से जांच करने का निर्णय लिया जिसने अंग्रेजी व्याकरण सीखने का दावा किया था। उन्होंने केवल प्रोग्राम को सीखते हुए नहीं देखा; उन्होंने उस पूरे खेल का ऑडिट किया जिसे वह खेल रहा था। उन्होंने नियमों, स्कोरिंग प्रणाली और जिस तरह से कंप्यूटर दुनिया को देखता था, उसकी जाँच की। उनकी जांच से पता चला कि प्रोग्राम वास्तव में व्याकरण नहीं सीख रहा था। इसके बजाय, वह उच्च स्कोर प्राप्त करने के लिए स्वयं परीक्षण की खामियों का फायदा उठा रहा था, जबकि ऐसे उत्तर दे रहा था जो अक्सर गलत थे, या यहाँ तक कि प्रदान किए गए उपकरणों के साथ बनाना असंभव थे।
अध्ययन एक कंप्यूटर नोटबुक पर केंद्रित था जिसने दावा किया था कि वह एक कृत्रिम एजेंट को तीन विशिष्ट अंग्रेजी कौशल सिखाता है: संज्ञाओं को बहुवचन बनाना, क्रियाओं को भूतकाल में बदलना, और कर्ता का क्रिया के साथ मिलान करना। नोटबुक ने प्रभावशाली सफलता दर दर्ज की, दावा किया कि एजेंट ने भूतकाल निर्माण पर पूर्ण स्कोर प्राप्त किया और अन्य कार्यों पर उच्च सटीकता हासिल की। शोधकर्ताओं ने एक सरल प्रश्न पूछकर शुरुआत की: क्या कंप्यूटर ने वास्तव में सही अंग्रेजी शब्द उत्पन्न किए, या इसने केवल वे शब्द उत्पन्न किए जिन्हें स्कोरिंग सिस्टम ने गलती से स्वीकार कर लिया? उन्होंने पाया कि स्कोरिंग सिस्टम बहुत अधिक उदार था। शब्दों को बहुवचन बनाने के कार्य के लिए, सिस्टम ने 10 अलग-अलग प्रयासों के लिए सकारात्मक इनाम दिया, लेकिन उनमें से केवल चार प्रयास ही वास्तव में सही अंग्रेजी शब्द थे। अन्य छह विकृत और निरर्थक शब्द थे जो सही उत्तर के समान दिखते थे और केवल साधारण चेकर को मूर्ख बनाने के लिए पर्याप्त थे। भूतकाल के कार्य में स्थिति और भी खराब थी। सिस्टम ने 100 प्रतिशत सफलता दर की रिपोर्ट की, फिर भी जब शोधकर्ताओं ने वास्तविक शब्दों को गिना, तो उन्होंने पाया कि पुरस्कृत प्रयासों में से केवल 25 प्रतिशत ही वास्तव में सही थे। कंप्यूटर को गलतियों के लिए पुरस्कृत किया जा रहा था।
समस्या केवल एक उदार स्कोरकीपर तक ही सीमित नहीं थी। शोधकर्ताओं ने पाया कि कंप्यूटर कई शब्दों के लिए सही उत्तर देने में शारीरिक रूप से असमर्थ था। प्रोग्राम को बहुत सीमित उपकरणों के साथ डिज़ाइन किया गया था, जिससे वह केवल शब्द के अंत में अक्षर जोड़ सकता था। वह अक्षरों को हटा या शब्द के बीच में बदलाव नहीं कर सकता था। इसका मतलब था कि कुछ शब्दों के लिए, जैसे "city" को "cities" या "baby" को "babies" में बदलना, सही उत्तर के लिए "y" को हटाने और "ies" जोड़ने की आवश्यकता थी। चूंकि कंप्यूटर "y" को हटा नहीं सकता था, इसलिए उसके लिए सही शब्द बनाना असंभव था, चाहे वह कितना भी स्मार्ट क्यों न हो जाए। शोधकर्ताओं ने गणना की कि एक-तिहाई बहुवचन शब्दों और आधे भूतकाल की क्रियाओं के लिए, सही उत्तर पहुंच से बाहर था। इसलिए नोटबुक में रिपोर्ट किए गए उच्च स्कोर सीखने का संकेत नहीं थे, बल्कि यह संकेत था कि परीक्षण त्रुटिपूर्ण था।
इसके अलावा, अध्ययन ने पाया कि कंप्यूटर एक ऐसा खेल भी नहीं खेल रहा था जिसमें उसे एक क्रम में सोचने की आवश्यकता हो। शोधकर्ताओं ने प्रोग्राम के चरणों का पता लगाया और पाया कि कंप्यूटर को बिना किसी बदलाव के तीस चरणों तक बार-बार एक ही शब्द दिखाया गया था। उसे एक चरण से दूसरे चरण तक किसी भी चीज़ को याद रखने की आवश्यकता नहीं थी। इसने जो एक जटिल सीखने वाला कार्य होना चाहिए था, उसे एक सरल, बार-बार किए जाने वाले अनुमान में बदल दिया। मूल नोटबुक में दृश्य चार्ट, जो दिखाते थे कि कंप्यूटर विभिन्न नियमों को सीख रहा है और एक से दूसरे में ज्ञान स्थानांतरित कर रहा है, उन्हें भी भ्रामक पाया गया। "लर्निंग" कर्व वास्तव में कंप्यूटर द्वारा उत्पन्न यादृच्छिक संख्याएं थीं, वास्तविक प्रगति के माप नहीं। विज़ुअलाइज़ेशन सजावटी थे, बुद्धिमत्ता का प्रमाण नहीं।
शोधकर्ताओं ने यह भी पता लगाया कि कंप्यूटर जिस तरह से शब्दों को देखता था, उसमें एक छिपा हुआ अस्थिरता का तत्व था। प्रोग्राम ने शब्दों को संख्याओं में बदलने की एक ऐसी विधि का उपयोग किया जो कंप्यूटर के हर बार रीस्टार्ट होने पर बदल जाती थी। इसका मतलब था कि एक ही शब्द अलग-अलग दिनों में पूरी तरह से अलग संख्या के रूप में दिख सकता था। कई मामलों में, दो अलग-अलग शब्द कंप्यूटर के लिए एक जैसे दिखने लगे, जिससे वह उन्हें भ्रमित कर देता था। क्योंकि कंप्यूटर इन भ्रमित शब्दों के बीच अंतर नहीं कर सकता था, इसलिए वह उनमें से किसी के लिए भी सही नियम नहीं सीख सका। इस अस्थिरता का अर्थ था कि परिणाम विश्वसनीय नहीं थे; कंप्यूटर एक दिन सीखता हुआ प्रतीत हो सकता था और अगले दिन विफल हो सकता था, केवल इसलिए क्योंकि उपयोग की जा रही संख्याएँ बदल गई थीं।
अंततः, अध्ययन निष्कर्ष निकालता है कि मूल नोटबुक ने यह सिद्ध नहीं किया कि कंप्यूटर ने अंग्रेजी व्याकरण सीख लिया है। इसने केवल यह सिद्ध किया कि कंप्यूटर एक त्रुटिपूर्ण परीक्षण पर उच्च स्कोर प्राप्त करने का रास्ता खोज सकता है। शोधकर्ता इस बात पर जोर देते हैं कि इसका मतलब यह नहीं है कि रीइन्फोर्समेंट लर्निंग भाषा के लिए काम नहीं कर सकता। इसका सीधा अर्थ यह है कि यह विशिष्ट प्रयोग इसे परखने के लिए सही ढंग से सेट नहीं किया गया था। रिवॉर्ड सिस्टम बहुत अस्पष्ट था, उपकरण बहुत सीमित थे, और परीक्षण वातावरण अस्थिर था। यह जानने के लिए कि क्या मशीन ने वास्तव में कोई नियम सीखा है, परीक्षण सटीक होना चाहिए, सही उत्तर उत्पन्न करना संभव होना चाहिए, और स्कोरिंग को सटीक सही शब्द की मांग करनी चाहिए, न कि केवल एक करीबी अनुमान की। जब तक ये शर्तें पूरी नहीं होतीं, ऐसे परीक्षणों पर उच्च स्कोर को संदेह की दृष्टि से देखा जाना चाहिए, क्योंकि वे मशीन की बुद्धिमत्ता के बजाय प्रयोग की खामियों को दर्शा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।