Adaptive Noise in Human Game Play: An Information-Theoretic Signature that Separates Learning Models on Matching-Pennies Data
यह शोधपत्र यह प्रदर्शित करता है कि बार-बार खेले जाने वाले मैचिंग-पेनीज़ खेलों में मानव खिलाड़ी उच्च नीति एंट्रॉपी (policy entropy) और प्रतिद्वंद्वी-उत्तरदायी व्यवहार का एक अनूठा संयोजन बनाए रखते हैं जिसे मानक सुदृढीकरण शिक्षण (reinforcement learning) मॉडल पुनरुत्पादित करने में विफल रहते हैं, जबकि केवल स्व-ट्यूनिंग एक्सपीरियंस-वेटेड अट्रैक्शन (EWA) ही इस दोहरी विशिष्टता को सफलतापूर्वक पकड़ पाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लोग निर्णय लेना कैसे सीखते हैं, इस अध्ययन में वैज्ञानिक अक्सर उन खेलों को देखते हैं जहाँ दो खिलाड़ी एक-दूसरे को मात देने की कोशिश करते हुए प्रतिस्पर्धा करते हैं। एक क्लासिक उदाहरण 'मैचिंग पेनिस' (matching pennies) का एक सरल खेल है, जहाँ एक खिलाड़ी तब जीतता है जब सिक्के मेल खाते हैं और दूसरा तब जीतता है जब वे मेल नहीं खाते। सफल होने के लिए, एक खिलाड़ी को अप्रत्याशित होना चाहिए; यदि वे किसी पैटर्न में फंस जाते हैं, तो उनका प्रतिद्वंद्वी इसे पहचान लेगा और इसका फायदा उठाएगा। साथ ही, एक खिलाड़ी को यह जानने के लिए ध्यान देना चाहिए कि उनका प्रतिद्वंद्वी क्या कर रहा है ताकि वे अपनी रणनीति को समायोजित कर सकें। यह एक नाजुक संतुलन बनाता है: एक खिलाड़ी को अप्रत्याशित होने से बचने के लिए पर्याप्त रैंडम (यादृच्छिक) होना चाहिए, लेकिन दूसरे व्यक्ति के प्रति प्रतिक्रिया देने के लिए पर्याप्त स्मार्ट भी होना चाहिए। दशकों से, मानव सीखने का अनुकरण करने के लिए उपयोग किए जाने वाले मानक कंप्यूटर मॉडल इस संतुलन के साथ संघर्ष करते रहे हैं। ये मॉडल आमतौर पर बहुत अधिक रैंडम अनुमानों के साथ शुरू होते हैं लेकिन जैसे-जैसे वे सीखते हैं, वे अधिक आत्मविश्वासी और नियतवादी (deterministic) होते जाते हैं, और अंततः एक कठोर, अनुमानित दिनचर्या में स्थिर हो जाते हैं। हालाँकि, यह व्यवहार प्रयोगशाला में वास्तविक लोगों द्वारा किए जाने वाले कार्यों से मेल नहीं खाता है।
प्रत्यूष महादेवैया का एक नया अध्ययन इन खेलों को लंबे सत्रों में खेलने वाले सैकड़ों लोगों के डेटा का विश्लेषण करके इस विसंगति की जांच करता है। परिणामों पर एक जटिल गणितीय सूत्र फिट करने के बजाय, शोधकर्ता ने खिलाड़ियों के व्यवहार के दो विशिष्ट गुणों को मापने के लिए सूचना सिद्धांत (information theory) से एक विधि का उपयोग किया। पहला गुण एक खिलाड़ी के विकल्पों में यादृच्छिकता या "शोर" (noise) की मात्रा है। दूसरा गुण यह माप है कि एक खिलाड़ी का अगला कदम उनके प्रतिद्वंद्वी के पिछले कदम से कितना प्रभावित होता है। 108 अलग-अलग समूहों के खिलाड़ियों के इन कारकों को ट्रैक करते हुए, अध्ययन मानव व्यवहार में एक विशिष्ट पैटर्न को प्रकट करता है जिसे मानक कंप्यूटर मॉडल दोहराने में विफल रहते हैं। शोध से पता चलता है कि मनुष्य पूरे खेल के दौरान अनिश्चितता के एक स्थिर स्तर को बनाए रखते हैं, जबकि साथ ही अपने प्रतिद्वंद्वी की क्रियाओं के प्रति अत्यधिक प्रतिक्रियाशील भी रहते हैं। इसके विपरीत, वैज्ञानिकों द्वारा उपयोग किए जाने वाले सबसे सामान्य लर्निंग मॉडल खेल आगे बढ़ने के साथ बहुत अधिक अनुमानित हो जाते हैं और अपने विरोधियों के प्रति प्रतिक्रिया देना बंद कर देते हैं।
डेटा प्रयोगों के एक बड़े सेट से आता है जहाँ आठ लोगों के समूहों ने 200 राउंड के मैचिंग-पेनी गेम्स की एक श्रृंखला खेली। शोधकर्ताओं ने प्रत्येक खिलाड़ी द्वारा किए गए हर एक कदम को रिकॉर्ड किया, जिससे निर्णयों की एक विस्तृत समयरेखा तैयार हुई। फिर उन्होंने यह देखने के लिए एक विशिष्ट माप लागू किया कि एक खिलाड़ी का वर्तमान कदम उनके प्रतिद्वंद्वी के पिछले कदम के बारे में कितनी जानकारी रखता है। यह माप, जिसे 'ट्रांसफर एंट्रॉपी' (transfer entropy) कहा जाता है, प्रतिक्रियाशीलता के लिए एक डिटेक्टर की तरह कार्य करता है। यदि एक खिलाड़ी वास्तव में ध्यान दे रहा है और अपने प्रतिद्वंद्वी द्वारा अभी किए गए कार्य के आधार पर अपनी रणनीति को समायोजित कर रहा है, तो यह संख्या उच्च होगी। यदि खिलाड़ी प्रतिद्वंद्वी की परवाह किए बिना केवल अपने आंतरिक तर्क पर कार्य कर रहा है, तो यह संख्या कम होगी। जब शोधकर्ताओं ने मानव डेटा को देखा, तो उन्होंने पाया कि खिलाड़ियों ने उच्च स्तर की यादृच्छिकता बनाए रखी, जिसमें अनिश्चितता का औसत माप पूरे खेल के दौरान लगभग 0.64 बिट्स रहा। इससे भी महत्वपूर्ण बात यह है कि उन्होंने प्रतिक्रियाशीलता का एक मजबूत संकेत दिखाया, जहाँ उनके विकल्प स्पष्ट रूप से उनके प्रतिद्वंद्वी के पिछले कदम से प्रभावित थे।
जब इसी विश्लेषण को 'Q-लर्निंग' (Q-learning) नामक एक मानक कंप्यूटर मॉडल पर लागू किया गया, तो परिणाम बिल्कुल अलग थे। यह मॉडल, जो एजेंटों के सीखने के तरीके का अनुकरण करने के लिए व्यापक रूप से उपयोग किया जाता है, कुछ यादृच्छिकता के साथ शुरू होता है लेकिन इसे जल्दी ही खो देता है। लगभग तीस राउंड के भीतर, मॉडल का व्यवहार लगभग पूरी तरह से अनुमानित हो गया, और इसकी यादृच्छिकता का माप शून्य के करीब गिर गया। क्योंकि यह इतना अनुमानित हो गया था, इसलिए इसने अपने प्रतिद्वंद्वी के प्रति प्रतिक्रिया देना भी बंद कर दिया; प्रतिक्रियाशीलता का माप लगभग शून्य तक गिर गया। शोधकर्ताओं ने यह परीक्षण किया कि क्या इस कंप्यूटर मॉडल की सेटिंग्स को बदलकर इस समस्या को ठीक किया जा सकता है। उन्होंने अपने आंतरिक "तापमान" (temperature) सेटिंग्स को समायोजित करके मॉडल को अधिक रैंडम बनाने की कोशिश की, लेकिन इसने केवल एक ट्रेड-ऑफ (समझौता) पैदा किया। जब मॉडल को अधिक रैंडम बनाया गया, तो वह प्रतिद्वंद्वी के प्रति कम प्रतिक्रियाशील हो गया। जब उसे अधिक प्रतिक्रियाशील बनाया गया, तो वह कम रैंडम हो गया। कोई भी एकल सेटिंग मॉडल को एक ही समय में अप्रत्याशित और चौकस दोनों होने की अनुमति नहीं देती थी, जो कि मानव स्वाभाविक रूप से प्राप्त करते हैं।
अध्ययन ने चार अन्य सामान्य लर्निंग मॉडलों का परीक्षण किया कि क्या उनमें से कोई मानव पैटर्न को दोहरा सकता है। अधिकांश मॉडल इसी तरह विफल रहे: कुछ बहुत अधिक कठोर और अनुमानित हो गए, जबकि अन्य रैंडम रहे लेकिन प्रतिद्वंद्वी पर ध्यान देने में विफल रहे। हालाँकि, 'सेल्फ-ट्यूनिंग एक्सपीरियंस-वेटेड अट्रैक्शन' (self-tuning experience-weighted attraction) नामक एक विशिष्ट मॉडल सफल रहा जहाँ अन्य विफल रहे। यह मॉडल, जो पिछले पुरस्कारों और खेल में परिवर्तनों का पता लगाने वाले तंत्र दोनों के आधार पर अपनी रणनीति को अपडेट करता है, रैंडम और प्रतिक्रियाशील दोनों रहने में सक्षम रहा। इसका व्यवहार मानव डेटा के बहुत करीब था, जो उसी ग्राफ क्षेत्र को घेरता है जहाँ मानव खिलाड़ियों को पाया गया था। हालाँकि यह मॉडल मानव संख्याओं से पूरी तरह मेल नहीं खाता था, लेकिन यह मानव खेल के दोहरे स्वभाव को पकड़ने के करीब एकमात्र मॉडल था।
निष्कर्ष बताते हैं कि प्रतिस्पर्धी स्थितियों में मनुष्य कैसे सीखते हैं, यह मानक सुदृढीकरण शिक्षण (reinforcement learning) मॉडलों के संचालन से संरचनात्मक रूप से भिन्न है। मनुष्य अनुभव प्राप्त करने के साथ केवल अधिक आत्मविश्वासी और कम रैंडम नहीं होते हैं; इसके बजाय, वे एक स्थिर स्तर की 'एडेप्टिव नॉइज़' (अनुकूलनशील शोर) बनाए रखते हैं जो उन्हें अप्रत्याशसनीय रहने की अनुमति देता है जबकि वे अपने प्रतिद्वंद्वी को ट्रैक करना जारी रखते हैं। अध्ययन यह दावा नहीं करता है कि यह विशिष्ट कंप्यूटर मॉडल बिल्कुल वैसा ही है जैसा मानव मस्तिष्क काम करता है, लेकिन यह एक महत्वपूर्ण विशेषता की पहचान करता है जिसे मानव सीखने के किसी भी सफल मॉडल के पास होना चाहिए। यह सटीक रूप से वर्णन करने के लिए कि लोग ये खेल कैसे खेलते हैं, एक मॉडल में अनिश्चित और चौकस दोनों समय में होने में सक्षम होना चाहिए। यह अंतर्दृष्टि मानव व्यवहार के बेहतर सिद्धांतों की खोज को सीमित करने में मदद करती है, जो केवल यह भविष्यवाणी करने से आगे बढ़कर कि लोग आगे क्या करेंगे, यह समझने की ओर ले जाती है कि वे समय के साथ कैसे सीखते हैं और अनुकूलित होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।