Reinforcement Learning and Consumption-Savings Behavior
यह शोध पत्र यह समझाने के लिए न्यूरल नेटवर्क सन्निकटन (neural network approximation) के साथ एक सुदृढीकरण शिक्षण (reinforcement learning) मॉडल प्रस्तावित करता है कि कैसे अनुकूलन योग्य शिक्षण तंत्र, मानक तर्कसंगत अपेक्षाओं के बजाय, कम-संपत्ति वाले बेरोजगार परिवारों के बीच उच्च सीमांत उपभोग प्रवृत्ति और पिछले बेरोजगारी अनुभवों वाले व्यक्तियों में देखे जाने वाले निरंतर उपभोग "स्कारिंग" (consumption scarring) को एक साथ उत्पन्न करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मस्तिष्क का जीपीएस और खर्च करने का रहस्य
कल्पना कीजिए कि आपका मस्तिष्क एक सुपर-स्मार्ट जीपीएस है जो दैनिक जीवन के अराजक परिदृश्य में रास्ता खोज रहा है। आमतौर पर, हम यह मान लेते हैं कि लोग वित्तीय निर्णय एक आदर्श गणितज्ञ की तरह लेते हैं: उन्हें पता होता है कि वे अगले साल कितनी कमाई करेंगे, वे आज खर्च करने और कल के लिए बचत करने के बीच के सटीक संतुलन की गणना करते हैं, और वे कभी गलती नहीं करते। यह "तर्कसंगत अपेक्षाओं" (Rational Expectations) का दृष्टिकोण है, जो वह मानक मानचित्र है जिसका उपयोग अर्थशास्त्रियों ने दशकों से किया है। लेकिन वास्तविक जीवन अधिक जटिल है। हमारे पास कोई भविष्य देखने वाला क्रिस्टल बॉल नहीं है; हमारे पास केवल हमारे पिछले अनुभव हैं।
यहाँ रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) का प्रवेश होता है। इसे एक समीकरण हल करने वाले सुपर-कंप्यूटर के रूप में नहीं, बल्कि 'ट्रायल एंड एरर' (प्रयास और त्रुटि) से सीखने वाले एक वीडियो गेम खिलाड़ी के रूप में सोचें। एक खेल में, आपको पहले से नियमों का पता नहीं होता। आप एक चाल चलते हैं, एक इनाम मिलता है (या "गेम ओवर" होता है), और आपका मस्तिष्क अगली बार के लिए "क्या काम करता है" के अपने आंतरिक मानचित्र को अपडेट करता है। यदि आपको उच्च स्कोर मिलता है, तो आप उस पथ को याद रखते हैं। यदि आप हार जाते हैं, तो आप उससे बचते हैं। यह शोध एक दिलचस्प सवाल पूछता है: क्या होगा यदि हमारी खर्च करने की आदतें एक आदर्श गणितज्ञ द्वारा नहीं, बल्कि इसी "कोशिश करो, असफल हो और सीखो" की प्रक्रिया से आकार लेती हैं? यह सुझाव देता है कि हमारा मस्तिष्क इस आधार पर कि हमें कितना बचत करनी चाहिए, एक मानसिक मॉडल को लगातार अपडेट करता रहता है जो हमारे पिछले अनुभवों से मिले आश्चर्यों पर आधारित होता है, न कि भविष्य के किसी सटीक अनुमान पर।
पहेली: कुछ लोग कंगाल होने पर अधिक खर्च क्यों करते हैं?
अर्थशास्त्री कठिन समय के दौरान लोगों के खर्च करने के तरीके में दो अजीब पैटर्न को लेकर सिर खुजला रहे हैं।
पहली पहेली: महामारी के दौरान, सरकार ने प्रोत्साहन राशि (stimulus checks) भेजी थी। शोधकर्ताओं ने पाया कि उन बेरोजगार लोगों ने, जिनके बैंक खातों में पहले बहुत कम पैसा हुआ करता था, प्राप्त प्रत्येक अतिरिक्त डॉलर का लगभग 0.53 खर्च किया। लेकिन उन बेरोजगारों ने, जिनके पास पहले बहुत अधिक पैसा हुआ करता था, प्रत्येक अतिरिक्त डॉलर का केवल 0.29 खर्च किया। यह अजीब है क्योंकि, जिस क्षण उन्हें पैसा मिला, उनमें से कोई भी समूह वास्तव में "कंगाल" या उधार लेने में असमर्थ नहीं था। मानक आर्थिक सिद्धांत कहता है कि यदि आपके पास पर्याप्त नकदी है, तो आप अचानक मिली धन राशि को खर्च करने के लिए बहुत उत्सुक नहीं होने चाहिए। किसी व्यक्ति का अतीत में पैसे की कमी, अब अधिक खर्च करने का कारण क्यों बनती है, भले ही वे वर्तमान में ठीक हों?
दूसरी पहेली: एक अन्य अध्ययन में पाया गया कि जो लोग अतीत में बेरोजगार रहे हैं, वे वर्षों तक अधिक बचत करते हैं और कम खर्च करते हैं, भले ही वे वर्तमान में कार्यरत हों और अच्छा कर रहे हों। इसे "स्कारिंग" (scarring/निशान लगना) कहा जाता है। यह एक पुराने घाव की तरह है जो आपको वर्तमान वेतन का आनंद लेने से रोकता है।
बड़ा सवाल यह है: क्या एक ही स्पष्टीकरण दोनों रहस्यों को हल कर सकता है? आमतौर पर, अर्थशास्त्रियों को एक चुनना पड़ता है। "शायद वे भविष्य से डरे हुए हैं," या "शायद वे गणित में खराब हैं।" लेकिन यह शोध एक अलग अपराधी का सुझाव देता है: रीइन्फोर्समेंट लर्निंग।
प्रयोग: एक डिजिटल एजेंट को सिखाना
लेखक, ब्रैंडन कपलोविट्ज़ ने इस विचार का परीक्षण करने के लिए एक कंप्यूटर सिमुलेशन बनाया। अपने डिजिटल एजेंटों को भविष्य का एक सटीक मानचित्र देने के बजाय, उन्होंने उन्हें एक "न्यूरल नेटवर्क" दिया—जो अनुभव से सीखने वाले मस्तिष्क का एक सरल संस्करण है।
यह सिमुलेशन इस प्रकार काम करता है:
- सेटअप: एजेंट बचत और खर्च करने के बारे में एक मोटा अनुमान लेकर शुरू करते हैं, जैसा कि एक आदर्श गणितज्ञ करेगा।
- खेल: वे सिम्युलेटेड जीवन के 50 तिमाहियों (लगभग 12.5 वर्ष) से गुजरते हैं। उन्हें नौकरियां मिलती हैं, वे नौकरियां खो देते हैं, और उन्हें भुगतान मिलता है।
- सीखना: जब एक एजेंट को कोई आश्चर्य मिलता है—जैसे अचानक नौकरी खो देना—तो वे एक "टेम्पोरल डिफरेंस एरर" (temporal difference error) महसूस करते हैं। वीडियो गेम के शब्दों में, यह उम्मीद करने जैसा है कि सोने का सिक्का मिलेगा लेकिन पत्थर मिल गया। मस्तिष्क को एहसास होता है, "ओह, मेरा मानचित्र गलत था!"
- अपडेट: एजेंट का न्यूरल नेटवर्क इस गलती को सुधारने के लिए अपने आंतरिक भार (weights) को बदल देता है। यह केवल एक संख्या नहीं बदलता; यह भविष्य के लिए बचत का मूल्य कितना है, इसकी अपनी पूरी समझ को नया आकार देता है।
बड़ा खुलासा: कैसे "निशान" मानचित्र को बदलते हैं
सिमुलेशन ने ऐसे परिणाम दिए जो वास्तविक दुनिया की पहेलियों के लगभग समान थे। यहाँ वह जादुई तंत्र है:
जब एक एजेंट बेरोजगारी का अनुभव करता है, तो उसका मस्तिष्क एक "नकारात्मक आश्चर्य" प्राप्त करता है। इसे ठीक करने के लिए, न्यूरल नेटवर्क भविष्य के मानसिक मानचित्र को अपडेट करता है। यह अपडेट एक साथ दो चीजें करता है:
- यह मानचित्र को अधिक तीव्र (steeper) बनाता है: एजेंट को एहसास होता है कि बचत करना उनकी सोच से कहीं अधिक महत्वपूर्ण है। इसके कारण वे कुल मिलाकर कम खर्च करते हैं (यह "स्कारिंग" प्रभाव है)।
- यह मानचित्र को अधिक घुमावदार (curvier) बनाता है: एजेंट को एहसास होता है कि जैसे-जैसे वे अमीर होते हैं, बचत का मूल्य तेजी से गिर जाता है। यह उन्हें किसी भी नए पैसे को खर्च करने के लिए अत्यधिक उत्सुक बनाता है, क्योंकि उन्हें अब कम बचत होने का "दर्द" बहुत अधिक तीव्र महसूस होता है।
परिणाम:
- स्कारिंग प्रभाव: बेरोजगारी के इतिहास वाले एजेंटों ने औसत खर्च कम किया, बिल्कुल वास्तविक दुनिया के डेटा की तरह।
- खर्च की लहर: जब उन्हीं एजेंटों को प्रोत्साहन राशि मिली, तो उन्होंने इसमें से 0.50 खर्च किया (वास्तविक दुनिया के 0.53 के बहुत करीब), जबकि स्थिर नौकरियों के इतिहास वाले एजेंटों ने केवल 0.34 खर्च किया (वास्तविक दुनिया के 0.29 के करीब)।
इसका क्या अर्थ है (और क्या नहीं)
यह शोध सुझाव देता है कि हमें इन व्यवहारों को समझाने के लिए यह मानने की आवश्यकता नहीं है कि लोग "अतार्किक" हैं या उनका "अजीब मनोविज्ञान" है। इसके बजाय, हमारा मस्तिष्क बस वही कर रहा है जो वह सबसे अच्छा करता है: अतीत के आश्चर्यों से सीखना।
- यह निराशावाद के बारे में नहीं है: लेखक ने एक ऐसा संस्करण टेस्ट किया जहाँ एजेंट केवल "निराशावादी" (यह सोचते हुए कि बेरोजगारी की संभावना अधिक है) हो गए। वह मॉडल विफल रहा। उसने लोगों को कम खर्च करने के लिए प्रेरित किया, लेकिन उसने उन्हें बोनस का कम खर्च भी कराया, जो वास्तविक दुनिया में देखे जाने वाले व्यवहार के विपरीत है। रीइन्फोर्समेंट लर्निंग मॉडल ही एकमात्र है जिसने "कुल मिलाकर कम खर्च करना" और "बोनस का अधिक खर्च करना" दोनों को सही ढंग से पकड़ा।
- यह एक सिमुलेशन है, कोई भविष्य बताने वाला यंत्र नहीं: लेखक सावधानी से नोट करते हैं कि ये एक कंप्यूटर सिमुलेशन के परिणाम हैं। संख्याएं वास्तविक दुनिया के अध्ययनों (जैसे सिमुलेशन में 0.50 बनाम 0.34 और वास्तविकता में 0.53 बनाम 0.29) से मेल खाती हैं, लेकिन यह एक मॉडल है कि यह कैसे काम कर सकता है, न कि इस बात का अंतिम प्रमाण कि हर मानव मस्तिष्क कैसे काम करता है।
- "ब्लैक बॉक्स" की सीमा: चूंकि एजेंट एक न्यूरल नेटवर्क के माध्यम से सीखते हैं, इसलिए हम आसानी से उनसे यह नहीं पूछ सकते कि, "आप नौकरी से निकाले जाने की कितनी संभावना देखते हैं?" मॉडल मूल्यों को समायोजित करके काम करता है, न कि विशिष्ट संभावनाओं की गणना करके। यह एक ताकत है (यह लचीला है) लेकिन एक कमजोरी भी है (हम एजेंट के दिमाग के भीतर के सटीक "विश्वासों" को नहीं देख सकते)।
संक्षेप में, यह शोध हमारे बटुओं को देखने का एक चंचल लेकिन शक्तिशाली नया तरीका प्रदान करता है। यह सुझाव देता है कि हमारी खर्च करने की आदतें एक जीवित इतिहास पुस्तक हैं, जो हमारे द्वारा सामना किए गए आश्चर्यों द्वारा लिखी गई है। जब हमें नौकरी खोने से डर लगता है, तो हमारा मस्तिष्क केवल दुखी नहीं होता; यह खेल के नियमों को फिर से लिख देता है, जिससे हम आने वाले तूफ़ान के आने से पहले, बरसात के दिनों के लिए अधिक बचत करते हैं और अपने अचानक मिले धन को तेज़ी से खर्च करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।