Evaluating Machine Learning and Econometric Models for Inflation Forecasting: Evidence from a Sub-Saharan African Panel

महान भविष्यवाणी की दौड़: क्यों अक्सर सबसे सरल अनुमान जीत जाता है

कल्पना कीजिए कि आप अगले मंगलवार के मौसम का अनुमान लगाने की कोशिश कर रहे हैं। आप एक सुपरकंप्यूटर निकाल सकते हैं, उपग्रह चित्रों का विश्लेषण कर सकते हैं, हवा की गति को माप सकते हैं और जटिल जलवायु मॉडल चला सकते हैं। या, आप बस खिड़की से बाहर देख सकते हैं और कह सकते हैं, "यह लगभग वैसा ही होने वाला है जैसा आज है।" अर्थशास्त्र की दुनिया में, यह उच्च-तकनीकी जटिलता और सरल सामान्य ज्ञान के बीच का अंतिम मुकाबला है। अर्थशास्त्रियों ने मुद्रास्फीति (महंगाई)—जिस दर से ब्रेड, ईंधन और किराए जैसी चीजों की कीमतें बढ़ती हैं—का अनुमान लगाने के लिए दशकों तक विशाल, जटिल मॉडल बनाने में बिताया है। वे फैंसी गणित और मशीन लर्निंग का उपयोग करते हैं, इस उम्मीद में कि उन्हें छिपे हुए पैटर्न मिल जाएंगे जो सरकारों को ब्याज दरें तय करने और परिवारों को उनकी बचत खोने से बचाने में मदद करेंगे। लेकिन इस दौड़ में एक जिद्दी, पुराने स्कूल का प्रतिद्वंद्वी है: "रैंडम वॉक" (random walk)। यह विचार है कि कल की कीमत का सबसे अच्छा अनुमान आज की कीमत ही है। यह सुनने में मूर्खतापूर्ण लगता है, जैसे कि सिक्का उछालने का अनुमान लगाना, लेकिन इतिहास दिखाता है कि यह सरल तरकीब हराना अविश्वसनीय रूप से कठिन है, खासकर उन जगहों पर जहाँ अर्थव्यवस्था जंगली और अप्रत्याशित होती है।

यह शोध पत्र ठीक इसी लड़ाई में उतरता है, लेकिन एक मोड़ के साथ: यह इन विचारों का परीक्षण उप-सहारा अफ्रीका में करता है, जो एक ऐसा क्षेत्र है जहाँ मुद्रास्फीति एक पेंडुलम की तरह तेजी से झूल सकती है। शोधकर्ताओं ने 50 से अधिक वर्षों में आठ अलग-अलग देशों से डेटा एकत्र किया, जिससे एक विशाल डिजिटल खेल का मैदान तैयार हुआ ताकि यह देखा जा सके कि क्या आधुनिक "स्मार्ट" कंप्यूटर (मशीन लर्निंग और डीप लर्निंग) आखिरकार सरल "कल को देखो" वाली पद्धति को मात दे सकते हैं। उन्होंने केवल यह नहीं देखा कि किसका त्रुटि अंक (error number) सबसे कम है; उन्होंने सख्त सांख्यिकीय परीक्षणों का उपयोग किया यह देखने के लिए कि क्या कोई फैंसी मॉडल वास्तव में बेहतर था, या वे केवल भाग्यशाली थे।

दौड़: हाई-टेक बनाम "कल की" रणनीति

लेखकों ने आठ उप-सहारा अफ्रीकी अर्थव्यवस्थाओं को शामिल करते हुए एक भव्य प्रयोग तैयार किया: घाना, नाइजीरिया, केन्या, कोटे डी आइवर, दक्षिण अफ्रीका, सेनेगल, तंजानिया और युगांडा। उन्होंने 1972 से 2024 तक फैले आर्थिक जीवन के 424 स्नैपशॉट का एक डेटासेट बनाया। इसे एक विशाल प्रशिक्षण शिविर के रूप में सोचें जहाँ उन्होंने आठ अलग-अलग "कोच" को मुद्रास्फीति की भविष्यवाणी करना सिखाया।

कोच पुराने और नए स्कूल का मिश्रण थे:

1. नाइव कोच (रैंडम वॉक): इस कोच के पास कोई दिमाग नहीं है। यह बस कहता है, "अगले साल की मुद्रास्फीति बिल्कुल वैसी ही होगी जैसी इस साल थी।"
2. इकोनोमेट्रिक कोच: ये पारंपरिक विशेषज्ञ हैं जो आर्थिक सिद्धांत पर आधारित रैखिक समीकरणों और निश्चित नियमों का उपयोग करते हैं।
3. मशीन लर्निंग कोच: ये हाई-टेक जादूगर हैं। इनमें रैंडम फॉरेस्ट (निर्णय वृक्षों की एक टीम), XGBoost (एक सुपर-ऑप्टिमाइज्ड ट्री बूस्टर), और इलास्टिक नेट (एक स्मार्ट फिल्टर जो सबसे अच्छे सुराग चुनता है) शामिल हैं।
4. डीप लर्निंग कोच (LSTM): यह सबसे जटिल है, आर्टिफिशियल इंटेलिजेंस का एक प्रकार जिसे घटनाओं के लंबे अनुक्रमों को याद रखने के लिए डिज़ाइन किया गया है, जैसे कि कोई इंसान कहानी याद रखता है।

शोधकर्ताओं ने अपने डेटा को तीन भागों में विभाजित किया: एक प्रशिक्षण सेट (कोच को सिखाने के लिए), एक सत्यापन सेट (उन्हें ट्यून करने के लिए), और एक परीक्षण सेट (2018 से 2024 तक की अंतिम परीक्षा)। वे यह देखना चाहते थे कि क्या फैंसी AI सरल "कल को देखो" वाले कोच को हरा सकता है।

चौंकाने वाला परिणाम: सरल कोच ने मोर्चा संभाला

जब अंतिम परीक्षा के परिणाम आए, तो परिणाम "बड़ा और स्मार्ट हमेशा बेहतर होता है" के विचार के लिए एक बड़ा झटका था।

नाइव कोच (रैंडम वॉक) सांख्यिकीय रूप से अजेय था। इसने किसी भी मॉडल की तुलना में सबसे कम त्रुटि दर हासिल की, जिसका टेस्ट RMSE (यह मापने का तरीका कि अनुमान कितना गलत था) 4.435 था। अधिक महत्वपूर्ण बात यह है कि जब शोधकर्ताओं ने यह देखने के लिए सख्त सांख्यिकीय परीक्षण (डाइबोल्ड-मारियानो परीक्षण) चलाए कि क्या कोई अन्य मॉडल वास्तव में बेहतर था, तो जवाब स्पष्ट रूप से नहीं था। कोई भी जटिल मॉडल यह साबित करने में सक्षम नहीं था कि वे सरल "कल के अनुमान" से सांख्यिकीय रूप से बेहतर थे।

अन्य कोचों का प्रदर्शन इस प्रकार रहा:

• मशीन लर्निंग जादूगर (रैंडम फॉरेस्ट और XGBoost): ये जटिल समूह में सबसे अच्छे थे। रैंडम फॉरेस्ट 4.849 के टेस्ट RMSE के साथ आया, और XGBoost का 5.825 था। हालांकि वे करीब थे, लेकिन सांख्यिकीय परीक्षणों ने दिखाया कि वे अनिवार्य रूप से नाइव कोच के साथ बराबरी पर थे। वे हारे नहीं, लेकिन वे जीते भी नहीं; उन्होंने सांख्यिकीय समानता प्राप्त की। रैंडम फॉरेस्ट एकमात्र मॉडल था जो सरल बेसलाइन के साथ सांख्यिकीय बराबरी का दावा कर सका, लेकिन वह उससे आगे नहीं निकल पाया।
• पारंपरिक विशेषज्ञ (पुल्ड ओएलएस और पैनल फिक्स्ड इफेक्ट्स): ये पुराने स्कूल के रैखिक मॉडल खराब रहे। उन्हें नाइव कोच द्वारा काफी पीछे छोड़ दिया गया, जिनके त्रुटि स्तर क्रमशः 6.781 और 6.612 थे। शोध पत्र सुझाव देता है कि एक अस्थिर, अव्यवस्थित अर्थव्यवस्था पर जबरदस्ती एक सीधी रेखा का संबंध थोपना काम नहीं करता है।
• डीप लर्निंग स्टार (LSTM): यह सबसे नाटकीय कहानी थी। जब बिना किसी सुरक्षा ब्रेक के (350 इपोक तक) AI को प्रशिक्षित किया गया, तो यह "ओवरफिटिंग" का शिकार हो गया। इसने प्रशिक्षण डेटा को इतनी पूर्णता से याद कर लिया कि यह परीक्षण में विफल रहा, और इसका स्कोर भयानक 7.741 रहा। हालांकि, जब शोधकर्ताओं ने "अर्ली स्टॉपिंग" (AI को भ्रमित होने से पहले रोकने की तकनीक) जोड़ी, तो इसके स्कोर में सुधार हुआ और यह 6.162 पर आ गया। यह एक बड़ा सुधार था, लेकिन फिर भी यह नाइव कोच को नहीं हरा सका। यह केवल नाइव कोच के साथ "सांख्यिकीय रूप से अविभेद्य" हो गया—अर्थात, यह बराबरी करने के लिए पर्याप्त अच्छा था, लेकिन जीतने के लिए पर्याप्त नहीं था।

स्मार्ट मॉडल क्यों विफल हुए?

लेखक कुछ कारण बताते हैं कि हाई-टेक मॉडल इस विशिष्ट क्षेत्र में कोड को क्यों नहीं तोड़ सके।

पहला, डेटा बहुत छोटा और शोर वाला (noisy) है। प्रशिक्षण सेट में केवल 304 अवलोकन थे। LSTM जैसे सुपर-जटिल AI के लिए, यह केवल शब्दकोश के कुछ पन्नों को पढ़कर भाषा सीखने जैसा है। मॉडल भ्रमित हो जाते हैं और नियमों को सीखने के बजाय शोर (noise) को याद करने लगते हैं।

दूसरा, अर्थव्यवस्था नियम बदलती रहती है। परीक्षण अवधि (2018-2024) में कोविड-19 महामारी और वैश्विक कमोडिटी कीमतों में उछाल जैसे बड़े झटके शामिल थे। "सरल" मॉडल हाल के नंबर को देखता है, जो इन झटकों के प्रति तुरंत अनुकूलित हो जाता है। हालाँकि, जटिल मॉडल अतीत (2009 से पहले के डेटा) के आधार पर पैटर्न खोजने की कोशिश करते हैं, जो तब लागू नहीं होता जब दुनिया अचानक बदल जाती है। यह एक धूप वाले दिन के मानचित्र का उपयोग करके तूफान में रास्ता खोजने जैसा है; मानचित्र बहुत विस्तृत है, लेकिन वह गलत मानचित्र है।

तीसरा, "सुराग" उतने मददगार नहीं हो सकते। मॉडलों को ब्याज दरों, सरकारी खर्च और तेल की कीमतों जैसे डेटा दिए गए थे। लेकिन इन अर्थव्यवस्थाओं में, मुद्रास्फीति मुख्य रूप से अपनी गति (momentum) और विनिमय दरों (exchange rates) द्वारा संचालित होती है, जिससे अन्य सुराग कम उपयोगी हो जाते हैं। सरल मॉडल उन सभी अतिरिक्त सुरागों को अनदेखा करता है और बस गति की सवारी करता है, जो कि जीतने वाली रणनीति साबित होती है।

भविष्य के लिए इसका क्या अर्थ है

शोध पत्र निष्कर्ष निकालता है कि उप-सहारा अफ्रीका के नीति निर्माताओं के लिए संदेश स्पष्ट है: सिर्फ इसलिए कि आपके पास नए फैंसी उपकरण हैं, सरल उपकरणों को फेंक न दें।

जबकि जटिल मॉडल (जैसे रैंडम फॉरेस्ट और सुधारा गया LSTM) प्रभावशाली हैं और सरल मॉडल के प्रदर्शन का मुकाबला कर सकते हैं, उन्होंने इसे हराने में खुद को साबित नहीं किया है। वास्तव में, सरल "परसिस्टेंस" (persistence) मॉडल इतना मजबूत है कि इसे "स्वर्ण मानक" या "बेसलाइन" के रूप में रखा जाना चाहिए जिसे विश्वास करने से पहले सभी नए मॉडलों को हराना होगा।

लेखक सुझाव देते हैं कि यदि केंद्रीय बैंक इन फैंसी AI उपकरणों का उपयोग करना चाहते हैं, तो उन्हें सावधानी से करना चाहिए। वे एक वास्तविकता जांच के रूप में सरल मॉडल को बैकग्राउंड में चलते रहने की सिफारिश करते हैं। यदि एक जटिल मॉडल सांख्यिकीय रूप से यह साबित नहीं कर सकता कि वह केवल "कल आज जैसा ही होगा" का अनुमान लगाने से बेहतर है, तो शायद वह अतिरिक्त लागत और जटिलता के लायक नहीं है।

अंत में, यह अध्ययन अर्थशास्त्र में चल रही एक लंबी रहस्यमयी कहानी में एक नया अध्याय जोड़ता है: अराजकता और अचानक परिवर्तनों से भरी दुनिया में, कभी-कभी सबसे समझदारी भरा काम यह होता है कि आप बस यह देखें कि कल क्या हुआ था और मान लें कि वैसा ही फिर से होगा। "सरल" हमेशा सबसे अच्छा नहीं होता है, लेकिन उप-सहारा अफ्रीका के अस्थिर बाजारों में, वर्तमान में वही चैंपियन है।